수업 출처) 숙명여자대학교 소프트웨어학부 수업 "데이터사이언스개론", 박동철 교수님
1. Overfitting
- 데이터 사이언스에서 가장 중요한 근본 개념 중 하나이다.
- 모델을 만들 때 너무 flexible하게 만들면 모델이 특정한 데이터셋(훈련 데이터셋)에 너무 적합해진다.
- 모델이 훈련 데이터셋을 넘어선 일반적인 데이터셋에는 잘 적용되지 않는 경우이다.
- 모델은 새로운 데이터 개체도 잘 예측해야 한다.
2. 근본적인 부작용
- 더 복잡한 모델을 사용하면 정확도는 높아지겠지만, outfitting의 가능성 또한 높아진다.
- 한번에 overfitting을 제거할 방법은 없다.
- 가장 좋은 전략은 overfitting을 인지하고, 원칙적인 방법으로 복잡도를 조절하는 것이다.
- fitting graph : 복잡도 함수로써 모델의 정확도를 보여주는 그래프이다.
- 보통 모델을 만들 때 훈련 데이터에서 일정 부분을 holdout data로 빼놓고 훈련 데이터로 모델을 만든 다음 정답을 알고 있는 테스트 데이터로 정확도를 평가한다.
- 조금 더 general한 정확도를 측정할 수 있다.
- 위의 그림에서 오른쪽이 fitting graph이다.
3. overfitting 인지
- 모델이 충분히 복잡하지 않을 때 : 훈련데이터와 테스트 데이터 모두에서 정확도가 낮다. → underfitting
- 모델이 너무 복잡해질 때 : 훈련데이터에서는 정확도가 높아진다. 하지만, 테스트 데이터에서는 정확도가 낮아진다. → overfitting
- (ex) : customer churn table model.
- 극단적인 예시는 fitting graph가 독특할 것이다.
- 행의 개수가 많을수록 복잡도가 커질 수 있다.
- learning에 'churn' data만 넣고, 여기에 없는 데이터는 'stay' data로 인식하도록 했다.
- 모델이 증가하면서 훈련 데이터의 에러는 감소하지만, 테스트 데이터의 에러는 어느 특정 값에서 시작해서 변하지 않는다.
- 이유 : 학습을 할 때 churn data만 put했다. 그러면 테스트 데이터는 그 안에 포함되어 있지 않기 때문에 모두 'stay' data로 인식한다. 하지만 그 중에 churn data가 있을 것이다. 따라서 (holdout 'churn' data) / (holdout data) 의 값이 holdout data의 base error rate (=b) 가 된다.
4. overfitting in tree induction
- 극단적인 classification tree : 모든 leaf node들이 pure할 때까지 데이터를 나눈 tree
- 정확도는 100% 일 것이다.
- overfitting 되었을 확률도 ^^..
- tree 모델의 복잡도는 노드의 개수에 비례한다.
- tree 노드 개수에 제한이 없다면 어느 정확도에도 맞출 수 있을 것이다.
- 따라서, tree가 자람에 따라 overfit 되는 경향이 있다.
- fitting graph for tree induction
- ex) tree가 모집단의 특징이 아니라 훈련 데이터의 디테일한 부분을 고려하기 시작했을 때..
- holdout data의 정확도가 떨어지는 순간 (= overfit이 시작되는 순간) 을 "sweet spot" 이라고 한다.
- 그러므로 위의 경우 노드가 100개 정도 되는 순간부터 overfitting이 된다고 볼 수 있다.
- 따라서 우리는 tree의 크기를 이 사이즈 (100) 로 제한해야 한다.
- 하지만, 이론적으로 sweet spot을 정확하게 찾을 방법은 없다.
- 따라서 이 부분은 데이터 과학자의 경험에 의해 결정해야 한다.
5. overfitting in mathematical functions
- 수학적 함수를 복잡하게 만드는 한 가지 방법은 변수나 항의 수를 늘리는 것이다.
- 더 많은 속성들을 사용하면서 모델은 훈련 데이터에 더 적합해질 수 있다. ( + overfitting 위험성)
- 즉, 변수나 항을 늘릴수록 훈련 데이터셋에서의 정확도는 증가한다.
- overfitting을 피하기 위해서는 오직 정보를 얻을 수 있는 유용한 속성들만 사용하고,
- holdout technique을 활용해서 overfitting을 확인할 수 있다.
6. Holdout Evaluation
- 모델을 만들 때 holdout data를 빼놓고 형성한다.
- holdout data를 가지고 모델의 정확도를 평가한다.
- 목표는 모델의 일반화 성능을 추정하는것이다.
- 답을 알고 있고, 훈련할 때 사용하지 않았기 때문에 정확도를 평가할 수 있다.
- 문제
- 이 테스트로부터 얻은 성능의 추정값은 단지 한번의 테스트를 통한 추정값이다.
- 한 번의 추정만으로 모델 정확도에 확신을 얻는 방법은 운이 좋게 테스트 데이터를 한번에 잘 고르는 방법이 있겠다.
7. Cross-Validation (CV)
- holdout evaluation 의 더욱 정교화된 방법이다.
- holdout 평가를 여러번 진행한 뒤 그것의 통계값을 이용하는 방법이다.
- 추정된 성능에 대해 몇가지 통계값을 얻을 수 있다.
- mean 평균 : 평균적으로 어느 정도의 성능이 예상되는가
- variance 분산 : 데이터셋마다 성능이 얼마나 다른가
- k-fold cross-validation : 데이터셋을 k번으로 나누어서 나눈만큼 평가를 반복하는 방법이다.
- (ex) predict which customers are going to churn
1) information gain
2) classification tree
3) 언제 tree building을 멈추는가?
- 그렇게 복잡해지기 전에 멈춰야 한다.
- 이 문제는 model generality와 overfittingr과 밀접한 관련이 있다.
4) tree를 원래 데이터셋에 적용했을 때 정확도가 73%이다.
- 이 값을 믿을 수 있는가? 다른 데이터셋에 적용해도 73%가 나올까?
- 정확도가 73%인 것이 이 모델이 좋다는 의미인가? 좋지 않다는 의미인가?
8. Learning Curves
- 일반적으로, 모델의 일반화 성능은 어떠한 지점까지는 훈련 데이터 수를 증가시킴으로써 가능하다.
- learning curve : tree와 logistic regression에서 훈련 데이터 크기에 따른 일반화 성능을 나타낸 그래프이다.
- observations
- decision tree가 logistic regression에 비해 더 유연하다.
- 크기가 작은 데이터셋에 대해서는 logistic regression이 더 낫다.
- 크기가 큰 데이터셋에 대해서는 tree가 더 nonlienar 관계를 잘 표현한다.
- learning curve vs. fitting graphs
- learning curve : 훈련 데이터의 일반화 성능을 보여준다. (x축 : training data 양)
- fitting graph : 훈련 데이터 성능과 holdout 데이터 성능 2가지 모두 보여준다.
9. Overfitting Avoidance and Complexity Control
- Regularization : 가장 대표적인 overfitting avoid 방법, 모델의 복잡도를 줄이는 방법이다.
9-1. for tree induction
- main problem
- leaf node들이 순수해질 때까지 tree를 키우는 것
- 이로 인해 크고 복잡한 데이터가 데이터에 맞지 않을 수 있다.
- 3 regularization
- 더 복잡해지기 전에 멈추기
- 충분히 tree 크기가 커질 때가지 키운 다음에, '가지치기' 해나가면서 다시 사이즈 줄이기
- 서로 다른 크기를 가진 tree를 여러 개 만든 다음, 최선의 모델 선택하기
1) limit tree size
- 분할된 leaf node에 들어갈 개체의 최소 개수를 정해둔다.
- 즉, 최소 개수 이하의 수가 되면 더이상 분할하지 않는다.
- 이 경우, 최소 개수를 20개로 정했기 때문에 각 그룹의 개체 수가 20개 이하가 되었을 때 growing을 멈췄다.
2) Prune An Overly Large Tree
- node와 branch들을 잘라내고, 그자리를 leaf node로 바꾸는 방법이다.
- 대체했을 때 정확도가 낮아지지 않을 때까지 진행한다.
- 성능이 떨어지지 않을 때까지 하위 그룹에서 반복되며 진행될 수 있다.
3) Build Many Trees And Pick The Best
- tree를 많이 만들어놓고, 그 중 가장 정확도가 높은 tree를 택하는 방법이다.
9-2. for linear models
- 항이 많을수록 복잡하다.
1) Sequential forward selection (SFS)
- 순차적으로 항을 한 개씩 골라서 성능을 테스트한다. 그 중 가장 정확도가 높은 xᵢ를 선택하여 f(x) 에 넣는다.
- 그 다음, 처음으로 추가한 항을 포함하여 또 한 개의 항을 골라서 성능을 테스트한다. 그 중에서 가장 성능이 좋은 xᵢ를 선택하여 f(x) 에 넣는다.
- 이 과정을 계속 반복한다.
- 항을 추가하는 것이 테스트 데이터에서의 정확도를 더이상 높이지 않을 때까지 반복한다.
2) Sequential backward elimination (SBE)
- 위의 과정을 반대로 진행하는 것이다.
- 전체 f(x)에서 항을 한 개씩 선택하여 제거한 후 성능을 테스트한다.
- 제거했을 때 가장 성능이 좋은 xᵢ를 선택하여 제거한 후, 그 다음 또 항을 한 개 골라서 제거하고 성능을 테스트한다.
- 이 과정을 계속 반복한다.
- 마찬가지로 항을 제거하는 것이 더이상 정확도를 높이지 않을 때까지 반복한다.
10. Nested Cross-Validation
- 중첩된 CV
- 모델의 복잡도를 가장 크게 좌우하는 파라미터가 무엇인지 모를 때 사용한다.
- (ex) decision tree → number of nodes, linear model → number of features ···
- 즉, 복잡도 파라미터의 최적값을 찾기 위해 사용한다.
- (ex) What is the best number of nodes in a decision tree?
- 중첩된 loop 를 이용한다. (outer & inner loop)
- outer loop : 만들어진 모델의 일반적인 성능 측정한다. (k-fold CV)
- inner loop : best complexity parameter 찾아낸다.
- inner loop → outer loop
- 단점 : inner loop 개수가 많을수록 실행 시간이 매우 길어진다.
'Software > Data Science Introduction' 카테고리의 다른 글
| [데이터사이언스개론] What is a good model? (0) | 2021.06.08 |
|---|---|
| [데이터사이언스개론] Similarity, Neighbors, Clusters (0) | 2021.06.04 |
| [데이터사이언스개론] Fitting Model to data (0) | 2021.04.22 |
| [데이터사이언스개론] Predictive Modeling (0) | 2021.04.21 |
| [데이터사이언스개론] 비즈니스 문제와 데이터 사이언스 솔루션 (0) | 2021.04.15 |
