모델 선택 알고리즘

훈련집합으로 모델을 학습하고 테스트집합으로 학습된 모델의 일반화 능력을 측정

여러 모델 중 선택 시 : 여러 모델을 독립적으로 학습 시킨 후 가장 좋은 모델 선택

모델들을 비교하는데 사용할 별도의 데이터가 필요 : 검증집합 (validation set)

1.모델을 훈련집합으로 학습

2.검증집합으로 학습된 모델의 성능 측정 //검증 성능 측정

3.가장 높은 성능을 보인 모델 선택

1. 테스트집합으로 선택된 모델의 성능 측정

검증 집합이 없는 경우 교차검증(cross validation)

훈련집합을 등분하여, 학습과 평가 과정을 여러 번 반복한 후 평균을 사용

=남는 그룹을 달리하며 이 과정을 n번 반복하여 n개 의 성능을 평균 내어 검증 성능으로 취함

장점 : 모든 데이터 set을 평가와 훈련에 활용. 정확도를 향상 단점 : 모델 훈련/평가 시간이 오래 걸림

부트스트랩(boot strap)을 이용한 모델 선택 알고리즘

• 난수를 이용하여 새로운 훈련집합을 샘플링 함

• 이때 대치를 허용하여 같은 샘플이 여러 번 뽑힐 수 있게 함