규제

1. 데이터 확대 현대 기계 학습이 높은 일반화 능력을 확보하는 기본적인 접근방법은 용량이 충분히 큰 모델을 선택 한 후, 여러가지 규제 (regularization) 기법을 적용하고 있음 • 일반화 능력을 향상하는 가장 확실한 방법 = 데이터를 더 많이 수집하면 됨

2. 데이터 변형 데이터 수집은 많은 비용이 듦 - 측정, 입력, 일일이 레이블링 등을 해야 함→훈련집합에 있는 샘플을 변형→ 인위적으로 데이터를 확대

   예) 이동, 회전, 크기, 잡음추가 등

3. 가중치 감쇠 (Weight decay) 개선된 목적함수를 이용하여 가중치를 작게 조절하는 규제 기법 극점에서 곡률(curvature)이 매우 큼