바이어스와 분산

기계학습의 최종 목표 : 훈련집합에 없는 새로운 샘플을 정확하게 예측하는 것 = 일반화 능력

1차~12차 다항식 모델의 비교 관찰

• 1~2차는 훈련집합과 테스트집합 모두 낮은 성능

• 12차는 훈련집합에 높은 성능을 보이나 테스트집합에서는 낮은 성능 = 낮은 일반화 능력

• 3~4차는 훈련집합에 대해 12차보다 낮겠지만 테스트집합에는 높은 성능 = 높은 일반화 능력

2차 큰 오차=바이어스(bias.편파) 가 크다 비슷한 모델을 얻음 = 낮은 분산=분산(variance) 가 작다(분류의 개념 정도)

12차 바이어스(bias.편파) 가 작음 분산(variance) 은 큼

기계학습의 최종 목표 : 낮은 바이어스와 낮은 분산을 가진 예측기(Predictor)를 만드는 것

바이어스와 분산은 상반 관계

바이어스의 희생을 최소로 유지하면서 분산을 최대로 낮추는 전략 필요