기계학습 예

1. 직선 모델을 사용하여 선형 회귀 (Linear Regression) 문제를 풀 때

매개변수를 이용하여 직선 모델의 수식 작성 →최적의 매개변수값을 알아내기 위해 난수를 생성하여 최적화값 도출

훈련집합에서 초기 직선의 매개변수 가정→개선→최적값 도출→오차 개선

직선을 움직이게 하는 동력 : 목적함수(objective function)= 비용함수(Cost function) = 𝐽

이때 𝐽 Θ1 > 𝐽 Θ2 > 𝐽 Θ3→오차가 개선되었다 (1이 가장 먼저 생성됨)

𝑓Θ 는 Θ 를 매개변수로 가지는 직선을 뜻함

𝑓Θ(𝐱𝑖) 를 𝑓(𝐱𝑖;Θ)로 표기 하기도 함 • 𝑓Θ(𝐱𝑖) 는예측함수의 출력, yi는 예측함수가 맞추어야 하는 목표값 이므로 𝑓Θ(𝐱𝑖)-yi는 𝐱𝑖 에서의 오차임 • 위 수식을 평균제곱오차MSE(mean squared error) 라고 부름

기계학습 알고리즘은 목적함수 값이 작아지는 방향을 찾아 매개변수 값을 조정하는 일을 반복하며, 목적함수가 0.0 또는 0.0에 아주 가까운 값이 되면 그때 반복 학습을 마침. • 이 같이 최적화하는 방법을 수치적 방법(numerical method) 라고 함

2.비선형 모델

현실적인 상황 • 지금까지는 데이터가 선형을 이루는 아주 단순한 상황을 고려하였고, 실제 세계는 선형이 아니며 잡음이 섞임 • 비선형 모델이 필요