반복 방식
- 반복 방식의 모델 학습 :
- 특성들 -> 모델 (예측 함수) --[추론: 예측하기]--> 손실계산 (with label) -> 매개변수 업데이트 계산 -> 모델 (예측 함수) ...
- 하나의 특성을 가지고 하나의 예측을 반환하는 모델 $$ y' = b + w_1x_1 $$
- ML 모델은 가중치(w)와 편향(bias)에 대한 초기 예상 값에서 시작하고 예상 손실 값이 가장적은 가중치와 편향을 학습할 때까지 이러한 예상 값을 조정함
경사하강법
- $$w_1$$ 에 대한 시작 값을 선택
- 시작점에서 손실 곡선의 기울기 계산 - *기울기는 편미분의 벡터, 어느 방향이 더 정확한지 혹은 더 부정확한지 알려줌
- $$f(x,y) = e^{2y}sin(x)$$ 와 같이 다변수 함수에서 x에 대한 f의 편미분은: $$\frac{af}{ax}$$
- 여기서 y 값을 고정시켜 f가 하나의 변수 x의 함수로 변환: $$f(x) = e^2sin(x)$$ , 여기서 이 함수를 미분하면 $$e^2cos(x)$$
- 경사하강법(gradient decent)은 기울기에 학습률(스칼라)를 곱하여 다음 지점을 결정 (예: 기울기가 2.5이고 학습률이 0.01이면 경사하강법 알고리즘은 0.025 떨어진 지점을 다음 지점으로 결정)
