https://colab.research.google.com/drive/1EnkfdfREQxwsXgZNbNtYugfH6MvMwtfY#scrollTo=RCdyLpCLPJFP

[손실함수 복습]

손실함수(L) 기울기벡터(▽L) 기울기값()

손실함수를 모든 매개변수에 대해 편미분해서 하나의 (기울기)벡터로 만든다.

기울기 :

• 손실함수를 각 하나의 매개변수에 대해 편미분한것

  

• 그래서 기울기 개수는 모델의 매개변수 개수 이다. (가중치들수 + 절편)

• 기울기는 개별 매개변수에 대한 변화율이다

기울기벡터 : 편미분한값을 모두 모아둔것, 이 모아둔것 자체가 하나의 벡터

(▽L방향 : 손실이 가장 가파르게 증가하는 방향, ▽크기 : 그 증가의 정도)

즉, 손실함수가 가장 가파르게 증가하는 방향은, 기울기 값들 중 하나가 아니라, 전체 기울기를 종합한 기울기 벡터 값이다.

경사하강법은 손실을 적게 해야 하니깐 이와 반대로 해야함

[MINIST데이터로 흐름정리]