Softmax

개념

L_i = -\log\left(\frac{e^{s_{y_i}}}{ \sum_j e^{s_j} }\right)

s_j

: 분류기를 통해 예측한 각 클래스 별 score

s_{yi}

: 해당 클래스의 정답 score

•

스코어를 ese^ses로 바꾸어 양수로 만든다.

•

이 수들의 합을 분모로 하여 나누어 주면 정규화가 되고 0~1 사이의 확률이 나온다.

•

마지막으로 -Log 연산을 취해 최종 Loss를 구한다.

정답 클래스에 해당하는 클래스의 확률이 1에 가깝게 계산되기 원하기 때문에 -Log를 사용한다. 그래프를 보면 x축을 확률, y축을 loss 라고 생각했을 확률이 1에 가까워질수록 loss가 0에 가까워지는 것을 확인 할 수 있다.

고양이 이미지를 계산하는 경우 score 값인 3.2에 지수를 취해 24.5라는 값을 구하고, 지수화 한 모든 카테고리 값들을 더해 분모로 취한 후 나눠주어 정규화를 하게 되면 0.13의 값을 얻는다. 이 값에 -Log 연산을 취해 최종 Loss인 0.89를 구한다.