loss function에 대한 고찰

어차피 reduce sum의 경우 N-dimension 의 loss tensor에 대해 각각 미분되어서 기울기가 넘어가니 그대로 backprop하는것과 동일하고, mean의 경우엔 element 갯수만큼 나누어져 평균값만큼 loss를 주겠다는 의미입니다. 평균을 치더라도 mse같은 일반적인 loss는 문제가 없지만 reduce sum으로 해야만 잘 동작하는 gaussian negative log likelihood와 같은 loss도 있습니다. 그리고 loss tensor중 원하는 부분에만 zero masking 후 reduce sum을 하게 되면 마스킹하지 않은 부분에만 loss가 들어가는 방식도 많이 사용되기 때문입니다, mean은 여기서 element 갯수만큼 나누어지다보니 말씀하신것처럼 정보손실이 일어나 원하는대로 학습이 되지 않는 경우가 많습니다.

 

내가 겪은 문제 semantic segmentation에서 focal loss에 effective number를 이용한 weight 곱을 행렬 식으로 연산을 했어야했는데 flatten해서 적용한 뒤에 sum을 해버리니 학습이 제대로 되지 않았다.

 

아 제가 딱 그런 이유에서 물어본건데요. 만약에 이런 수식에서 focal loss 앞에 저런 weight balancing 계수를 곱해주는 경우에는 적절히 적용되려면 sum을 해줘야하는데 mean으로 loss를 넘겨버리니 정보 손실이 발생함. 어떤 영역에서 balancing을 해주었는지 모름.