인공지능을 좋아하는 곧미남

어차피 reduce sum의 경우 N-dimension 의 loss tensor에 대해 각각 미분되어서 기울기가 넘어가니 그대로 backprop하는것과 동일하고, mean의 경우엔 element 갯수만큼 나누어져 평균값만큼 loss를 주겠다는 의미입니다. 평균을 치더라도 mse같은 일반적인 loss는 문제가 없지만 reduce sum으로 해야만 잘 동작하는 gaussian negative log likelihood와 같은 loss도 있습니다. 그리고 loss tensor중 원하는 부분에만 zero masking 후 reduce sum을 하게 되면 마스킹하지 않은 부분에만 loss가 들어가는 방식도 많이 사용되기 때문입니다, mean은 여기서 element 갯수만큼 나누어지다보니 말씀하신것처럼 정보손실이 ..