인공지능을 좋아하는 곧미남

어차피 reduce sum의 경우 N-dimension 의 loss tensor에 대해 각각 미분되어서 기울기가 넘어가니 그대로 backprop하는것과 동일하고, mean의 경우엔 element 갯수만큼 나누어져 평균값만큼 loss를 주겠다는 의미입니다. 평균을 치더라도 mse같은 일반적인 loss는 문제가 없지만 reduce sum으로 해야만 잘 동작하는 gaussian negative log likelihood와 같은 loss도 있습니다. 그리고 loss tensor중 원하는 부분에만 zero masking 후 reduce sum을 하게 되면 마스킹하지 않은 부분에만 loss가 들어가는 방식도 많이 사용되기 때문입니다, mean은 여기서 element 갯수만큼 나누어지다보니 말씀하신것처럼 정보손실이 ..

보통 이미지내에 존재하는 여러 객체들 중 내가 원하는 특정 객체의 정보만을 얻어 활용하고 싶은 경우가 있다. 예를들어, 특정 객체의 고유한 움직임이나, 변화에 관한 정보를 학습하기 위해서 객체의 영역만 분할하는 것이다. 하지만, 여러 분할 방법론이 있지만, 객체와 인접한 배경영역의 pixel value가 유사하거나, 조명에 의해서 객체 내부에 노이즈가 있다면, threshold를 명확히 잡는 것은 어려운 task이다. 오늘은 segmentation of computer vision method를 알아보겠습니다. 1. Thresholding method for segmentation 2. Contextual method for segmentation 3. Clustering method ..

오늘은 pytorch에서 제공하는 torchvision.models.resnet50 기준으로 ResNet의 구현내용을 알아보겠습니다. 오늘의 내용은 아래 목차와 같습니다. 1. ResNet Contribution 2. ResNet Layer 구성 3. 구현 코드 설명 1. ResNet Contribution 우선, ResNet은 Input Image를 Deep한 Layer 구성을 통해 Feature를 찾는 역할을 합니다. 하지만 Layer 구성이 깊어지면 깊어질수록 좋지 않은 결과를 얻게 되었습니다. 이런 내용이 발생하는 이유는 학습 신경망에서 Back Propagation을 할때 weight에 활성화 함수의 편미분을 구해 그 값을 곱해주는 연산과정이 있습니다. 이때 첫 번째 layer..

오늘은 이미지 및 영상을 활용할 수 있는 ConvLSTM을 알아보겠습니다. ConvLSTM은 저번 포스팅에서 설명드린 일반 LSTM이 아닌 FC LSTM 구조에서 Convolution 연산을 적용한 사례로 FC LSTM부터 간단히 알아보도록 하겠습니다. 오늘의 내용은 아래 목차와 같습니다. 1. FC LSTM 설명 2. ConvLSTM 설명 1. FC LSTM (Fully-Connected Long Short-Term Memory) FC-LSTM은 LSTM에서 발전한 모델입니다. 구조적으로 변경된 내용이 있는데요. 기존의 LSTM에는 Long Term Memory의 정보를 가진 Cell State의 정보를 Hidden Layer에 사용하지 않았습니다. 하지만, FC-LSTM은 이 Cel..

오늘은 딥러닝에 적용할 수 있는 순환구조를 이해하기 위한 RNN, LSTM 이론을 알아보겠습니다. 1. RNN-순환신경망 (Recurrent Neural Network) 1) RNN 순환구조: RNN의 순환구조를 이해하기 편하게 아래 그림을 빗대어 설명하면, RNN CELL은 초록색의 상자로 표현되는데, 첫번째 INPUT X1를 받아와 Hidden State인 RNN CELL을 업데이트하고 Y1을 출력하고 그 다음 시퀀스(i=2)의 Hidden State RNN CELL에 정보가 전달된다. 이 과정을 마지막 시퀀스까지 반복하는 것이 RNN의 순환구조이다. (여기서 Output은 Many to Many, Many to One Task에 따라 다르고 출력하고 싶은 시점의 출력을 얻을 수 있다.) 수학적 Fo..