목록컴퓨터비전 (6)

인공지능을 좋아하는 곧미남

loss function에 대한 고찰

어차피 reduce sum의 경우 N-dimension 의 loss tensor에 대해 각각 미분되어서 기울기가 넘어가니 그대로 backprop하는것과 동일하고, mean의 경우엔 element 갯수만큼 나누어져 평균값만큼 loss를 주겠다는 의미입니다. 평균을 치더라도 mse같은 일반적인 loss는 문제가 없지만 reduce sum으로 해야만 잘 동작하는 gaussian negative log likelihood와 같은 loss도 있습니다. 그리고 loss tensor중 원하는 부분에만 zero masking 후 reduce sum을 하게 되면 마스킹하지 않은 부분에만 loss가 들어가는 방식도 많이 사용되기 때문입니다, mean은 여기서 element 갯수만큼 나누어지다보니 말씀하신것처럼 정보손실이 ..
컴퓨터비전/loss function 2022. 8. 10. 11:52
Image Gradient

오늘은 Image Processing 방법론 중 Edge Detection에 기반이 되는 Image Gradient에 대해 알아보겠습니다.  1. Image Pixel2. Gradient Vector3. Magnitude4. Angle5. 결론1. Image Pixel이미지 픽셀은 이미지의 가장 최소 단위라고 생각하시면 됩니다. 예를들어 1024 by 1024 이미지가 있는데 픽셀로 생각해보면 1024개의 가로 픽셀과 1024개의 세로 픽셀로 구성된 이미지입니다. 아래 그림은 pixel을 block으로 하나하나 쌓아 직관적으로 확인할 수 있도록 표현한 이미지입니다.2. Gradient Vector그럼, Gradient Vector란 무엇일까요? 하나의 픽셀 지점에서 인접한 픽셀 value의 차분한 [x,..
컴퓨터비전 2022. 4. 12. 17:31
이미지내에서 특정 객체만의 정보만 얻기 위한 segmentation

보통 이미지내에 존재하는 여러 객체들 중 내가 원하는 특정 객체의 정보만을 얻어 활용하고 싶은 경우가 있다. 예를들어, 특정 객체의 고유한 움직임이나, 변화에 관한 정보를 학습하기 위해서 객체의 영역만 분할하는 것이다. 하지만, 여러 분할 방법론이 있지만, 객체와 인접한 배경영역의 pixel value가 유사하거나, 조명에 의해서 객체 내부에 노이즈가 있다면, threshold를 명확히 잡는 것은 어려운 task이다. 오늘은 segmentation of computer vision method를 알아보겠습니다. 1. Thresholding method for segmentation 2. Contextual method for segmentation 3. Clustering method ..
컴퓨터비전/Segmentation 2022. 3. 15. 16:15
ResNet (Residual Net)

오늘은 pytorch에서 제공하는 torchvision.models.resnet50 기준으로 ResNet의 구현내용을 알아보겠습니다. 오늘의 내용은 아래 목차와 같습니다. 1. ResNet Contribution 2. ResNet Layer 구성 3. 구현 코드 설명 1. ResNet Contribution 우선, ResNet은 Input Image를 Deep한 Layer 구성을 통해 Feature를 찾는 역할을 합니다. 하지만 Layer 구성이 깊어지면 깊어질수록 좋지 않은 결과를 얻게 되었습니다. 이런 내용이 발생하는 이유는 학습 신경망에서 Back Propagation을 할때 weight에 활성화 함수의 편미분을 구해 그 값을 곱해주는 연산과정이 있습니다. 이때 첫 번째 layer..
컴퓨터비전/Classification 2022. 1. 17. 16:55
[Vision Transformer] FC LSTM, ConvLSTM

오늘은 이미지 및 영상을 활용할 수 있는 ConvLSTM을 알아보겠습니다. ConvLSTM은 저번 포스팅에서 설명드린 일반 LSTM이 아닌 FC LSTM 구조에서 Convolution 연산을 적용한 사례로 FC LSTM부터 간단히 알아보도록 하겠습니다. 오늘의 내용은 아래 목차와 같습니다. 1. FC LSTM 설명 2. ConvLSTM 설명 1. FC LSTM (Fully-Connected Long Short-Term Memory) FC-LSTM은 LSTM에서 발전한 모델입니다. 구조적으로 변경된 내용이 있는데요. 기존의 LSTM에는 Long Term Memory의 정보를 가진 Cell State의 정보를 Hidden Layer에 사용하지 않았습니다. 하지만, FC-LSTM은 이 Cel..
컴퓨터비전/Vision Transformer 2022. 1. 4. 19:32
[Vision Transformer] RNN, LSTM 이론

오늘은 딥러닝에 적용할 수 있는 순환구조를 이해하기 위한 RNN, LSTM 이론을 알아보겠습니다. 1. RNN-순환신경망 (Recurrent Neural Network) 1) RNN 순환구조: RNN의 순환구조를 이해하기 편하게 아래 그림을 빗대어 설명하면, RNN CELL은 초록색의 상자로 표현되는데, 첫번째 INPUT X1를 받아와 Hidden State인 RNN CELL을 업데이트하고 Y1을 출력하고 그 다음 시퀀스(i=2)의 Hidden State RNN CELL에 정보가 전달된다. 이 과정을 마지막 시퀀스까지 반복하는 것이 RNN의 순환구조이다. (여기서 Output은 Many to Many, Many to One Task에 따라 다르고 출력하고 싶은 시점의 출력을 얻을 수 있다.) 수학적 Fo..
컴퓨터비전/Vision Transformer 2022. 1. 4. 17:09
Prev 1 Next