인공지능을 좋아하는 곧미남

안녕하세요. 오늘은 Transformer의 Layer 구조를 변형하여 Model Parameter를 Token으로 활용하여 모델의 확장성을 높이고, 학습 비용을 줄인 TOKENFORMER를 리뷰하겠습니다. 이름에서 부터 직관적으로 Transformer의 구조를 TOKEN화 한것 같은 느낌을 줍니다. Transformer 논문을 보고 오시면 이해가 쉽습니다.- 논문 관련 문서 -arXiv 30 Oct 2024. [Paper] [Page] [Github]- 목차 -1. Background2. Token-Parameter Attention(Pattention)3. Progressive Model Scaling4. Result1. BackgroundTransformer의 한계점: Linear projection..

인공지능 모델을 개발하면, 여러가지 문제가 발생하는데요. 그 중 Over fitting되거나 local minimum에 빠지지 않도록 학습 가중치 업데이트를 원활히 하기 위한 적용 기법을 살펴보겠습니다. 우선, weight를 업데이트는 아래 식으로 설명이 가능한데요. 해당, 방정식과 같이 다음 step의 weight를 얻기 위해서는 이전 weight에 learning rate와 cost function을 미분한 값(비용함수의 T시점의 접점의 기울기)을 곱한 값으로 차감합니다. 여기서 가중치(W) 업데이트 방정식을 조금 변형하여 좀 더 학습에 유리하도록 연구한 내용들이 있습니다. 저는 그 중 weight decay와 momentum에 관해 설명하겠습니다. weight decay(β)는 하나의 항을 추가하여..

Object Detection Open API를 배포하기 위해 텐서플로우는 데이터 직렬화로 Google Protocol Buffers를 많이 사용한다. 따라서, 본 내용에서는 내가 Protocol Buffers를 공부한 내용을 기록해보겠다. 오늘의 내용은 아래 목차와 같다. 1. 데이터 직렬화란? 2. Protocol Buffers? 3. Protocol Buffers with Python 4. 참고 블로그 5. 내가 쓴 Code Protocol Buffers를 처음 만난건 위성 사진에서 Ship Object Detection 하기 위해 GIT_HUB에서 RBOXCNN이라는 API를 찾아서 구현해보고 새로운 방법으로 정확도를 높여보는 작업을 했었던 시절이었다. (사실 지금은 작업을 하는..

안녕하세요? 오늘은 Visual Studio Code와 Anaconda 가상환경을 연동하여 Run을 할 수 있도록 셋팅해보겠습니다. 본론에 앞서 Visual Studio Code : VSC, Anaconda : conda로 별칭을 주어 사용하도록 하겠습니다. VSC와 conda를 연동할때 많이 헤매었는데요. 아주 쉽게 간략하게 정리해 드리겠습니다. 오늘의 내용은 아래 목차와 같습니다. 1. conda와 VSC를 다운로드 2. ANACONDA에서 가상환경 생성 3. python과 code runner를 다운 4. conda 가상환경에 접근 5. 가상환경 접근 경로를 설정 6. 가상환경 접근 1. conda와 VSC를 다운로드 아나콘다 도메인 www.anaconda.com/products/..