When update weight consider of hyperparameters

인공지능 모델을 개발하면, 여러가지 문제가 발생하는데요. 그 중 Over fitting되거나 local minimum에 빠지지 않도록 학습 가중치 업데이트를 원활히 하기 위한 적용 기법을 살펴보겠습니다.

 

우선, weight를 업데이트는 아래 식으로 설명이 가능한데요.

해당, 방정식과 같이 다음 step의 weight를 얻기 위해서는 이전 weight에 learning rate와 cost function을 미분한 값(비용함수의 T시점의 접점의 기울기)을 곱한 값으로 차감합니다. 

 

여기서 가중치(W) 업데이트 방정식을 조금 변형하여 좀 더 학습에 유리하도록 연구한 내용들이 있습니다.

저는 그 중 weight decay와 momentum에 관해 설명하겠습니다.

 

weight decay(β)는 하나의 항을 추가하여 큰 값을 가지는 weight들에 대해 페널티를 부여하여, weight가 필요이상으로 커지는 문제를 방지합니다.

 

좀 더 설명드리면, 현재 가중치 크기 그대로 learning rate와 cost function을 미분한 값을 곱한 값에 차감시키기 전에 일정 비율 람다를 이용해 값을 낮추어 차감합니다. 수식은 아래와 같습니다. 

 

이를 적용해주면 weight가 필요이상으로 커지는 문제를 방지합니다.

 

그리고 momentum은 learning rate에 가속도를 붙여주어 이동하려던 방향으로 더 멀리 이동시키게 됩니다.

최종적으로 위의 방정식을 통해 업데이트가 진행됩니다. momentum은 local minumum에 빠지지 않게 학습되는 효과가 있습니다.