[딥러닝] 모멘텀(momentum)

가중치를 조절하는 다양한 형태의 수식이 개발되어 왔다. 

http://ruder.io/optimizing-gradient-descent/

변형된 가눙치 갱신식을 사용하는 이유는 대개 신경만의 학습 안정성과 속도를 높여 학습이 잘 되게 하기 위해서입니다.

모멘텀(momentum) 은 오래 전부터 많이 사용되어 온 가중치 갱신식으로, 가중치 갱신값을 새로 계산할 때, 델타 규칙 외에 모멘텀(m)을 추가로 더해서 가중치를 변경하는 방식이다. 이렇게 하면 가중치 갱심 값이 바로 바뀌지 않고 어느 정도 일정한 방향으로 유지하면서 움직이게 된다.

과거의 가중치 갱신값일수록 더 적은 비율로 반영이 되며, 이전의 가중치 갱신값들이 추가로 더해지기 때문에 가중치 갱신값이 점점 더 커짐에 따라 학습 속도가 향상된디

한편, 이전의 가중치 갱신값들이 남아 계속 반영되기 때문에, 어느 특정 가중치 갱신값에 의해 가중치가 좌지우지 되지 않는다. 학습 안정성이 나앙지는 이유 이다.