SGD1 [DL] Optimizer 이전에 업로드한 함수의 최적해를 찾기 위한 경사 하강법(Gradient Descent)에 이어서 경사 하강법을 이용한 여러 최적화 방법인 optimizer에 대해 정리해보려고 한다. -목차- 1. 확률적 경사 하강법(Stocastic Gradient Descent, SGD) 1.1 고정된 학습률 2. SGD 모멘텀(Momentum) 2.1 관성을 이용한 임계점 탈출과 빠른 학습 2.2 오버 슈팅 문제 3. AdaGrad(Adaptive Gradient) 3.1 학습 조기 중단 현상 4. RMSProp(Root Mean Square Propagation) 4.1 최근 경로의 곡면 변화량 4.2 학습 초기 경로 편향 문제 5. Adam(Adaptive Moment Estimation) 5.1 초기 경로의 편.. 2022. 3. 7. 이전 1 다음
