목록2022/05/17 (1)
Hey Tech
[Deep Learning] 최적화(Optimizer): (1) Momentum
본 포스팅에서는 딥러닝 최적화(optimizer) 기법 중 하나인 Momentum의 개념에 대해 알아봅니다. 먼저, Momentum 기법이 제안된 배경인 경사 하강법(Gradient Descent)의 한계점에 대해 다루고 알아보도록 하겠습니다. 📚 목차 1. 경사 하강법의 한계 1.1. Local Minimum 문제 1.2. Saddle Point 문제 2. Momentum 2.1. 개념 2.2. 수식 1. 경사 하강법의 한계 경사 하강법(Gradient Descent)은 크게 2가지 한계점이 있습니다. 첫째, Local Minimum에 빠지기 쉽다는 점. 둘째, 안장점(Saddle point)를 벗어나지 못한다는 점. 각각에 대해 알아봅니다. 1.1. Local Minimum 문제 경사 하강법은 비볼록..
AI & 빅데이터/머신러닝·딥러닝
2022. 5. 17. 11:22