[Deep Learning] 최적화(Optimizer): (2) AdaGrad

📚 목차

1.  개념
2.  장점
3.  단점

1.  개념

AdaGrad는 딥러닝 최적화 기법 중 하나로써 Adaptive Gradient의 약자이고, 적응적 기울기라고 부릅니다. Feature마다 중요도, 크기 등이 제각각이기 때문에 모든 Feature마다 동일한 학습률을 적용하는 것은 비효율적입니다. 이러한 관점에서 AdaGrad 기법이 제안되었습니다. AdaGrad는 Feature별로 학습률(Learning rate)을 Adaptive하게, 즉 다르게 조절하는 것이 특징입니다. AdaGrad를 수식으로 나타내면 아래와 같습니다.

 

$$g_t=g_{t-1}+(\mathrm{\nabla }f(x_{t-1}){)}^2$$

$$x_t=x_{t-1}-\frac{\eta }{\sqrt{g_t+ϵ}}\cdot \mathrm{\nabla }f(x_{t-1})$$

• $g_t$: $t$번째 time step까지의 기울기 누적 크기
• $ϵ$: 분모가 $0$이 되는 것을 방지하기 위한 작은 값 $\approx {10}^{-6}$
• $\eta$: 학습률(Learning rate)

먼저 $t$번째 time step까지 기울기를 누적한 값($g_t$)을 계산합니다. 이 값의 제곱근 역수를 $t$번째 time step에서의 $x_t$의 학습률에 곱합니다. 이때 $g_t$가 $0$인 경우 값이 무한대로 발산할 수 있기 때문에, 이를 방지하기 위해 매우 작은 값($ϵ$)을 같이 더해 줍니다.

2.  장점

AdaGrad는 Feature 마다 다른 학습률을 적용함으로써 Feature별 특성을 고려하여 학습을 효율적으로 돕는다는 장점이 있습니다. 즉, AdaGrad는 큰 기울기를 가져 학습이 많이 된 변수는 학습률을 감소시킵니다. 학습이 적게 된 다른 변수는 잘 학습되도록 학습률을 높게 설정하여 조절할 수 있다는 장점이 있습니다.

3.  단점

반면, AdaGrad 알고리즘의 단점도 존재합니다. $g_t$ 값은 점차 커지기 때문에 학습이 오래 진행되면 학습률($\frac{\eta }{\sqrt{g_t+ϵ}}$)이 $0$에 가까워지기 때문에 더 이상 학습이 진행되지 않을 수 있습니다. 즉, 모델 학습이 진행될 때 학습이 잘 이루어져 더 이상 변수의 값이 업데이트되지 않는 것인지, $g_t$ 값이 지나치게 커져서 추가적으로 학습이 되지 않는 것인지 알기 어렵다는 한계가 있습니다. 이러한 한계점을 개선한 최적화 기법으로 RMSProp이 제안되었습니다. RMSProp에 대한 내용은 아래의 포스팅을 참고해 주세요.

https://heytech.tistory.com/384

[Deep Learning] 최적화(Optimizer): (3) RMSProp

📚참고할 만한 포스팅

1. [Deep Learning] 퍼셉트론(Perceptron) 개념 이해
2. [Deep Learning] 퍼셉트론(Perceptron) 학습방법 및 절차
3. [Deep Learning] 활성화 함수의 개념 및 종류: sign, tanh, sigmoid, softmax, ReLU
4. [Deep Learning] 손실함수(Loss Function) 개념
5. [Deep Learning] 평균제곱오차(MSE) 개념 및 특징
6. [Deep Learning] 평균절대오차(MAE) 개념 및 특징
7. [Deep Learning] 최적화 개념과 경사 하강법(Gradient Descent)
8. [Deep Learning] 최적화 기법: (1) Momentum
9. [Deep Learning] 최적화 기법: (2) AdaGrad
10. [Deep Learning] 최적화 기법: (3) RMSProp
11. [Deep Learning] 최적화 기법: (4) Adam

---

포스팅 내용에 오류가 있다면 아래에 댓글 남겨주시길 바랍니다.
그럼 오늘도 멋진 하루 만드시길 바랍니다 :)
고맙습니다😊