[딥러닝] Grid Search, Random Search, Bayesian Optimization

👨‍💻 들어가며

본 포스팅에서는 딥러닝 분야에서 하이퍼파라미터 최적화 방법 3가지인 Grid Search, Random Search, Bayesian Optimization에 대해 알아봅니다.

📚 목차

1.  Grid Search
2.  Random Search
3.  Bayesian Optimization

1.  Grid Search

그리드 서치(Grid Search)는 하이퍼파라미터를 일정한 간격으로 변경하며 최적의 파라미터를 찾아가는 기법입니다. 아래의 그림 1처럼 가로축이 하이퍼파라미터이고 세로축이 목표함수일 때, 목표함수 값이 최대가 되는 하이퍼파라미터를 찾는 문제를 풀어야 한다고 가정해 보겠습니다. 그리드 서치는 특정 범위 내에서 하이퍼파라미터를 일정 값만큼 일일이 변경하며 출력값을 비교하는 방식으로 동작합니다.

그림 1. Grid Search

그리드 서치는 2가지 한계점이 있습니다. 첫째, 최적의 해를 찾을 수 있다는 보장이 없습니다. 위의 그림 1에서는 하이퍼파라미터가 0 근처에서 목표함수가 최댓값을 갖습니다. 하지만 목표함수 값을 탐색하는 파란색 점선이 최적의 해를 그냥 지나치는 것을 볼 수 있습니다. 이처럼 그리드 서치는 최적의 해를 찾지 못하는 경우가 생길 수 있습니다. 둘째, 동작 방식이 비효율적입니다. 지정한 모든 구간을 탐색해야 하기 때문에 굳이 탐색하지 않아도 되는 하이퍼파라미터 값에 대해서도 탐색하는 경우가 생깁니다. 예를 들어, 위의 그림 1에서 아래로 볼록인 구간은 사실상 출력이 음수이기 때문에 최댓값을 구하는 문제에서는 탐색할 필요가 없는 구간입니다. 하지만, 그리드 서치는 이러한 구간까지 탐색하기 때문에 탐색 과정이 비효율적이라고 할 수 있습니다.

2.  Random Search

랜덤 서치(Random Search)는 이름에서 알 수 있듯이 임의의 하이퍼파라미터를 선정하는 과정을 통해 최적의 해를 찾아가는 기법입니다. 아래의 그림 2와 같이, 랜덤 서치는 그리드 서치에서는 선정되지 않은 하이퍼파라미터에 대해 탐색할 수도 있다는 장점이 있습니다. 특히, 그리드 서치에 비해 최적의 해를 확률적으로 더 빨리 찾을 수 있다는 장점이 있습니다.

그림 2. Random Search

3.  Bayesian Optimization

베이지안 최적화(Bayesian Optimization)는 최적의 해 근처의 하이퍼파라미터를 위주로 탐색하는 작업과 임의의 새로운 하이퍼파라미터를 탐색하는 과정을 반복하여 최적의 해를 탐색하는 기법입니다. 아래의 그림 3처럼, 초기에 A와 B 위치의 하이퍼파라미터를 탐색했다고 가정해 보겠습니다. 목표함수의 최댓값을 찾는 문제라면, A보다는 B 근처에 최적의 해가 위치할 가능성이 높겠죠. 베이지안 최적화는 이러한 경우를 고려하여 최적의 해가 근처에 있을 가능성이 높은 구간을 위주로 탐색합니다. 더불어, 해당 구간 외에도 최적의 해가 있을 가능성을 열어두고 임의의 새로운 하이퍼파라미터에 대해서도 탐색을 이어 나갑니다.

 

그림 3. Bayesian Optimization

---

포스팅 내용에 오류가 있거나 보완할 점이 있다면 댓글 남겨주세요.

그럼 오늘도 건강하고 즐거운 하루 보내시길 바랍니다 :)

고맙습니다.