[Deep Learning] 손실함수(Loss Function) 개념

💡 목표

손실 함수의 개념과 알고리즘 학습의 수학적 의미에 대해 알아봅니다.

1.  손실 함수의 개념

손실 함수(Loss Function)는 지도학습(Supervised Learning) 시 알고리즘이 예측한 값과 실제 정답의 차이를 비교하기 위한 함수입니다. 즉, '학습 중에 알고리즘이 얼마나 잘못 예측하는 정도'를 확인하기 위한 함수로써 최적화(Optimization)를 위해 최소화하는 것이 목적인 함수입니다. 그래서 손실 함수를 목적 함수(Objective Function)라고도 부릅니다. 이외에도 손실 함수는 분야에 따라 비용 함수(Cost Function), 에너지 함수(Energy Function) 등으로 다양하게 부르기도 합니다. 손실 함수를 통해 모델 학습 중에 손실(loss)이 커질수록 학습이 잘 안 되고 있다고 해석할 수 있고, 반대로 손실이 작아질수록 학습이 잘 이루어지고 있다고 해석합니다. 이처럼, 손실 함수는 알고리즘 학습의 길잡이 역할을 하는 중요한 역할을 담당합니다.

손실 함수는 성능 척도(Performance Measure)와는 다른 개념입니다. 성능 척도는 학습된 알고리즘의 성능을 정량적으로 평가하기 위한 지표로써 정확도, F1 점수, 정밀도 등이 있습니다. 즉, 성능 지표는 알고리즘의 학습이 끝났을 때 모델의 성능을 평가하기 위한 지표이기 때문에 알고리즘 학습 중에는 전혀 사용되지 않습니다. 반면, 손실 함수는 알고리즘 학습 중에 학습이 얼마나 잘 되고 있는지 평가하기 위한 지표입니다.

2.  알고리즘 학습의 수학적 의미

손실 함수를 중심으로 '알고리즘을 학습한다'의 의미를 수학적으로 알아봅니다. 먼저, 아래 수식을 살펴보겠습니다.

 

$$ \tilde{\theta} = \arg\min_{\theta}L(x, y; \theta) $$

 

수식 내 각각의 의미는 다음과 같습니다.

• \(L\): 손실 함수
• \(\arg\min\): arguments of minimum을 축약한 수학적 표현으로, 목적 함수를 최소화하는 입력값을 찾는 역할(목적 함수: \(L\))
• \(x\): 학습 데이터의 입력값으로, \(x\)로 얻어낸 예측값(\(\hat{y}\))은 정답(\(y\))과 비교
• \(y\): 학습 데이터의 정답
• \(\theta\): 알고리즘 학습 시 사용되는 모든 파라미터의 벡터
• \(\tilde{\theta}\): 추정된 최적의 파라미터

그림 1. 알고리즘 학습의 수학적 의미

알고리즘을 학습하는 것은 알고리즘이 예측한 값(\(\hat{y}\))이 정답(\(y\))과 최대한 근접하게 만드는 과정입니다. 즉, 위의 그림 1과 같이 학습 데이터(\(x\), \(y\))는 고정된 값이므로, 알고리즘 학습 시 사용되는 최적의 파라미터 \(\tilde{\theta}\)를 찾아 \(loss\)를 최소화하는 과정입니다.

📚참고할 만한 포스팅

1. [Deep Learning] 퍼셉트론(Perceptron) 개념 이해
2. [Deep Learning] 퍼셉트론(Perceptron) 학습방법 및 절차
3. [Deep Learning] 활성화 함수의 개념 및 종류: sign, tanh, sigmoid, softmax, ReLU
4. [Deep Learning] 손실함수(Loss Function) 개념
5. [Deep Learning] 평균제곱오차(MSE) 개념 및 특징
6. [Deep Learning] 평균절대오차(MAE) 개념 및 특징
7. [Deep Learning] 최적화 개념과 경사 하강법(Gradient Descent)
8. [Deep Learning] 최적화 기법: (1) Momentum
9. [Deep Learning] 최적화 기법: (2) AdaGrad
10. [Deep Learning] 최적화 기법: (3) RMSProp
11. [Deep Learning] 최적화 기법: (4) Adam

---

손실 함수의 개념과 알고리즘 학습의 의미에 대해 알아봤습니다.

포스팅 내용에 오류가 있다면 아래에 댓글 남겨주시길 바랍니다.

그럼 오늘도 즐겁고 건강한 하루 보내시길 바랍니다 :)

고맙습니다😊