[Deep Learning] 평균제곱오차(MSE) 개념 및 특징

 

💡 목표

평균제곱오차(MSE)의 개념과 특징에 대해 알아봅니다.

1. MSE 개념

평균제곱오차(Mean Squared Error, MSE)는 이름에서 알 수 있듯이 오차(error)를 제곱한 값의 평균입니다. 오차란 알고리즘이 예측한 값과 실제 정답과의 차이를 의미합니다. 즉, 알고리즘이 정답을 잘 맞출수록 MSE 값은 작겠죠. 즉, MSE 값은 작을수록 알고리즘의 성능이 좋다고 볼 수 있습니다. 수식을 살펴보겠습니다.

$$ E = \frac{1}{n}\sum_{i=1}^{n}(y_{i} - \tilde{y_i})^2 $$

• \(y_i\): \(i\)번째 학습 데이터의 정답
• \(\tilde{y_i}\): \(i\)번째 학습 데이터로 예측한 값

2. 특징

2.1. 오차 대비 큰 손실 함수의 증가폭

MSE는 오차가 커질수록 손실 함수 값이 빠르게 증가하는 특징이 있습니다. 그림 2는 MSE를 좌표평면에 나타낸 것입니다. 손실 함수(\(E\))의 크기는 오차의 제곱에 비례하여 변하는 것을 볼 수 있습니다. 그만큼 미분값이 일정하지 않고 오차가 커질수록 미분값 역시 커지는 것을 알 수 있습니다. MSE와는 다르게, 평균절대오차(MAE)는 오차가 커질수록 손실 함수가 선형적으로 증가합니다. MAE와 비교했을 때, MSE가 비교적 오차의 변화량에 따라 손실 함수 값이 크게 변한다는 것을 알 수 있습니다.

그림 1. 평균제곱오차

 

2.2. 회귀 문제에 활용

MSE는 회귀(Regression) 문제에 자주 활용됩니다. 예를 들어, 아래 그림 2와 같이 사진을 통해 강아지의 키와 몸무게를 예측하는 알고리즘이 있다고 가정해 보겠습니다. 사진 속 강아지의 키와 몸무게는 실제로 각각 \([40.5, 21.3]\)라고 해보겠습니다. 이제 알고리즘은 강아지의 키와 몸무게를 예측합니다. 처음에 키와 몸무게를 각각 \([39.2, 19.7]\)로 예측했다고 가정하겠습니다. MSE를 계산해 보면 \(4.25\)입니다. 다음 예측에서는 \([40.1, 20.9]\)로 출력했다면 MSE는 \(1.16\)입니다. 이처럼 MSE를 활용하여 \(\theta\)를 변경해 가며 오차를 줄여갈 수 있습니다.

그림 2. MSE의 회귀 예시

📚참고할 만한 포스팅

1. [Deep Learning] 퍼셉트론(Perceptron) 개념 이해
2. [Deep Learning] 퍼셉트론(Perceptron) 학습방법 및 절차
3. [Deep Learning] 활성화 함수의 개념 및 종류: sign, tanh, sigmoid, softmax, ReLU
4. [Deep Learning] 손실함수(Loss Function) 개념
5. [Deep Learning] 평균제곱오차(MSE) 개념 및 특징
6. [Deep Learning] 평균절대오차(MAE) 개념 및 특징
7. [Deep Learning] 최적화 개념과 경사 하강법(Gradient Descent)
8. [Deep Learning] 최적화 기법: (1) Momentum
9. [Deep Learning] 최적화 기법: (2) AdaGrad
10. [Deep Learning] 최적화 기법: (3) RMSProp
11. [Deep Learning] 최적화 기법: (4) Adam

 

평균제곱오차(MSE)의 개념과 특징에 대해 알아봤습니다.
포스팅 내용에 오류가 있다면 아래에 댓글 남겨주시길 바랍니다.
그럼 오늘도 즐겁고 건강한 하루 보내시길 바랍니다 :)
고맙습니다😊