목록AI & 빅데이터/머신러닝·딥러닝 (26)
Hey Tech
📚 목차 1. RNN 개념 2. RNN 수식 3. RNN 용도 1. RNN 개념 Recurrent Neural Network(RNN)은 자연어 문장과 같이 단어의 순서에 따라 의미가 달라지는 순차 데이터(Sequential Data)를 다룰 때 주로 사용되는 신경망입니다. 따라서 RNN은 단어의 어순에 따라 문장의 의미가 달라지고 앞에 어떤 단어가 쓰였는지 기억해야 뒤에 오는 단어를 예측하는 등의 문제를 풀 때 주로 활용됩니다. RNN은 Hidden Layer의 노드에서 활성화 함수(Activation Function)를 거쳐 나온 결괏값을 Output Layer로 보내면서 다시 다음 Hidden Layer 노드 계산의 입력값으로 보내는 신경망입니다. 이처럼, 결괏값이 다음 Hidden Layer 노드의..
📌 들어가며 본 포스팅에서는 딥러닝 Generalization 기법 중 하나인 배치 정규화(Batch Normalization)에 대해 알아봅니다. 먼저, 데이터 정규화의 필요성에 대해 알아보고, Batch Normalization의 등장 배경인Internal Covariate Shift 현상에 대해 소개합니다. 이후 Batch Normalization의 개념과 특징에 대해 알아보겠습니다. 📚 목차 1. 데이터 정규화 1.1. 개념 1.2. 필요성 2. Internal Covariate Shift 현상 2.1. 개념 2.2. 문제점 3. Batch Normalization 3.1. 개념 3.2. 장점 3.3. 단계별 Batch Normalization 1. 데이터 정규화 1.1. 개념 데이터 정규화(No..
📚 목차 1. Example-based Evaluation 1.1. Exact-Match Ratio(EMR) 1.2. Accuracy 1.3. Precision 1.4. Recall 1.5. F1 Score 1.6. Hamming Loss 2. Label-based Evaluation 2.1. Macro average 2.2. Mico average 2.3. Weighted average 👨💻 들어가며 Multi-label Classification 모델 평가지표를 라벨(lael)을 기준으로 계산하는지 혹은 test example을 기준으로 계산하는지에 따라 평가 방법은 크게 2가지로 나뉩니다. 1) Example-based Evaluation 2) Label-based Evaluation 각각에 대해..
1. ROC Curve Receiver Operating Characteristic 곡선의 약자 (그림 1) \(x\)축: FPR(False Positive Rate), \(y\)축: TPR(True Positive Rate) FPR: 전체 경우 중 모델이 Positive로 예측했으나 실제 정답이 Negative인 비율로, 전체 경우에서 TNR(True Negatvie Rate)를 뺀 값과 같음 $$ FPR = 1 - TNR = 1 - \frac{TN}{FP+TN}=\frac{FP}{FP+TN} $$ TPR: 전체 경우 중 모델이 Positive로 예측했는데 실제 정답이 Positive인 비율(Recall과 동일) $$ TPR = Recall = \frac{TP}{TP+FN} $$ 그림 1에서 Refer..
📚 목차 1. Confusion Matrix 2. Accuracy 3. Precision 4. Recall 5. F1 Score 6. Average Precision 👨💻 들어가며 본 포스팅에서는 Binary Classification 및 Multi-class Classification에서 기본적으로 다루는 평가지표인 Confusion Matrix, Accuracy, Precision, Recall, F1 Score, Average Precision에 대해 다룹니다. Multi-label Classification에서 사용되는 평가지표는 아래의 포스팅을 참고해 주세요. https://heytech.tistory.com/434 1. Confusion Matrix '혼동 행렬' 또는 '오차 행렬'이라도 부..
👨💻 들어가며 본 포스팅에서는 딥러닝 분야에서 하이퍼파라미터 최적화 방법 3가지인 Grid Search, Random Search, Bayesian Optimization에 대해 알아봅니다. 📚 목차 1. Grid Search 2. Random Search 3. Bayesian Optimization 1. Grid Search 그리드 서치(Grid Search)는 하이퍼파라미터를 일정한 간격으로 변경하며 최적의 파라미터를 찾아가는 기법입니다. 아래의 그림 1처럼 가로축이 하이퍼파라미터이고 세로축이 목표함수일 때, 목표함수 값이 최대가 되는 하이퍼파라미터를 찾는 문제를 풀어야 한다고 가정해 보겠습니다. 그리드 서치는 특정 범위 내에서 하이퍼파라미터를 일정 값만큼 일일이 변경하며 출력값을 비교하는 방식으로..
📚 목차 1. 기울기 소실의 의미 2. 기울기 소실의 원인 3. 기울기 소실의 해결방법 1. 기울기 소실의 의미 딥러닝 분야에서 Layer를 많이 쌓을수록 데이터 표현력이 증가하기 때문에 학습이 잘 될 것 같지만, 실제로는 Layer가 많아질수록 학습이 잘 되지 않습니다. 바로 기울기 소실(Vanishing Gradient) 현상때문입니다. 기울기 소실이란 역전파(Backpropagation) 과정에서 출력층에서 멀어질수록 Gradient 값이 매우 작아지는 현상을 말합니다(그림 1 참고). 그렇다면 왜 이런 기울기 소실 문제가 발생할까요? 이어지는 섹션에서 자세히 알아봅니다. 2. 기울기 소실의 원인 기울기 소실의 발생 원인은 활성화 함수(Activation Function)의 기울기와 관련이 깊습니다..
📚 목차 1. 경사 하강법 개념 2. 경사 하강법 종류 2.1. 배치 경사 하강법 2.2. 확률적 경사 하강법 2.3. 미니 배치 경사 하강법 1. 경사 하강법 개념 경사 하강법(Gradient Descent)이란 딥러닝 알고리즘 학습 시 사용되는 최적화 방법(Optimizer) 중 하나입니다. 딥러닝 알고리즘 학습 시 목표는 예측값과 정답값 간의 차이인 손실 함수의 크기를 최소화시키는 파라미터를 찾는 것입니다. 학습 데이터 입력을 변경할 수 없기 때문에, 손실 함수 값의 변화에 따라 가중치(weight) 혹은 편향(bias)을 업데이트해야 합니다. 그럼 어떻게 최적의 가중치나 편향을 찾을 수 있을까요? 최적의 가중치를 찾는 과정을 소개합니다. 최적의 편향을 찾는 과정 역시 절차는 동일합니다. 아래의 그..