목록2022/04/15 (1)
Hey Tech
[NLP] Word2Vec: (4) Negative Sampling 개념 및 소개
📚목차 1. 등장배경 2. 개념 3. Sample 선정 4. Word2Vec 성능 1. 등장 배경 Negative Sampling 방법은 Word2Vec의 CBOW와 Skip-gram 모두 단어 개수가 많아질수록 계산 복잡도가 증가하여 연산 속도가 저하된다는 한계점을 보완하기 위해 제안되었습니다. CBOW와 Skip-gram의 목적함수는 아래와 같습니다. $$ \mathcal{L}_{CBOW} = -\sum_{j=1}^{|V|}y_{j}log(\hat{y}) $$ $$ \mathcal{L}_{Skip-gram} = -\sum_{j=0, j\ne{m}}^{2m}\sum_{k=1}^{|V|}y_{k}^{(c-j)}\log\hat{y_{k}}^{(c-j)} $$ 수식에서 알 수 있듯이, CBOW와 Skip-g..
AI & 빅데이터/자연어처리(NLP)
2022. 4. 15. 17:00