RNN(Recurrent Neural Network)

RNN(Recurrent Neural Network)

CBOW는 맥락 안의 “단어 순서가 무시”된다는 한계가 있음

Bag-of-words는 순서가 없음

 

순서까지 고려하게 하려면, 은닉층에서 입력들의 순서를 갖고 concatenated 된 벡터를 만들어야 함

이렇게 되면 parameter가 무수히 많이 늘어남

그래서 RNN이 이를 해결하기 위해 등장

 

Recurrent Neural Network: 순환 신경망

각 입력들 내 token들이 순서대로 각각의 RNN에 (시차를 두고) 들어가는 형태로 구현되는 네트워크

RNN 계층은 이전 상태를 유지해야 함(그래야 순서를 반영)

 

RNN 언어모델

단어 sequence에 확률을 부여

조건부 언어 모델은 지음까지의 단어 스퀀스로부터 다음에 출현할 단어의 확률을 계산

 

RNN은 이론적으로 아무리 긴 시계열 데이터라도 RNN의 은닉 상태에 기억 가능하나, 실제로는 기울기 값의 감소 등으로 학습이 잘 안되기에 Truncated BPTT로 학습을 진행

 

RNN의 문제를 개선한 것이 LSTM 혹은 GRU 임

 

 

 

 

cf.

언어 모델은 주어진 과거 단어(정보) 로부터 다음에 출현할 단어의 확률분포를 출력함

이때 언어 모델의 예측 성능을 평가하는 척도가 “퍼플렉시티(perplexity, 혼란도)”

Perplexity 값은 작을수록 좋음

 

Perplexity  Ξ 확률의 역수