코딩하는 신학생의 넋두리

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling Abstract 본 논문에서는 다양한 타입의 RNN을 비교한다. 특히, LSTM과 GRU같이 gating machanism을 갖고 있는 RNN에 집중한다. polyphonic music modeling과 speech signal modeling을 해당 RNN을 이용하여 평가하였다. 실험결과 advanced RNN은 전통적인 RNN보다 나은 성능을 보였으며 또한, GRU는 LSTM과 견줄만한 성능을 보였다. 1. Introduction RNN은 input과 output에서 다양한 길이를 가지고 있는 machine learning task에서 좋은 성능을 보였다. 특히 최..

본 포스팅은 edwith에서 제공되는 딥러닝을 이용한 자연어처리 강좌를 참고하여 만들어졌습니다. https://www.edwith.org/deepnlp/joinLectures/17363 1. How to represent sentence & token? A sentence is a variable sequence of tokens Each token could be any one from a vocabulary Once the vocabulary is fixed and edcoding is done, a sentence or text is just a sequence of 'integer indices'. 1) one-hot encoding 해당 token에 해당하는 index만 1로 설정되고 나머지 i..