버티의 블로그

위와 같이 영어 문장을 프랑스어 문장으로 번역할 시, 내부 구조를 RNN을 사용해서 문장의 한 단어씩 input으로 넣어 사용할 수 있을 것이다. 그러나 번역을 할거면 전체 문장의 맥락을 파악하여 한번에 번역해야 하므로 이 방법은 문제가 있다. 따라서 문장 전체를 encoding하여 특징을 파악하고 번역된 문장을 생성해야 하고 이에 제시된 방법이 sequence to sequence, seq2seq이다. seq2seq은 Encoder RNN(LSTM) 구조와 Decoder RNN(LSTM) 구조 2가지를 병렬로 사용하는 방식이다. 각각의 원리를 살펴보면 다음과 같다. 1) Encoder입력 문장을 단어 단위로 잘라서 encoder의 input으로 넣는다.encoder의 output은 사용하지 않고, 마지..

RNNRecurrent Neural Network로, 시계열 데이터를 처리하기에 좋은 뉴럴 네트워크 구조이다. 시간 별로 같은 weight를 공유한다는 특징이 있어 과거와 현재는 같은 weight를 사용한다.First-Order System은 현재 시간의 상태가 이전 시간의 상태와 관련있다고 가정하는 것으로 첫번째 식이고 상태를 x_t라고 한다. 이 시스템은 외부 입력 없이 시간에 따라 혼자 작동하므로, autonomous system이라고도 한다. 이때 현재의 입력에도 관계가 있는 경우가 2번째 식이고 입력은 u_t이다.그러나 First-Order System에서 모든 시간 t에서 x_t가 관측 가능하진 않다. 보이지 않는 변수나 입력이 있을 수 있기 때문에 일부만 관측 가능하다. 이렇게 관측 가능한 ..