Recurrent Neural Network(RNN)

매 Time step마다 반복적으로 수식을 적용하여 Vector $x_t$를 처리.

매 Time step마다 같은 함수 $𝑓_𝜃$와 Parameter 𝜃 적용한다.

Activation function으로 주로 Zero-centered인 tanh를 사용한다.

Target을 예측하기 위하여 $h_t$를 사용해 $y_t$를 출력할 수 있다.

RNN의 Hidden-State Vector 계산

$h_{t-1}, x_t$를 이어붙인 후 선형 변환 수행. 이러한 연산을 Concatenation이라고 지칭한다.

RNN의 응용

I read book는 forward RNN / that he gave는 backward RNN

RNN의 형태