시퀀스를 모델링할 때 지난 단어와 앞으로 나올 단어를 함께 관찰하면 도움이 됩니다. 아래 예시를 보시죠.
짧은 문장
The man who hunts ducks out on the weekends.
이 문장에서 왼쪽부터 처리할 때와 오른쪽부터 처리할 때 ‘ducks’를 다르게 표현할 가능성이 있습니다. (’duck’에는 오리(명사), 피하다(동사) 두 가지 의미가 있습니다.) 사람은 항상 이런 의미 업데이트를 수행하고 있습니다. 양방향 순환 모델은 과거와 미래의 정보를 합쳐 문장에 있는 단어의 의미를 더욱 안정적으로 표현하는 것이 목적입니다.
시퀀스 분류를 위한 양방향 RNN 모델
위 그림에서는 모델이 어떻게 양방향으로 문장을 읽고, 정방향과 역방향을 합친 감성 분류를 위한 표현 을 만드는지 보여줍니다. 참고로 선형 층과 소프트맥스 함수는 생략되어 있습니다.
시퀀스 레이블링을 위한 양방향 RNN 모델
위 그림에서 는 단어 ‘love’가 입력되는 타임 스텝에서 신경망의 은닉 상태에 대한 표현 혹은 인코딩입니다. 이 상태 정보는 다음 장에서 다룰 어텐셜 모델에서 중요한 역할을 합니다.
다음 글 읽기
