ELMo

이 논문에서는 단어 사용의 복잡한 특성(예: 구문 및 의미론) 과 언어적 맥락(예: 다의성 ) 을 모두 모델링하는 새로운 유형의 심층 상황별 단어 표현을 소개한다. 

이논문의 아키텍처를 구성하는데 사용된 word vector는 큰 텍스트 말뭉치에 대해 사전 학습된 심층 양방향 언어 모델(bilm-deep bidirectional language model )의 내부 Function에 의해 학습된 형태이다. 

이 논문에서 이러한 표현을 기존 모델에 쉽게 추가할 수 있으며 질문 답변, 텍스트 수반 및 정서 분석을 포함한 6가지 까다로운 NLP 문제에 걸쳐 sota를 크게 향상시킬수 있음을 보여준다.

 

우리는 또한 다운스트림 모델이 다른 유형의 semi-supervision signals 을 혼합할 수 있도록 사전 훈련된 네트워크의 심층 내부를 노출하는 것이 중요하다는 분석을 제시한다.