Improving Language Understandingby Generative Pre-Training

자연어 이해는 텍스트 수반, 질문 답변, 의미 유사성 평가 및 문서 분류와 같은 광범위한 다양한 작업으로 구성된다. 

라벨이 부착되지 않은 대형 텍스트 corpors는 풍부하지만, 이러한 특정 작업을 학습하기 위한 레이블링 데이터가 드물기 때문에 차별적으로 훈련된 모델이 적절하게 수행하기가 어렵다. 

이 논문에서는 라벨이 부착되지 않은 다양한 텍스트 corpors에서 언어 모델을 생성적으로 사전 훈련한 후 각 특정 작업에 대한 차별적인 미세 조정을 통해 이러한 작업에 대한 큰 이득을 실현할 수 있음을 보여준다. 

 이전의 접근 방식과 달리, 우리는 미세 조정 중에 task-aware input transformations을 사용하여 모델 아키텍처에 최소한의 변경만 요구하면서 효과적인 전송을 달성한다. 

또한 자연어 이해를 위한 광범위한 벤치마크에 대한 접근 방식의 효과를 보여준다.

이 논문에서 제시한  일반적인 task-agnostic model은 각 작업에 대해 특수하게 조작된 아키텍처를 사용하는 차별적으로 훈련된 모델보다 성능이 뛰어나 연구된 12개 작업 중 9개에서 최첨단 기술이 크게 향상되었다. 

예를 들어, 상식 추론(Stories Close Test)에서 8.9%, 질문 답변(RACE)에서 5.7%, 텍스트 수반(MultiNLI)에서 1.5%의 절대적인 향상을 달성한다.