Attention Is All You Need(Transformer)

우세한 시퀀스 변환 모델은 인코더와 디코더를 포함하는 복잡한 recurrent 또는 cnn을 기반으로 한다.

또한 가장 성능이 좋은 모델은 attention 메커니즘을 통해 인코더와 디코더를 연결한다. 

attention 메커니즘에만 기반한 새로운 간단한 네트워크 아키텍처인 Transformer를 제안한다. 

두 가지 기계 번역 작업에 대한 실험은 이러한 모델이 더 병렬 가능하고 훈련 시간이 훨씬 더 적게 요구되면서도 품질이 우수하다는 것을 보여준다.

이 논문에서 제시한 모델은 WMT 2014 영어-독일어 번역 작업에서 28.4 BLEU를 달성하여 앙상블을 포함한 기존 최상의 결과보다 2배 이상 성능이 향상되었다.

 

WMT 2014 영어-프랑스어 번역 작업에서, 제시된 모델은 8개의 GPU에서 3.5일간 학습된후에 

 41.8점의 새로운 단일 모델  SOTA BLEU 점수를 달성하고 매우 작은양의 비용이 든다.

또한 이 논문에서 트랜스포머가 큰 훈련 데이터와 제한된 훈련 데이터로 영어 구성 구문 분석에 성공적으로 적용함으로써 다른 작업에 잘 일반화됨을 보여준다.