Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

deep conv networks는 이미지 인식의 성능 향상에서 가장 중심적인 부분이다. 

한가지 예로 비교적 낮은 계산 비용으로 매우 우수한 성능을 달성하는 inception아키텍처를 들 수 있다. 

최근에는 전통적인 구조와 residual connection의 결합을 도입하는 것은 sota를 달성하였다. 

그 성능은 최근 inception v3네트워크와 유사한 성능이었다. 

이러한 것들은 resudual connections와 inception architecture 를 연결하는 것이 이익이 되는지에 대한 의문을 일으킨다. 

이 논문에서는 resudual connections을 이용하여 훈련시키는 것이 inceptions networks의 훈련을 현저하게 가속화 시킨다는 경험적 증거를 제시한다. 

또한 residual inception 네트워크가 residual connection 없이 유사한 성능좋은 inception 네트워크를 근소한 차이로 능가한다는 증거를 제시한다. 

그리고 residual 과 non- residual networks를 위한 몇가지 새로운 간소화 아키텍처를 제시한다. 

이러한 변화는 ILSVRC 2012 분류 작업에서 단일 프레임 인식 성능을 크게 향상시킨다.

또한 적절한 activation scaling이 넓은 residual inception network를 어떻게 안정화 시키는지 제시한다. 

3개의 residual로 이루어진 ensemble과 하나의 inception v4를 통해 , ImageNet classification (CLS) challenge에서 3.08% top-5 error 를 달성한다.