COCO-GAN: Generation by Parts via Conditional Coordinating

인간은 생물학적 제한 때문에 주변 환경의 일부와만 상호작용할 수 있다. 따라서, 우리는 일련의 관찰에 걸친 공간 관계를 추론하여 주변 환경을 결합하는 방법을 배운다.

그러한 행동과 기계에도 계산상의 제약이 있다는 사실에 영감을 받아,  generateor가 조건에 대한 공간 좌표를 기반으로 부품별로 이미지를 생성하는 CONDitional CONordinate GAN을 제안한다. 

반대로 discriminator 는 전역 일관성, 로컬 외관 및 에지 감지 연속성에 의해 조립된 여러 패치에 걸쳐 사실성을 정당화하는 방법을 배운다.

전체 이미지는 훈련 중에 생성되지 않지만, COCO-GAN이 추론 중에 최첨단state-of-the-art-quality의 전체 이미지를 생성할 수 있음을 보여준다.

 

이 논문에서 네트워크에 좌표를 인식하도록 가르침으로써 가능하게 된 다양한 새로운 응용 프로그램을 보여준다.

 

1. 첫째, 학습된 좌표 매니폴드에 대한 추정을 수행하고 off-the-boundary를 생성한다.

 - 원래 생성된 전체 이미지를 결합하여 coco gan은 훈련 샘플보다 더 큰 이미지를 생성할 수 있는데 이를 "beyond-boundary generation"라고 부른다. 

2. 그런 다음 우리는 horizontally cyclic topology를 본질적으로 보존하는 원통형 좌표 시스템 내에서 파노라마 생성을 보여준다.

계산 측면에서 COCOGAN은 훈련과 추론 중 메모리 요청을 줄이고 high-parallelism을 제공하며 주문형 이미지의 일부를 생성할 수 있는 built-in divide-and-conquer paradigm이 내장되어 있다.