NeurIPS 2014Citations: 60,000+

Generative Adversarial Nets

생성적 적대 신경망

Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio (2014)

한줄 요약

생성자(Generator) 와 판별자(Discriminator) 가 적대적으로 경쟁하며 학습하는 프레임워크. 이 아이디어로 사실적인 데이터 생성이 가능해졌다.

2014년까지 생성 모델은 주로 볼츠만 머신, 오토인코더 등이 사용되었으나:

핵심 아이디어적대적 학습 (Adversarial Training)

두 네트워크가 minimax 게임을 수행:

$G$ 가 충분히 학습되면 $D$ 가 더 이상 구분할 수 없게 되고, 이때 $G$ 는 실제 데이터 분포를 학습한 것이다.

수식GAN 목적 함수

$\min_G \max_D \, V(D, G) = \mathbb{E}_{x \sim p_{\text{data}}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$

여기서:

수식최적 판별자와 수렴

고정된 $G$ 에 대해 최적 판별자: $D^*_G(x) = \frac{p_{\text{data}}(x)}{p_{\text{data}}(x) + p_g(x)}$

이 최적 판별자 하에서 $G$ 의 목적 함수는 Jensen-Shannon Divergence를 최소화하는 것과 동일: $C(G) = -\log 4 + 2 \cdot \text{JSD}(p_{\text{data}} \| p_g)$

$p_g = p_{\text{data}}$ 일 때 최솟값 $-\log 4$ 에 도달. 즉 생성자가 실제 분포를 완벽하게 학습.

논문에서는 MNIST, TFD, CIFAR-10에서 시연:

임팩트

생성 모델 분야의 패러다임을 바꾼 논문.