$\log p_\theta(x) \geq \mathcal{L}(\theta, \phi; x) = -D_{KL}(q_\phi(z|x) \| p(z)) + \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]$

여기서:

• $D_{KL}(q_\phi(z|x) \| p(z))$: 정규화 항 — 인코더 분포를 사전 분포(보통 $\mathcal{N}(0, I)$)에 가깝게 유지
• $\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]$: 복원 항 — 잠재 변수로부터 원래 데이터를 잘 복원
• 이 ELBO를 최대화하는 것이 $\log p_\theta(x)$를 최대화하는 것의 하한(lower bound)

인코더 $q_\phi(z|x) = \mathcal{N}(\mu, \sigma^2 I)$에서 직접 샘플링하면 역전파 불가. 대신:

$z = \mu_\phi(x) + \sigma_\phi(x) \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$

여기서:

• $\mu_\phi(x)$, $\sigma_\phi(x)$: 인코더 신경망의 출력
• $\epsilon$: 표준 정규분포에서 샘플링 (파라미터와 무관)
• $\odot$: 원소별 곱

이 트릭으로 샘플링 과정을 결정적 변환으로 바꿔 gradient가 $\phi$로 흐를 수 있게 한다.

$D_{KL}(q_\phi(z|x) \| p(z)) = -\frac{1}{2} \sum_{j=1}^{J} \left(1 + \log \sigma_j^2 - \mu_j^2 - \sigma_j^2\right)$

여기서 $J$는 잠재 변수의 차원. 가우시안 가정 하에서 KL divergence를 해석적으로 계산 가능.