EBM을 학습시키는 세 방법: MLE with MCMC, Score Matching, Noise contrastive estimation
EBM모델이 다른 모델에 비해 사용할 수 있는 아키텍처의 범위도 다양하고 표현 가능한 함수의 꼴도 다양하다. 하지만 학습과 샘플링이 어렵다.
MLE with MCMC: Langevin MCMC로 $Z_\theta$를 추정한다
Score Matching: score matching으로 학습하면 $Z_\theta$를 계산할 필요가 없어진다
Score Matching은 매우 성공적이었고 DDPM을 필두로 한 diffusion based generative model이 image generation 분야를 재패하게 됨
DDPM이 만능은 아니다. DDIM, flow matching, ODE solver 등 다양한 게 나옴.
How to train your EBM, youngmin ryou.pdf
How to train your EBM, youngmin ryou.key