궁금증

• Can we do Koopman Operator Things in Diffusion process
• variational inference를 요약 정리하면 뭘까?

Score Distillation Sampling

https://arxiv.org/abs/2209.14988

• Score distillation은 대체 뭐하는 놈일까?

Diffusion model은 score model이다. Score matching은 2D image distribution의 score를 이용하여 3D representation distribution의 score를 추정하는 방법론으로 볼 수 있다. 이 논문에서는 3D representations의 distribution을 simulation sample로 근사하고, 이 distribution에서의 denoising score를 2D image prior score를 이용하여 매칭한다.

• 다른 ditillation loss를 사용하지 않고 score distillation을 해야 하는 이유는 무엇일까?

우리가 가지고 있는 stable diffusion 같은 강력한 GT image prior가 score model이기 때문에 이 score를 3D representation에 그대로 distill한다고 보면 된다. 가장 straightforward한 distillation approach인 것 같다.

• SDS를 할 때 Jacobian을 drop하는 이유는 무엇일까?

드랍하는 게 계산 상의 이점에 더해 좀 더 수렴성이나 샘플 품질에도 큰 영향을 미치는 것 같다. 정확한 건 논문을 다시 읽어봐야 한다.

• SDS의 문제점과 한계점은 무엇일까?

Janus face problem

충분히 정확하지 않고 표현력이 부족한 3D representation score