IntroductionGAN, Diffusion과 같은 생성모델로 이미지를 생성할 때 text를 guide로 주어 이미지를 편집하거나 변환하는 연구 분야가 있습니다. 생성 시에 pretrained된 text encoder로 생성한 text embedding을 loss에 사용하여 text의 semantic한 의미와 같은 이미지를 만들어 내는 것입니다. cvpr 2022에 publish된 DiffusionCLIP이라는 본 논문은 diffusion model에 CLIP loss를 사용하여 text-guided된 robust한 이미지를 생성하는 연구입니다. 컨셉이 간단하기 때문에 loss가 어떻게 구성되어있는지만 확인하면 쉽게 이해되는 내용이었습니다. 그럼 컨셉과 loss에 대해 소개하겠습니다.  Related..