IntroductionLong-tail distribution은 real-world dataset에서 흔히 나타나는 문제로 오래전부터 중요하게 인식되어 온 연구 분야 중 하나 입니다. Long-tail distribution이 무엇인지, 그리고 개선하기 위한 어떤 연구가 있었는지 살펴보도록 하겠습니다.  Long-Tail DistributionLong-Tail Distribution이란?Long-Tail Distribution(LTD)란 real-world dataset에서 class imbalance로 인해 샘플수가 적은 class가 존재하는 현상을 의미합니다. 그림에서 처럼 데이터분포를 샘플수가 많은 것부터 적은것까지 그래프로 나타내었을 때 샘플 수가 적은 class는 마치 긴 꼬리처럼 그려지므로 l..

Introduction코딩을 하다보면 데이터마다 값의 분포가 매우 다르기 때문에 이러한 값을 일정한 범위로 매핑시키는 normalization 과정이 필요합니다. 보통 min-max normaliztion 이나 z-score normalization을 많이 사용하는데 이 방법에 대해 알아보도록 하겠습니다.  Min-max normalizationmin-max normalization은 가장 간단한 정규화 방법입니다. 최솟값과 최댓값을 이용해 $X_{norm} = (X-X_{min}) / (X_{max}-X_{min})$ 으로 계산하는 방법으로 전체 값이 0~1 사이에 존재하게 됩니다. 이 방법은 데이터 분포가 Gaussian distribution이 아니거나 standard deviation이 매우 작을..

IntroductionAI분야에서 생성모델에 대한 연구가 활발해지고 있습니다. 이제는 많이들 사용하고 계실 OpenAI의 chatGPT부터 원하는 이미지를 만들고 편집할 수 있는 Stable Diffusion까지 연구 뿐만 아니라 실제 산업이나 응용 측면에서도 생성모델이 활용되고 있습니다. 저 또한 Diffusion을 활용한 연구를 하는데, 이를 위해 생성모델의 기초부터 다시 공부하면서 겸사겸사 그 내용을 정리해 공유하려 합니다. 생성모델이 무엇인지, 그 종류에는 무엇이 있는지, 그리고 가장 흔하게 쓰이는 구조인 GAN과 VAE까지 살펴보도록 하겠습니다.     Discriminative model vs Generative modelDiscriminative model판별모델(Discriminative ..