글만 쓰면 그림이 된다 ! CLIP

 

  이번 Hands-On 에서는 텍스트로 그림을 그려볼 것이다. OpenAI 에서 개발한 CLIP 이라는 모델을 사용해 한국어로 프롬프트를 입력하면 영어로 자동 번역되어 사용자가 입력한 대로 AI가 이미지를 만들어준다. 실습을 시작하기 전에 CLIP에 대해 간단하게 살펴보자. CLIP(Constrastive Language Image Pretraining)은 텍스트와 이미지를 연결하는 멀티모달 AI 이다 CLIP 는 텍스트와 이미지 데이터를 함께 학습하여 텍스트 이미지 간의 관계를 이해하는데 뛰어난 성능을 보인다. CLIP 의 주요 기능은 크게 ① 멀티모달 학습 ② 대조학습 ③ 제로샷 적용이며 자세한 내용은 아래 표를 참조하기 바란다. 이제 본격적인 코딩 실습으로 들어가 보자.

<CLIP을 이용한 이미지 생성 절차>

말이 그림이 된다! CLIP 기반 이미지 생성.ipynb

 

 

 

① 관련 라이브러리 설치 및 참조

 

② GPU 선택 코랩에서 무료 지원 및 번역기 세팅

③ 텍스트 프롬프트 입력

④ 이미지 생성