Imagen은 입력 텍스트에서 사실적인 이미지를 생성하는 텍스트-이미지 AI 시스템입니다. 대규모 데이터 세트에 대해 교육을 받았으며 이미지 충실도 및 텍스트-이미지 정렬에서 최첨단 결과를 달성합니다.
Imagen: 상상하고, 설명하고, 영감을 주세요
이미지젠이란 무엇인가요?
Imagen은 입력 텍스트에서 사실적인 이미지를 생성할 수 있는 Google Research에서 개발한 텍스트-이미지 AI 시스템입니다. 대규모 변환기 언어 모델의 기능을 활용하여 텍스트를 이해하고 확산 모델을 활용하여 충실도가 높은 이미지를 생성합니다. Imagen은 언어에 대한 깊은 이해를 보여 주며 시각적으로 훌륭할 뿐만 아니라 제공된 텍스트 설명과 밀접하게 일치하는 이미지를 생성할 수 있습니다.
이미지n 작동 방식
Imagen은 이미지 생성을 위해 2단계 프로세스를 사용합니다.
**텍스트 인코딩:** 대규모 고정 T5-XXL 언어 모델은 입력 텍스트를 설명의 의미론적 의미와 컨텍스트를 캡처하는 임베딩으로 인코딩합니다.
**이미지 생성:** 계단식 확산 모델은 이러한 텍스트 임베딩을 입력으로 사용하고 일련의 업샘플링 단계를 통해 이미지를 생성합니다. 즉, 저해상도 이미지에서 시작하여 점진적으로 고해상도 출력으로 개선됩니다.</ 리>
Imagen의 주요 기능
전례 없는 포토리얼리즘: Imagen은 놀라운 디테일과 현실감을 갖춘 이미지를 생성하여 복잡한 질감, 조명 및 원근감을 포착합니다.
심층적인 언어 이해: Imagen은 언어의 뉘앙스를 이해하여 의도한 장면, 개체 및 관계를 정확하게 반영하는 이미지를 생성할 수 있습니다.
계단식 확산 모델: 계단식 확산 모델을 사용하면 Imagen은 계산 효율성을 유지하면서 고해상도 이미지를 생성할 수 있습니다.
대규모 사전 학습된 언어 모델: Imagen은 사전 학습된 대규모 언어 모델을 활용하며 이는 텍스트를 이미지로 변환하는 작업에 매우 효과적인 것으로 나타났습니다.
Imagen의 응용
Imagen은 다음을 포함하여 광범위한 잠재적 응용 분야를 보유하고 있습니다.
창의적인 콘텐츠 생성: 아티스트, 디자이너, 스토리텔러는 Imagen을 사용하여 고품질 비주얼로 자신의 아이디어를 생생하게 표현할 수 있습니다.
교육 도구: Imagen은 학습 자료를 향상하고 복잡한 개념을 더 쉽게 이해할 수 있도록 시각적 자료를 생성하여 교육자를 도울 수 있습니다.
마케팅 및 광고: 기업은 Imagen을 활용하여 마케팅 캠페인 및 제품 시연을 위한 매력적인 시각적 자료를 만들 수 있습니다.
Imagen은 사용자가 텍스트 설명을 기반으로 사실적인 이미지를 생성할 수 있는 강력한 도구입니다. 언어에 대한 깊은 이해와 정교한 이미지 생성 기능을 갖춘 Imagen은 창의적인 표현, 교육 발전 및 기타 다양한 응용 분야에 대한 흥미로운 가능성을 제공합니다.
전례없는 포토리얼리즘
Imagen은 COCO에 대한 교육 없이도 COCO 데이터 세트에서 7.27이라는 새로운 최첨단 FID 점수를 달성했으며 인간 평가자는 Imagen 샘플이 이미지-텍스트 정렬에서 COCO 데이터 자체와 동등하다는 것을 발견했습니다.
깊은 수준의 언어 이해
Imagen은 대형 고정 T5-XXL 인코더를 사용하여 입력 텍스트를 임베딩으로 인코딩합니다. 조건부 확산 모델은 텍스트 삽입을 64×64 이미지로 매핑합니다. Imagen은 또한 텍스트 조건부 초해상도 확산 모델을 활용하여 이미지를 64×64→256×256 및 256×256→1024×1024로 업샘플링합니다.
Imagen AI는 LLM(대형 언어 모델) 및 확산 모델의 기능을 활용하여 텍스트 프롬프트에서 사실적인 이미지를 생성하는 AI 시스템입니다. 이미지 품질과 텍스트 설명 정렬 모두에서 최첨단 결과를 달성합니다.
이 연구는 몇 가지 주요 결과를 강조합니다.
사전 훈련된 대규모 LLM은 텍스트를 이미지로 변환하는 작업에 매우 효과적입니다.
이미지 품질과 정렬을 개선하려면 확산 모델 크기를 조정하는 것보다 LLM 크기를 조정하는 것이 더 중요합니다.
새로운 임계값 확산 샘플러를 사용하면 분류자가 없는 더 큰 유도 가중치를 사용할 수 있어 이미지 생성이 향상됩니다.
효율적인 U-Net 아키텍처는 계산 및 메모리 효율성을 향상시켜 더 빠른 수렴으로 이어집니다.
Imagen은 새로운 최첨단 COCO FID 7.27을 달성하여 탁월한 충실도와 정렬을 입증했습니다.
DrawBench는 엄격하고 까다로운 방식으로 텍스트-이미지 모델을 평가하도록 설계된 포괄적인 벤치마크입니다. 여기에는 구성성, 카디널리티, 공간 관계 및 긴 형식의 텍스트와 관련된 프롬프트와 같은 다양한 프롬프트 세트가 포함됩니다. 인간 평가자들은 Imagen을 다른 모델과 나란히 비교하여 Imagen이 이미지 충실도와 이미지-텍스트 정렬 모두에서 지속적으로 뛰어난 성능을 발휘한다는 사실을 발견했습니다.
다음은 Imagen에서 생성된 출력의 몇 가지 예입니다.
달을 향해 향하는 로켓선을 타고 있는 두뇌
눈 속에서 가라데 벨트를 착용한 용과.
밀짚모자를 쓰고 네온 선글라스를 쓴 사하라 사막의 작은 선인장
선글라스와 해변 모자를 쓰고 타임스퀘어에서 자전거를 타고 있는 코기견의 사진
올림픽 접영 400m 종목에서 수영하는 테디베어
동화책에서 튀어나온 'Imagen'이라는 텍스트 모양의 싹
풍경화 앞 유리로 만든 투명한 오리 조각
렘브란트의 너구리 그림이 있는 이젤을 비추는 단일 광선.
Imagen AI에는 특히 사람을 묘사하는 이미지를 생성할 때 몇 가지 한계가 있습니다. 이 모델은 밝은 피부색에 대한 편견과 직업을 묘사할 때 서구의 성별 고정관념을 고수하는 등 사회적 편견과 고정관념을 인코딩하는 경향을 보여줍니다.
또한 이 모델은 사람이 아닌 피사체에서는 잘 작동하지만 사람의 이미지를 생성할 때 이미지 충실도가 저하되어 이 분야에 상당한 개선이 필요함을 나타냅니다.
연구팀은 다음과 같이 인정합니다. 텍스트-이미지 모델과 관련된 윤리적 문제, 특히 잠재적인 오용 및 사회적 편견의 지속과 관련됩니다. 그들은 책임감 있는 오픈 소스에 대한 우려를 이유로 현재 코드나 공개 데모를 공개하지 않기로 결정했습니다. 팀은 이러한 윤리적 고려 사항을 해결하고 기술의 책임 있는 외부화를 위한 프레임워크를 보장하기 위한 향후 작업의 필요성을 강조합니다.
