Kandinsky: нейросеть для создания любых картинок из текста

Нейросеть Kandinsky — это глубокая нейронная сеть, улучшенная версия мультимодальной нейросети ruDALL-E от Команд Sber AI и SberDevices,  которая используется для генерации изображений. Сегодня,  это самая большая модель по запросу «текст в изображение» на русском языке.

Задачи: что умеет Kandinsky

ИИ способен создавать любые картинки по описанию на русском языке: от иллюстраций до дизайна с высокой степенью детализации. Нейросеть Kandinsky основана на алгоритме генеративно-состязательных сетей (GANs), который позволяет создавать новые изображения, подобные обучающим данным. Алгоритм GANs состоит из двух компонентов: генератора и дискриминатора. Первый — используется для создания изображений, которые вдохновлены стилем и композицией картин. Второй — обучается отличать эти сгенерированные изображения от реальных картин.

Сферы применения 

После обучения, ИИ может использоваться для создания новых уникальных креативов в художественном или более реалистичном стиле, так как умеет генерировать картинки с произвольным соотношением сторон, увеличивать разрешение, повышать детализацию, качественно передавая тени, текстуры, отражения. Например, пользователь может выбрать начальную точку или направление генерации, и нейросеть будет создавать новые креативы на основе этого указания. ИИ может использоваться дизайнерами, маркетологами, SMM-специалистами, иллюстраторами для создания уникальных креативов и выявления закономерностей в визуальном ряде. 

Как пользоваться сервисом?

Создание креативов происходит в 3 этапа с использованием нескольких компонентов:

• ИИ  Kandinsky использует  текстовое описание и генерирует установленное число картинок;
• ruCLIP Large выбирает наиболее подходящие варианты;
• Real ESRGAN увеличивает избранные варианты в размере. 

В результате работы, сервис предоставит набор сгенерированных изображений в высоком качестве. Использовать сервис могут только пользователи, зарегистрированные на платформе ML Space, а также владельцы умных устройств с ассистентом «Салют».