Обучение генеративной нейросети / Хироши Нагаи

Хироши Нагаи — японский графический дизайнер и иллюстратор, известный своими обложками альбомов городской поп-музыки 1980-х годов, которые сформировали узнаваемую визуальную эстетику, ассоциирующуюся с этим неопределённым музыкальным жанром.

В работах художника можно легко распознать его индивидуальный стиль и характерные особенности, что позволяет сразу узнать его работы. Используя Stable Diffusion, я хотела создать варианты воплощения своих идей в стиле Нагаи.

Для обучения модели я взяла датасет из 50 работ Хироши Нагаи. После установки всего необходимого, я выгрузила референсы в среду, в которой работала.

Далее я проверила, что изображения открываются, и импортировала модель.

Я обратилась к папке с изображениями и сгенерировала префиксы, после чего у каждого моего изображения появился промт.

Для следующего этапа мне было необходимо зарегистрироваться на Hugging Face и получить токен. Этот токен я внесла в Google Colab и начала обучение модели. Процесс обучения занял около 40 минут.

Я сохранила модель в репозиторий и использовала ее.

Теперь я начала вводить промты для генерации своих изображений. Идеи для промтов я сгенерировала с помощью ChatGPT.

В итоговой серии изображений удалось сохранить атмосферу 1980-х (стилизованные автомобили, мода, абстрактные тени), а также характерные черты работ Хироши Нагаи такие как градиенты неба и воды и ретро-футуристическую архитектуру (геометрические формы, неоновые цвета).

Недостатки модели: на некоторых изображениях фон сливается с объектом (особенно при сложных промптах), а также модель иногда «перегружает» композицию деталями. Проанализировав результаты, я сделала вывод, что упрощенные промты (например, пляж с пальмами) получаются ближе к стилю Нагаи.

Блокнот с кодом и датасет с работами Хироши Нагаи