Создаём картины в стиле Модильяни с помощью Stable Diffusion
Идея проекта заключается в генерации серии портретов известных политических фигур в стиле итальянского художника Амедео Модильяни, известного своими характерными портретами с вытянутыми лицами, длинными шеями, и с отсутствием прорисованных глаз на картинах.
Используется нейросеть Stable Diffusion XL (SDXL), дообученная с помощью метода DreamBooth и LoRA (Low-Rank Adaptation) на работах Модильяни. Выполнялся проект в Google Colab
Цель проекта — исследовать, как нейросеть может передать индивидуальные черты персонажей через призму стилизации, а также как стиль Модильяни влияет на восприятие этих фигур.
Этап 1: обучение нейросети
Для обучения модели было использовано больше 20 работ Амедео Модильяни, представляющих его характерный стиль
На коллаже представлена часть работ — эти изображения были выбраны таким образом, чтобы модель могла уловить ключевые элементы стиля Модильяни: вытянутые пропорции, минималистичные фоны, выразительные глаза и мягкие, но чёткие линии
Подробный ноутбук с кодом и описанием процесса обучения можно скачать по ссылке
Этап 2: генерация новых изображений
Чтобы наглядно показать, как обученная модель переняла стиль художника, я представлю 3 версии одной картины: 1. оригинал Модильяни 2. воссозданная нейросетью 3. тоже нейросеть, но с изображением известного политика
Дональд Трамп
Если отойти от попытки воссоздать оригинальные картины художника и поиграться с промтами, может получиться следующее…
(слева — возможный референс для модели)
Эммануэль Макрон
Ким Чен Ын
Нейросеть без проблем смогла перенять визуальный стиль картин итальянского художника, однако она по-прежнему испытывает трудности с переносом некоторых отличительных черт — в частности, глаз.
Сам художник говорил, «я нарисую твои глаза, когда познаю твою душу», именно поэтому на многих портретах Модильяни не прорисованы глаза.
Примечателен тот факт, что качество и приближенность к оригиналам у этих картин растёт с увеличением обучаемой выборки — когда я использовала лишь 10 работ для обучения модели, результаты получались примерно следующие:
Маргарет Тэтчер
Ангела Меркель
Антон Павл… ой, то есть Владимир Владимирович Путин
