Обучение модели Stable Diffusion на картинах Анри де Тулуз-Лотрека

Анри де Тулуз-Лотрек — французский художник-постимпрессионист. В своих произведениях он передавал атмосферу Парижа конца XIX века. Отличительная черта его картин — это характерные стилизованные лица людей и работа с цветом. Живописец, работая с цветом, сочетал пастельные цвета с яркими и чистыми, из-за чего на его полотнах присутствуют приятные контрасты в то же время много воздуха и ощущение туманного окружения. Идея данного проекта это обучение модели Stable Diffusion для создания генераций в стиле произведений Анри де Тулуза-Лотрека.

Для выполнения поставленной задачи был создан датасет, в который вошли 50 разнообразных произведений Анри де Тулуз-Лотрека. Тем не менее, на каждом изображении можно выделить черты, благодаря которым стиль художника стал узнаваемым. Благодаря такому стилистическому насыщению в собранном датасете, модель Stable Diffusion сможет воспроизвести в генерациях выбранный стиль.

Самые первые генерации получались не совсем похожие, модель использовала бледные однотонные оттенки. Полученные изображения были похожи на старые снимки или карандашные наброски, что не было характерным для стиля Анри де Тулуз-Лотрека.

Поэтому для следующих генераций в промт были добавлены такие словосочетания как: более яркие, чистые цвета, светлые оттенки.

После изменения промта полученный результат стал соответствовать поставленной задаче.

В основном живописец вдохновлялся танцовщицами и балеринами в тогда привычной для них обстановке, например бары, танцевальные залы, гримерки. Фон на картинах Тулуз-Лотрека как бы сливался и представлял собой нечто общее, размытое, но дополняющее и выделяющее образ прекрасных дам.

Нежные и воздушные платья, характерные лица — вот то, что хотелось увидеть на итоговых генерациях, и нейросеть смогла это воспроизвести.

Также, еще одной особенностью стиля французского художника были наброски, которые выглядели нежными и завершенными за счет правильно выделенных частей и таких важных контрастов. Для того, чтобы модель создала сгенерировала набросок, в промт был добавлен запрос: набросок девушки в платье в полный рост.

Далее промт незначительно менялся, использовались такие запросы как: портрет женщины в платье, крупный план, наброски, две женщины-балерины. В каждом полученном изображении чувствовался стиль Анри де Тулуз-Лотрека.

Более того, модель начала выдавать изображения с одной и той же девушкой в разной одежде и словно в разные эпохи ее жизни, хотя изначальной такой цели не было.

Следующим шагом было добавление в промт: танцующая девушка в платье, поэтому модель начала выдавать девушек в динамике, с развивающимися платьями.