Идея проекта
Цель: исследовать возможность переноса художественной манеры импрессионизма с помощью легкой адаптации LoRA на базе модели Stable Diffusion XL. В качестве референса выбран стиль Пьера Огюста Ренуара.
Задача проекта состояла в том, чтобы обучить LoRA адаптер так, чтобы модель могла генерировать новые сцены, сохраняя узнаваемые стилистические признаки, но не копируя конкретные композиции оригинальных работ.
Исходные изображения для обучения
Для обучения был собран датасет из 22-х репродукций картин Пьера Огюста Ренуара. Все изображения были получены из открытых источников с лицензиями Public Domain.
Итоговая серия изображений
Обучение модели
В качестве базовой модели использовалась Stable Diffusion XL Base 1.0. Обучение выполнялось методом LoRA в среде Kaggle с использованием GPU NVIDIA T4× 2.
Для привязки стиля использовался уникальный токен (sksrenoir): Instance prompt: an oil painting in the style of sksrenoir
Использование абстрактного токена позволяет избежать прямого копирования образов конкретного художника и формирует самостоятельный стилистический латентный признак. Адаптер загружен на hf: https://huggingface.co/nlp-fan/pierre-auguste-renoir-sdxl-lora
Результаты
После завершения обучения LoRA адаптер был подключен к SDXL. Полученные изображения демонстрируют устойчивость стиля при варьировании сюжетов.
Анализ результатов
В ходе анализа результатов были выявлены следующие особенности: Цветовая палитра: модель стабильно воспроизводит теплые пастельные оттенки, характерные для работ Ренуара. Фактура мазка: на поверхностях заметна мягкая, живописная текстура без резких цифровых границ. Работа со светом: генерации демонстрируют эффект рассеянного света и легкой атмосферности. Стабильность: при повторных генерациях сохраняются ключевые стилистические признаки.
Вывод
Эксперимент показал, что даже относительно небольшой датасет позволяет успешно адаптировать SDXL под художественный стиль с помощью LoRA. Полученная модель не копирует оригинальные работы, а воспроизводит их стилистические принципы: цвет, свет и характер мазка.
Использованные промты
В процессе работы использовался ChatGPT для формулировки и уточнения англоязычных промптов.
Блокнот
