Концепция
Для этого проекта я решила обучить нейросеть Stable Diffusion XL создавать изображения в узнаваемом стиле Жана-Мишеля Баския — одного из самых влиятельных художников нео-экспрессионизма конца XX века.
Баския известен своим уникальным стилем, сочетающим примитивизм, граффити, яркие цвета и элементы поп-культуры с глубокими социальными комментариями. Его работы наполнены символизмом, анатомическими рисунками, короноподобными структурами и необработанными, энергичными линиями.
Исходные картины
Для обучения модели я собрала датасет из 22 картин Баския, включающий его наиболее характерные работы:
Датасет
https://drive.google.com/file/d/1RD7yy6yWSgx3WFHQOV_UdP0FVpJ0eN5Q/view?usp=sharing
Обучение модели
1/ Подготовка данных
Для обучения модели в стиле Жана-Мишеля Баския был собран датасет из 22 изображений его наиболее характерных работ. Изображения были предварительно обработаны:
- Преобразованы в формат PNG
- Размещены в директории
./cher/
2/ Инфраструктура обучения
Обучение производилось в Google Colab на бесплатном GPU T4, используя передовые техники для оптимизации памяти и вычислений:
- Gradient checkpointing
- 8-битная оптимизация Adam
- Смешанная точность (Mixed precision, fp16)
3/ Основные параметры обучения
Для обучения использовался метод DreamBooth с LoRA (Low-Rank Adaptation), позволяющий значительно сократить требования к памяти при сохранении качества результатов:
- Базовая модель:
stabilityai/stable-diffusion-xl-base-1.0 - Оптимизированный VAE:
madebyollin/sdxl-vae-fp16-fix - Размер батча: 2
- Шаги градиентного накопления: 3
- Скорость обучения: 1e-4
- Общее количество шагов обучения: 500
- Промпт для обучения: "In the style of BASQUIAT"
Код для обучения
Использовался скрипт train_dreambooth_lora_sdxl.py из репозитория Diffusers. Основные шаги:
Установка необходимых библиотек:
Загрузка скрипта обучения
Подготовка изображений и автоматическое создание подписей с использованием модели BLIP:
Запуск обучения:
Результаты обучения
По окончании обучения модель сохранена в формате LoRA весов для последующего использования с базовой моделью Stable Diffusion XL.
basquiat_style_LoRA/adapter_model.safetensors(финальная версия после 500 шагов)
Генерация изображений
Наблюдения и выводы
- Модель успешно усвоила ключевые элементы стиля Баския даже на небольшом датасете.
- Использование LoRA позволило эффективно обучить модель на ограниченных вычислительных ресурсах.
- Автоматически сгенерированные BLIP подписи в сочетании с префиксом "In the style of BASQUIAT" улучшили результаты обучения.
Результирующая серия изображений
