Обучение генеративной нейросети для рисования картин в стиле Ван Гога
Концепция
В этом модуле передо мной стояла задача обучить генеративную нейросеть Stable Diffusion создавать изображения в оригинальном стиле, вдохновлённом работами Винсента ван Гога.
Небольшая предыстория я всю жизнь восхищаюсь работами Ван Гога и мечтала бы овладеть такой техникой рисования. В 14 лет я выпускалась из художественной школы и свой выпускной экзамен (повторить картину известного художника) я взяла «Звездную ночь) Ван Гога.
Его творчество характеризуется яркими, насыщенными цветами и динамичными мазками, которые передают глубокие эмоции и атмосферу. Ван Гог славится своими оригинальными композициями, в которых он мастерски объединяет природу и человеческие чувства, создавая выразительные пейзажи и портреты. Его стиль, насыщенный экспрессионизмом, погружает зрителя в мир внутренних переживаний и красоты, что делает его произведения поистине незабываемыми и легко узнаваемыми.
Цель проекта
Обучение нейросети Stable Diffusion генерировать изображения в стиле картин Винсента ван Гога. Для ее обучения я использовала датасет из 70 изображений. Все изображения были приведены к соотношению сторон 1:1 для соответствия требованиям модели обучения.
Винсент ван Гог «Звёздная ночь» в соотношении 1:1
Винсент ван Гог «Цветущий миндаль», «Морской пейзаж в Сент-Мари» в соотношении 1:1
Винсент ван Гог «Сеятель» в соотношении 1:1
Работы Винсента ван Гога в соотношении 1:1
Источник фотографий картин Ван Гога: https://gallerix.ru/album/Vincent-Van-Gogh
Сгенерированные изображения
Первоначально я решила сделать серию картин в стиле Ван Гога в целом, но после я подумала как нейросеть справится с современными героями наших дней и результаты оказались достаточно спорными.
Оказалось, что нейросеть не так хороша, потому большинство работ сделаны как бы нарисовал любой современный художник, но при этом некоторые работы в стилистике Ван Гога получились очень естественно.
Ноутбук с кодом для обучения и описание процесса обучения
Шаги для подготовки к обучению:
- Проверяю, что бы среда выполнения была: графический процессор Т4
- Смотрю доступные ресурсы
- Устанавливаю библиотеку bitsandbytes
4. Устанавливаю последнюю версию diffusers
5. Загружаю обучающий скрипт с github
6. Загружаем картинки с компьютера
7. Проверяю правильно ли загрузились картинки
8. Загружаю BLIP чтобы подписать изображения, после чего получаю промпты для них
9. Добавляю идентификатор концептуального токена к каждому заголовку
10. Конфигурирую скрипт accelerate 11. Создаю токен на сайте Hugging Face для записи обученной модели 12.С помощью кода автоматически сохраняю наш код на huggingface hub 13.Генерирую изображения с помощью обученной модели 14. Загружаем исходную модель stable-diffusion-xl и к этой модели присоединяем веса лоры (lora_weights), указываю id нашего репозитория
Данный проект иллюстрирует потенциал обучения генеративных нейросетей для адаптации уникальных художественных стилей. Нейросеть успешно воспроизвела характерные особенности творчества Джорджа Кондо, создавая изображения с узнаваемыми элементами его работ. Финальные картины демонстрируют, как искусственный интеллект может выступать в роли инструмента для исследования и переосмысления визуального искусства.
