Идея проекта
Мне давно нравится творчество Казимира Малевича, особенно его супрематические работы с простыми формами и цветами. В этом проекте мне захотелось попробовать обучить генеративную нейросеть Stable Diffusion, чтобы она генерировала изображения в похожем визуальном стиле.
Я выбрала супрематизм как основу, потому что это достаточно строгий и узнаваемый художественный язык — геометрические формы, минимализм и работа с цветом. А также это стиль, который существенно повлиял на развитие искусства XX века.
Мне было интересно посмотреть, сможет ли модель не просто копировать отдельные изображения, а именно «понять» стиль и применять его к новым сюжетам.
В качестве основной темы для генерации я выбрала море и его разные состояния — штиль, шторм, закат, ночь. Дополнительно мне интересно проверить, как сцены, характерные для классической живописи (например, морские пейзажи, ассоциирующиеся с Айвазовским), будут выглядеть, если перевести их в абстрактный язык супрематизма.
Главная цель проекта — проверить, насколько точно нейросеть сможет воспроизводить заданный стиль и переносить его на новые темы, сохраняя характерные особенности супрематизма, но при этом создавая оригинальные изображения.
В качестве датасета были собраны работы Казимира Севериновича Малевича в стиле супрематизм.
Примеры некоторых картин Казимира Малевича
Список использованных в проекте инструментов:
— Stable Diffusion — обучение нейросети под выбранный стиль; — Colab — среда, где выполняется код и генерации — Hugging Face — получение токена для обучения нейросети — Adobe Photoshop — для оформления и доработки (кадрирование картин в квадрат) — ChatGPT — для редактирования и грамматической корректировки текста, уточнения prompt’ов, а также помощи в формировании идеи.
Описание процесса обучения
Сначала в Google Colab была включена работа с GPU и установлены все нужные библиотеки для обучения Stable Diffusion XL.
После этого был загружен обучающий скрипт DreamBooth LoRA и создана отдельная папка для датасета.
Далее в Colab были загружены подготовленные изображения. После загрузки датасет был проверен, чтобы убедиться, что все картинки открываются нормально и подходят для обучения.
Следующим шагом был выполнен вход в Hugging Face, так как он нужен для доступа к базовой модели Stable Diffusion XL. Затем были заданы основные параметры обучения: размер изображения 512, число шагов обучения, скорость обучения и папка для сохранения результата.
После запуска обучения модель дообучалась на моём датасете в эстетике супрематизма.
Когда обучение завершилось, сохранённые LoRA-веса были подключены к базовой модели, и после этого я смогла генерировать новые изображения в стиле, вдохновлённом творчеством Малевича.
Основная идея эксперимента состояла в том, чтобы проверить, сможет ли модель перенести визуальный язык супрематизма на новые сюжеты, например на тему моря и разных состояний морского пейзажа, а также других видов изображения природы.
Итоги обучения нейросети
Первый промпт = «calm sea at sunset, abstract geometric composition, painting in malevich suprematist style»
Так как в самом промпте я уточняла стиль с помощью «abstract geometric composition», я далее решила проверить, как будет выглядеть итоговая картина, если этого не делать.
2-й prompt = «calm sea at sunset painting in malevich suprematist style».
prompt = «storm sea, abstract geometric composition, painting in malevich suprematist style» // prompt = «storm sea, painting in malevich suprematist style» (без уточнения абстрактного стиля)
Далее хотела проверить, сможет ли нейросеть сделать картину, если написать ей другое время суток.
prompt = «night sea, minimal abstract geometry, malevich suprematist style» // prompt = «night sea, malevich suprematist style» (без уточнения абстрактного стиля)
Результат оказался по цветовой гамме практически идентичен прошлым генерациям. После этого было принято решение также уточнять и цветовую гамму для лучшей генерации картин.
prompt = «ocean waves, red black white geometric shapes, suprematist painting»
prompt = «sea horizon, abstract painting in malevich suprematist style, bold primary colors»
Далее стало интересно, как будут выглядеть картины, если это будет не морская тематика.
Горы
prompt = «mountains in malevich suprematist style, geometric shapes, flat colors» ⬇ prompt = «mountains in malevich suprematist style, geometric shapes, flat colors, minimal composition» ⬇ prompt = «mountains in malevich suprematist style, minimal composition, 3-5 geometric shapes, flat colors»
ㅤnegative_prompt = «many details, complex, chaotic, cluttered, realistic» — добавлен негативный промпт
ㅤpipe.fuse_lora (lora_scale=1.2) — усиление стиля
Лес
Также захотелось проверить, как будет выглядеть результат работы нейросети, если сгенерировать картину, основываясь на картине другого художника
В данном случае была взята картина Винсента ван Гога из серий картин «Подсолнухи». Был просто написан код:
prompt = «Сomposition inspired by Van Gogh, malevich suprematist style, circles as flowers, rectangles as stems, flat colors, minimal, no details» ㅤnegative_prompt = «many details, complex, chaotic, cluttered, realistic» #добавлен негативный промпт ㅤpipe.fuse_lora (lora_scale=1.5) #усиление стиля ㅤㅤimage = pipe (prompt=prompt, num_inference_steps=30).images[0] image
Работа нейросети // В. Ван Гог «Подсолнухи» (1888) «Серия из Арля»
Итоги
Чему удалось обучить нейросеть?
— Ограниченной цветовой палитре (красный, чёрный, белый, синий, жёлтый);
— Использованию простых геометрических форм (квадраты, прямоугольники, круги, треугольники);
— Плоскостной композиции без глубины и перспективы;
— Минимализму и отсутствию лишних деталей;
— Чистым, чётким границам форм без текстур и сложной проработки;
Нейросеть в целом хорошо передаёт основные принципы супрематизма и стиль Малевича: композицию, цвет и общее ощущение работ. Но при этом ей не всегда удаётся добиться гармонии и продуманного расположения элементов, как в оригинальных произведениях.
*Данные работы находятся в общественном достоянии (public domain), так как срок действия авторских прав истёк, что делает их использование законным.
В соответствии со статьёй 27, авторское право действует в течение жизни автора и 70 лет после его смерти.
«Описание применения генеративной модели»
В рамках проекта использовались генеративные модели: Stable Diffusion и ChatGPT.
Stable Diffusion применялась для обучения модели и генерации изображений на основе текстовых описаний с целью воспроизведения стилистики выбранного художественного направления.
ChatGPT использовался как вспомогательный инструмент для редактирования и грамматической корректировки текста, а также уточнения prompt’ов и помощи в формировании идеи.
Ссылки на используемые модели: — Stable Diffusion: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0?utm_source=chatgpt.com — ChatGPT: https://chatgpt.com/
