Серия изображений сгенерированных на основе стиля Иеронима Босха
Описание
Целью данного проекта является создание нейронной сети, обученной на произведениях Иеронима Босха и художников, работавших в схожей стилистике, для генерации новых, оригинальных изображений в босхианском духе. Проект направлен на исследование возможностей искусственного интеллекта в воспроизведении и интерпретации сложного и узнаваемого художественного стиля, а также на создание уникальных визуальных образов, вдохновленных работами великого мастера. Я хотела посмотреть, сможет ли нейросеть уловить суть этого сюрреалистичного и символичного стиля, и сгенерировать что-то новое, но в то же время узнаваемое.
последователь Иеронима Босха Концерт в яйце. ок. 1561
La tentation de saint Antoine 1551-1600
Иероним Босх — нидерландский художник эпохи Северного Возрождения, известный своими фантастическими и сложными по символике картинами, наполненными гротескными существами и моральными аллегориями. Его работы, такие как «Сад земных наслаждений», отличаются уникальным иконографическим языком и мрачной сатирой, делающими его одним из самых узнаваемых художников в истории искусства.
Смерть скупца. Ироним Босх и The Haywain Tryptich (paradise)
Итоговая серия
Промпт: «landscape»
Итоговая серия изображений демонстрирует интересные и необычные ландшафты, созданные нейронной сетью под влиянием стиля Иеронима Босха. Однако, стоит отметить, что они несколько отличаются от наиболее известных иконографических работ художника.
В сгенерированных изображениях преобладает акцент на объеме, близком к реализму, и ландшафте, в то время как характерные для Босха множественные сцены с детализированными персонажами и общей плоскостью изображения появляется меньше.
Промпт: «New York»
Промпт: «landscape»
В процессе обучения нейросеть настолько «пропиталась» стилем Иеронима Босха, что даже на простой промпт «башня» был получен результат, поразительно напоминающий одн из самых известных его картин, посвящённых вавилонской башне.
Промпт: «Tower»
Одной из проблем, возникших в процессе обучения, стало воспроизведение лиц. Оригинальные работы Босха часто отличаются некоторой схематичностью и искажением лиц, что, вероятно, затруднило задачу для нейросети. В результате, ИИ была склонна к созданию странных и даже комичных существ, которые, впрочем, вполне соответствуют общему духу босхианского сюрреализма и гротеска. Эти персонажи, хоть и не всегда идеально прорисованы, вносят свой вклад в атмосферу фантастического мира, созданного нейросетью.
Промт: 'crowd'
Промпт: 'lion'
Промпт: «crocodile»
Несмотря на некоторые ограничения, можно сказать, что обучение прошло успешно, учитывая ограниченность ресурсов (в данном контексте подразумевается, что обучение проводилось не на самых мощных вычислительных ресурсах и, возможно, с не самым большим объемом данных). Нейросеть смогла уловить ключевые элементы стиля Босха, такие как: • Фантастические ландшафты: Изображения наполнены причудливыми формами рельефа, неземными пейзажами и странными архитектурными сооружениями, что является характерной чертой босхианских картин. • Сюрреалистичные элементы: В работах присутствуют необычные сочетания объектов, абсурдные ситуации и искаженные пропорции, создающие атмосферу иррациональности и гротеска. • Гротескные существа: Изображения населены странными, деформированными и комичными существами, напоминающими демонов и чудовищ из работ Босха. • Использование ярких, контрастных цветов: Хотя не всегда удается идеально воспроизвести цветовую палитру Босха, в изображениях прослеживается тяга к ярким и контрастным цветам, что характерно для его стиля.
Промпты: 'city' 'dog' 'family'
Ноутбук с кодом для обучения и описание процесса обучения:
Для обучения нейросети я использовала метод Fine-tuning Stable Diffusion XL с DreamBooth и LoRA, реализованный на бесплатном Colab Notebook с GPU T4. Fine-tuning позволил «настроить» предварительно обученную модель SDXL на специфический стиль Иеронима Босха, используя предоставленный набор изображений. DreamBooth использовался для «внедрения» концепции босхианского стиля в модель, а LoRA — для эффективного обучения без необходимости обновления всех параметров SDXL, что существенно снизило потребление ресурсов. Этот подход позволил добиться желаемого результата, несмотря на ограничения бесплатной платформы Colab.
Использование ГенИИ:
В проекте я активно применяла инструменты GenAI для оптимизации и достижения желаемого результата:
• SDXL DreamBooth LoRA: Эта нейросеть взята со страницы курса и стала основой для обучения и генерации изображений в стиле Иеронима Босха. • Нейросеть для улучшения качества фото: Столкнувшись с необходимостью улучшения детализации, я использовала нейросеть для повышения качества сгенерированных изображений: https://overscale.imagewith.ai/ • Chat GPT: На этапе планирования GPT помог с идеей проекта, промптами и описанием: https://chatgpt.com/
