описание идеи
Нет, наверное, человека, который не слышал бы о Сальвадоре Дали — гении сюрреализма, чьи работы поражают воображение и бросают вызов реальности. Меня всегда завораживало, как Дали превращал обычные пейзажи в фантасмагорические миры, наполненные тающими часами, парящими скалами и бесконечными перспективами.
Особенно вдохновляет его умение искажать пространство, создавая атмосферу сна и подсознания. Именно поэтому для обучения нейросети я взяла за основу его самые знаменитые пейзажные работы — от "Постоянства памяти" до "Искушения святого Антония".
Целью проекта было — научить генеративную нейросеть воспроизводить стиль Дали, чтобы создавать новые сюрреалистичные пейзажи, сохраняя его фирменные черты: ирреальные формы, гипертрофированные перспективы и загадочную, почти гипнотическую атмосферу.
Для обучения использовались работы Дали с четко выраженными пейзажными элементами, чтобы нейросеть лучше уловила его уникальную манеру. Результатом должны были стать изображения, которые не просто копируют стиль, но и развивают его в новых, неожиданных направлениях.
исходные изображения
папка с изображениями
https://drive.google.com/file/d/1XA3GeYcK3g3fa2WJIR64WFThWKAo_rQy/view?usp=sharing
процесс обучения модели
Перед началом нужно было подготовить сетап: установить зависимости, библиотеки и датасет с изображениями.
Далее нужно было убедиться, что датасет загружен и отображается в коде. Следующий шаг — создание префикса — это позволяет нейросети запоминать стиль и обучаться, ориентируясь на указанные слова.
И теперь переходим к обучению модели. Выбранные параметры обусловлены оптимальным временем обучения и соответствием доступным вычислительным ресурсам Kaggle.
Потом переходим к загрузке обученной модели:
Данный код выполняет загрузку модели Stable Diffusion XL с пользовательским VAE и подключает обученные LoRA-веса (checkpoint-500) для генерации изображений. Затем модель переносится на GPU (cuda) для выполнения инференса.
пример промта
вес нейросети 0,5 / вес нейросети 1
Вес нейросети на первой полученной картинке 0,5, а на второй 1. Мне больше понравилось, как получилась первая картинка, так как она больше передаёт стиль, характер и особенность цветовой палитры, в которой писал свои работы Сальвадор Дали.
Поэтому дальнейшая генерация картинок производилась с весом 0,5.
итоговая серия созданных изображений
Изображения, полученные с помощью обученной модели
Изображения, полученные с помощью обученной модели
Изображение, полученное с помощью обученной модели
Особенно впечатляюще нейросеть передала фирменные визуальные парадоксы Дали: текучие, деформированные объекты, которые существуют вопреки всем законам физики; пространства, изгибающиеся под невидимым напряжением; и эту пронизывающую всё полотно сюрреалистичную тревогу, заставляющую зрителя сомневаться в реальности увиденного.
Изображения, полученные с помощью обученной модели
После генерации сюрреалистических пейзажей и местности, мне захотелось попробовать сгенерировать портреты, как они были бы написаны в стиле Дали.
Изображения, полученные с помощью обученной модели
Изображения, полученные с помощью обученной модели
