Идея проекта
Меня всегда привлекали работы Эдгара Дега, поскольку мне нравится как он улавливает один момент в движении и ярко описывает его. Особенно мне нравились его работы на тему балета: художник умело погружает зрителя в волшебную атмосферу этого искусства, автор уделяет внимание цветам и текстурам, так например костюмы танцовщиц всегда выглядят невероятно воздушно.
Картина Эдгара Дега
Картины Эдгара Дега
Для своего проекта я выбрала картины, которые изображают одну из самых знаменитых тем художника, а именно рисунки балерин.
Картина Эдгара Дега
Отличительными особенностями творчества Дега можно назвать: смещенные композиции, то есть художник часто обрезает фигуры краями полотна, заслоняет одних персонажей другими, ставя их на разные планы; он умело работает со светом и тенью, что придает глубину его картинам; позы персонажей не выглядят постановочными, а скорее смотрятся как случайные моменты во времени, в своих работах он любил передавать ощущение от движения; также его интересуют разнообразные текстуры и материалы, что хорошо видно в работах с балеринами.
Картины Эдгара Дега
Для обучающей выборки я подобрала около 40 картин на которых изображены балерины Дега. Все эти работы объединены похожим авторским стилем, который я попыталась сымитировать с помощью обучения генеративной нейросети Stable Diffusion. После подборки изображений я обрезала их до квадрата 512×512 px, я уделяла внимание тому, чтобы ключевые элементы оставались внутри квадрата. Основой проекта послужил уже существующий код, который дообучает модель Stable Diffusion при помощи LoRa.
Описание процесса обучения
Проверяем подключен ли GPU, затем загрузжаем все необходимых библиотек
Затем загружаем картинки-референсы, которые будут использоваться для обучения модели. Проводим просмотр загруженных изображений:
Загружаем модель BLIP, чтобы сгенерировать автоматические подписи для описания картинок
Далее создаем файл с подписями к картинкам и создаем префикс для промптов «EDGAR»
Заходим на Hugging Face и передаем токен доступа. Затем переходим к обучению модели, а потом загружаем ее на Hugging Face
Теперь можем генерировать изображения на основе модели
Итоговая серия
Для начала я проверила насколько эффективно натренировалась модель. Для этого я попробовала создать несколько изображений максимально похожих на оригинальные рисунки. И я думаю, мне это удалось: я вводила промпт, описывающий примерную композицию и цветовую палитру картин, и искала самый подходящий результат. (слева оригинал, справа копия)
prompt: a ballerina in big light pink and blue tutu stands with both arms raised above hear head, with a wooden floor and big window in a background
prompt: a ballerina is stretching next to a bar in ballet class, front leg raised, in big white tutu, wooden floor and yellow wall in background
prompt: a ballerina in big light pink tutu jumps on the stage, with dark brown curtains in a background