Под полящим солнцем

У вас когда-нибудь было такое чувство, глядя на знаменитые картины, что хотелось бы увидеть, как бы этот художник нарисовал, например корзину с яблоками или уличный фонарь, а сам художник, например, портретист?

Я искренне восхищаюсь творчеством Клода Моне, поэтому в написала генеративный код, который создает изображения по написанному промпту в стиле знаменитого художника, передавая всю атмосферу нежных мазков и легкости, словно рисунок вышел только из-под руки художника.

Хотелось бы отдельно отметить, что работы Клода Моне считаются общественным достоянием и могут свободно использоваться как в персональных, так и в коммерческих целях.

Крайне сложно добиться схожести с каким-то определенным стилем, не имея под рукой достаточно обширного источника исходных изображений, ведь, например, художник никогда не рисовал современные небоскребы, поэтому генеративному коду практически невозможно передать то, как бы художник изобразил тот или иной объект на современной улице.Важно отметить, что Клод Моне каждую свою работу рисует чуть иначе, чем предыдущую, играя с техникой наложения краски на холст, в следствие чего у ИИ модели возникают проблемы с передачей объемного штриха Моне, его живости, поэтому готовыве изображения в некоторой степени теряют свою фактурость и объемность, несмотря на то, что в dataset были добавлены не только картины целиком, но их отдельные элементы для повышения точности.В конечном итоге, даже с учетом некоторых недостатков, получившаяся серия изображений хорошо передает атмосферу работ художника, сохраняет всю чувственность и мягкость его картин и помогает ускорить процесс создания похожих изображений при необходимости, например, для декорации тематических пространств.

— Подключить GPU для большей мощности. Убедиться в подключении и работе видеокарты.

— Поставить библиотеку bitsandbytes для обучения Stable Diffusion XL.

— Установить новейшую версию библиотеки diffusers с GitHub.

— Загрузить train_dreambooth_lora скрипт с GitHub для обучения модели.

— Загрузить исходный материал.

— Проверить загрузились ли изображения.

— Создаем Blip для поиска подписей изображений.

— Через функцию def caption images создать нужные подписи.

— Создать запрос для генерации промпта «photo collage in Monet style» и создать файл с подписями через Json.

— Для обучения модели используется accelerate, позволяющий взаимодействовать с моделью на HuggingFace.

— Создать токен на Hugging Face и подключить ключ от токена в Colab.

— Загружаю необходимые библиотеки. Включаю процесс обучения.

— Указывая новый путь, сохранить модель в huggingface_Hub.

— Сохранить получившуюся обученную я обученной модели, на сайте Hugging Face.

 — Исходную модель загрузить на Stable Diffusion XL и присоединить к модели lora_weights, указав repo_id.

— Создать промпты с необходимым префиксом.

LoRA https://huggingface.co/papers/2106.09685 Dreambooth https://huggingface.co/papers/2208.12242 Blip https://huggingface.co/Salesforce/blip-image-captioning-base Stable Diffusion XL https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0