Ida Universe

За основу проекта я взял датасет из картин современной абстрактной художницы Иды Экблад, так как мне было интересно посмотреть на то, как они изменят простые сюжеты в процессе генерирования.

Подобную работу я выполнял впервые, поэтому в качестве эксперимента я решил не собирать огромную базу данных и начать с малого.

Сразу после установки всего необходимого я выгрузил свои картинки-референсы в среду, в которой работаю.

Проверив, что изображения открываются, я импортировал модель и создал изображениям заголовки.

После всего я обратился к папке с изображениями и сгенерировал префиксы. Так у каждого моего изображения появился промт.

Для следующего шага я зарегистрировался на сайте Hugging Face и получил токен. Затем внес его в Colab и таким образом начал обучение нейросети.

Процесс обучения занял 30-40 минут. Благодаря этому получилось сформировать итоговую обученную модель, которую я использую для генерации новых изображений по промту на основе стиля выгруженных мной картинок.

Также я задал параметры выхода на директорий, сохранил в репозиторий и использовал эту модель.

Последний этап — ввод своих промтов.

Для начала теста я взял Нью-Йорк, как одно из самых популярных мест на планете, мне было интересно посмотреть на результаты и они, как мне кажется, получились отличными. Я два раза вводил один и тот же промт, при этом картинки получились разными, первая совсем как картины Иды, вторая больше схожа с реальностью, но также имеет черты ее искусства.

Вторым промтом я взял город Париж, как мое самое любимое место. Здесь получился коллаж в стиле Иды, но с явными элементами реальности, что однако не исключает сюрреалистичности результата.

На последние два варианта я решил поиграться с образами, которые могли бы конкретно подойти под живопись Иды. Первым промтом я выбрал человека, находящегося в космосе на космическом корабле в компании пришельца, так как тема будущего связана с современным искусством. Получилось очень красиво, в работе есть ощущение ностальгии по космосу 1980-х годов. Второй промт — это женщина, находящаяся по среди роскошной спальни с фортепиано. Эту тему я выбрал, так как мне показалось, что в стилистике Иды такая история раскроется интересным образом. Результат не такой поразительный, как предыдущий, однако тоже получилось очень необычно.

Stable Diffusion — обучение генеративной нейросети под свой стиль. https://stability.ai/

Hugging Face — получение токена для обучения нейросети. https://huggingface.co/