Застрять Дома // Обучение генеративной нейросети
КОНЦЕПТ
Homestuck — популярный веб-комикс авторства Эндрю Хасси, который выпускался с 2009 по 2016 годы. Он зацепил людей не только интересными персонажами и запутанными сюжетными поворотами, но и уникальным визуальным стилем.
Примеры исходных изображений для генерации Иллюстрации из веб-комикса Homestuck
Простые формы в окружении множества мелких деталей, стилизованная анатомия, уникальные для каждого персонажа глаза и прически — за этим стилем некоторые художники повторяют до сих пор, создавая свои веб-комиксы, ссылающиеся на оригинал.
В своем проекте я хотела бы изучить, насколько хорошо нейросеть сможет повторить за такими простыми, но в то же время довольно живописными изображениями, а так же посмотреть какие элементы она будет заимствовать в своих генерациях.
ОБУЧЕНИЕ
Для начала мне потребовалось импортировать датасет в определенную среду выполнения, которой выступил Google Colab.
Датасет состоит из 20 изображений: все они взяты из оригинального вебкомикса.
Чтобы проверить как все прошло я просматриваю импортированные изображения.
Превью импортированных изображений
Каждый файл датасета получил свой промт. Таким образом нейросеть сможет понять, что именно рисовать в ответ на кастомные запросы пользователя.
После этого можно подключить модель Hugging Face, которая позволит обучить нейросеть на наших примерах.
Подключение Hugging Face через токен доступа
Нейросеть обучается на примере датасета и после этого создает полноценную модель, через которую и идет генерация изображений.
Этот процесс занял больше всего времени и, честно, только из-за этого был самым нервным, но все воздается, когда ты видишь что твоя модель зарегистрирована и готова к работе.
Ссылка на созданную модель
РЕЗУЛЬТАТ
Результаты генерации promts: a woman sitting on a rock with a red heart, a woman in a pink dress is running through a park, silhouette of a woman in a dress, a girl in a black dress and red shoes
В качестве тестовых результатов я попробовала сгенерировать картинки, с теми же промтами, которые программа увидела на оригинальных изображениях.
Результаты генерации promts: boy in a blue shirt and headphones sitting on the floor, a man is standing in front of a swan, a person in a suit holding a knife, a person with glasses and a green shirt
РАЗБОР
Самой запоминающейся частью стиля веб-комикса является то, как нарисованы персонажи. Графичные прически, простые выражения лица с частым фокусом на очки, незамысловатая анатомия.
Схожести в анатомии, лицах и прическах персонажей promt: «photo collage in HOMESTUCK PANEL style, a person in a suit and tie holding a knife»
Так же нейросеть хорошо скопировала наряды, позы и динамику на рисунках, так же как и множество мелких деталей на фоне.
Схожести в нарядах и позе promt: «photo collage in HOMESTUCK PANEL style, a girl in a black dress and red shoes is flying through the air, colorful picture»
Многие динамические сцены в веб-комиксе сопровождаются «рваными» тонкими линиями, выделяющие детали на фоне и одежду персонажей, это нейросеть тоже учла.
Схожести в изображении фонов и эффектов promt: «photo in HOMESTUCK PANEL style, silhouette of a woman in a dress»
По итогу заметно, что ИИ довольно быстро улавливает основные детали стиля и может передать их в генерируемых изображениях, но для этого нужно дольше и внимательней обучать нейросеть.
Это время можно потратить на то чтобы научиться рисовать подобные иллюстрации самому.
ССЫЛКИ
Stable Diffusion — генерация изображения с помощью текстового запроса
Hugging Face — обучение нейросети своему стилю
