Идея проекта
Мне захотелось обучить генеративную нейросеть Stable Diffusion для генерации персонажей в стиле игры, которую мы разрабатываем в соавторстве с Игнатом Капленко, Натальей Абаджиди и Кириллом Кузовковым. Эта игра называется THE CODFISH, криминальная нарративная 2,5D адвенчура о юной треске-убийце, пытающейся искупить вину, вспомнить прошлое, подчинить своей воле настоящее и взять в плавники будущее.
Главная цель проекта — посмотреть, насколько похоже сумеет нейросеть попасть в мой стиль, специфический для нашего кураторского проекта, а также то, как будут результаты генераций походить на наши ассеты в игре [персонажей].
Была собрана папка из квадратных изображений, которые являются моими собственными артами для нашей игры. Это арты игровых персонажей. Все они выполнены в одной цветовой гамме и одном стиле. Цель этого проекта была именно в том, чтобы нейросеть сумела попасть в мой стиль, соблюсти цветовую гамму и правильно изображала гуманоидных рыб.
Список использованных в проекте инструментов:
— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Google Colab — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — Adobe Photoshop — для коллажирования готовых работ.
Исходные изображения персонажей
Несколько женских персонажек THE CODFISH
Для игры мне пришлось разрабатывать свой визуальный стиль, в том числе и для персонажей. Было решено использовать ограниченную цветовую палитру, а также: — Зеленоватую обводку; — Минималистичный покрас с плоскими тенями; — Гуманоидные тела рыб; — Чёрный плавный лайн; — Единообразные позы персонажей.
Несколько мужских персонажей THE CODFISH
Описание процесса обучения
Сначала потребовалось загрузить все необходимые для работы библиотеки: Diffusers, DreamBooth и так далее.
Далее нужно было загрузить изображения с компьютера в Google Colab. Это сделано это через встроенную в Colab функцию. Затем нужно было посмотреть, что изображения действительно загрузились.
Фрагменты кода
Затем было необходимо создать подписи к каждому изображению. Это всё ещё был процесс подготовки моего датасета к тренировке нейросети.
Когда были готовы подписи, стало видно, что нейросеть дала абсолютно точные подписи к каждому изображению. Это говорит о том, что всё работает корректно, и мои рисунки действительно распознаются нейросетью.
Фрагменты кода
Далее был произведён логин с системой Hugging Face.
Наконец, приступаем к тренировке. Выбрано разрешение 512, выставлен максимальный шаг тренинга на 500, а чекпоинт установлен на 250. Так было сокращено время, затраченное на тренировку нейросети, и мне пришлось ждать всего полчаса.
Фрагмент кода: обучение
Наконец можно было сохранить полученную модель на Hugging Face и приступить к генерации изображений.
Фрагменты кода
Первым промптом, который был попробован, стал промпт: photo collage in THE CODFISH style, cod fish, wearing dress
Поскольку была допущена ошибку и оставлено слово «коллаж», которое использовал преподаватель в лекции, результат вышел близким к моим рисункам по стилю, но абсолютно неудовлетворительным в плане внешнего вида.
Первая генерация vs мой рисунок
Цветовая палитра, анатомия рыбы, стиль, метод рисования одежды — всё это очень похоже на то, что я изображаю в своих рисунках с рыбами. Не обращая внимание на «поломанность» результата, я считаю, что у меня удалось обучить нейросеть моему стилю.
Следующие генерации с таким же промптом оставляли желать лучшего в плане адекватности готовой картинки.
Вторая генерация vs мой рисунок
Было решено убрать из промпта слово collage и поменять его на art, а также добавить конкретики: art in THE CODFISH style, antro cod fish, wearing dress, standing alone, holding a flower in her hand.
Результаты генераций