Обучение генеративной нейросети Stable Diffusion стилю игры DISCIPLE: MANTIS
ИДЕЯ ПРОЕКТА
Для реализации этого проекта я обучила генеративную нейросеть Stable Diffusion генерировать изображения в стиле игры DISCIPLE: MANTIS — проекта, который я разрабатываю в этом году с моей командой в рамках дисциплины «Специальное проектирование».
DISCIPLE: MANTIS — body-horror шутер, основанный на комбинациях. Игрок не может наносить урон врагам напрямую, вместо этого он наносит символы, которые, собираясь в комбинации, могут создавать разные эффекты.
Кадр трейлера DISCIPLE: MANTIS
Скриншоты из игры DISCIPLE: MANTIS
У игры запоминающийся и оригинальный визуальный стиль. Мне стало интересно узнать, какие изображения сможет предложить нейросеть, работающая в его рамках и сможет ли она создавать таких же уродливых и неестественных персонажей.
Проект может иметь практическое применение:
1. Генерация контента в стиле игры даст идеи и вдохновение для новых персонажей и локаций. 2. Можно использовать генерации для продвижения в социальных сетях, например, предложить аудитории угадать, где реальный контент из игры, а где сгенерированный. 3. Если сделать модель публичной, это поможет в создании фанатского контента и пользовательских модификаций без искажения визуального стиля игры.
ПОДГОТОВКА К ОБУЧЕНИЮ
Для создания проекта я выбрала среду Kaggle. Для обучения модели и генерации изображений использовались такие инструменты как LoRA, Stabble Diffusion XL и Hugginface.
Я загрузила в блокнот датасет из 100 изображений — скриншотов и артов из игры, созданных мной и моей командой. В нем содержались персонажи, локации, принты и текстуры.
Изображения для обучения из игры DISCIPLE: MANTIS
Изображения для обучения из игры DISCIPLE: MANTIS
Изображения для обучения из игры DISCIPLE: MANTIS
Визуальный стиль игры имеет несколько отличительных особенностей: — Преобладает красно-черно-коричневая цветовая гамма — Штрихованый мультяшный шейдер — В отличие от трехмерного окружения персонажи собраны из двухмерных плейнов и похожи на картонных кукол
Мне было важно, чтобы эти черты были отражены в результирующей серии изображений.
ПРОЦЕСС ОБУЧЕНИЯ
Я загрузила все необходимые библиотеки и добавила датасет в Kaggle с помощью команды Upload dataset. Затем я убедилась, что изображения действительно загрузились.
Фрагмент кода
После этого я сгенерировала подписи к изображениям с использованием уникального промпта для генерации в специфическом стиле.
Нейросеть практически везде точно описала содержание изображений.
Фрагмент кода
Наконец я зарегистрировалась на платформе Hugging Face и получила уникальный токен, чтобы другие тоже могли использовать мою модель.
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
После этого я выставила оптимальные настройки и запустила процесс обучения модели.
Фрагмент кода
РЕЗУЛЬТАТ
Для начала я попробовала сгенерировать комнаты, аналоги которых уже есть в игре.
Промпт 1: photo in DISCIPLE style, abandoned dark cartoonish children’s room. Промпт 2: photo in DISCIPLE style, a ruined kitchen stained with red blood.
Сгенерированные изображения в стиле DISCIPLE: MANTIS
Нейросеть отлично считала главную особенность стиля — штрихованную текстуру. Также она хорошо попала в цветовую гамму. Однако не хватало четкости краев и я добавила в промпты фразу «cartoon style with clear outlines of objects». Результат улучшился.
Сгенерированные изображения в стиле DISCIPLE: MANTIS
Сгенерированные изображения в стиле DISCIPLE: MANTIS
Я сравнила генерации с исходными изображениями и сделала вывод, что созданные картинки можно использовать в концепт арте.
Скриншот из игры DISCIPLE: MANTIS
Так как результат меня удовлетворил, я решила создать комнату, которой еще нет в игре, чтобы использовать ее в проектировке будущих локаций.
Я задала промпт для генерации ванной комнаты: photo in DISCIPLE style, big and spacious 3d bathroom, clear black outlines of objects.
Сгенерированное изображение в стиле DISCIPLE: MANTIS
Я перешла к персонажам, они самые детализированные и сложные по стилю.
Я решила проверить, как нейросеть видит героев DISCIPLE: MANTIS без конкретного описания внешности.
Промпт: photo in DISCIPLE style, all objects have black outlines, 2d meat humanoid creature.
Сгенерированные изображения персонажей в стиле DISCIPLE: MANTIS
Я получила интересные силуэты, черты и идеи для увечий будущих персонажей игры. Оба героя получили разный характер и, смотря на их облик, я могу придумать их историю появления и способности. Нейросеть в этом случае стала хорошим источником вдохновения.
Наконец я решила создать то, что будет использоваться непосредственно внутри игры — текстуры для стен, так как нейросеть отлично повторила штрихованость поверхностей.
Я использовала промпт: photo in DISCIPLE style, Wallpaper with a <цвет/узор> pattern.
Выбрала несколько удачных вариантов.
Сгенерированные паттерны в стиле DISCIPLE: MANTIS
Текстуры вышли интереснее тех, что сейчас есть в игре. Я сразу примерила их.
Применение паттернов внутри игры DISCIPLE: MANTIS
ЗАКЛЮЧЕНИЕ
Итак, в рамках проекта с помощью дообученной нейросети я создала: — концепт-арты окружения — концепты персонажей, из которых можно вычленить много идей — текстуры для использования на объектах внутри игры
Таким способом можно создать еще много полезных для разработки вещей и использовать нейросети для вдохновения. Нейросеть на данном этапе не сможет заменить художника, но облегчит генерацию идей и возьмет на себя ремесленные задачи, например, создание паттернов.
