Обучение генеративной нейросети Stable Diffusion стилю игры DISCIPLE: MANTIS

Для реализации этого проекта я обучила генеративную нейросеть Stable Diffusion генерировать изображения в стиле игры DISCIPLE: MANTIS — проекта, который я разрабатываю в этом году с моей командой в рамках дисциплины «Специальное проектирование».

DISCIPLE: MANTIS — body-horror шутер, основанный на комбинациях. Игрок не может наносить урон врагам напрямую, вместо этого он наносит символы, которые, собираясь в комбинации, могут создавать разные эффекты.

У игры запоминающийся и оригинальный визуальный стиль. Мне стало интересно узнать, какие изображения сможет предложить нейросеть, работающая в его рамках и сможет ли она создавать таких же уродливых и неестественных персонажей.

Проект может иметь практическое применение:

1. Генерация контента в стиле игры даст идеи и вдохновение для новых персонажей и локаций.
2. Можно использовать генерации для продвижения в социальных сетях, например, предложить аудитории угадать, где реальный контент из игры, а где сгенерированный.
3. Если сделать модель публичной, это поможет в создании фанатского контента и пользовательских модификаций без искажения визуального стиля игры.

Для создания проекта я выбрала среду Kaggle. Для обучения модели и генерации изображений использовались такие инструменты как LoRA, Stabble Diffusion XL и Hugginface.

Я загрузила в блокнот датасет из 100 изображений — скриншотов и артов из игры, созданных мной и моей командой. В нем содержались персонажи, локации, принты и текстуры.

Визуальный стиль игры имеет несколько отличительных особенностей: — Преобладает красно-черно-коричневая цветовая гамма — Штрихованый мультяшный шейдер — В отличие от трехмерного окружения персонажи собраны из двухмерных плейнов и похожи на картонных кукол

Мне было важно, чтобы эти черты были отражены в результирующей серии изображений.

Я загрузила все необходимые библиотеки и добавила датасет в Kaggle с помощью команды Upload dataset. Затем я убедилась, что изображения действительно загрузились.

После этого я сгенерировала подписи к изображениям с использованием уникального промпта для генерации в специфическом стиле.

Нейросеть практически везде точно описала содержание изображений.

Наконец я зарегистрировалась на платформе Hugging Face и получила уникальный токен, чтобы другие тоже могли использовать мою модель.

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

После этого я выставила оптимальные настройки и запустила процесс обучения модели.

Для начала я попробовала сгенерировать комнаты, аналоги которых уже есть в игре.

Промпт 1: photo in DISCIPLE style, abandoned dark cartoonish children’s room. Промпт 2: photo in DISCIPLE style, a ruined kitchen stained with red blood.

Нейросеть отлично считала главную особенность стиля — штрихованную текстуру. Также она хорошо попала в цветовую гамму. Однако не хватало четкости краев и я добавила в промпты фразу «cartoon style with clear outlines of objects». Результат улучшился.

Я сравнила генерации с исходными изображениями и сделала вывод, что созданные картинки можно использовать в концепт арте.

Так как результат меня удовлетворил, я решила создать комнату, которой еще нет в игре, чтобы использовать ее в проектировке будущих локаций.

Я задала промпт для генерации ванной комнаты: photo in DISCIPLE style, big and spacious 3d bathroom, clear black outlines of objects.