AI May Cry | Обучение генеративной нейросети
Концепция проекта
Начало учебного курса по Нейросетям удачно совпало с началом моего изучения мира Devil May Cry, что и повлекло за собой создание проекта на тему одноимённой игры.
Целью проекта является обучение генеративной нейросети Stable Diffusion для создания образа Данте из Devil May Cry, потому что этот персонаж — не просто герой игры, а культурный архетип, который объединяет в себе анархизм, харизму, трагедию и иронию. В эпоху цифрового искусства и ИИ, мне стало интересно, насколько обученная мной нейросеть сможет передать не только визуальный стиль, но и дух персонажа?
Надо отметить, что «донором» к генерациям стали снимки именно из третьей части игры.
Кто такой Данте из Devil May Cry?
Devil May Cry — это культовая серия из шести экшен-игр от Capcom, в центре которой — охотник на демонов по имени Данте. Первая игра вышла в 2001 году, и с тех пор серия стала одним из главных представителей жанра stylish action — акцент в бою делается не только на эффективность, но и на зрелищность, ритм и креативность.
1 фото — третья серия игры «Devil May Cry 3: Dante’s Awakening», 2 фото — Пятая серия игры «Devil May Cry 5»
Кадр из «Devil May Cry 3: Dante’s Awaking»
«Данте главный герой серии Devil May Cry. Сын демона Спарды и земной женщины Евы. У него есть старший брат-близнец Вергилий. Данте — охотник на демонов; он гоняется за теми, кто убил его мать и поработил брата».
Обложка для видео-игры на консоль Nintendo Switch, изображён упоминаемый Данте
Как гласят источники, дизайнер игры Devil May Cry Хидэки Камия задумывал Данте как «крутого и стильного» мужчину и при создании брал за основу образ главного героя манги Cobra. В ответ на критику игры Devil May Cry 2 (2003), где Данте стал более молчаливым и серьёзным, Capcom переосмыслила его личность в приквеле «Devil May Cry 3: Dante’s Awakening» (2005), показав молодого и самонадеянного Данте. Образ Данте в Devil May Cry 3, в сравнении с другими частями, имеет свои сходства и отличия, но это не делает менее выразительным визуальный стиль. Ключевые элементы включают красную куртку, белые волосы, полуоткрытую грудь, резкие движения и характерный сарказм героя. Персонаж сочетает в себе черты бунтарства и трагизма, а также проявляет одновременно харизму и гнев. При этом его внешний облик и манера поведения выступают средством выражения боли, протеста и стремления к свободе.
Для сравнения Данте из 1 по 5 часть (по порядку слева направо)
Обучение генеративной сети Stable Diffusion
Датасет я составила из пятнадцати самых качественных и, возможно, самых понимаемых нейросетью изображений Данте.
Примеры кадров из датасета
Ещё пример из датасета
Обучение нейросети было сделано на основе учебного предоставленного нам файла. Одними из первых действий была установка ключевых библиотек и скачивание скрипта:
Пример из кода
Ниже будут представлены получившиеся изображения и ссылка на код моего проекта, для подробного ознакомления.
Нейросеть хорошо передала атмосферу игры и дух персонажа, хоть и с некоторыми артефактами
Ещё генерация
Стиль изображений в целом полуразмытый, нейросеть это хорошо считала, в стиле игры 2005 года
Подводя итог, не смотря на то, что изображения получились с артефактами, в целом, обученная мной нейросеть неплохо передела общую атмосферу игры, стилевые особенности персонажа и его дух.
Описание применения генеративной модели
1. Учебный код проекта использовала в качестве примера обучения нейросети 2. Обучение модели: BLIP image captioning base от Salesforce применяла для генерации описаний к изображениям (Image Captioning) 3. Дообучение модели: Stable Diffusion XL с использованием техники LoRA (Low-Rank Adaptation) применяла для генерации изображений 4. Библиотеку от Hugging Face — Diffusers, я использовала для обучения кастомной версии SDXL
