Обучение генеративной модели Stable Diffusion под стиль Mystic Messenger
Цель проекта
В игре Mystic Messenger много иллюстраций, имитирующий съемку с камеры телефона. Все они вертикальные, на них нередко встречаются лица персонажей и их быт. Я хочу обучить модель создавать такие же изображения, и для этого я собрала датасет из 106 фотографий.
Mystic Messenger — игра в жанре отомэ (визуальная новелла или симулятор свиданий) для смартфонов и планшетов, выпущенная корейской компанией Cheritz в 2016 году.
Обучение
Модель обучалась с помощью Stable Diffusion XL (SDXL), DreamBooth и LoRA. Обучение шло с шагов 400 и заняло 38 минут.
Без учета времени сбора изображений, так как они были взяты из собственной библиотеки и преобразованы под формат 512 на 512 в дальнейшем.
Несколько примеров из библиотеки.
Описание применения генеративной модели
LORA: mysmes_LoRA prompt: mystic messenger artstyle
Сам процесс заключался в переписи всех изменяемых моментов в коде, для лучшего освоения материала и удобного использования.
Далее происходило созданием токена через Hugging Face, его настройка и вставка в код.
В том числе большое количество времени отняло загрузка всех этапов Setup и настройка\обучение Stable Diffusion XL (SDXL) в Google Colab.
Названия и импорт изображений.
Импорт моделей.
Первая генерация.
Первая проба генерация оказалась весьма неудачной, все же оригиналы имеют относительно нормальные черты лица с легкой формой стилизации.
Думаю поэтому и присутствует «несуразность» на первых этапах генерации.
1. mystic messenger artstyle, portrait of a happy blonde-haired woman, black background (первая попытка) 2. mystic messenger artstyle, portrait of a white-haired man, lokking in the camera
Итоговые генерации
Несколько генераций спустя картины стали лучше и качественнее отражали стиль новеллы.
mystic messenger artstyle, photo of a street in japan
1. mystic messenger artstyle, a cup on the empty wooden desk 2. mystic messenger artstyle, a dark-haired woman looking in the sky (1)
1. mystic messenger artstyle, a photo of a table with dinner, candle and a rose 2. mystic messenger artstyle, a red-haired waiteress in the cafe holding menu 3. mystic messenger artstyle, a waiteress in the cafe in front of a bar 4. mystic messenger artstyle, barista in the cafe
1. mystic messenger artstyle, black-haired man with flowers in his arms 2. mystic messenger artstyle, city seoul photo
1. mystic messenger artstyle, many flowers in a man’s hand, photo made by phone 2. mystic messenger artstyle, painting portrait of a beautiful woman
mystic messenger artstyle, yummy breakfast with eggs and sausage
Итог
В конце концов, я довольна результатом, он оказался более чем достойным и возможным для дальнейшей реализации собственных сюжетов в генерируемых иллюстрациях.
Модель все еще надо обучать для более чистого итога, но начало положено и оно выглядит отлично!
