Введение
Идеей данной работы стало желание натренировать модель, способную генерировать интерьеры и локации, вдохновленные серией игр Silent Hill. Игра является достаточно культовой и обладает своим определенным стилем (в частности это относится к 1 и 2 части серии). Помимо определенного фильтра и стиля, была попытка разнообразить элементы, натренировав модель на основе заброшенных и полуразрушенных интерьеров.
Начало работы
Подготовим рабочую среду и загрузим необходимые материалы.
Импортируем наши датасеты.
Подготовим наши изображения для первой модели и дадим ей prefix
Проделаем то же самое, но с другим датасетом.
Обучение модели
Запуск обучения второй модели.
Тестироваение модели
После того, как я научил модель, хочу протестировать то, насколько удачно она может передавать стиль Silent Hill. Поэтому начну с генерации кухни
Кухня — 1 тестовая генерация prompt = «room interior in style of SILENT HILL, kitchen»
Кухня — вторая тестовая генерация prompt = «room interior in style of SILENT HILL, kitchen»
Получается в целом приближенно к стилю игры, даже есть прорисовка каких-то маленьких объектов, однако пока слабое попадание в качественную светотень.
В случае с гаражом все намного лучше, больше объектов и лучше светотень. Также остается свойственный игре фильтр prompt = «style of SILENT HILL, garage»
prompt = «destroyed rusty interior in style of SILENT HILL, laundry room» / prompt = «style of SILENT HILL, laundry room»
Отлично получаются объекты в генерации прачечной комнаты, также при незначительном изменении настроек промпта добавляется более мрачная и грязная атмосфера.
Попробуем сгенерировать детскую комнату.
prompt = «destroyed interior in style of SILENT HILL, kids room» / prompt = «interior in style of SILENT HILL, kids room»
Это дается модели чуть сложнее, но с изменением промпта со второго раза получается приближенный к тому, что хочется видеть, результат.
prompt = «interior in style of SILENT HILL, corridor»
Теперь загрузим вторую модель и протестируем ее работу.
Попробуем начать с спальни.
prompt = «ABANDONED bedroom» / prompt = «ABANDONED modern interior bedroom»
Отлично получается передать как общую картину, так и мелкие объекты и светотень.