Жить при 451°

Исходная серия была создана как визуальная интерпретация романа Рэя Брэдбери «451° по Фаренгейту». В коллажах я использовала красно-чёрную палитру, фрагменты печатных страниц, крупные угловатые формы и ручную бумажную аппликацию.В этом проекте я решила продолжить этот визуальный мир за пределами сюжета книги. Для этого я обучила LoRA на собственных коллажах и проверила, сможет ли модель перенести их визуальный язык на новые объекты и ситуации.

Перед обучением я выделила признаки, которые повторяются в исходных коллажах: красное поле, крупные чёрные угловатые формы, фрагменты печатного текста, высокий контраст и ощущение ручной бумажной аппликации.При этом в большинстве работ присутствуют человеческие или антропоморфные фигуры. Мне было интересно проверить, воспримет ли модель их как содержание отдельных изображений или тоже начнёт считать частью визуального языка.

Обучение проходило в Kaggle с использованием GPU. Сначала я проверила доступность CUDA и убедилась, что платформа корректно видит все 11 изображений исходного датасета.

Для обучения я использовала официальный training script Diffusers для SDXL LoRA. Перед запуском я подготовила рабочее окружение и подключила необходимые библиотеки.

Для каждого изображения я подготовила отдельное текстовое описание. Во всех caption использовался общий триггер abrocollage style, который обозначал визуальный язык серии и помогал объединить изображения в один обучаемый стиль.

После проверки датасета я запустила обучение LoRA на базе Stable Diffusion XL. Модель обучалась 500 шагов при разрешении 512 × 512 px. Для обучения использовались индивидуальные captions и общий триггер abrocollage style.

Обучение завершилось после 500 шагов. Модель обучалась на 11 изображениях, после чего были сохранены веса LoRA в формате .safetensors. Полученную модель я использовала для дальнейших генераций и проверки переноса визуального языка.

Чтобы проверить, действительно ли LoRA переняла визуальный язык исходной серии, я сравнила результаты базовой Stable Diffusion XL и той же модели после подключения обученной LoRA. Для сравнения использовались одинаковые запросы и одинаковые seed для трёх сюжетов: города, цветка и кота.

После подключения LoRA изображения стали заметно ближе к исходной серии: появились красно-чёрная палитра, печатная фактура, крупные чёрные силуэты и ощущение ручного бумажного коллажа. Базовая SDXL этих признаков практически не воспроизводила.