Обучение генеративной модели Stable Diffusion под стиль Ганса Гигера
Гигер Рудольф Гигер (1940–2014) — швейцарский художник, известный своими картинами в жанре фантастического реализма, в которых сочетаются биологические и механические элементы. Моя цель — дообучить нейросеть, чтобы она могла генерировать изображения, вдохновленные его стилем.
Для этого я собрала датасет из 17 изображений работ Гигера. Эти изображения станут основой для дообучения модели Stable Diffusion.
Особенностью техники Ганса Гигера было использование аэрографа, позволяющего создавать тонкие и детализированные изображения.
Ганс Гигер / Решетчатая структура / 1983
Художник работал без предварительных набросков, начиная с верхнего левого угла и постепенно продвигаясь к правому нижнему. Этот метод позволял ему достигать высокой концентрации и полного погружения в процесс. В поздний период своей карьеры Гигер перестал использовать аэрограф и редко демонстрировал свою технику.
Моя цель — обучить нейросеть воссоздавать характерные черты работ Гигера, такие как высокая детализация, гармоничное сочетание биологических и механических элементов, а также использование специфической цветовой гаммы.
Примеры исходных изображений для обучения
Ганс Гигер / Биомеханический пейзаж / 1984
Ганс Гигер / Биомеханический пейзаж / 1977
Ганс Гигер / Нью-Йорк / 1980
Ганс Гигер / Нью-Йорк — Метро / 1981
Процесс обучения
Обучение генеративной модели происходило в среде Google Colab.
Этапы:
- Создание дадасета (загрузка исходных изображений (17) через Google Disk)
- Приведение изображений к нужному формату
- Создание директорий
- Подбор промптов к исходным изображениям с помощью модели BLIP
- Подключение Hugging Face
- Запуск обучения
- Сохранение модели в Hugging Face Hub
- Генерация изображений с помощью обученной модели
Код:
Загрузка исходных изображений
Приведение изображений к нужному формату
Этап создания директорий, проверка
Подбор промптов к исходным изображениям с помощью модели BLIP
Подключение Hugging Face
Запуск обучения
Сохранение модели в Hugging Face Hub
Итоговая серия изображений
В ходе тестирования было найдено, что наиболее подходящий коэффициент lora_scale равен 0.8.
Чтобы изображения были объединены серией, давайте сгенерируем домашних животных в стиле Ганса Гигера!
Промпт: «painting in Hans Giger style, kittens and puppies run»
Промпт: «painting in Hans Giger style, goldfish swim in circles»
Промпт: «painting in Hans Giger style, parakeets chatter»
Промпт: «painting in Hans Giger style, bunny rabbits hop around»
Промпт: «painting in Hans Giger style, snails leave slimy trails»
Промпт: «painting in Hans Giger style, Pet rats enjoy running mazes»
Итог
У меня получилось создать картинки в соответствующей стилю художника Ганса Гигера цветовой гамме, многофигурной композиции и характерной детализации.
