Кроличьи плюшки. Обучение нейросети.

Цель проекта — обучить нейросеть Stable Diffusion рисовать специфический объект — плюшевого зайчика, сохранив при этом все его особенности в виде цвета, телосложения и посадки глаз, сохранить узнаваемость персонажа, чтобы в каждой генерации он выглядел одинаково.

Исходными изображениями послужили 12 фотографий плюшевого кролика, сфотографированного с разных ракурсов и на разных фонах для более эффективного обучения нейросети. Разрешение фотографий — 512×512, изначально был выбран размер 1800×1800, но впоследствии пришлось от него отказаться для ускорение обучения.

Для обучения я использовала Kaggle и исходный код, что был указан в задании, работающий с DreamBooth LoRA на базе Stable Diffusion XL. Отобрав датасет из 12 фотографий игрушки, я откадрировала их в квадратный формат 1800×1800 (который позже изменила на 512×512 из-за слишком долгого обучения нейросети)

Нейросети удалось удачно передать персонажа во всех генерациях — остался неизменным цвет, пропорции, посадка глаз и бархатистая текстурка шерсти. Персонаж смотрится цельно на всех фотографиях.

Иногда у нейросети случались небольшие ошибки в изображениях, но это было достаточно редко

Такие ошибки в генерации фона зачастую исправляются более точным описанием того, что мы хотим увидеть, например «a photo of bunny sitting on a sunny beach» — нейросеть сразу понимает, что за фон нужно вставить и не «додумывает» все самостоятельно.

В итоге нейросеть успешно научилась генерировать определенного персонажа, почти в идеале сохранив всего его отличительные качества из генерации в генерацию, даже несмотря на довольно скромный датасет. В основном помогло то, что фотографии были сделаны с разных ракурсов.