Обучение генеративной нейросети под стиль meshoklv
Данный проект посвящен исследованию возможностей генеративных нейросетей, в частности модели Stable Diffusion, в области персонализированного художественного творчества. Ключевая идея заключается в обучении нейросети на ограниченном наборе данных, состоящем исключительно из авторских работ художника meshoklv (автора проекта). Эти работы выполнены в узнаваемом стиле абстрактной 3D-графики с использованием программного пакета Blender.
Отличительной чертой этого стиля является акцент на «стеклянной» эстетике: преобладание прозрачных, полупрозрачных и глянцевых материалов, формирующих сложные абстрактные композиции. Ключевыми визуальными элементами являются многочисленные отражения, реалистичные преломления света, каустика и игра бликов на поверхностях. Особое внимание уделяется сложным, переливающимся цветовым градиентам, преимущественно в синей, красной и розовой гамме, которые взаимодействуют со светом на стеклянных формах. Высокая контрастность дополнительно подчеркивает эти эффекты. Цель проекта — «научить» модель Stable Diffusion (через LoRA) улавливать и воспроизводить не только общие формы и цвета, но и эти специфические свойства материалов и сложную игру света, присущие стилю meshoklv.
Исходные изображения
Оригинальность и актуальность
В отличие от большинства исследований, использующих датасеты известных художников или общие стили, данный проект фокусируется на воспроизведении индивидуального, еще не канонизированного стиля современного цифрового художника (автора проекта).
Обучение нейросетей на абстрактном искусстве представляет собой интересный вызов, так как модели сложнее уловить закономерности в отсутствии четких объектов. Дополнительную сложность и новизну вносит использование в качестве источника 3D-рендеров, обладающих специфическими характеристиками освещения, текстур (даже если они минималистичны) и объемности, которые ИИ должен интерпретировать и перенести в 2D-генерацию.
Проект позволяет исследовать, какие именно аспекты стиля (форма, цвет, контраст, композиция, «ощущение» 3D) нейросеть способна усвоить и воспроизвести наиболее успешно при обучении на кастомных данных.
Сгенерированные изображения
Анализ серии изображений
Представленная серия изображений, созданная с использованием дообученной LoRA-модели, показывает, что модель способна довольно точно воспроизводить стиль художника meshoklv. Качество генерации стабильное и визуально убедительное, что даёт основания считать модель перспективной для дальнейшей работы и уточнения стилистики.
Передача градиентов и контрастов
Один из сильных моментов — аккуратная работа с градиентами и переходами цвета. Модель справляется с мягкими, но выразительными переливами, что создаёт ощущение глубины и движения. Контрасты не перегружены и используются грамотно — как в оригинальных работах.
Элементы 3D-эстетики
Хорошо переданы ключевые визуальные элементы, характерные для 3D-графики: специфическое освещение, ощущение глянцевых или гладких поверхностей, реалистичные блики. Всё это приближает генерации к визуальному языку, с которым работает meshoklv в своём 3D-окружении.
Новые формы в рамках стиля
Модель не ограничилась копированием: она предложила несколько новых форм и решений, которые, несмотря на новизну, органично вписались в общий стиль. Это говорит о том, что LoRA не просто повторяет, а начинает интерпретировать, что важно для развития генеративной графики.
Разнообразие по детализации
В серии заметен диапазон: от сложных, насыщенных композиций до более простых и минималистичных решений. При этом все работы остаются в рамках одной визуальной системы. Такая вариативность соответствует подходу самого автора, который в своих работах тоже экспериментирует с уровнем детализации.
Серия показывает, что дообучение прошло успешно. Модель в целом уловила и воспроизвела ключевые черты стиля meshoklv. Разумеется есть потенциал для дальнейшего улучшения, но думаю, результат можно считать удачным примером переноса авторского стиля в генеративную модель.
Описание процесса обучения
Обучение кастомной LoRA-модели проводилось в облачной среде Google Colab, используя вычислительные ресурсы графического ускорителя NVIDIA T4. Необходимые библиотеки, включая PyTorch (+CUDA), Diffusers (из исходников), Transformers, Accelerate, BitsandBytes, PEFT и Datasets, были установлены через pip в Colab. Обучающий датасет состоял из 50 авторских работ meshoklv (абстрактная 3D-графика из Blender со «стеклянными» эффектами, отражениями и сине-красно-розовой палитрой), подготовленных в формате 1:1 и загруженных с Google Drive в сессионное хранилище Colab. Изображения были аннотированы с помощью BLIP с добавлением уникального префикса для усиления стилизации, результаты сохранены в metadata.jsonl. Дообучение методом LoRA выполнялось на базе модели SDXL 1.0 с VAE sdxl-vae-fp16-fix.
Использование других генеративных моделей ИИ в проекте:
Помимо дообученной модели Stable Diffusion XL (LoRA), в проекте для технических и креативных задач была использована большая языковая модель (LLM).
Модель: Gemini 2.5 Pro Preview Платформа доступа: Google AI Studio (https://aistudio.google.com/)
Цели использования: Помощь в написании и отладке кода для подготовки данных и запуска обучения нейросети. Генерация идей для проекта и возможных вариаций стиля. Разработка и генерация текстовых запросов (промптов) для тестирования обученной LoRA-модели и создания итоговой серии изображений.
