НЕЙРОФИЛЬМ СИНЬ

Проект «НЕЙРОГЕН» — это творческое комьюнити, целью которого был эксперимент по созданию короткометражного фильма («Синь»), полностью сгенерированного нейросетями. Для авторов это была возможность на практике изучить новый формат кинопроизводства, проверить, можно ли применить классические знания о режиссуре и анимации в условиях работы с ИИ, и выразить своё авторское видение через этот современный инструмент

Ключевым экспериментом был перенос традиционного кинопроизводственного пайплайна в цифровую среду, где вместо камеры и актёров используются текстовые промпты и нейросети. Это стремление создать глубокую и откликающуюся работу, наделённую душой, несмотря на технологичную основу

Команда объединила людей с разным бэкграундом, что позволило подойти к проекту с разных, но взаимодополняющих сторон

Азалия Калимуллина — художественный руководитель, продюсер, основатель объединения «Нейроген», HSE ART AND DESIGN SCHOOL

Полина Килина — режиссер анимации, нейроартист, ех-участница «Щелочь», выпускница ВГИК, мастерская В.А.Ольшванга

Софья Цендаль — режиссер, сценарист, нейроартист, студентка ВГИК, мастерская В. И. Хотиненко

Андрей Щербин — звукорежиссер, композитор, студент ГИТР

Процесс начинался строго по лекалам традиционного препродакшена. Был разработан сценарий и нарисована раскадровка. Это был необходимый фундамент, так как именно раскадровка служила основным руководством для последующей генерации кадров

Одной из самых сложных и интересных задач было создание достоверного визуального образа Сергея Есенина. Команда нашла и восстановила с помощью апскейла архивные фотографии поэта. На их основе была обучена специальная LoRA (Low-Rank Adaptation) на базе Flux в Krea — модель, которая позволяла нейросети генерировать изображения с узнаваемыми чертами Есенина. Это позволило добиться исторической достоверности

В процессе обучения и генерации, конечно, были и казусы. Первая LoRA, обученная преимущественно на портретах поэта, генерировала карликов в смешном пальто. Проблема решилась созданием второй LoRA, где из первой лоры были добавлены удачные генерации Есенина в полный рост и его архивные фотографии

На этапе препродакшена была идея сделать Есенина в виде куклы и уйти в имитацию стиля кукольной стоп-моушн анимации, но выcшей планкой было добиться его реалистичности, как живого человека

Задавались также этическим вопросом: по сути мы воскрешаем известного человека и используем его образ и творческое наследие в своих целях. Но данная дилемма разрешились посредством того, что и в традиционном кино часто спекулируют на темах известных личностей, также стремясь к достоверности и похожести актера на знаменитую персону

Прямого копирования стилей других творцов авторы избегали. Черпали вдохновение из самой темы (творчество Есенина, русская природа, церковная архитектура) и использовали «чистый текстовый промпт», полагаясь на своё внутреннее видение и знания, полученные из своей личной практики в работе с нейросетями. Для каждого промпта использовалась простая формула. Также в Midjourney почти всегда использавалась персонализация

Изначально команда Нейрогена планировала создать 60 эталонных кадров для фильма в Midjourney и обучить на них лору на стиль в Krea. Выяснилось, что не смотря на обучение кадрами в том числе с изображением православных церквей Flux всё равно будет генерировать кадры с протестанскими церквями. Стиль картинок команду также не удовлетворил. В дальнейшем в Krea команда генерировала только Есенина, а окружение меняли в Midjourney. Цикл производства фильма наконец-то был сформирован

Процесс постобработки (inpainting) сгенерированных изображений был кропотливым и напоминал работу цифрового художника или аниматора

Было: Сгенерированное изображение Есенина, где фон не соответствовал задумке (например, неуместный интерьер или абстрактный пейзаж)

Стало: С помощью инструментов вроде Midjourney или Krea старый фон затирался, и генерировался новый, соответствующий сцене (например, убирались провода и современная обувь героев). также часто приходилось пользоваться программой Photoshop, чтобы закомпоузить разные удачные кадры, накинуть эффекты и выровнять по цвету