Motion Capture в кино и видеоиграх: эволюция и сравнение

С каждым годом игровая индустрия всё больше и больше набирает обороты — видеоигры становятся настолько реалистичными, что начинают конкурировать с кинематографом на рынке медиа развлечений. Добиться такой реалистичности позволяет ряд технологических решений, многие из которых были заимствованы из кино. Одно из таких — Motion Capture. Технология захвата движения эволюционирует и активно применяется в индустрии развлечений уже более 20 лет.

В кинопроизводстве технология применяется чаще всего для создания существ или животных. Если раньше все движения персонажей анимировались вручную, то с Motion Capture в тело персонажа «вживается» актер, отыгрывающий роль на специализированной площадке — движения тела человека и его мимика переносятся на цифровые модели персонажей.

В играх же эту технологию стали использовать еще чаще, чем в кино. Motion Capture незаменим не только для интерактивного кино и игр с упором на нарратив — движения живых актёров сейчас захватывают почти во всех средне бюджетных и крупных проектах любых жанров.

Объект исследования: ключевые проекты, оказавшие наибольшее влияние на развитие технологии. В силу жанрового разнообразия, среди видеоигр были выбраны для анализа только те, что стремятся передать максимально реалистичную картинку.

Считается, что предшественником технологии захвата движения является ротоскопирование — покадровая отрисовка актеров и элементов окружения, снятых заранее на кинопленку. Эту технику применяли аниматоры в начале и середине XX-го века.

Первые проекты с использованием мокапа пришлись на 90-е годы. Однако в то время технология не вызвала фурор. Она дорого обходилась в производстве — настолько, что дешевле было анимировать персонажей вручную, — а также не могла похвастаться весомым приростом качества.

Первым персонажем, который смог впечатлить зрителей и перевернуть индустрию, стал Голум из второго фильма трилогии «Властелина колец», вышедшего в 2002 году.

Изначально героя не планировали анимировать при помощи Motion Capture. Но режиссера «Двух крепостей» настолько впечатлила актёрская игра Энди Сёркиса, что тот принял решение использовать малоизвестную технологию и перенести движения и мимику актёра на цифровую модель Голума.

CGI-графику в фильме разрабатывали аниматоры из Weta Digital. Для того, чтобы укратить неизведанный Motion Capture, специалистам пришлось собирать анимацию для Голума из отдельных частей: движения тела и лица актёра записывались отдельно, из-за чего они не всегда корректно состыковывались при анимации.

Впоследствии часть анимаций были переработаны вручную. Так, анимации рук, ног и мимики персонажа были отрисованы заново, с незначительным применением мокапа, по видеоматериалам, записанным на съемочной площадке.

В 2006 году вышел фильм «Пираты Карибского моря: Сундук мертвеца», в котором мокап на себе опробовал Билл Найи. Облачившись в цифровой грим на основе Motion Capture, актёр сыграл персонажа Дейви Джонса.

На лице актёра можно заметить настоящий грим в области глаз и рта — специалисты по CGI-графике из ILM таким образом перестраховались, так как боялись, что при анимации этих зон могут возникнуть артефакты или иные проблемы. Но это и не пригодилось: в отличие от Голума, на цифровую модель Дейви Джонса отлично встала записанная игра актёра.

За время производства «Сундука мертвеца» технология захвата движения совершила существенный скачок: если раньше захват движения происходил в специальном павильоне, после записи на съемочной площадке, то движения актёра фиксировались на самой площадке.

«Аватар», вышедший на экраны в 2009 году, почти каждым своим кадром обязан Motion Capture. Джеймс Кэмерон задействовал технологию практически во всех сценах, создав целый мир человекоподобных существ.

CGI-специалисты, работавшие над картиной, смогли использовать весь потенциал технологии захвата движения и заметно улучшить её. Одним из главных нововведений стало использование виртуальной камеры, фиксирующейся перед лицом, для захвата мимики — так появилась новая технология, именуемая Performance Capture.

Внедрение новой методики позволило мгновенно записывать движения актёров, преобразовывать их в цифровые данные и передавать режиссёру изображение модели на монитор.

Благодаря Performance Capture мимика героев на экране стала практически неотличима от настоящих людей. Вслед за «Аватаром» технологию подхватили и другие игроки рынка.

Спустя 10 лет после роли Голума Энди Сёркис сыграл главную роль в фильме «Восстание планеты обезьян». За это время аниматоры научились в реальном времени фиксировать выражения лиц актеров, и в фильме была применена новая система захвата движения на съемочной площадке, так что Сёркису не пришлось снова по несколько раз отыгрывать свою роль.

Обновленная Motion Capture и её объединение с Performance Capture позволили Сёркису и его коллегам в режиме реального времени наблюдать за тем, как их обезьяноподобные персонажи двигались во время съемок.

Совсем недавно вышедший сиквел «Аватара» привнёс много впечатляющих нововведений как в саму технологию Motion Capture, так и в её применение. Франшизе удалось во второй раз показать если не лучшую, то одну из лучших мокап-анимаций в индустрии.

При создании фильма VFX-специалисты полностью переработали систему фиксации мимики. До этого, начиная от «Властелина колец: Две крепости», для работы с лицевыми анимациями использовалась система FACS. Для того, чтобы привести в движение части лица героя, в старой системе необходимо было вручную смоделировать множество стадий перехода этой анимации — для каждого персонажа отдельно.

Новая система же использует машинное обучение и нейронные сети, которые достоверно вычисляют напряжение мышц лица актёра, поведение кожи и подкожного жира. Благодаря внедрению нейросетей каждый, даже самый незначительный, герой на экране максимально детализирован.

Кроме того, технологию Motion Capture в новом «Аватаре» впервые использовали под водой, на чём настоял режиссер Джеймс Кэмерон. Съемки под водой добавили движениям актёров большей реалистичности.

Технология захвата движения в видеоиграх начинает активно развиваться в начале 2000-х, если не считать небольшие проекты и эксперименты энтузиастов. Примерно в это время в игровой индустрии появляется новый вид игр, которые стремятся походить на кино.

Motion Capture в играх как технология не меняется — меняется способ и сценарии её использования. Например, если для фильма актёру необходимо отыграть сцену в мокапе один раз (если не считать ранние версии технологии, когда актерам нужно было играть одну и ту же сцену по несколько раз), то для игры актеру необходимо записать огромное количество движений, которые впоследствии будут анимироваться на действие пользователя.

У игр существует два сценария, в которых может применяться Motion Capture:

«Катсцены» — сцены, отснятые заранее, на которые не может повлиять игрок. Такие сцены, как правило, очень похожи на отрывок фильма, но созданного полностью в цифровом пространстве.

«Геймплей» — моменты игры, когда персонажем управляет игрок. Анимация для геймплея также создаётся на мокапе, при этом актёр совершает базовые действия: ходьба, движение рук и головы и тд. Это сделано для того, чтобы аниматор «связал» эти анимации с контролером пользователя.

Далее будут обозреваться преимущественно катсцены, так как именно их рациональнее сравнивать с кино.

Silent Hill 2 японского геймдизайнера и сценариста Хидео Кодзимы — одна из первых игр, рискнувших использовать Mocap для создания кинематографичных сцен. Нужно понимать, что на то время вычислительные мощности игровых консолей и ПК не позволяли использовать весь потенциал технологии захвата движения.

Результат вышел не самым убедительным — тонкости новой технологии оказались почти не заметны из-за технических ограничений.

В дальнейшем Хидео Кодзима использовал Motion Capture во всех своих проектах и внёс большой вклад в популяризацию и эволюцию технологии как внутри игровой индустрии, так и за её пределами.

Heavy Rain — игра Дэвида Кейджа в жанре интерактивного кино, полностью построенная на Motion Capture, которая произвела фурор в индустрии развлечений. Демо игры, показанное на конференции Е3 в 2006, демонстрирует небывалую на те времена проработку анимации движения тела и мимики.

Создание анимаций для Heavy Rain разделялось на два этапа: сначала актёры записывали движения тела на павильоне, затем отдельно происходило озвучание и одновременно с этим фиксация мимики.

Тем не менее, на момент выхода игры, в 2010 году, графика в играх всё так же безнадежно отставала от кинематографа, хоть и использовала наработки оттуда.

Стоит отдельно упомянуть про эффект зловещей долины: часто бывает так, что когда цифровые модели пытаются сделать максимально похожими на людьми, у человека подсознательно возникает отторжение. В играх 2000-х и первой половины 2010-х годов это встречается повсеместно — в том числе и в Heavy Rain.

Вслед за Heavy Rain студия-разработчик Quantic Dream принялась за новое интерактивное кино. Beyond: Two Souls вышла в 2013 году, и её выход совпал с новым поколением консолей, прирост в производительности которых был заметен невооруженным взглядом.

Новая игра выглядит в разы реалистичнее, чем её предшественники — за счёт более плавных и детализированных анимаций.

Теперь актёрам не нужно было записывать движения в два этапа: фиксация всех движений и озвучание происходило прямо в павильоне, благодаря маркерам на лицах актеров.

Однако в лицевых анимациях персонажей всё так же можно проследить эффект зловещей долины, хоть и меньше, чем раньше.

Death Stranding — еще одна игра Хидео Кодзимы — произвела фурор в аспекте лицевых анимаций. Для их создания, как в «Аватаре», использовались камеры, зафиксированные на головах актёров. Это позволило максимально детализированно и точно передать мимику актёров на площадке.

Тем не менее, небольшой эффект зловещей долины всё ещё прослеживается в некоторых сценах игры.

The Last of Us Part II, пожалуй, достигла вершины в кинематографичности и реалистичности в игровой индустрии. Используя наработки из кино и игр, создателям удалось добиться впечатляющей картинки, которую бывает трудно отличить от настоящей.

Синтез Motion Capture, Performance Capture и высоких мощностей персональных устройств позволили и вовсе избавиться от эффекта зловещей долины на протяжении всего повествования.

Здесь актёры играли не только людей, но и различных существ. Кроме того для геймплея игры в павильоне были отсняты собаки и лошади, на которых так же крепились маркеры.

Кроме того, Naughty Dog (студия-разработчик The Last of Us Part II) разработала технологию, которая позволяет передавать движения лица актера напрямую в игровой движок, что ранее не представлялось возможным в игровой индустрии.

Проследив эволюцию Motion Capture через призму кино и видеоигр можно сделать ряд выводов.

Во-первых, подходы работы с технологией захвата движения у специалистов в обеих индустриях почти не отличаются. Если не брать в расчёт геймплейную составляющую игр, а сравнивать создание игровых катсцен и создание сцен для фильмов, разницы при их производстве, за исключением частных случаев, нет.

Во-вторых, на протяжении всей эволюции Mocap видеоигры всегда оказываются догоняющими. Принципы работы с устройстваими придумывают сначала в кинематографе, а потом игровые студии заимствуют их и перестраивают под необходимый формат.

В-третьих, тем не менее, заметен колоссальный прирост в анимациях видеоигр последних лет. Это связано как с эволюцией Motion Capture и Performance Capture, так и с приростом производительности консолей и персональных компьютеров.