Генерация текстур окружения нейросетевыми технологиями

Нейросетевые технологии также являются инструментом современного художника по окружению для создания текстур. Несколько кликов мышкой достаточно, чтобы сделать модели и текстуры для окружения, а интерактивность ИИ позволяет контролировать процесс генерации.

Чтобы сравнить текстуры, сгенерированные с помощью ИИ, с текстурами традиционного пайплайна, а также выделить преимущества и недостатки "нейросетевого" текстурирования, автор соберет третью локацию, состоящую исключительно из материалов со сгенерированными текстурами. Локация будет экстерьерная и состоящая из природных (деревянных, растительных и каменных) материалов.

Для того чтобы сделать процесс создания карты окружения еще более автоматизированным и интегрировать искусственный интеллект в максимальном количестве этапов, ассеты с текстурами для локации также будут произведены с помощью ИИ, а точнее новой китайской модели Tencent Hunyuan 3D.

Tencent Hunyuan 3D — крупная 3D-генеративная нейросетевая модель, которая предоставляет современному 3D-художнику широкий инструментарий в 3D моделировании, скульптинге, текстурировании, анимации, а также в создании 3D окружений и генерации HDRI карт.

Входными данными может быть как текст (промпт), так и картинка. Для более точного 3D моделирования исходных изображений может быть до 4, показывающих модель с 4-х ракурсов.

Для интеграции ИИ в процесс создания текстур автор создает кастомный workflow в Tencent Hunyuan 3D, который представляет собой рабочее пространство с нодами, в которые подключены возможности нейросетевых инструментов.

Для этого на верхней панели нужно выбрать раздел «3D application kit» — «Workflow» — «Create a new workflow».

Как и в Substance Designer, который также является нодовой программой, работа над созданием workflow в ИИ тоже достаточно интуитивная. Каждая нода отвечает за ту или иную задачу, и если специалист знает функционал каждой ноды, можно будет собрать цельную нодовую систему. Более того, Hunyuan 3D удобен тем, что функционал нод написаны под их названием.

Load image
Нода отвечает за входное изображение. Аналогом Load image является Prompt Augmentation, который задает входной текст (промпт).

Load Multi-views image и Load model соответственно задают исходные 4 картинки и исходную 3D модель.

Image Segmentation
Image Segmentation вырезает нужный объект из фона Geometric Generation
Отвечает за сам процесс генерации 3D модели из изображения. В результате получается высокополигональный меш.

Intelligent Surface Reduction
Позволяет уменьшить число полигонов хай-поли модели.

Texture Generation
Нода получает на входе два значения: меш и изображение. Ее выходным значением является меш с текстурами, как в исходной картинке. Texture Color
Распределяет текстуры по картам.

В конце добавляется нода End, которая завершает процесс генерации, выдавая на выходе затекстурированную 3D модель в формате GBL или OBJ.

Для демонстрации работы нодовой системы на базе ИИ автор создает 3D модель на основе концепт арта Бенни Лу.

Сравнивая сетку высоко- и низкополигональной модели, можно сделать вывод, что нода Intelligent Surface Reduction действительно сократила полигонаж, однако ее сетка схожа с результатом инструмента Decimate, а значит такая модель не может в дальнейшем анимироваться, тем не менее, в качестве Static Mesh выглядит весьма неплохо.

Таким образом были сгенерированы ассеты вместе с текстурами для небольшой локации джунглей.

Кроме того, в процессе генерации было замечено, что низкополигональные модели чаще выходят некачественными и ломанными. Для таких мешей предпочтение оказывалось их высокополигональным версиям.