Природа визуальных артефактов

В последнее время я стал замечать, как необъяснимо быстро растет мой личный интерес к объектам культуры, апеллирующим к процессам трансмиссии и восприятия информации, в особенности к ошибкам, появляющимся в ходе этих процессов. Изначально к такому искусству я относил в основном glitch art. Однако в ходе скроллинга ленты соцсетей, я обнаружил различные проявления этого феномена, пользующиеся популярностью у публики. К примерам таких объектов относятся и ИИ-галлюцинации, и всем известное бежево-золотое платье. Такие на первый взгляд параллельные друг другу, не имеющие особых смысловых пересечений элементы культурного пространства при более углубленном рассматривании оказываются проявлениями сходных процессов в ходе работы различных «обрабатывающих инструментов», своеобразных алгоритмов кодировки, к примеру: графических форматов; больших языковых моделей; человеческого мозга. Информация, получаемая с помощью различных рецепторов (фотоматрицы, текстового промпта, сетчатки глаза), преобразуется в этих «инструментах», затем предоставляется к считыванию. Когда информация, полученная рецептором, повреждается/видоизменяется при дальнейшей трансмиссии или в ходе работы «обрабатывающего инструмента», заметные изменения и ошибки можно назвать Визуальными Артефактами.

Основа визуального артефакта всегда заложена в том, как «обрабатывающий инструмент» работает с полученной через рецептор информацией. Все из них, будучи небезупречными, имеют свои собственные лимиты и недостатки. Представленные в следующем разделе работы в своей сути являются самостоятельными исследованиями особенностей используемых ими медиумов.

Работы Томаса Руффа из серии «jpegs» представляют собой принты со скачанных им из интернета фотографий, увеличенные до размеров, при которых невооруженному взгляду смотрящего открывается принцип построения изображений формата jpeg, в котором фотография для экономии места делится на квадратные «скопления» пикселей, практически незаметные с экранов телефона или компьютера, однако различимые при приближении. Увеличение изображений позволяет заметить не только образующие шум недочеты кодировки и лимиты сенсоров фотоаппаратов того времени, но и саму канву медиаобъекта, сотканную из простейших геометрических фигур, наделенных цветовыми параметрами. Изображаемые объекты — тестирование оружия в море, природные катаклизмы, трагедии современного общества — юрко просочились в современное медиапространство из-за своей шокирующей, разрушительной натуры, надолго засев в головах потребителей новостей в форме визуально-смысловых образов, сжатых и упрощенных, спрятанных в подсознание в попытках избежать негативных мыслей, подобно тому, как прячут в загашник жесткого диска за десятислойной «капустой» папок неудавшуюся фотографию.

Американский ии-художник под псевдонимом Noper изучает склонность больших языковых моделей к галлюцинациям, обусловленную отсутствием у них миропонимания как такового. Нейросети научены распознавать паттерны на примерах огромного объема данных. Они опираются на статистику из обучающего набора, а не на законы физики и логики. Имея доступ к тысячам фотографий и видео с рыбами, нейросеть предлагает «усредненное» изображение рыбы. Однако у нее нет возможности понять, что такое рыба. Вместе с этим, ранние ИИ-модели имеют проблемы с временной когерентностью (взаимосвязью между кадрами), отчего объекты в видео могут дергаться и расплываться, детали — пропадать, а траектории движения — нарушаться. Все это приводит к тому, что видео, созданные с помощью нейросети с использованием сложных промптов, больше похожи на сны при высокой температуре.

Подобно тому, как пиксели в jpeg-изображении, объединяясь, выдают блоки с неправильными цветами, сгенерированные в нейросети изображения объекта могут выдавать неправильное количество плавников или пальцев на руках. И несмотря на то, что это лишь особенность самого метода преобразования информации, человеком такое несоответствие воспринимается как Визуальный Артефакт.

Коллаборация Noper’а с мультимедийным художником под псевдонимом Cydr вылилась в сатирический проект «Рынок Редких Рыб», предлагающий окружающим полюбоваться и обзавестись одной из сотни редчайших рыб, сгенерированных с помощью ИИ на основе различных вводных, таких как ореол обитания, диета, размеры, вес и элементы адаптации. Среди привычных данных, вроде «Рифовая» или «Хищная», затесались и такие, как «Беременная», «Атомная», «Хабиби», «Невероятная Аура» или «Гибрид с Лягушкой».

Такие сложные для воспроизведения промпты вместе со стилистическими пожеланиями к ярким, едким цветам приводят к тому, что изображенные рыбы обрастают результатами галлюцинаций ИИ, представ перед нами многократно и безвозвратно мутировавшими пародиями на привычную морскую фауну.

Описание проекта уверяет — покупка одной из таких рыб сохранит вас и ваши сбережения в условиях глобального потепления. Недвижимость и автомобили будут смыты волной, а рыбы как были, так и останутся редкими. Когда рынок акций обвалится, рыбы будут «чиллить» в своих аквариумах, лишь повышаясь в цене. И пока весь мир будет тонуть, владельцы этих уникальных созданий будут купаться в деньгах.

В отличие от предыдущих «обрабатывающих инструментов», плоды визуальной работы человеческого мозга с предельной точностью восстановить пока не представляется возможным. В связи с этим и задокументировать ошибки алгоритма нашего мышления получится лишь в том случае, когда к зрительной составляющей (которую, как уже было сказано, передать мы не можем) добавляется смысловая, подвластная описанию. Одним из немногих примеров документации Визуально-Смыслового Артефакта является «полоса неразличения» — сквозной нарратив «Поездок за город» советской, а позже и российской арт-группировки «Коллективные действия».

Полоса неразличения — воображаемая линия, обозначающая лимит человеческого визуального восприятия. Стоящий за ее пределами объект может быть опознан смотрящим (субъектом) лишь в ходе логических домыслов. В случае подмены одного объекта другим, смотрящий не способен будет увидеть подвоха. Идея полосы неразличения появляется во множестве акций цикла «Поездки за город». Так, в акции «Место действия» участникам предлагалось идти по очереди в поле, останавливаясь и разворачиваясь для фотографии перед каждым из 15 расположенных вдоль одной тропы на одинаковом расстоянии друг от друга столбиков, а затем продолжать движение. Фотоаппарат вместе со зрителями стоял в начале тропы. Таким образом, участник оказывается героем 15 фотографий, последовательно удаляясь от объектива и взглядов зрителей, становясь все менее и менее различимым. Однако вот подвох: за 13-м столбиком герой встает за фиолетовую ширму, за которой в яме лежит его предшественник. Меняясь с ним местами, герой остается ждать следующего по очереди, а предыдущий встает на место «героя», фотографируясь на последних столбиках за него. Таким образом, пользуясь лимитами визуального восприятия человека и фотоаппарата, на последних двух снимках участника подменяет его «доппельгангер», обманывая ничего не подозревающую публику и инструмент документации. Рассматриваемая вне контекста акции смысловая составляющая серии фотографий остается неизменной, ведь зритель на всех кадрах, от 1 до 13, видит одного человека, постепенно сжимающегося в силуэт — в точку, натура которой становится известной лишь тем, кто знает, кем эта точка была на первых фотографиях. Вооружившийся логикой этой последовательности зритель не замечает подмены.

Последние две фотографии образуют Визуально-Смысловой Артефакт — несоответствие восприятия действительности. Они указывают на несовершенство человеческого зрения и на ту простоту, с которой можно «подтолкнуть» наш мозг на искажение реальности, подобно тому, как особенности алгоритмов jpeg или ИИ приводят к искажению действительности при недостаточном количестве данных.

Наиболее простым и повторимым способом создания Визуального Артефакта является внешнее вмешательство. Любой «обрабатывающий инструмент» — структура сложная и оттого хрупкая. Минимальное вмешательство в процесс его работы приведет к артефактам.

Работы бразильско-американского художника Сабато Висконти — беспощадная препарация технологий, поглотивших мир, стрелой просочившихся в жизнь каждого без возможности вытащить, не причинив себе боль в виде упущенного удобства. Тех самых технологий, которые приходят к нам с экспонентно увеличивающейся скоростью, пытаясь заменить друг друга. Так, фотография пыталась заменить рисунок, 3D-рендер — фотографию и видео, ИИ — всех предшественников сразу. Все эти технологии, внедряясь в повседневную жизнь, используются корпорациями, государствами и прочими заинтересованными элементами общества с целью постоянной, практически автономной слежки, структуризации, и как итог — управления обществом.

Окончивший факультет политических наук художник вступает во что-то между противоборством и танцем с хрупкими, словно созданными, чтобы выходить из строя, медиатехнологями. Он работает с различными форматами и их переплетениями, оголяя и «выпячивая» ошибки, появившиеся в результате его экспериментов. Словно в обсессивном поиске новых способов разрушить хрупкую систему, Сабато Висконти генерирует уникальные визуальные артефакты и раскрывает методы их создания.

Так, в цикле работ для Хартфордской Недели Моды, он переводит изображения с показа в 3D формат .fbx, используемый приложением Paint 3D, а затем нарушает структуру изображений в редакторе HxD, где все типы файлов переводятся в стандартную шестнадцатеричную систему, становясь по сути длинным набором символов. Отсюда и название работ: «HFW3___fbx_databending»