КОНЦЕПЦИЯ
Современное мультимедийное искусство находится в состоянии непрерывного поиска новых форм и форматов, чему активно способствует цифровая среда, её развитие и появление новых технических возможностей. Благодаря искусственному интеллекту происходит фундаментальное переплетение звука и изображения, ставшее ключевым направлением в работе мультимедийных художников. Нейросети позволяют звуку не просто сопровождать или иллюстрировать визуальный ряд, а напрямую генерировать его, выступая в роли универсального проводника между акустическим и оптическим.
Этот феномен выводит на новый уровень давние художественные поиски в области «визуальной музыки» и синестезии. Также важной особенностью нейросети является принцип её работы: она интерпретирует звук в математическую структуру, генерируя визуальную составляющую мультимедиа, которая является проекцией закономерностей, известные ей. Ранее исследования были основаны на связи звука и изображении, как физические отпечатки (пример «фигуры звука» Эрнеста Хладни [7]), когда звуковые колебания напрямую переводились в визуальную проекцию. Но в этом случае процесс преобразования исключал «обработку» нейронными связями.
Современное мультимедийное искусство активно исследует синтез звука и изображения с помощью нейросетей. Это определяет актуальность темы — то, как искусственный интеллект превращает звук в визуальные образы в современных инсталляциях.
Материал исследования включает работы ключевых художников — от пионеров медиаискусства до современных практиков, чьи проекты демонстрируют эволюцию аудиовизуального синтеза.
Визуальное исследование отражает эволюцию аудиовизуального синтеза: отправной точкой служат исторические примеры синестезии, затем фокус смещается на современные инсталляции, где ключевую роль играют нейросети. Теоретической основой стали работы таких философов, как Фридрих Китлер и Кростоф Кокс, которые помогают объяснить трансформацию взаимоотношений между звуком и изображением.
Основной вопрос, который я рассматриваю в своём визуальном исследовании: Как нейросети меняют аудиовизуальный синтез. В основе исследования лежит гипотеза о том, что нейросети создают не просто перевод, а сложную интерпретацию звука в изображение, порождая новый тип синестезии, где искусство рождается из самой логики вычислений.
РУБРИКАТОР
Глава 1: Эволюция взаимосвязи звука и изображения в мультимедийном искусстве
1. Аналоги синестезии у предшественников 2. Анализ особенностей сопоставления аудиального и визуального в эпоху до-цифрового искусства 3.Гегемония изображения над звуком
Глава 2: Анализ современных инсталляций и практик
1. Аудиовизуальный синтез: звук является первичным генератором визуального образа 2.Нейросети как катализатор нового этапа 3.Синестезия или «мистификация»
Заключение
Библиография Источники изображений
Глава 1: Эволюция взаимосвязи звука и изображения в мультимедийном искусстве
- АНАЛОГИ СИНЕСТЕЗИИ У ПРЕДШЕСТВЕННИКОВ
Классические примеры «синестезии» в искусстве рубежа XIX–XX веков — А. Н. Скрябин и В. В. Кандинский. Их целью был не просто перенос ощущений, а поиск универсального языка.
«Кандинский считал, что голубой цвет аналогичен звучанию флейты, синий — виолончели, темно-синий — контрабасу, глубокий синий — низким нотам органа, зеленый цвет — цвет покоя, белый — цвет вселенной, откуда исходит великое безмолвие (как пауза в музыке), черный — это мертвое ничто, вечное безмолвие без будущности и надежды. В частности, А. Скрябин эмпирически проработал параллельную таблицу музыкальных и цветовых тонов, убедительно применив этот принцип в „Прометее“ (1911).» [1]
Джим Ходжес «Я мечтал о мире и назвал его Любовь» в галерее Гладстон, Нью-Йорк, 2016
Кристоф Кокс: «Противосинестетика». Кокс противопоставляет традиционную синестезию тому, что он называет «противосинестетикой». Он утверждает, что звук и изображение по своей природе гетерогенны: вместо того чтобы пытаться их синхронизировать, искусство должно выявлять эту радикальную разницу. Работы Джима Ходжеса или Кристиана Марклея являются яркими примерами. [3]
2.АНАЛИЗ ОСОБЕННОСТЕЙ СОПОСТАВЛЕНИЯ АУДИАЛЬНОГО И ВИЗУАЛЬНОГО В ЭПОХУ ДО-ЦИФРОВОГО ИСКУССТВА
Джим Ходжес: Звук и изображение в одной инсталляции не объясняют и не дублируют друг друга. Они сосуществуют, создавая напряженное и многогранное переживание именно благодаря своей независимости.
Кристиан Марклей: В его знаменитой работе «The clock» он физически вырезает отдельные кадры из кинопленки, создавая визуальный ритм, который напрямую, материально влияет на звуковую дорожку. [5] Здесь связь не метафорическая, а индексная и причинная: визуальное изменение напрямую влияет на аудиальное.
- ГЕГЕМОНИЯ ИЗОБРАЖЕНИЯ НАД ЗВУКОМ
Несмотря на всё многообразие подходов к использованию звука — от духовного синтеза у Кандинского до материальных экспериментов Марклея — общим для них остается один фундаментальный дисбаланс: гегемония визуального над аудиальным. Звук редко выступает как равноправный партнер; гораздо чаще он служит иллюстрацией, дополнением или декорацией для доминирующего изображения.
Композитор и теоретик Мишель Шион пишет: «Именно экран всегда излучает власть и зрелище, и именно изображение, эта собирающая точка и магнит для слуховых впечатлений, — то, что украшается звуком во всем его необузданном великолепии».[6]
Проведенный анализ искусства до-цифровой эры показывает: несмотря на цели и подходы рассмотренных выше художников, сохранялся фундаментальный дисбаланс: визуальное доминировало, а аудиальное подчинялось в качестве «украшения» или иллюстрации, что точно охарактеризовал Мишель Шион.
Кристоф Кокс предлагает смотреть на проблему иначе: как на два независимых потока. Они идут параллельно, взаимодействуют, но не подчиняются друг другу.
Такой подход ломает иерархию и порождает настоящее гибридное искусство. В нём звук и изображение живут вместе в сложной связи, где ничто не является простой иллюстрацией или переводом. Это даёт новую свободу для творчества.
Глава 2: Анализ современных инсталляций и практик
- АУДИОВИЗУАЛЬНЫЙ СИНТЕЗ: ЗВУК ЯВЛЯЕТСЯ ПЕРВИЧНЫМ ГЕНЕРАТОРОМ ВИЗУАЛЬНОГО ОБРАЗА
Современные технологии радикально преобразуют медиаискусство, создавая новую парадигму аудиовизуального синтеза.
Нейросети и генеративные системы становятся «соавторами», так как с их помощью можно переводить звук в изображение на уровне кода, с учетом их «базы знаний». Этот технологический сдвиг открывает новые возможности для художественного исследования.
Пионеры электронной эры: новая волна медиаискусства
В этом разделе анализа я рассматриваю мультимедийное искусство: начиная с краткого обращения к пионерам электронной эпохи до современных инсталляций. А именно: творчество «новаторов» Нам Джун Пайка и Alva Noto (Карстен Николаи).
А так же Ryoji Ikeda (яп. Рёити Икеда), Robert Henke (Роберт Хенке), Nonotak Studio, 1024 Architecture и Dreamlaser, как последователей: студии и художники, создающие инсталляции сегодня.
1. Нам Джун Пайк и его работа TV Buddha (1974) 2. Инсталляция. Нам Джун Пайк (1993) 3. Alva Noto (Карстен Николаи)
Нам Джун Пайк и Noto
Работа Нам Джун Пайка Регистрация и звука и изображения как модуляция электронных сигналов, выявило возможность более прямых отношений между аудиальным и визуальным, чем ранее. Электронное соединение позволило использовать звук, чтобы менять изображение, и наоборот в реальном времени. [3] — стр. 274
«Проигранные в такой конфигурации треки порождают растровые паттерны… раскрывают электронную обусловленность видео как медиума… белые горизонтальные полосы поднимаются и падают, совмещаются и расходятся на черной поверхности телевизора.»
Работа «telefunken» художника Noto (2000) демонстрирует принципиально новый подход к мультимедиа. Художник выявляет взаимосвязь на уровне электронных сигналов. Его подход изменил саму природу мультимедийного искусства — аудиальное и визуальное порождают друг друга.
Ryoji Ikeda
Ryoji Ikeda: test pattern [100m version], 2013 Пример «постцифровой» эстетики: технология становится главным действующим лицом и смыслом художественного высказывания. Звук генерируется из тех же данных, что и изображение, создавая полный синтез медиа. Говоря о синестезии, то можно размышлять о том, что в данной инсталляции изображение и звук рождаются из одного источника — цифрового кода. С помощью нейросетей художник «перекодировал» данные.
