Концепция
Мы привыкли думать о звуке как о чём-то принципиально невидимом. Его можно услышать, почувствовать телом, запомнить, записать, но нельзя просто поставить перед собой как предмет. Звук всегда ускользает: он существует во времени, исчезает сразу после появления и оставляет после себя только след — в памяти, на носителе, в записи или в изображении. Поэтому почти вся история работы со звуком связана с попытками дать ему форму: записать его нотами, начертить волной, разложить на частоты, превратить в дорожку, диаграмму, спектрограмму или интерфейс.
Но в какой-то момент изображение перестаёт быть только способом объяснить звук. Оно начинает вмешиваться в сам процесс его создания. Это принципиальный сдвиг: картинка больше не показывает то, что уже прозвучало, а становится тем, из чего звук возникает. Линия, пятно, орнамент, плотность, свет, координата или движение начинают работать как акустический материал. В этом месте граница между зрительным и слуховым становится нестабильной: изображение уже нельзя назвать только изображением, потому что машина способна его прочитать как звук.
Именно эту нестабильность я и постарался исследовать. Меня интересует не просто история нарисованного звука и не набор редких технических изобретений. Для меня важнее другое: как меняется само положение изображения в звучащем искусстве. В традиционной логике изображение вторично: оно иллюстрирует музыку, сопровождает звук, объясняет структуру, фиксирует результат. В логике звучащего изображения всё наоборот: визуальная форма становится активной. Она может производить звук, управлять им, редактировать его, кодировать данные, задавать параметры генерации или становиться сценой, которую машина должна озвучить.
Оскар Фишингер, «Оптическая поэма» (An Optical Poem), 1938. Абстрактные цветовые формы работают как визуальная партитура: ритм изображения соотносится с музыкальным ритмом.
Это особенно важно сегодня, потому что современные медиа всё меньше разделяют зрение и слух. Экран больше не является только визуальным слоем, а звук — только дорожкой сопровождения. В цифровой среде они всё чаще существуют как взаимно переводимые данные. Спектрограмма позволяет редактировать звук как изображение. Сонификация превращает карты, снимки и числовые массивы в слышимую структуру. Приложения работают с фотографиями и видео как с материалом для синтеза. Системы построенные на искуственноминтелекте уже не просто считывают форму, а пытаются интерпретировать сцену: понять, что происходит в кадре, какое движение должно звучать, какая атмосфера соответствует изображению.
Поэтому звучащее изображение — это не только исторический эксперимент авангарда. Это способ посмотреть на современную культуру интерфейсов, данных и генеративных медиа. Вопрос «как звучит изображение?» сегодня относится не только к плёнке, орнаменту или спектрограмме, но и к научной визуализации, видео, нейросетям, архивам, реставрации, доступности и дизайну информации. Изображение становится не финальной картинкой, а переходной формой: его можно смотреть, считывать, проигрывать, анализировать, переводить и генерировать заново.
В этом исследовании изображение рассматривается как медиум, который постепенно получает акустическую функцию. Оно может быть следом звука, его схемой, инструкцией для машины, интерфейсом композиции, картой данных или промптом для генерации. Такая перспектива позволяет иначе прочитать историю звучащего искусства: не только как историю новых инструментов и техник синтеза, но как историю того, как визуальная форма становится слышимой. Главная проблема здесь не в том, что звук можно «красиво изобразить», а в том, что изображение может перестать быть изображением в привычном смысле и начать работать как звук.
Гипотеза исследования состоит в том, что в звучащем искусстве XX–XXI веков изображение постепенно выходит из роли вспомогательной визуализации и становится самостоятельным акустическим медиумом: оно может не только фиксировать звук, но и производить его, управлять им, редактировать, озвучивать данные и запускать генеративные аудиовизуальные процессы.
Дафна Орам за машиной Oramics. Рисование на плёнке становится способом композиции: графическая форма управляет параметрами будущего звучания.
Часть 1: Как звук становится видимым
До того как изображение начало производить звук, он сам должен был стать изображаемым. Технические медиа сделали звук не только чем-то слышимым, но и графической формой: дорожкой, волной, спектром, следом света. Так в системе звука на плёнке свет проходит через оптическую дорожку, изменения светового потока попадают на фотоэлемент и превращаются в электрический сигнал. Он существует как визуальная структура, которую можно увидеть, увеличить, изучить и технически воспроизвести.
Звуковая фильмокопия с оптической фонограммой на 16-мм киноплёнке.
Оптическая звуковая дорожка актуальна не только как этап истории кино. Она меняет сам способ понимания звука: он оказывается записан не в виде нот и не в виде исполнительского жеста, а как изменение света, плотности и формы на материальном носителе. В этом смысле киноплёнка становится местом, где изображение и звук оказываются технически связаны: кадр занимает одну часть плёнки, а звуковая дорожка — другую, но оба элемента считываются машиной как визуальная информация.
Именно здесь возникает один из главных вопросов: где проходит граница между записью звука и созданием звука? Обычная оптическая дорожка фиксирует уже существующее звучание. Но как только художник или композитор начинает рисовать форму дорожки самостоятельно, изображение фактически становится его источником.
Здесь изображение ещё в основном фиксирует звук: оно делает его видимым, анализируемым и машинно считываемым. Но уже внутри этой технической формы заложен обратный ход. Если фотоэлемент может прочитать изменение света как звук, значит художник может создать визуальную форму, которую машина затем озвучит.
Часть 2. Плёнка начинает звучать
Одной из ранних форм этого перехода стали эксперименты с графическим звуком конца 1920-х и начала 1930-х годов. В советском контексте важны опыты Арсения Авраамова и Евгения Шолпо, а в немецком — параллельные разработки Рудольфа Пфеннингера и Оскара Фишингера. Здесь изображение впервые перестаёт быть иллюстрацией и становится акустической причиной: орнамент, геометрическая фигура или нарисованная волна читаются устройством как звуковая дорожка.
Арсений Авраамов, «Орнаментальная звуковая анимация» (Ornamental Sound Animation), 1930-е.
Оскар Фишингер с рулонами рисованного звука, 1932–1933.
Именно поэтому такие изображения нужно рассматривать не как абстрактный декор, а как визуальные сценарии для воспроизведения: повторяющийся рисунок указывает на стабильность тембра, плотность и интервалы — на ритм и высотную организацию.
Оскар Фишингер, карточка из экспериментов «Звуковые орнаменты» (Sound Ornaments), около 1931–1932. Повторяющиеся графические формы предназначены для оптического считывания как звук.
Оскар Фишингер, «Этюд № 8» (Study no. 8)
Эта логика особенно ясно проявляется у Нормана Макларена. Фильмы Dots и Loops можно описать как работы, в которых и изображение, и звук были созданы прямым рисованием на плёнке.
Норман Макларен, «Точки» (Dots), 1940.
Норман Макларен, «Петли» (Loops), 1940.
В документальном фильме Pen Point Percussion Макларен буквально показывает зрителю цепочку преобразования: от осциллограммы и оптической дорожки к нарисованному звуку.
Фрагмент из фильма Норман Макларен, «Удар пером» (Pen Point Percussion), 1951.
А в «Синхрономии» он делает следующий шаг: переносит структуру звуковой дорожки в видимую область кадра, так что зритель действительно «видит то, что слышит».
