Original size 1107x1468

Визуализация звука: от нот к авангардному кино и звуковой скульптуре

This project is a student project at the School of Design or a research project at the School of Design. This project is not commercial and serves educational purposes

The project is taking part in the competition

Визуальные исследования (20 ноября)

Рубрикатор

— Введение — С чего всё началось: Нотные рукописи как визуальная поэзия — Графическая звукозапись — Абстрактная анимация — Саунд-арт и звуковая скульптура: материализация звука — Заключение

Введение

Визуализации звука занимает особое место в истории искусства, объединяя в себе эстетику, технологию и восприятие, являясь очень интересным и красочным виденьем творцов. С момента появления нотного письма и музыкальной записи человек стремился не только слышать, но и видеть музыку. Фиксировать ее «форму», ритм, темп и эмоциональную окраску через зрительные образы. От первых графических нотных листов, где каждый знак соответствовал какому-то ритмическому значению, до современных аудиовизуальных инсталляций и цифровых дорожек, переводящих звук в цвет, движение и свет, путь визуализации звука — это история расширения границ чувств и поиска новых способов восприятия ощущениями.

Музыка и изображение на протяжении веков развивались как взаимодополняющие формы выражения. Уже в эпоху Возрождения композиторы и художники интересовались мелодии в картинах, а теоретики, пытались найти гармонию между акустикой и спектром света. В XVIII веке появляются первые «цветомузыкальные» инструменты, созданные, чтобы превращать музыкальные тона в цветовые комбинации. Однако настоящий бум интереса к звуковым композициям произошёл в XX веке, когда художественные авангарды — от конструктивизма до сюрреализма — начали осознанно работать со звуком, не только как с вещью для создания музыки, пытаясь преодолеть границы привычного понимания шума.

Визуализация звука становится не только техническим процессом, но и философскими идеями. Художники и композиторы авангарда создавали произведения, где звук и изображение существовали в едином целом. Их работы можно рассматривать как визуальные партитуры, в которых линия, цвет и движение становятся чем-то обособленным от чисто музыки и чисто скульптур или картины. Так, «звук» перестает быть исключительно акустическим явлением — он обретает форму, а зрение начинает «слышать».

В середине XX века визуализация звука выходит за рамки статичного изображения и проникает в сферу кино, анимации и пространственных инсталляций. Авангардное кино становится лабораторией для экспериментов с восприятием: режиссёры исследуют синхронизацию света и звука, ритмическую монтажную структуру, изменение формы под воздействием темпа и ритмов. Работы Фишингера, Макларена и других авторов открывают путь к современным музыкальным клипам и визуальному контенту в цифровых медиа. Одновременно с этим в художественных практиках формируется новый жанр — звуковая скульптура, в которой звук становится материальной фигурой, способной формировать пространство. Скульпторы и медиа-художники начинают воспринимать звуковые волны как материал на подобии пластилина, создавая объекты и инсталляции, где взаимодействие звука, формы и зрителя образует единое неразлучное целое.

Современные технологии открывают художникам и исследователям новые горизонты для изучения звука как визуального явления. Программы анализа спектра цветов, генеративная графика, музыка по алгоритмам и системы редактирования аудио позволяют буквально «увидеть» звуковую волну в виде динамических линий, световых потоков и трехмерных моделей. Эти процессы не только расширяют границы языка для художников, но и меняют само восприятие звука: он становится событием, которое можно не только услышать, но и пережить визуально и телесно.

Инсталляция, созданная для музыкального клипа на трек «I Will Never Change»; Бенга (Benga); 2013

Это визуальное исследование направлено на то, чтобы углубится в историю визуализации звука — посмотреть с чего начиналось виденье человеком звука и к чему пришло, затрагивая при этом разные сферы искусства. Главной же целью будет выявить как поменялись не только вид визуализации, но и что хотели донести авторы, их цели.

С чего всё началось: Нотные рукописи как визуальная поэзия

Самыми первоначальными попытками визуализации можно считать «Невмы». До них в основном песни писались лишь в словах, никак не визуализируя саму составляющую музыки.

Original size 1184x740

Образец невменной адиастематической нотации; уже является общественным достоянием, поэтому автора нигде не указывают; средние века

Невмы — это знаки нотного письма, применявшиеся в Европе в средние века. Самый древнее невменное письмо, что было найдено датировано IX веком.

Если считать, что музыка, как и пение является шумом, а шум — это набор звуков, то данные обозначения примерной направлении мелодии для церковных хоров является первой попыткой записать звук в виде текста.

Хоральная нотация; автор также неизвестен; на рубеже XIV и XV веков Армянские невмы; автор также неизвестен; рукопись около IX века

Именно от невм пошли более современные ноты и нотные листы, что были изобретены Гвидо д’Ареццо в 11 веке для более лёгкого распознания звуков детьми его хора.

Для своих певчих он даже создал специальную «Гвидонову руку», на каждой костяшке которой располагалась звук и при разгибании и сгибании определённого пальца указывал на ту или иную ноту.

Мемориальная доска Гвидо в Ареццо; начало XI века Гвидонова рука; Гвидо д’Ареццо; начало XI века

Ноты не встали на месте и продолжили развиваться другими композиторами, более известными людьми: Бах, Моцарт и другие композиторы.

В том числе и Бетховен, что по известному факту начал терять слух в молодом возрасте, но всё равно у него получалось «видеть» музыку и сочинять её в нотах.

Автографическая рукопись Менуэта К.164, номер 5; Вольфганг Амадей Моцарт; 1772 год

Графическая звукозапись

Людям всегда хотелось оставить что-то в истории и если говорить про музыку и звук, то там человечеству недостаточно было оставить лишь ноты и слова на бумаге — этого недостаточно, нужен был сам звук. Отчего стали разрабатываться записывающие машины для улавливания всевозможных шумов и нот.

В этом же исследовании интересует больше цилиндрический фонограф Томаса Эдисона, который был создан в 1877 году.

Original size 640x461

Оригинальный фонограф Эдисона с фольгой; Томас Эдисон; 1877 год

Это изобретение не было бы так интересно в данном исследовании, если бы не способ записи звука у машины. Фонограф записывал голос человека, делая углубление сначала на бумаге, а в конечном вариант на цилиндре с фольгой.

Данный вариант записи помогал буквально проектировать вибрации звуков голоса в виде полос на фольге, чтобы потом их ещё и можно было бесконечно передавать по телеграфу.

Позже фонограф был улучшен, валик с фольгой был заменён на восковой, что был лучше, но всё также оставалась проблема, что для большого количества одинаковых валиков нужно было перезаписывать речь несколько раз и ограниченность времени записи.

Фонограф Edison Home Phonograph; Томас Эдисон; 1878 год

После пика популярности валиков (примерно после 1913) их производство постепенно снизилось (хотя производство их велось до самого закрытия в 1929), уступив нишу дисковым проигрывателям с пластинками. Они, как и их более современные родственники — виниловые пластинки работали по похожему принципу валиков: наносились специальные борозды, которые позже проигрывались иглой.

Дисковой фонограф; Томас Эдисон; 1913 год

В теме звукописи стоит также упомянуть отличный пример для визуализации звука — Оптическая звукозапись.

С помощью колебаний звука происходило движение лампы, которая в свою очередь оставляла аудиодорожку на плёнке, что была похожа на волну из звука.

Original size 1280x853

Фильмокопия чёрно-белого неизвестного звукового фильма на 16-мм киноплёнке

Абстрактная анимация

Звук в кинематографе в принципе появился относительно недавно остальных изобретений человечества, в анимационных проектах так тем более.

Во всех начальных анимационных работах для экранов, что визуализируют звук в основном использовалась музыка, созданная как из обычных инструментов, так и звуков разных предметов.

Видео выше: Опусы I–IV; Рутман Вальтер; 1921, 1921, 1924, 1925 года

Очень во многих анимациях звук отображается авторами как разные формы чаще всего на тёмном или однородного цвета фоне перемещаются, смешиваются, меняют размер и форму и разными другими способами пользуются окружением под бит мелодии.

Видео выше: Мерцающая пустота; Норман Макларен; 1955 год

Видео выше: Оптическая поэма; Оскар Фишингер; 1938 год

Видео выше: Этюд No.7; Оскар Фишингер; 1931 год

Если говорить про современную анимацию, то с улучшением оборудования пришло и улучшение качества анимации, и также добавился 3д сегмент в работах.

Техника изображения изменилась тоже, но при этом всё равно заметны некоторые отголоски прошлого, например, абстрактные фигуры на плоском фоне.

Видео выше: Pipe dream; Animusic; 2002 год

Видео выше: Emergence (extended trailer); Max Cooper; 2016 год

Видео выше: Момент из мультфильма «Рататуй»; Брэд Бёрд; 2007 год

Саунд-арт и звуковая скульптура: материализация звука

Скульптура и осязаемые произведения является самым интересным разделом саунд-арта, который, по мнению нескольких экспертов, начал свой путь ещё с древнего Китая или шаманов.

Но если говорить об досягаемом периоде начала развития этого движения, то это начало XX века.

Многочисленные «звуковые скульптуры» созданные с тех времён были генераторами звука и не совсем визуализировали его.

Original size 600x414

Один из первенцев саунд-арта: Интонарумори; Луиджи Руссоло; 1913 год

Визуализация звука же в «скульптурах» различаются темами вещественно, смотря на каждую тяжело найти общее, кроме единственного — звук.

В некоторых работах используется физика и свойство веществ:

Видео выше: Использование пластины/фигур Хладни, трубка Рубена, катушка Тесла и феррожидкость. CYMATICS: Science Vs. Music; Nigel Stanford; 2014 год

Original size 1080x600

Пластина из нержавеющей стали, что была «искорёжена» звуком, опасным для человека. Emptyset «Imprint 1-3», series of 3 objects; 2015 год

В других же заложен глубокий смысл, и они являются произведениями современного искусства:

Пластины, на которых визуализировано аудио убийства подростков в Палестине. Слышимость; Лоуренс Абу Хамдан; 2016 год

Слепок момента из записей звуков записанных в разных местах Москвы. Пустое место; Анна Мартыненко; 2025 год

Видео выше: The planck universe [macro]; Рёдзи Икэда; 2015 год

Видео выше: Прометей (Поэма огня); Александр Скрябин; 1908; Концерт 2016 года в Большом зале филармонии Шостаковича

А следующие имеют принцип, который любят использовать пользователи интернета для создания своих VHS, смешных, грустных проектов или же скрытых посланий:

В спектрограмме песнях Window Licker и Equation группы Aphex Twin можно увидеть несколько изображений; 1999 и 1992 года

Заключение

Если глядеть в историю звука, который пытались увидеть глазами, то всё начиналось с попыток на бумаге записать созданные произведения музыки с помощью символов. Продолжилось тем, что у людей встала цель записывать звук так, чтобы его визуализация могла проигрываться раз за разом, сохраняя голос, оригинальный звук или музыкальный инструмент. Далее появилась возможность соединять звук и изображение, так ещё изображение не статичное, а то, что может двигаться по велению руки художника-аниматора. И наконец всё подошло к концептуальному изображению звука путём форм для скульптур, света, анимационных фокусов или же для скрытых передач «информации» звуком для удивления потребителей.

Все произведения были созданиями своего времени и с улучшением технологий — улучшались и творения авторов. Всё начиналось в прошлом с листа бумаги и символов, написанные чернилами, чтобы не забыть мелодию или упростить её поиск, с активным развитием технологий встала цель записать звук как он есть, реализованная с помощью полос на материалах, сделанных вибрацией и проигрывателей, ну и наконец в настоящем визуализация пришла к параллельному наслаждению глаз и ушей красивыми анимациями форм, что идут в мелодичном танце со звуком, концептуальным скульптурам, что заставляют зрителей задумываться о вещах, для которых надо остановиться и отдохнуть от спешки мира и для инструмента неожиданной и неочевидной передачи визуальной информации.

Original size 1357x376

Bibliography

Show

https://propianino.ru/gvido-darecco (дата обращения: 19.11.2025)

https://www.belcanto.ru/nevmy.html (дата обращения: 19.11.2025)

https://solfamusictheory.wordpress.com/tag/%D0%B3%D0%B2%D0%B8%D0%B4%D0%BE-%D0%B4%D0%B0%D1%80%D0%B5%D1%86%D1%86%D0%BE/ (дата обращения: 19.11.2025)

https://rg.ru/2020/08/20/kak-sozdaval-shedevry-poteriavshij-sluh-kompozitor-bethoven.html (дата обращения: 19.11.2025)

https://www.loc.gov/collections/edison-company-motion-pictures-and-sound-recordings/articles-and-essays/history-of-edison-sound-recordings/history-of-the-cylinder-phonograph/#: ~:text=He%20experimented%20with%20a%20diaphragm, tin%20foil%20wrapped%20around%20it. (дата обращения: 19.11.2025)

https://vinyloteka.ru/article/kak-rabotaet-vinil (дата обращения: 19.11.2025)

https://www.osnmedia.ru/1000/opticheskaya-zapis-zvuka/ (дата обращения: 19.11.2025)

https://www.etheroneph.com/retrozvuk/113-intonarumori-intonarumori.html (дата обращения: 19.11.2025)

https://emergence.maxcooper.net/ (дата обращения: 19.11.2025)