Смирнов Д. Н. | Smirnov Daniel N.

1. Введение

Человек живёт в окружении звуков. Наша слуховая система без труда определяет направление прихода звука от его источника, удалённость последнего, расположение в пространстве: слышим ли мы "снизу", "сверху", "спереди" или "сзади". Помимо пространственного ориентирования, человек также эмоционально воспринимает воздействие окружающего пространства. Ещё в древности поняли, что эмоции подвергаются сильному воздействию со стороны изменения акустических характеристик звука вследствие влияния на них акустических свойств помещения (пещеры, храмы и т. д). При этом эмоциональное переживание будет сильнее не только из-за необычного пространственного эффекта помещения, но и из-за улучшения качества исполняемого произведения. Фламандский композитор XVI века Адриан Вилларт, следуя традиции антифонного пения, делил хор на левую и правую части для пространственного разделения звука и, как следствие, улучшения его разборчивости [6, p. 44]. Примерно в 1585 году итальянский композитор Джованни Габриели, развивая полифонический стиль, разделял исполнителей каждой музыкальной линии на группы и располагал в пространстве собора в строго определённых местах. В партитуре Густава Малера ко Второй Симфонии "Воскресение" указано, что медные духовые и перкуссия должны быть расположены на дистанции по отношению к остальным (за кулисами).

2. Пространственный звук в киноиндустрии

С развитием науки и технологий в конце XIX — начале XX века появилась возможность преобразования звука в электрический сигнал для усиления, фиксации и передачи на расстояние. В 1931 году англичанин Алан Блюмлейн зарегистрировал патент Improvements in and Relating to Sound-Transmission, Sound-Recording and Sound-Reproducing Systems [2], в котором были заложены основы стереофонии. В 1940 году публике был представлен анимационный фильм Уолта Диснея "Фантазия", при демонстрации которого была использована звуковая система Fantasound. Звук записывался на три оптические дорожки. Для воспроизведения же использовались 10 групп громкоговорителей — девять окружали зрителей в горизонтальной плоскости, и одна группа была расположена на потолке. Верхняя и задние группы громкоговорителей использовались только в финальной части при исполнении Ave Maria Шуберта для создания впечатления перемещения звука из задней части зала к передним рядам. Таким образом, "Фантазию" можно считать первым успешным опытом использования пространственных многоканальных систем в кино.

В 1953 году киностудия 20th Century Fox соединила технологии анаморфной фотографии (для широкоформатного показа) и четырёхдорожечной магнитной записи. Магнитная лента с записью была присоединена к 35-мм киноплёнке. Такая система была названа Cinemascope. При кинопоказе три канала отвечали за основной звук фильма, и один — за канал эффектов, использовался один кинопроектор. В 1955 году компанией Todd AO был разработан 6-ти канальный звуковой формат на 70-мм киноплёнке (реальная широкоформатная съёмка в отличие от "растянутой" Cinemascope). Использовались пять каналов для основного звука и один канал для эффектов. Но несмотря на успех многоканального звуковоспроизведения у зрителей, затраты на производство таких кинофильмов были достаточно высоки, качество записи на магнитную ленту (в случае использования 35-мм плёнки) страдало от высокого уровня шума. В 1958 году с появлением первой виниловой грампластинки в формате стерео и началом бурного развития домашних систем воспроизведения звука, постепенно и вся киноиндустрия перешла на стереофонию, так как в этом случае затраты были существенно ниже. Однако развитие пространственного звука на этом не остановилось.

В 60-х годах появились 4-х канальные системы звуковоспроизведения, названные квадрафоническими. Звуковоспроизводящая система состояла из четырёх громкоговорителей, расположенных, как правило, по вершинам квадрата, в центре которого располагался слушатель. В 1968 году американец Питер Шейбер разработал способ матричного кодирования 4-х канальной записи в 2-х канальную (и последующего декодирования обратно в 4-х канальную), тем самым дав возможность использовать для квадрафонического звука обычные носители, предназначенные для стереофонограмм [6, p. 183]. Квадрафония просуществовала до середины 70-х годов XX века в виде различных дискретных форматов записи на магнитную ленту Q4 (1969), Q8 (1970), грампластинки CD-4 (1972), UD-4 (1974), а также в виде форматов матричного кодирования 4-х канальных записей в 2-х канальные (для грампластинок) — SQ (1971) и QS (1971). Надо отметить, что эти системы были предназначены для домашнего использования, что явилось одной из причин их коммерческого провала, так как предполагалось обязательное использование дополнительной пары громкоговорителей. Другой причиной стало недостаточно ясное на то время понимание принципов психоакустики при создании квадрафонической картины — как панорамировать те или иные звуки для многоканальной системы. Как показал в 1974 году в своём исследовании П. А. Рэтлифф, в результате воспроизводимая программа страдала от фазовых искажений, невозможности правильной локализации источников (например, сложно было понять, что источник звука находится сзади) [8].

Хотя квадрафонические системы просуществовали недолго, технологические новшества, разработанные в процессе их создания, оказали непосредственное влияние на последующее становление пространственных систем звукопередачи. Одной из них стало амплитудно-фазовое матричное кодирование — возможность использовать две оптические дорожки на киноплёнке для многоканального звука. Эту технологию усовершенствовала фирма Dolby Laboratories для системы Dolby Stereo. Первым большим фильмом со звуком, записанным в этой системе стал Star Wars: Episode IV — A New Hope (1977, режиссёр Дж. Лукас). Для обычных кинотеатров, где не использовался широкий формат, звук воспроизводился через пять каналов (левый, правый, центральный и два громкоговорителя окружения) в моно режиме. А в широкоформатных, при использовании 70-мм кинопленки, было обнаружено, что низкочастотные звуковые эффекты, очень важные для восприятия фильма, невозможно воспроизвести с помощью громкоговорителей, существующих на данный момент. Решением этой задачи стало использование отдельного низкочастотного громкоговорителя. Такая система была использована, например, в фильме Close Encounters of the Third Kind (1977, режиссёр С. Спилберг). После этого система из пяти каналов Dolby Stereo стала стандартом [5]. А в фильмах Superman (1978, режиссёр Р. Доннер) и Apocalypse Now (1979, режиссёр Ф. Ф. Коппола) стали использовать не монофонический канал окружения (громкоговорителя было два, но на них подавался один и тот же сигнал), а стереофонический. С появлением цифровой звукозаписи появилась система Dolby Digital (1992). Для кинотеатров звук также записывался на киноплёнку, но вместо аналоговых дорожек содержал цифровой код. Одним из первых фильмов, использующих эту систему, стал Batman Returns (1992, режиссёр Т. Бёртон).

Обозначать многоканальные системы принято следующим образом: например, система 5.1 (1987) означает пять каналов воспроизведения и один низкочастотный канал (LFE). Существует и более детальное обозначение пяти каналов. В случае 5.1 система может быть обозначена также (3-2) — три канала (L, R, C) и 2 канала окружения (LS и RS). В системе 7.1 используются два дополнительных центральных канала LC и RC.

Все вышеописанные системы создают ощущение пространственного звука в горизонтальной плоскости. Но для повышения достоверности пространственного звучания, для создания иллюзии полного погружения "внутрь" звукового образа, особенно при демонстрации трёхмерных фильмов, требовалось добавить дополнительные плоскости расположения громкоговорителей. Первой системой с громкоговорителями, расположенными в верхней плоскости, стала система THX 10.2, разработанная Томлинсоном Холманом, инженером из Lucas Films в 1999 году. В этой системе использовались 8 горизонтальных, 2 верхних громкоговорителя и 2 сабвуфера. В настоящее время THX 10.2 уже практически не используется.

В 2009 году Dolby Laboratories выпустили свой формат для систем с громкоговорителями в верхней плоскости — Dolby Pro Logic IIz. Одной из систем этого формата стала AURO 3D, которая имеет от четырёх и более верхних громкоговорителей (4+5+0, 5+5+0, 6+5+0, где первая цифра — количество громкоговорителей в верхней плоскости, вторая — в средней, третья — в нижней). В конфигурации 6+5+0 используется вершинный (overhead) громкоговоритель, которой излучает звук вертикально вниз. AURO 3D имеет ряд достоинств [10], одним из которых, помимо более реалистичного пространственного впечатления, является пространственная прозрачность, появляющаяся за счёт того, что ранние отражения воспроизводятся громкоговорителями на верхнем уровне.

Существуют системы и с большим количеством громкоговорителей. Так, например, NHK 22.2 [4], более известная как Multichannel Surround System, содержит девять громкоговорителей в верхней плоскости, десять — в средней и два — в нижней (9+10+2). Она была разработана японской NHK Science & Research Laboratories для озвучивания телевизионных систем высокой чёткости 4K в 2004 году. В настоящее время система NHK 22.2 сопровождает телевизионные передачи формата Super Hi-Vision 8K.

Увеличение количества громкоговорителей не только повышает достоверность передачи трёхмерного звукового образа, но и способствует решению такой задачи, как адекватное восприятие звуковой информации в любой точке помещения, а не только в "sweet spot" [6, p. 101-103]. При воспроизведении одной и той же звуковой программы через различные многоканальные системы, она будет восприниматься по-разному из-за того, что звук был сведён для конкретной системы. Так, программа, созданная для, например, 5.1, будет восприниматься иначе на стереофоническом оборудовании. С повышением мощностей вычислительных систем стало возможным так называемое объектное аудио | object based audio, одной из наиболее известных реализаций которого является Dolby Atmos. Суть этой технологии в том, что каждый звуковой элемент является так называемым объектом, представляющим собой аудиофайл и набор метаданных о его положении в пространстве. При воспроизведении система декодирует информацию и располагает звуковой объект в соответствии с количеством имеющихся в наличии каналов и громкоговорителей. Звукорежиссёр только прописывает расположение звука в пространстве динамически, а процессор Dolby Atmos рассчитывает, в каких громкоговорителях при данной конфигурации должен появиться звук.

В настоящее время существуют как классические системы 5.1, 6.1, 7.1, так и те, которые предлагают более полное пространственное погружение (Dolby Atmos, DTS, AURO 3D). Последние, несмотря на своё явное превосходство, требуют существенных финансовых затрат на переоборудование кинотеатров, поэтому классические системы, думается, пока будут продолжать использоваться.

3. Пространственные системы воспроизведения персонального мониторинга

3.1. Бинауральные системы воспроизведения

Головные телефоны являются наиболее прямым способом передачи звукового материала слушателю. Первое использование индивидуальных средств воспроизведения звука можно датировать 1881 годом, когда была осуществлена передача из Парижской Оперы на Международную Выставку Электричества с помощью системы Клемана Адера Theatrophone [6, p. 49]. В ней использовался массив пар передатчиков, расположенных вдоль сцены, подсоединённых к парам телефонных приёмников, расположенных в помещении Выставки. Из-за интерауральных различий, вызванных в основном разностью уровней сигнала от передатчиков по линиям связи, у слушателей возникали ощущения пространства. И хотя, Theatrophone можно рассматривать как первый опыт со стереозвуком, однако его нельзя отнести к бинауральным системам в том определении, которое применяется к ним с 1930-х годов, то есть бинауральный — это двухканальный звук, подвергнутый специальной спектрально-временной обработке для имитации реакции на него слуховой системы человека [6, p. 88]. Основная цель бинауральных технологий следующая: передать звуковую сцену таким образом, чтобы слушатель через головные телефоны воспринял её естественным образом, как если бы он находился непосредственно в том же самом пространстве.

Для бинауральной записи используют "искусственную голову" | dummy head, голову манекена с микрофонами, расположенными внутри ушных раковин. Первые опыты с "искусственной головой" были произведены в 1933 году на Чикагской Всемирной Выставке, где фирма AT&T представила свою "искусственную голову" под названием "Оскар" (кстати, современные бинауральные системы записи типа Neumann KU-100 конструктивно не очень отличаются от "Оскара"). Таким образом, звук, прежде чем достичь диафрагмы микрофона, подвергается естественным преобразованиям, встречая на своём пути такие препятствия, как голова, торс, ушные раковины. Они влияют на пространственные ощущения человека. Математические модели, описывающие эти преобразования, называют HRTF (от англ. head-related transfer functions — передаточная функция головы). Звуковой образ будет воспроизведён через головные телефоны естественно, как если бы слушатель находился в том же самом пространстве. Одной из первых коммерческих реализаций использования бинауральной системы был альбом исполнителя Лу Рида Street Hassle (1978). Он был записан немецким инженером Манфредом Шунке с помощью нескольких "искусственных голов". Из недавних примеров музыкальных работ, использующих в записи бинауральные системы, можно отметить альбом No Shape американского исполнителя Майка Андреаса "Perfume Genius" (2014). При прослушивании через громкоговорители такие записи воспринимаются на слух несколько необычно. Однако звуковая картина меняется при использовании наушников.

Возникает вопрос — если бинауральные системы предоставляют более корректное восприятие звуковых образов по сравнению с традиционными стереофоническими методами, то почему эти системы широко не используются? Одним из ответов является, как было показано выше, необходимость использования головных телефонов для прослушивания. Другим ответом — различия в способах записи звука. При бинауральной записи используется "искусственная голова", то есть предполагается параллельная запись, например, ансамбля или оркестра. В этом случае не получится использовать так называемые spot-микрофоны для ближней записи инструментов и, как следствие, технология многодорожечной записи и последующей балансировки и частотной коррекции становится невозможна. Кроме того, не все музыкальные жанры позволяют проводить параллельные записи. Поэтому бинауральные системы в большинстве своём используются при записях акустической музыки. Существуют специальные платформы, распространяющие такие записи (например, NativeDSD Music).

3.2. Ambisonics

В последнее время наблюдается подъём интереса к играм и приложениям, использующим VR — виртуальную реальность. Это связано как с повышением мощностей игровых консолей, компьютеров и смартфонов, так и с желанием производителей предложить пользователям совершенно новые ощущения от игрового процесса. Играть в такие игры необходимо с использованием шлема виртуальной реальности, включающего в себя, как правило, стереоскопический дисплей, головные телефоны и датчик поворота головы. Самые известные устройства такого типа это HTC Vive, Playstation VR, Oculus Quest. Полное погружение в игровой процесс, естественно, требует и использования пространственного звука. Для этого применяются системы на основе бинауральных технологий, описанные выше. Однако звуковая картина, созданная с помощью, например, BRIR, будет статична и не сможет учитывать повороты головы пользователя. Чтобы решить задачу динамического панорамирования, для записи звука используют систему синтеза звукового поля Ambisonics.

Методы стереофонии и многоканальных систем воспроизведения можно определить как методы, основанные на определённой конфигурации громкоговорителей и особом местоположении слушателя ("sweet spot") внутри рассматриваемой системы. Методы синтеза звукового поля не требуют особого расположения громкоговорителей (воспроизводимые сигналы можно адаптировать под любую конфигурацию, например, бинауральную, 5.1 и т. д.) и в меньшей степени зависят от местоположения слушателя. К ним можно отнести как непосредственно Wavefield Synthesis (Синтез волнового поля), так и систему Ambisonics, которая получила своё развитие благодаря работам Алана Блюмлейна (в частности система записи M/S) [2] и позже Майкла Герзона [3]. При записи по системе M/S (Mid-Side), используя два микрофона разной направленности, мы получаем фронтальные (центральные) компоненты (1) и компоненты левой и правой сторон звукового поля (2). Система M/S полностью описывает стереополе:

При записи по системе Ambisonics (первого порядка), используя специальный тетраэдральный микрофон (с четырьмя капсюлями, расположенными по вершинам тетраэдра, именующимся как LF (Left-Front), LB (Left-Back), RF (Right-Front), RB (Right-Back), получаем общую компоненту (W), переднюю/заднюю (X), левую/правую (Y), верхнюю/нижнюю (Z):

4. Многоканальные системы в медиапространстве

4.1. Многоканальные аудиосистемы

Электроакустические технологии (микрофоны, усилительная аппаратура, громкоговорители) сильно преобразили не только частотную и громкостную составляющую музыки, но и то, как музыка может быть представлена в пространстве. В 1951 году в Колумбийском университете Нью-Йорка Джон Кейдж представил пьесу Imaginary Landscape No. 4 для двенадцати портативных радиоприёмников. В 1987 году на выставке Documenta 8, в Германии, Кейдж представил 36-ти канальную аудио-инсталляцию Writings through the Essay: On the Duty of Civil Disobedience, имеющую острую социальную тематику. Эта инсталляция, кстати, воссоздавалась и в настоящее время (2015, Гонконг). См. здесь

Одним из самых амбициозных проектов, имеющих целью исследования связи между звуком и формой, стала архитектурно-музыкальная инсталляция Ле Корбюзье, Янниса Ксенакиса и Эдгара Вареза Poeme Elecronique, созданная в 1958 в павильоне Philips на Всемирной выставке в Брюсселе. Было использовано 425 громкоговорителей, предоставлявших звуку в павильоне девять различных путей распространения.

Эксперименты с пространственным звуком никогда не были направлены на получение прибыли и рассматривались, скорее, как исследовательские. Пространственный звук в музыкальной индустрии популярной музыки до сих пор используется весьма ограниченно. В основном это связано с повышенными финансовыми затратами (в частности, с окупаемостью концертов) и с тем, что стереофония де-факто является стандартом. Далеко не каждый стиль популярной музыки выигрывает от использования пространственного звука. Здесь можно отметить такие стили, как эмбиент, психоделика, экспериментальная электронная и танцевальная музыка. Например, британская рок-группа Pink Floyd практически на всех своих концертах с 60-х годов использует аналог квадрафонической системы, в которой с помощью разработанного ими самими устройства Azimuth Co-ordinator (устройства панорамирования между 4-мя каналами) звук "бегает" вокруг зрителя, тем самым последний получает дополнительную эмоциональную составляющую [7]. Австралийский композитор Бен Фрост, работающий в Исландии, на выступлении в Санкт-Петербурге весной 2019 года в концертном зале "Лендок" использовал систему из восьми громкоговорителей, установленных по периметру зала. Сам исполнитель и зрители при этом располагались в центре. Регулировка панорамы такой системы была динамически синхронизирована с музыкальным произведением, позволяя в определённых моментах перемещать звук между громкоговорителями, создавая эффект движения звука вокруг слушателей.

Надо отметить, что даже если сам исполнитель на своём концерте не использует многоканальные пространственные системы, то записи такого концерта могут быть представлены в формате пространственного звука. Звук из сценических громкоговорителей будет расположен в фронтальных каналах L, R, а каналы окружения (Ls, Rs) будут содержать запись пространственных микрофонов, расположенных за зрителями. Используя многоканальную систему для прослушивания, слушатель будет ощущать себя непосредственно на концерте в центре зала.

4.2. Wavefield Synthesis

Использование систем волнового синтеза может быть применимо и для создания ощущения пребывания в нереалистичном пространстве. Например, на концерте экспериментальной электронной музыки Studies For Thunder Live (2005) в берлинском технологическом университете Роберт Хенке, один из создателей Ableton Live, для этого использовал 832 канала. Кроме того, это актуально и для звуковой виртуальной реальности в играх. Аналогично системам типа Dolby Atmos, волновой синтез работает с аудиообъектами. А это означает, что при воспроизведении (декодировании) звуковая программа может быть адаптирована под любую конфигурацию громкоговорителей. Системы волнового синтеза со 192 громкоговорителями была продемонстрирована например, в городе Ильменау, Германия (2003). В 2018 году в Нью-Йорке в центре EMPAC (Experimental Media And Performing Art Center) состоялся Wavefield Synthesis Workshop, дающий возможность всем желающим представить свои произведения на основе пространственного звука, используя систему из 58 громкоговорителей. В 2019 году на фестивале Alba Nova в Бельгии был представлен wavefield-synthesis проект The Game Of Life (система состояла из 192 громкоговорителей). Этот фестиваль представляет собой тематический проект, направленный как на предоставление возможности композиторам, использующим волновой синтез, представить свои произведения, так и на исследования в данной области пространственного звука.

Системы волнового синтеза требуют существенных финансовых вложений (большое количество громкоговорителей, переоборудование концертных залов) и в настоящее время в большинстве своём существуют в основном как исследовательские технологии при университетах.

Перспективы развития пространственных систем звуковоспроизведения

Системы пространственного звука предоставляют слушателю повышенное ощущение реализма в сочетании с кино-видеопродукцией (по сравнению со стандартными системами типа 5.1, 7.1), мультисенсорный пространственный игровой процесс в видеоиграх, необычные музыкальные ландшафты. С точки зрения популярности и окупаемости системы Dolby Atmos, DTS:X, Ambisonics VR занимают наиболее выгодную позицию — системы объектного аудио предлагают доступные решения для домашнего кинотеатра — с помощью устройств Soundbar возможно при минимуме затрат получить реализацию пространственной системы в жилом помещении. Как следствие, телеканалы, такие как NBC (США), NHK (Япония), KBS (Южная Корея) готовятся к проведению трансляции спортивных событий не только в стандартных пространственных форматах (5.1, 7.1), но и в форматах 9.1 (NBC) и 22.2 (NHK). Для этого ими, в частности, используются и микрофоны формата Ambisonics.

На 146-й конвенции AES 2019 года, которая проходила в ирландском Дублине было представлено в общей сложности 14 докладов в секциях Spatial Audio (Пространственный звук), Perception (Восприятие), Loudspeakers (Громкоговорители), Machine Learning (Машинное обучение). Затрагивался широкий круг вопросов: от развития технологии Ambisonics до панорамирования. На 147-й конвенции AES, которая проходила в октябре 2019 года в Нью-Йорке, было представлено уже 36 докладов на тему пространственного звука, а один из дней конвенции был полностью посвящён пространственному звуку. То есть эта тема актуальна и продолжает своё развитие в науке.

Заключение

В данной статье мы обращались преимущественно к зарубежным источникам. Это связано с тем, что, как показано в статье, многоканальное воспроизведение звука тесно связано с коммерческим кинематографом, в частности с кинематографом США, с технологическими новинками в области индустрии развлечений, поэтому многие исследования были сделаны именно американскими учёными. В России, к слову, системы такого рода начали использоваться значительно позже. Мы рассмотрели эволюцию многоканальных систем воспроизведения звука, surround-системы, использующиеся в киноиндустрии и домашних кинотеатрах, бинауральные системы записи и воспроизведения звука, системы синтеза волнового поля Ambisonics и Wavefield Synthesis, обнаружив взаимосвязь между многоканальными surround-системами и системами синтеза волнового поля. При этом мы обращались к исследованиям и работам учёных и технических специалистов Великобритании, США, Японии, таких как А. Блюмлейн, T. Холман, М. Герзон, К. Хамасаки и др., а также к опыту таких компаний, как Dolby Laboratories, DTS, THX, NHK.

В итоге пришли к следующим выводам:

• на сегодняшний день существуют как классические surround-системы, так и высокотехнологичные типа Dolby Atmos, DTS:X, в зависимости от оснащённости конкретной площадки (кинотеатра, домашнего кинотеатра, выставочного центра и т. д.), однако автор статьи предполагает, что в ближайшем будущем высокотехнологичные системы полностью заменят классические;
• развитие систем виртуальной реальности, куда можно отнести и 3D-кинематограф, предполагает полное погружение зрителя в сцену, а значит, возникает задача передачи реалистичной звуковой картины. Системы Ambisonics позволяют решить эту задачу как для любой конфигурации громкоговорителей, так и для бинаурального воспроизведения;
• системы синтеза волнового поля представляют интерес не только с точки зрения исследования природы звука, но и с точки зрения расширения творческой палитры музыкантов, кинематографистов, программистов, работающих с многоканальным звуком.

Мы попытались наметить перспективы развития многоканальных систем:

• разработка общей теории панорамирования для многоканальных систем (корректная локализация виртуальных источников звука);
• разработка методов записи музыки различных направлений и стилей для многоканального воспроизведения;
• увеличение количества помещений для демонстрации технологий синтеза волнового поля (чтобы дать возможность слушателю испытать новые ощущения, связанные с многоканальным звуком).

Список литературы

References

УДК 681.841

Библиографическая ссылка: