С момента появления стереофонии задачей панорамирования являлось создание ощущения определённого положения виртуального (кажущегося) источника звука в пространстве либо его движения, используя при этом два отдельных громкоговорителя. Панорамирование в звукорежиссуре — это распределение аудиосигнала (моно или стереофонического) во вторичном стерео- или многоканальном звуковом поле, определяемое положением регулятора панорамирования (pan pot) на микшерной консоли или с помощью цифрового оборудования.
С появлением многоканальных звуковоспроизводящих систем были разработаны специальные способы панорамирования не только в двумерной плоскости, но и в трёхмерной (учитывая высоту, на которой расположен источник звука). В настоящее время компьютерных приложений, использующих технологию виртуальной реальности и персональный мониторинг в виде головных стереотелефонов, становится всё больше и больше (в разных областях — тренажёры для пилотов воздушной техники, компьютерные игры с так называемым "полным погружением", симуляция громкоговорителей при работе звукорежиссёра с головными стереотелефонами и т. д.), и для них требуется использовать объёмные звуковые образы, которые дают реалистичную звуковую картину при использовании стереотелефонов. Основной задачей различных способов панорамирования является корректная локализация виртуального источника звука. Далее в статье будут более подробно рассмотрены эти способы.
1. Амплитудное панорамирование в двухканальной системе
Амплитудное панорамирование — основной метод создания виртуального источника звука в произвольной точке между парой громкоговорителей, располагающихся под углом φ0=30°. При уменьшении громкости одного из громкоговорителей (в стереосистеме), виртуальный источник смещается в сторону второго громкоговорителя. При перемещении виртуального источника по кривой между громкоговорителями, необходимо учитывать, чтобы звуковая энергия, излучаемая этим источником, была одинакова в любой точке между громкоговорителями. Для этого существуют законы панорамирования, о которых и пойдет речь далее.
Рисунок 1 [9]
1.1. Тригонометрические законы
Самый "распространённый" закон, до сих пор применяющийся в микшерных консолях — синусоидально-косинусоидальный. Регулятор панорамирования изменяет уровень сигнала в левом и правом каналах таким образом, что в левом канале уровень сигнала изменяется пропорционально значению синуса угла поворота регулятора, а в правом — пропорционально значению косинуса.
Синусоидально-косинусоидальный закон [7]:
Угол φ в диапазоне 0 ≤ φ ≤ 90°
При этом интенсивность сигнала должна быть постоянной:
где φ — угол между виртуальным источником и осью, g1 и g2 — уровни громкости громкоговорителей.
Существуют ещё два тригонометрических закона: синусоидальный и тангенциальный.
где φ0 — угол между осью и громкоговорителем, φ — угол между виртуальным источником и осью, g1 и g2 — уровни громкости громкоговорителей.
Практическая реализация синусоидально-косинусоидального закона произведена нами при помощи программной среды от американской компании Cycling’74 под названием Max/MSP (начиная с версии 7 просто Max). Подробности можно найти на сайте компании (https://cycling74.com). Описание программы выходит за рамки данной статьи.
На Рисунке 2 представлена схема патча (patch — это рабочий проект в терминологии программы Max 7), который представляет собой практическую реализацию синусоидально-косинусоидального закона. Необходимо принять, что в Max 7 внутри патча все вычисления, выполняемые относительно аудиосигнала, происходят в диапазоне значений от -1 до 1. Максимальное значение аудиосигнала, который посылается на цифро-аналоговый преобразователь для воспроизведения с помощью усилителя и громкоговорителей, внутри Max 7 равен 1. Отсюда, согласно Формуле 3, следует — если мы хотим услышать только правый канал — уровень в левом канале (g1) равен 0, в правом (g2) — 1, условие соблюдено (02 + 12 = 12). Согласно патчу и Рисунку 1, угол поворота 0° — положение источника крайне левое, 90° — правое, 45° — центр. Значение косинуса при 0° — 1, синуса — 0. Виртуальный источник находится в левом канале. Значение косинуса при 90° — 0, синуса — 1. Виртуальный источник находится в правом канале. Значение косинуса и синуса 45° — 0.707107. Условие (3) соблюдено (0.7071072 + 0.7071072 ≈ 12). Виртуальный источник находится в центре.
Необходимо отметить, что для проверки корректности тех или иных способов панорамирования проводят тесты, которые можно в общем описать следующим образом — испытуемых помещают перед громкоговорителями, которые, как правило, скрыты, и воспроизводят звуковые сигналы различной природы. Испытуемые с помощью различного типа интерфейсов фиксируют где, по их ощущениям, расположен виртуальный источник звука. После статистической обработки результатов делаются выводы.
Результаты показали, что вышеописанные способы не отличаются высокой точностью (соответствием расположения виртуального источника требуемой точке). Например, в случае тангенциального закона некорректно локализуются сигналы в диапазоне от 1 кГц до 2 кГц [8]. А для синусоидально-косинусоидального закона показано, что широкополосные сигналы локализуются шире требуемого положения [7]. Именно поэтому в настоящее время разрабатываются другие, более точные методы, например, векторное амплитудное панорамирование.
1.2. Векторное амплитудное панорамирование
При использовании векторного панорамирования (Vector Base Amplitude Panning (VBAP)) рассмотренная выше система с двумя громкоговорителями рассматривается в виде единичных векторов Ɩ1 = [Ɩ11Ɩ12]T и Ɩ2 = [Ɩ21Ɩ22]T, которые указывают на громкоговорители 1 и 2 соответственно (cимвол T обозначает матричное преобразование). Единичный вектор p = [p1p2]T, указывающий на виртуальный источник звука, определяется комбинацией векторов громкоговорителей:
где g1 и g2 — уровни громкости громкоговорителей.
Рисунок 3 [9]
Выражение (6) можно представить в матричной форме:
где g = [g1g2] и L12 = [l1l2]T. Выражение (7) можно решить с помощью обратной матрицы:
C помощью выражения (9) можно определить уровни громкостей громкоговорителей g1 и g2:
где φ0 — угол разворота громкоговорителей, φ — угол между виртуальным источником и осью x.
Векторное амплитудное панорамирование удобно тем, что не зависит от количества громкоговорителей — аналогичные преобразования будут применимы и к двухканальным и к многоканальным системам звуковоспроизведения.
2. Амплитудное панорамирование в многоканальной системе
Рисунок 4 [9]
2.1. Векторное амплитудное панорамирование в двумерной системе
Для многоканальных систем (расположенных в одной плоскости) также используется векторное панорамирование. В этом случае громкоговорители разбиваются попарно — в каждый момент времени положение виртуального источника принадлежит одной паре громкоговорителей. Математические соотношения аналогичны случаю с двухканальной системой. Звуковое поле, которое получается при использовании VBAP складывается из секторов, которые формируют пары громкоговорителей. На Рисунке 4 эти сектора обозначены как L12 L23 L34 L45 L51 (непересекающиеся сектора). Вектор In указывает на громкоговоритель; Lnm — сектора, формирующие звуковое поле.
2.2. Векторное амплитудное панорамирование в трёхмерной системе
Двумерное векторное панорамирование может быть применено и к трёхмерной системе. В трёхмерных системах помимо громкоговорителей в горизонтальной плоскости добавляется расположение в вертикальной. Тем самым создаётся дополнительная иллюзия высоты расположения объекта. Расчёт уровней громкости громкоговорителей аналогичен стереофонической системе и выглядит следующим образом:
Векторное панорамирование в многоканальной системе обладает тремя важными свойствами:
2.2.1. Практическое использование векторного амплитудного панорамирования
Для того, чтобы проверить VBAP на практике, можно использовать Max/MSP и многоканальный (многовыходной) аудиоинтерфейс. Объект VBAP, необходимый для функционирования патча, можно найти на сайте его создателя, Вилли Пулкки (http://legacy.spa.aalto.fi/software/vbap/) и скопировать его содержимое в Documents-Max-Library на компьютере. Необходимо обратить внимание, что данный объект работает только в 32-битном режиме, поэтому Max следует запускать именно в этом режиме. Для тестирования нужно добавить объект New-vbap и с помощью контекстного меню выбрать vbap-Help (в Max файлы Help — это такие же патчи, которые можно использовать в своих проектах). Нет нужды пояснять, что для корректного тестирования необходима многоканальная система громкоговорителей. Принципы VBAP нашли применение в аудиостандарте ITU MPEG-H, аудиоформате DTS:X, игровой консоли Sony Playstation VR.
2.3. Система Ambisonics
Система Ambisonics рассматривает звуковую сцену как сферический звуковой объект, окружающий слушателя. В настоящий момент Ambisonics активно используется, например, в 360 VR (система виртуальной реальности). Пользователь, надев специальные очки, может вращать головой во всех возможных направлениях, видео также будет перемещаться. Соответственно, необходимо, чтобы звук таким же образом следовал за перемещениями головы. Одним из способов является запись в формате Ambisonics или кодирование в этот формат уже записанных звуков. Основными отличиями Ambisonics от традиционной многоканальной системы является то, что количество громкоговорителей не является предопределённым (в традиционной многоканальной системе, например, если бы пользователь поворачивал голову, то звук бы резко "прыгнул" из одного канала в другой, в системе же Ambisonics это перемещение будет плавным), и то, что для получения "сферического" звука требуется всего лишь 4 канала. Для записи используется система микрофонов, расположенных по вершинам тетраэдра. Пример — микрофон Tetra Mic фирмы Core Sound. Эти микрофоны имеют направленность типа кардиоида, и формат записи, осуществлённой с помощью них, называют A-формат. Затем происходит кодирование в B-формат. Сигналы из A-формата преобразуются в 4 канала B-формата (Ambisonics 1-го порядка) — W (центральный), X (лево-право), Y (передний-задний планы), Z (верх-низ). Из B-формата же можно получить любую конфигурацию микрофонов — Blumlein, Mid-Side, Binaural и т. д. [1; 2; 3]. Существуют также системы более высоких порядков — например, для системы Ambisonics 2-го порядка требуется уже 8 микрофонов.
Теперь рассмотрим, каким же образом осуществляется панорамирование в системе Ambisonics. Расположение виртуального источника в трёхмерной системе координат приведено на Рисунке 6, где изображена система координат для Ambisonics кодирования и декодирования. ϴ — азимутальный угол, ϒ — угол подъёма, r — расстояние до виртуального источника.
где gx, gy, gz, gw — уровни громкостей каналов X, Y, Z, W.
Уровни громкости громкоговорителей для Ambisonics n-го порядка (большего количества каналов) рассчитываются следующим образом (подробнее см. здесь):
Рисунок 6 [9]
2.3.1. Примеры практического использования системы Ambisonics
В данной части рассмотрены Ambisonic-плагины (программы, расширяющие работу DAW — цифровой звуковой рабочей станции) кодирования-декодирования, которые являются либо бесплатными, либо входят в состав DAW.
Для цифровой звуковой станции Ableton Live существует набор плагинов (разработанный в системе Max for Live) под названием Envelop (http://www.envelop.us/software/). Так как сама программа Ableton не поддерживает многоканальные wav-файлы, то данные плагины могут лишь кодировать до 16-ти отдельных аудиоканалов в формат Ambisonics с последующим декодированием в выбранную систему громкоговорителей или в бинауральный сигнал [5] и кодировать монофонический или стереофонический звуковой источник в формат Ambisonics.
Цифровая рабочая станция REAPER поддерживает многоканальные wav-файлы и позволяет, например, декодировать их в бинауральный формат. Для этого необходимо скачать и установить набор Ambisonics-плагинов | Ambisonics Toolkit (>>>) и использовать многоканальный wav-файл. После этого на мастер-шине используется плагин декодирования в бинауральный сигнал ATK FOA Decode Binaural.
2.4. Амплитудное панорамирование, основанное на расстоянии (DBAP — Distance Based Amplitude Panning)
Вышеперечисленные алгоритмы панорамирования имеют один недостаток — слушатель должен находиться в зоне стереоэффекта (sweet spot), окружённый громкоговорителями, расположенными на определённых позициях. В случае нестандартных ситуаций, концертных программ и т. д. это может привести к существенным неудобствам. Поэтому был разработан метод амплитудного панорамирования, основанного на расстоянии виртуального источника звука до громкоговорителя. Расстояние рассчитывается следующим образом:
где rs, — это дополнительное "пространственное пятно" (spatial blur) которое необходимо для того, чтобы не возникало случая, когда виртуальный источник расположен таким образом, что его воспроизводит лишь один громкоговоритель. Это вызвало бы нежелательное пространственное искажение и тембральную окраску источника. В двумерном пространстве "пространственное пятно" надо понимать как вертикальный сдвиг между источником и громкоговорителем. DBAP также может быть расширен для поддержки высоты виртуального источника.
Уровни громкоговорителей рассчитывают по:
где a — фактор уменьшения расстояния:
и R варьируется между 3 dB (интенсивностное суммирование) и 6 dB (амплитудное суммирование), и коэффициент k определяет единичную сумму мощности
При rs > 0 все громкоговорители активны для любого положения виртуального источника.
В настоящее время работы в области панорамирования звука в многоканальных системах продолжаются и исследователи находят новые методики для получения корректных результатов панорамирования виртуальных источников. Например, разработана методика Perceptually Motivated Amplitude Panning (PMAP) | "Амплитудное панорамирование, основанное на восприятии". Метод основан на оригинальных функциях сдвига виртуального звукового образа, полученных из психоакустических экспериментов и может применяться для произвольного расположения громкоговорителей. Как утверждают разработчики, тестирование показало приемлемые результаты корректной локализации источников. Ещё одно исследование в области многоканальных систем показало разницу в восприятии положения источника звука, если он расположен либо на границе либо внутри пространства, окружённого громкоговорителями [10]. Интересно, что наименьшая ошибка локализации имеет место как раз в случае расположения источника внутри пространства.
Многоканальное воспроизведение звука — постоянно развивающаяся техническая область. Постоянно ведётся поиск новых способов панорамирования, которые не только дают корректное положение виртуального источника в пространстве, но также открывают новые возможности с точки зрения зависимостей между расположением виртуального источника и субъективным ощущением этого положения в пространстве. Бурное развитие технологий виртуальной реальности типа 360° в свою очередь ведёт к поиску различных решений о корректном панорамировании в случае персонального мониторинга. Старые законы панорамирования работают, однако в результате исследований создаются новые (например, DBAP, PMAP), которые не только корректируют слабые места существующих законов, но и открывают новые возможности.
Список литературы
- Алдошина И. А. Бинауральная стереофония. Современное состояние исследований // Шоу-мастер. 2004. № 39. С. 74-78.
- Алдошина И. А., Игнатов П. В., Иванов Ю. М. Бинауральный синтез в искусстве записи и воспроизведения звука // Современные проблемы науки и образования. 2015. №1-1. URL: http://www.science-education.ru/ru/article/view?id=17467 (дата обращения: 11.12.2018).
- Алдошина И. А., Игнатов П. В., Иванов Ю. М. Бинауральная стереофония на современном этапе развития бинауральных технологий // Современные проблемы науки и образования. 2015. №1-1. URL: http://www.science-education.ru/ru/article/view?id=17459 (дата обращения: 11.12.2018).
- Bauer B. B. Phasor Analysis of Some Stereophonic Phenomena // The Journal of the Acoustical Society of America. 1961. № 33. P. 1536-1539.
- Blumlein A. D. British Patent Specification 394,325 (Improvements in and Relating to Sound-Transmission, Sound-Recording and Sound-Reproducing Systems) // The Journal of the Audio Engineering Society. 1958. № 6. P. 91-98.
- Clark H. A. M., Dutton G. F., Vanderlyn P. B. The "Stereosonic" Recording and Reproducing System // The Journal of the Audio Engineering Society. 1958. № 6. P. 102-117.
- Griesinger D. Stereo and Surround Panning in Practice // DavidGriesinger.com. Cambrige (MA). 2002. URL: http://www.davidgriesinger.com/pan_laws.pdf (дата обращения: 11.12.2018).
- Pulkki V. Localization of Amplitude-Panned Virtual Sources II: Two- and Three-Dimensional Panning // The Journal of the Audio Engineering Society. 1997. № 49. P. 753-767.
- Pulkki V. Virtual Sound Source Positioning Using Vector Base Amplitude Panning // The Journal of the Audio Engineering Society. 1997. № 45 (6). P. 345-466.
- Thomas M. R. P., Robinson Ch. Q. Amplitude Panning and the Interior Pan // AES.org. N. Y. (NY). 2017. October 8. URL: http://www.aes.org/e-lib/browse.cfm?elib=19250 (дата обращения: 11.12.2018).
References
- Aldoshina I. A. Binauralnaуa stereofoniуa. Sovremennoe sostoianie issledovanуi. In Show-master, 2004, no. 39, pp. 74-78. (In Russian).
- Aldoshina I. A., Ignatov P. V., Ivanov Iu. M. Binauralnyi sintez v iskusstve zapisi i vosproizvedeniya zvuka. In Sovremennye problemy nauki i obrazovaniia, 2015, no. 1-1. URL: http://www.science-education.ru/ru/article/view?id=17467 (accessed 11.12.2018). (In Russian).
- Aldoshina I. A., Ignatov P. V., Ivanov Iu. M. Binauralnaya stereofoniya na sovremennom etape razvitiya binauralnykh tekhnologyi. In Sovremennye problemy nauki i obrazovaniia, 2015, no. 1-1. URL: http://www.science-education.ru/ru/article/view?id=17459 (accessed 11.12.2018). (In Russian).
- Bauer B. B. Phasor Analysis of Some Stereophonic Phenomena. In The Journal of the Acoustical Society of America, 1961, no. 33, pp. 1536-1539.
- Blumlein A. D. British Patent Specification 394,325 (Improvements in and Relating to Sound-Transmission, Sound-Recording and Sound-Reproducing Systems). In The Journal of the Audio Engineering Society, 1958, no. 6, pp. 91-98.
- Clark H. A. M., Dutton G. F., Vanderlyn P. B. The "Stereosonic" Recording and Reproducing System. In The Journal of the Audio Engineering Society, 1958, no. 6, pp. 102-117.
- Griesinger D. Stereo and Surround Panning in Practice. In DavidGriesinger.com. Cambrige (MA), 2002. URL: http://www.davidgriesinger.com/pan_laws.pdf (accessed 11.12.2018).
- Pulkki V. Localization of Amplitude-Panned Virtual Sources II: Two- and Three-Dimensional Panning. In The Journal of the Audio Engineering Society, 1997, no. 49, pp. 753-767.
- Pulkki V. Virtual Sound Source Positioning Using Vector Base Amplitude Panning. In The Journal of the Audio Engineering Society, 1997, no. 45 (6), pp. 345-466.
- Thomas M. R. P., Robinson Ch. Q. Amplitude Panning and the Interior Pan. In AES.org. N. Y. (NY), 2017, October 8. URL: http://www.aes.org/e-lib/browse.cfm?elib=19250 (accessed 11.12.2018).
УДК 681.841 + 781.1
Библиографическая ссылка: