012 / ЗВУК

Спектр голоса

Любой звук раскладывается на простые синусы разной частоты. Браузер делает это быстрым преобразованием Фурье десятки раз в секунду. Включите микрофон и скажите «а-а-а», свистните или сыграйте ноту. А в синтезаторе соберите звук сами из гармоник.

Фурье · гармоники · тембр
Микрофон выключен

Звук обрабатывается прямо в браузере и никуда не отправляется.

Теория экспериментаКак звук раскладывается на синусы, что такое гармоники и почему нельзя одновременно точно знать частоту и времяПростое объяснение, формулы и устройство модели

Простыми словами

Звук это быстрые колебания давления воздуха. Микрофон превращает их в число, которое меняется 48 тысяч раз в секунду. Если нарисовать это число, получится волна: у свиста она похожа на ровную синусоиду, у голоса на сложную зубчатую линию.

Фурье доказал, что любую такую волну можно сложить из обычных синусов разной частоты и громкости. Преобразование Фурье решает обратную задачу: берёт кусок волны и находит, сколько в нём каждого синуса. Это и есть спектр. По горизонтали частота, по вертикали громкость.

Если звук повторяется с частотой ff, например нота, спетая голосом или сыгранная на струне, то в нём бывают только частоты f,2f,3ff, 2f, 3f и дальше. Это гармоники. Первая задаёт высоту ноты, а то, насколько громкие остальные, во многом задаёт тембр. Поэтому «а» и «у» на одной ноте звучат по-разному: основной тон тот же, а гармоники разные.

Считать спектр в лоб долго. Быстрое преобразование Фурье (БПФ) делает то же самое хитрее и в сотни раз быстрее. Благодаря этому браузер успевает пересчитывать спектр десятки раз в секунду даже на телефоне.

У любого спектра есть цена. Чтобы различить две близкие частоты, нужно слушать долго. Чтобы быстро заметить новый звук, нужно слушать коротко. Сразу и то и другое не выйдет: это соотношение неопределённостей, такое же, как в квантовой механике, только для звука.

Попробуйте сами

  1. Включите микрофон и свистните. На спектре будет одна узкая линия: свист почти чистый синус.
  2. Спойте «а-а-а». Появится частокол из линий на равных расстояниях друг от друга по частоте. Пунктир с номерами отмечает гармоники f,2f,3ff, 2f, 3f.
  3. Не меняя ноту, перейдите с «а» на «у». Первая линия останется на месте, а громкость остальных изменится.
  4. Хлопните в ладоши. Хлопок короткий, и в нём есть почти все частоты сразу: на водопаде будет горизонтальная полоса через весь экран.
  5. Переключите окно БПФ с «Быстро» на «Точно». Линии станут тоньше, но водопад начнёт отставать от звука.
  6. Спойте ноту и нажмите «Собрать этот звук в синтезаторе». Синтезатор сыграет ваши гармоники чистыми синусами. Похоже, но без дыхания и живого начала звука.
  7. В синтезаторе выберите «Меандр», потом «Пила», потом «Треугольник». Сравните столбики гармоник с формулами ниже.
  8. На пиле нажмите «Убрать минусы». Форма волны изменится сильно, а спектр останется прежним, и звук почти тот же: ухо слышит громкость гармоник и почти не слышит их сдвиг.

Физика и формулы

Ряд Фурье. Периодический звук с частотой ff можно записать как сумму гармоник:

x(t)=∑n=1∞bnsin⁡(2πnft)x(t)=\sum_{n=1}^{\infty} b_n \sin(2\pi n f t)

Здесь bnb_n амплитуда nn-й гармоники. В общем случае у каждой гармоники есть ещё и своя фаза. Для трёх классических волн коэффициенты известны точно:

меандр: bn=4πn (n нечётные)пила: bn=2(−1)n+1πnтреугольник: bn=8(−1)(n−1)/2π2n2 (n нечётные)\begin{gathered}\text{меандр: } b_n=\frac{4}{\pi n}\ (n\ \text{нечётные})\\ \text{пила: } b_n=\frac{2(-1)^{n+1}}{\pi n}\\ \text{треугольник: } b_n=\frac{8(-1)^{(n-1)/2}}{\pi^2 n^2}\ (n\ \text{нечётные})\end{gathered}

У меандра и треугольника чётных гармоник нет совсем. У треугольника амплитуды падают как 1/n21/n^2, поэтому он звучит мягче пилы, у которой они падают как 1/n1/n.

Дискретное преобразование. Компьютер видит не непрерывную волну, а NN отсчётов xjx_j, снятых с частотой fsf_s (обычно 48 000 в секунду). Их спектр:

Xk=∑j=0N−1wj xj e−2πi kj/N,fk=k fsN,k=0,1,…,N2X_k=\sum_{j=0}^{N-1} w_j\,x_j\,e^{-2\pi i\,kj/N},\qquad f_k=k\,\frac{f_s}{N},\quad k=0,1,\dots,\tfrac N2

Самая высокая частота, которую можно записать, равна fs/2f_s/2, то есть 24 кГц. Это предел Найквиста. Прямой подсчёт требует около N2N^2 умножений, а алгоритм Кули и Тьюки (БПФ) около Nlog⁡2NN\log_2 N. При N=8192N=8192 это 67 миллионов против 106 тысяч.

Окно. Кусок звука обрывается на краях, и обрыв сам по себе даёт ложные частоты по всему спектру. Поэтому края плавно гасят оконной функцией. Браузер использует окно Блэкмана:

wj=0,42−0,5cos⁡2πjN+0,08cos⁡4πjNw_j=0{,}42-0{,}5\cos\frac{2\pi j}{N}+0{,}08\cos\frac{4\pi j}{N}

Оно сильно подавляет ложные хвосты, но делает каждую линию шириной в несколько отсчётов. Уровень в спектре считается так:

Lk=20log⁡10∣Xk∣N дБL_k=20\log_{10}\frac{|X_k|}{N}\ \text{дБ}

Это децибелы относительно предела микрофона, а не громкость по шумомеру. Синус с наибольшей возможной амплитудой после окна Блэкмана даёт примерно −13,6 дБ.

Неопределённость. Окно из NN отсчётов длится TT, а соседние частоты в спектре отстоят на Δf\Delta f:

Δf=fsN,T=Nfs,Δf⋅T=1\Delta f=\frac{f_s}{N},\qquad T=\frac{N}{f_s},\qquad \Delta f\cdot T=1

При N=8192N=8192 это 171 мс и 5,9 Гц. Шаг сетки ещё не предел точности. Положение одиночного пика можно уточнить между отсчётами, но два тона ближе нескольких шагов сливаются в один.

Фаза и слух. Громкость волны зависит только от амплитуд гармоник, а не от их знаков и сдвигов:

xrms=12∑nbn2x_{\text{rms}}=\sqrt{\tfrac12\sum_n b_n^2}

Поэтому смена знака у гармоники меняет форму волны, но не спектр. Ухо в основном тоже слышит только амплитуды. Это наблюдение Ома и Гельмгольца, хотя оно и не абсолютно: резкие изменения фазы иногда слышны.

Как устроена модель

Спектр считает сам браузер, встроенным узлом Web Audio AnalyserNode: окно Блэкмана, БПФ на N=2048N=2048, 81928192 или 1638416384 отсчётов, уровень LkL_k в децибелах. Между кадрами амплитуды сглаживаются:

∣Xk∣t=τ ∣Xk∣t−1+(1−τ) ∣Xk∣новый,τ=0,55|X_k|_t=\tau\,|X_k|_{t-1}+(1-\tau)\,|X_k|_{\text{новый}},\qquad \tau=0{,}55

Для проверки на TypeScript написан модуль БПФ, который повторяет вычисления браузера. Тесты сверяют его с прямой суммой, а уровень чистого синуса с теоретическим значением −13,6 дБ.

Высота ноты определяется по гармоникам. Для каждого пика-кандидата суммируется, насколько он и пики на частотах 2f,3f,4f2f, 3f, 4f выступают над местным уровнем шума. Выбирается кандидат с наибольшей суммой. Точное положение пика уточняется параболой по трём соседним отсчётам:

δ=12 Lk−1−Lk+1Lk−1−2Lk+Lk+1,f≈(k+δ) fsN\delta=\frac12\,\frac{L_{k-1}-L_{k+1}}{L_{k-1}-2L_k+L_{k+1}},\qquad f\approx(k+\delta)\,\frac{f_s}{N}

Нота показывается, только если держится четыре кадра подряд в пределах полутона. Тесты проверяют, что на громком белом шуме нот нет, а голос в шуме комнаты находится с точностью лучше 1 Гц.

Ось частот логарифмическая, от 20 Гц до 20 кГц, как слышит ухо. Водопад добавляет 60 строк в секунду по реальному времени и хранит последние 6 секунд. Синтезатор складывает 16 гармоник и выставляет громкость по среднеквадратичному значению, поэтому все формы волн звучат одинаково громко.

Сайт просит браузер выключить шумодав и автоусиление, потому что шумодав со временем вырезает ровные ноты. На некоторых телефонах встроенный микрофон без этой обработки не работает, тогда спектр может быть немного искажён. Звук обрабатывается только в браузере и никуда не отправляется.

Источники и дальнейшее чтение

  • J. W. Cooley, J. W. Tukey. An algorithm for the machine calculation of complex Fourier series. Math. Comp. 19, 297 (1965). doi ↗
  • F. J. Harris. On the use of windows for harmonic analysis with the discrete Fourier transform. Proc. IEEE 66, 51 (1978). doi ↗
  • H. von Helmholtz. On the Sensations of Tone (1863, англ. пер. 1885). archive.org ↗
  • W3C. Web Audio API: AnalyserNode, FFT windowing and smoothing over time. w3.org ↗