012 / ЗВУК
Спектр голоса
Любой звук раскладывается на простые синусы разной частоты. Браузер делает это быстрым преобразованием Фурье десятки раз в секунду. Включите микрофон и скажите «а-а-а», свистните или сыграйте ноту. А в синтезаторе соберите звук сами из гармоник.
Звук обрабатывается прямо в браузере и никуда не отправляется.
Теория экспериментаКак звук раскладывается на синусы, что такое гармоники и почему нельзя одновременно точно знать частоту и времяПростое объяснение, формулы и устройство модели
Простыми словами
Звук это быстрые колебания давления воздуха. Микрофон превращает их в число, которое меняется 48 тысяч раз в секунду. Если нарисовать это число, получится волна: у свиста она похожа на ровную синусоиду, у голоса на сложную зубчатую линию.
Фурье доказал, что любую такую волну можно сложить из обычных синусов разной частоты и громкости. Преобразование Фурье решает обратную задачу: берёт кусок волны и находит, сколько в нём каждого синуса. Это и есть спектр. По горизонтали частота, по вертикали громкость.
Если звук повторяется с частотой , например нота, спетая голосом или сыгранная на струне, то в нём бывают только частоты и дальше. Это гармоники. Первая задаёт высоту ноты, а то, насколько громкие остальные, во многом задаёт тембр. Поэтому «а» и «у» на одной ноте звучат по-разному: основной тон тот же, а гармоники разные.
Считать спектр в лоб долго. Быстрое преобразование Фурье (БПФ) делает то же самое хитрее и в сотни раз быстрее. Благодаря этому браузер успевает пересчитывать спектр десятки раз в секунду даже на телефоне.
У любого спектра есть цена. Чтобы различить две близкие частоты, нужно слушать долго. Чтобы быстро заметить новый звук, нужно слушать коротко. Сразу и то и другое не выйдет: это соотношение неопределённостей, такое же, как в квантовой механике, только для звука.
Попробуйте сами
- Включите микрофон и свистните. На спектре будет одна узкая линия: свист почти чистый синус.
- Спойте «а-а-а». Появится частокол из линий на равных расстояниях друг от друга по частоте. Пунктир с номерами отмечает гармоники .
- Не меняя ноту, перейдите с «а» на «у». Первая линия останется на месте, а громкость остальных изменится.
- Хлопните в ладоши. Хлопок короткий, и в нём есть почти все частоты сразу: на водопаде будет горизонтальная полоса через весь экран.
- Переключите окно БПФ с «Быстро» на «Точно». Линии станут тоньше, но водопад начнёт отставать от звука.
- Спойте ноту и нажмите «Собрать этот звук в синтезаторе». Синтезатор сыграет ваши гармоники чистыми синусами. Похоже, но без дыхания и живого начала звука.
- В синтезаторе выберите «Меандр», потом «Пила», потом «Треугольник». Сравните столбики гармоник с формулами ниже.
- На пиле нажмите «Убрать минусы». Форма волны изменится сильно, а спектр останется прежним, и звук почти тот же: ухо слышит громкость гармоник и почти не слышит их сдвиг.
Физика и формулы
Ряд Фурье. Периодический звук с частотой можно записать как сумму гармоник:
Здесь амплитуда -й гармоники. В общем случае у каждой гармоники есть ещё и своя фаза. Для трёх классических волн коэффициенты известны точно:
У меандра и треугольника чётных гармоник нет совсем. У треугольника амплитуды падают как , поэтому он звучит мягче пилы, у которой они падают как .
Дискретное преобразование. Компьютер видит не непрерывную волну, а отсчётов , снятых с частотой (обычно 48 000 в секунду). Их спектр:
Самая высокая частота, которую можно записать, равна , то есть 24 кГц. Это предел Найквиста. Прямой подсчёт требует около умножений, а алгоритм Кули и Тьюки (БПФ) около . При это 67 миллионов против 106 тысяч.
Окно. Кусок звука обрывается на краях, и обрыв сам по себе даёт ложные частоты по всему спектру. Поэтому края плавно гасят оконной функцией. Браузер использует окно Блэкмана:
Оно сильно подавляет ложные хвосты, но делает каждую линию шириной в несколько отсчётов. Уровень в спектре считается так:
Это децибелы относительно предела микрофона, а не громкость по шумомеру. Синус с наибольшей возможной амплитудой после окна Блэкмана даёт примерно −13,6 дБ.
Неопределённость. Окно из отсчётов длится , а соседние частоты в спектре отстоят на :
При это 171 мс и 5,9 Гц. Шаг сетки ещё не предел точности. Положение одиночного пика можно уточнить между отсчётами, но два тона ближе нескольких шагов сливаются в один.
Фаза и слух. Громкость волны зависит только от амплитуд гармоник, а не от их знаков и сдвигов:
Поэтому смена знака у гармоники меняет форму волны, но не спектр. Ухо в основном тоже слышит только амплитуды. Это наблюдение Ома и Гельмгольца, хотя оно и не абсолютно: резкие изменения фазы иногда слышны.
Как устроена модель
Спектр считает сам браузер, встроенным узлом Web Audio AnalyserNode: окно Блэкмана, БПФ на , или отсчётов, уровень в децибелах. Между кадрами амплитуды сглаживаются:
Для проверки на TypeScript написан модуль БПФ, который повторяет вычисления браузера. Тесты сверяют его с прямой суммой, а уровень чистого синуса с теоретическим значением −13,6 дБ.
Высота ноты определяется по гармоникам. Для каждого пика-кандидата суммируется, насколько он и пики на частотах выступают над местным уровнем шума. Выбирается кандидат с наибольшей суммой. Точное положение пика уточняется параболой по трём соседним отсчётам:
Нота показывается, только если держится четыре кадра подряд в пределах полутона. Тесты проверяют, что на громком белом шуме нот нет, а голос в шуме комнаты находится с точностью лучше 1 Гц.
Ось частот логарифмическая, от 20 Гц до 20 кГц, как слышит ухо. Водопад добавляет 60 строк в секунду по реальному времени и хранит последние 6 секунд. Синтезатор складывает 16 гармоник и выставляет громкость по среднеквадратичному значению, поэтому все формы волн звучат одинаково громко.
Сайт просит браузер выключить шумодав и автоусиление, потому что шумодав со временем вырезает ровные ноты. На некоторых телефонах встроенный микрофон без этой обработки не работает, тогда спектр может быть немного искажён. Звук обрабатывается только в браузере и никуда не отправляется.
Источники и дальнейшее чтение
- J. W. Cooley, J. W. Tukey. An algorithm for the machine calculation of complex Fourier series. Math. Comp. 19, 297 (1965). doi ↗
- F. J. Harris. On the use of windows for harmonic analysis with the discrete Fourier transform. Proc. IEEE 66, 51 (1978). doi ↗
- H. von Helmholtz. On the Sensations of Tone (1863, англ. пер. 1885). archive.org ↗
- W3C. Web Audio API: AnalyserNode, FFT windowing and smoothing over time. w3.org ↗