Отношение сигнал/шум: почему тишина вокруг важнее, чем кажется, для голосового ввода

Отношение сигнал/шум показывает, насколько голос громче фонового шума в записи: чем ближе шум по громкости к голосу, тем чаще программа путает слова, и это не зависит от того, насколько хороша сама модель распознавания. У Потока заявленный WER 2,1% на бенчмарке GolosTest измерен на чистой речи — в шумном помещении результат будет хуже у любой программы.

Микрофон записывает не только голос — он одновременно ловит гул вентилятора, шум с улицы, звук клавиатуры соседа и десятки других источников звука вокруг. Отношение сигнал/шум — это то, насколько голос громче всего этого фона в конкретной записи. Чем оно выше, тем увереннее программа отделяет речь от помех; чем ниже — тем чаще она принимает шум за часть слова или, наоборот, теряет часть слова в шуме.

Как шум мешает распознаванию

Любая программа распознавания речи получает на вход не чистый голос, а уже готовую смесь голоса и фонового звука с микрофона — разделить их после записи можно лишь частично, и чем сильнее шум был в момент произнесения фразы, тем меньше от голоса остаётся полезного сигнала для анализа. Это происходит на самом первом шаге, ещё до того как звук попадает в модель распознавания, будь она локальной на устройстве, как у GigaType, или облачной на сервере, — поэтому проблема низкого отношения сигнал/шум касается любой программы независимо от того, как и где она устроена дальше.

Особенно чувствительны к шуму границы между словами и тихие безударные звуки внутри слов — именно там разница между голосом и фоном минимальна, и модели сложнее всего решить, где заканчивается одно слово и начинается следующее. Громкий ровный шум вроде гула кондиционера мешает меньше, чем короткие резкие звуки: хлопок двери, лай собаки, чужая реплика рядом — они перекрывают часть речи именно в момент её записи, и эту часть сигнала уже не восстановить никаким пересмотром результата после.

Расстояние до микрофона работает похожим образом: чем дальше рот от микрофона, тем тише становится голос относительно того же самого фонового шума, — то есть отношение сигнал/шум падает даже без единого дополнительного источника звука в комнате. Поэтому гарнитура с микрофоном у рта или отдельный микрофон на столе обычно даёт более чистую запись, чем встроенный микрофон ноутбука в полуметре от лица.

Какая обстановка помогает, а какая мешает диктовке

Тихая комната с закрытой дверью и выключенным телевизором — почти идеальные условия: фонового шума мало, и отношение сигнал/шум остаётся высоким на протяжении всей диктовки. Здесь можно рассчитывать на точный результат почти в любой программе, если микрофон в порядке и находится не слишком далеко от говорящего. Как именно модели адаптируют распознавание под русскую речь, отдельно разобрано в материале про голосовой ввод под русскую речь.

Открытое пространство офиса, кафе с фоновой музыкой и разговорами за соседними столиками — куда более сложная среда: посторонние голоса особенно мешают распознаванию, потому что по частоте и характеру звука они ближе всего к голосу самого диктующего, и модели труднее их отделить, чем ровный шум машин или улицы за окном.

Диктовка на улице или в транспорте добавляет ещё и переменный шум — порывы ветра прямо в микрофон, гул двигателя, случайные резкие звуки, — который меняется от секунды к секунде и не даёт отношению сигнал/шум оставаться стабильным. В таких условиях помогает не столько выбор программы, сколько физическое приближение микрофона ко рту: гарнитура или проводные наушники с микрофоном ощутимо повышают долю голоса в записи по сравнению с микрофоном на столе или в корпусе ноутбука.

Когда низкое отношение сигнал/шум не получится обойти

Поток — облачный сервис: распознавание идёт на серверах в России, и без подключения к интернету он не работает. Офлайн-режима у него нет, поэтому там, где нужна диктовка в шумном месте без надёжной сети — например, на стройке или в дороге с плохим покрытием, — стоит заранее продумать и микрофон, и подключение к интернету, а не рассчитывать только на программу.

Есть шум, с которым не справится ни один микрофон и ни одна модель распознавания: несколько человек говорят одновременно и примерно с одинаковой громкостью, что делает голоса неотличимыми друг от друга по звуку. В такой обстановке проще отойти в сторону и продиктовать фразу заново, чем полагаться на то, что программа сама выделит нужный голос из общего гула.

Частые вопросы

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru