Голосовой ввод с шумом на фоне: насколько падает точность

Точной цифры «насколько падает точность от шума» ни один сервис из обзора не публикует: у Потока (potok.now) заявлен WER 2,1% на бенчмарке GolosTest, но это цифра для разборчивой речи без посторонних звуков, а не для шумных условий. На практике сильнее сбивает не громкость фона сама по себе, а речеподобный шум — чужие голоса, музыка, телевизор.

«Насколько падает точность от шума» — вопрос, на который ни один сервис из обзора не даёт прямого числового ответа: ни один сайт не публикует отдельный процент ошибок для шумного помещения против тихого. Публичные цифры точности почти всегда измерены на чистой, разборчивой речи — реальный результат в шумной кухне или на улице замерить самому проще, чем найти готовую цифру у разработчика.

Почему шум на фоне сбивает распознавание

Модель распознавания речи получает один общий поток звука с микрофона и должна выделить из него именно голос — она не различает «важный» и «неважный» звук заранее, а анализирует характеристики сигнала целиком. Ровный, предсказуемый шум без резких перепадов — гул вентилятора, шум кондиционера, работающий на одной громкости холодильник — обычно мешает меньше: такой звук равномерно накладывается на голос, и модели проще выделить речь на его фоне. Речеподобный шум — чужие разговоры, музыка со словами, работающий рядом телевизор — сбивает сильнее, потому что по структуре он похож на саму речь, и модели сложнее провести границу между целевым голосом и посторонним.

Расстояние от микрофона до рта тоже сильно меняет результат: чем ближе микрофон, тем громче голос относительно фонового шума в записанном сигнале — это называют соотношением сигнала к шуму, и оно одинаково важно для любой программы распознавания, а не для какой-то одной. Встроенный микрофон ноутбука обычно стоит дальше от рта, чем микрофон гарнитуры, и записывает голос и шум почти с одинаковой громкостью, тогда как близкий микрофон делает голос заметно громче фона.

Личный словарь с терминами и именами, если он есть у программы, помогает распознать конкретные слова точнее, но на сам уровень шума в записи он не влияет — это разные механизмы: словарь работает с текстом после распознавания звука, а не с качеством самой звукозаписи.

Где шум мешает больше, а где почти не заметен

Дома в тишине или в закрытом кабинете диктовка почти не сталкивается с посторонним звуком, и точность там близка к заявленной разработчиком на чистой речи. В open space офиса фоновый шум постоянный, но обычно не слишком громкий — разговоры коллег за соседними столами создают именно тот речеподобный шум, который модели распознают хуже, особенно если говорящий рядом человек попадает в запись громче, чем голос диктующего.

На улице и в общественном транспорте к постоянному шуму — ветру, двигателям, объявлениям — добавляется его непредсказуемость: громкость резко меняется, и часть фраз может быть записана прямо на пике постороннего звука. В кафе накладываются сразу музыка и разговоры за соседними столиками — это один из самых сложных случаев именно из-за речеподобной природы шума. В автомобиле с закрытыми окнами и выключенным радио шум двигателя обычно ровный и мешает меньше, чем открытое окно на трассе или разговор пассажира рядом.

На производстве или складе, где работает оборудование, шум чаще ровный и громкий одновременно — тут помогает в первую очередь физическое приближение микрофона ко рту, а не выбор конкретной программы. Похожий переход на голосовой ввод в условиях, далёких от тихого кабинета, разобран в материале опыт человека, который почти перестал печатать руками.

Когда в шумном месте лучше не диктовать

Если рядом одновременно говорят несколько человек и голоса накладываются друг на друга — как в переполненном кафе или на шумной встрече, — распознавание путает, чей голос диктовать, и правки потом отнимают больше времени, чем сэкономила бы диктовка. В таких условиях быстрее набрать короткий текст руками или отойти в более тихое место хотя бы на минуту записи.

Программы с распознаванием прямо на устройстве, например WhispeRu, от связи не зависят и в шуме без интернета ведут себя так же, как обычно. Поток — облачный сервис, распознавание на серверах в России; без интернета не работает, и в шумном месте без сети сначала стоит решить вопрос со связью, а уже потом — с шумом. Общие приёмы формулировки фраз для более точного распознавания на русском — в материале голосовой ввод под русскую речь.

Частые вопросы

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru