Rescoring: зачем голосовому вводу второй проход распознавания одной и той же фразы

Rescoring — это когда программа сначала быстро строит черновой вариант фразы по звуку, а потом заново оценивает его целиком, опираясь на смысл и контекст всего предложения. Так исправляются ошибки, которые видны только при взгляде на фразу полностью, — перепутанные похожие слова, неверный порядок при быстрой речи. У Потока (potok.now) весь путь от отпускания клавиши до готового текста — около 0,4 секунды.

Когда человек произносит фразу, программа распознавания речи не всегда угадывает каждое слово с первого раза правильно: похожие по звучанию слова легко перепутать, а смысл части фразы иногда проясняется только после того, как сказано всё предложение целиком. Rescoring — способ справиться именно с этой проблемой: не полагаться на одну-единственную попытку распознать звук, а дать модели ещё один шанс пересмотреть результат, уже видя фразу целиком.

Как устроен второй проход распознавания

Первый проход обычно устроен так: модель слушает звук почти в реальном времени и как можно быстрее выдаёт черновой вариант текста, двигаясь по фразе слово за словом. Такой проход быстрый, но у него мало контекста — на каждом шаге модель опирается в основном на то, что уже сказано, и ещё не знает, чем закончится предложение.

Второй проход — rescoring — включается, когда фраза уже произнесена целиком. Модель заново пересматривает черновой вариант, но теперь у неё есть вся фраза сразу, а не только её начало. Это позволяет исправить места, где на слух были возможны разные варианты: например, два похожих по звучанию слова, из которых только одно подходит по смыслу остального предложения, или порядок слов, который стал ясен только к концу фразы. По сути, второй проход отвечает на вопрос не «что было сказано в этот момент», а «что имеет смысл целиком, если знать всю фразу».

Ключевая причина, зачем вообще нужны два прохода, а не один точный сразу, — компромисс между скоростью и точностью. Самый точный способ распознать фразу — подождать, пока она закончится, и только потом анализировать её целиком; но тогда пользователь не увидит вообще ничего, пока не замолчит. Быстрый черновой проход даёт немедленный отклик, а последующий пересмотр — точность, которую даёт полный контекст, — и вместе они устроены так, чтобы не жертвовать ни тем, ни другим полностью.

Где второй проход особенно заметен, а где не критичен

Разница между черновым распознаванием и его пересмотром заметнее всего в предложениях с профессиональными терминами и именами собственными: их легко спутать с похожими по звучанию обычными словами, и только контекст всей фразы подсказывает правильный вариант. То же касается быстрой связной речи без пауз, где границы между словами не всегда очевидны с первого прохода. Отдельно о распознавании именно русской речи и терминов — в материале про голосовой ввод под русскую речь.

В коротких и простых фразах вроде «привет, как дела» разница между черновым и пересмотренным вариантом почти никогда не заметна: контекста там немного, и ошибиться особо не на чем. Здесь качество распознавания определяется скорее чистотой звука и дикцией говорящего, чем тем, есть у программы второй проход или нет.

Ещё один случай, где пересмотр результата особенно помогает, — фразы с омофонами: словами, которые звучат одинаково, но пишутся и означают разное. Различить их по одному только звуку невозможно, и здесь именно смысл всего предложения подсказывает нужный вариант написания.

Когда голосовой ввод стоит проверять глазами, а не доверять целиком

Даже с пересмотром результата распознавание речи не застраховано от ошибок на сто процентов: rescoring исправляет то, что проясняется по контексту фразы, но не может угадать факты, которых в самой фразе просто нет, — например, точное написание редкого имени или технического термина, если человек произнёс его впервые. Такие места стоит перечитывать после диктовки, особенно в текстах, где точность формулировок важна.

Поток — облачный сервис: распознавание идёт на серверах в России, и без подключения к интернету он не работает вовсе. Если диктовка нужна там, где сети нет или она часто пропадает, ни один пересмотр результата не поможет — распознавание попросту не запустится, и здесь стоит присмотреться к программам с распознаванием на устройстве, таким как Voisty, WhispeRu, GigaType или Molvi.

Частые вопросы

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru