Почему голосовой ввод иногда обрезает начало фразы: при чём тут VAD

VAD (voice activity detection) — алгоритм, который определяет по звуку, началась ли речь, и запускает запись только после этого; на решение уходит доля секунды, и за эту паузу первый слог фразы может потеряться. У Потока (potok.now) запись начинается не по обнаружению голоса, а по нажатию горячей клавиши — Ctrl+Space по умолчанию, отклик занимает около 0,4 секунды, — этой причины обрезания там нет.

Человек начинает говорить, а на экране в начале фразы не хватает одного-двух слов — знакомая ситуация для тех, кто часто пользуется программами голосового ввода. Причина обычно не в том, что программа «не расслышала» — она в том, что запись физически началась чуть позже, чем человек начал говорить. За это в большинстве систем отвечает VAD, voice activity detection: механизм, который определяет по звуку, когда началась и закончилась речь.

Как VAD решает, когда начать запись

VAD непрерывно слушает входящий звук и должен отличить обычный фоновый шум от начала речи — задача не такая простая, как кажется: щелчок мыши, скрип стула или дыхание тоже создают короткий всплеск звука, и система не может мгновенно понять, что это не голос. Поэтому VAD обычно ждёт короткое подтверждение — несколько десятков или сотен миллисекунд звука, который по своим характеристикам похож на речь, — и только после этого решает, что запись действительно нужно вести.

Именно в этом коротком окне подтверждения и скрывается причина обрезанного начала фразы: пока VAD «раздумывает», человек уже произносит первый слог, а иногда и первое слово целиком, — и если этот момент не буферизован заранее, он просто не попадает в запись, которая формально стартует только после решения VAD. Чем короче и тише первое слово фразы, тем выше шанс, что оно окажется как раз в этом промежутке. То, что происходит с записанным звуком дальше, уже за пределами VAD, — в материале про голосовой ввод под русскую речь.

Push-to-talk устроен принципиально иначе: запись начинается не по решению алгоритма о том, что услышанный звук — это речь, а по действию человека — нажатию и удержанию клавиши. У Потока это горячая клавиша, по умолчанию Ctrl+Space: пока она зажата, идёт запись, и момент её начала не зависит от того, успел ли алгоритм распознать голос в потоке звука. Здесь тоже можно случайно обрезать начало фразы, но по другой причине — если начать говорить чуть раньше, чем нажата клавиша, а не из-за задержки в решении VAD.

Где обрезание заметнее, а где почти не мешает

Короткие команды и однословные реплики страдают от обрезания начала фразы сильнее всего: если пропадает один слог из короткого слова, теряется значительная часть его звучания, и распознать оставшееся становится труднее. В длинной фразе с несколькими словами потерянный первый слог не так критичен для смысла в целом, даже если само слово распознано с ошибкой.

Системы с постоянно активным прослушиванием — например, голосовые ассистенты, которые ждут отдельную команду активации или просто постоянно слушают эфир, — сталкиваются с этим чаще, потому что запись каждый раз запускается заново по решению VAD. У программ с ручным запуском записи по нажатию клавиши этот конкретный сценарий обрезания не возникает в принципе, потому что момент старта задаёт не алгоритм, а сам человек.

Тихая, невыразительная первая согласная тоже увеличивает риск: если первый звук слова короткий и тихий сам по себе, системе сложнее распознать в нём начало речи ещё до того, как включится вопрос о буферизации, — здесь помогает небольшая пауза перед началом фразы и чуть более чёткое произнесение первого слова.

Когда стоит обратить внимание на другие причины

Поток — облачный сервис: распознавание идёт на серверах в России, и без подключения к интернету он не работает. Если начало фразы регулярно пропадает при диктовке через Поток, дело, скорее всего, не в VAD — здесь запись стартует по нажатию клавиши, — а в том, что клавиша была нажата на долю секунды позже, чем начата фраза, или в нестабильной сети.

Если то же самое происходит в программе с постоянно активным прослушиванием, а не с ручным запуском записи, стоит проверить настройки чувствительности VAD, если они есть в интерфейсе, — иногда порог срабатывания можно немного снизить, чтобы система быстрее фиксировала начало речи.

Частые вопросы

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru