Голосовой ввод и акцент: насколько сильно это влияет на точность

Акцент — региональный или лёгкий иностранный — сказывается на точности голосового ввода меньше, чем кажется: сильнее сбивают нечёткое произношение отдельных звуков, быстрый темп речи и незнакомые модели слова, а не сам акцент как таковой. У Потока, например, заявленный WER 2,1% на бенчмарке GolosTest, но при заметном отклонении произношения от привычного ошибок становится больше у любой модели распознавания.

Точность распознавания речи принято измерять показателем WER — долей неверно распознанных слов в тексте. Акцент — то, как произношение отличается от эталонного для языка, — один из факторов, которые на WER влияют, но далеко не главный. Модели обучают на записях множества голосов, и умеренные отклонения в произношении обычно мешают меньше, чем, например, быстрая невнятная речь.

Как устроен голосовой ввод

Голосовая модель распознавания — нейросеть, обученная на большом количестве записанной речи: чем больше в обучающих данных голосов с похожим произношением, тем увереннее модель работает с похожим акцентом на практике. Для языка с несколькими региональными вариантами произношения или заметной долей неносителей это значит, что модель, обученная в основном на одном варианте, менее уверенно справляется с другими.

У программ для диктовки два разных подхода. Одни делают отдельную модель под конкретный язык: у Потока это русская речь, включая термины и смешанную русско-английскую техническую лексику. Другие делают одну модель на десятки языков сразу — например, у Talkpad заявлено распознавание 100+ языков через автоопределение, без отдельной модели именно под русский. Такой подход удобен для многоязычных пользователей, но означает другое распределение обучающих данных между языками. Подробнее о том, как модели вообще устроены под русскую речь, — в материале про голосовой ввод под русскую речь.

Отдельная деталь — где выполняется само распознавание: в облаке или на устройстве. На итоговую точность влияет не расположение само по себе, а объём и разнообразие данных, на которых модель обучали, и то, под какой именно язык и произношение её настраивали.

В каких случаях акцент точно повлияет на точность

Акцент заметнее всего сказывается там, где к нему добавляется что-то ещё. Быстрая, слитная речь с сильным акцентом распознаётся хуже, чем та же речь медленно и раздельно: модели проще разделить слова, когда между ними есть пауза, а акцент меняет именно то, как звучат границы между словами.

Редкие и технические термины — фамилии, названия препаратов, профессиональный жаргон — тоже страдают сильнее: у модели меньше примеров именно этого слова в обучающих данных, а с непривычным произношением редкое слово ещё труднее сопоставить с правильным текстом. Обычная бытовая речь, которую модель слышала множество раз в разных вариантах произношения, распознаётся заметно увереннее.

Переключение между языками в одной фразе — вставка английских слов в русское предложение, характерное для IT-специалистов и не только, — путает модель сильнее, чем стабильный акцент в пределах одного языка: программе приходится на ходу определять, на каком языке сейчас произносится слово.

А там, где акцент влияет меньше всего, — спокойная, размеренная речь на знакомую модели тему: программе не так важно, откуда родом говорящий, если слова произносятся ясно и в привычном темпе.

Когда лучше печатать или взять другой инструмент

Поток — облачный сервис, распознавание речи идёт на серверах в России, и без интернета программа не работает, поэтому там, где сети нет, акцент уже роли не играет — диктовка просто не запустится. Модель Потока обучена под русскую речь, и для непривычных слов с акцентом помогает личный словарь: редкие термины, имена и фамилии, которые модель раньше не встречала, можно один раз занести туда, и дальше они распознаются точнее. Отдельной настройки под конкретный акцент или голос — вроде обучения модели под манеру речи одного человека — у Потока нет. Похожий подход с моделью, обученной специально под русский язык, но работающей офлайн, — в сравнении с GigaType.

Частые вопросы

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru