WER (Word Error Rate) — доля ошибочных слов относительно эталонного текста. На своих записях её считают так: сверяют результат с эталоном и делят число ошибочных слов на число слов эталона; WER 10% значит примерно 10 ошибок на 100 слов. У «Потока» (potok.now) WER 2,1% на нашем бенчмарке GolosTest.
Чтобы получить WER для своих записей, нужен эталон: текст, в котором каждое слово записи расставлено правильно. Без него считать нечего.
| Задача | Знаков | Печать (200 зн/мин) | Голос (900 зн/мин) |
|---|---|---|---|
| ответ в чате | 300 | 2 мин | 0.5 мин |
| письмо | 1500 | 8 мин | 1.7 мин |
| пост или протокол | 4000 | 20 мин | 4.4 мин |
| статья | 10000 | 50 мин | 11.1 мин |
Что такое WER и как измерить точность распознавания на своих записях
WER — это метрика точности распознавания речи: доля ошибочных слов относительно эталонного текста. В статье Word error rate она записана как WER = (S+D+I)/N. Здесь S — слова, которые заменены на другие, D — пропущенные, I — лишние вставленные, N — число слов в эталоне.
На практике это четыре действия. Возьмите свою запись и напечатайте её дословно: это эталон. Получите расшифровку той же записи в программе, которую проверяете. Сравните два текста слово за словом и сложите замены, пропуски и вставки. Разделите сумму на число слов эталона и переведите в проценты.
Пример: WER 10% значит примерно 10 ошибок на 100 слов. Чем ниже процент, тем точнее текст. Подробнее об определении — на странице про WER в распознавании речи.
От чего зависит результат
- От эталона: WER считают относительно него, поэтому в самом эталоне ошибок быть не должно.
- От числа слов в эталоне: именно на него делят сумму ошибок, так что 10 ошибок на 100 слов и 10 ошибок на 1000 слов дают разный процент.
- От того, что считать ошибкой: по формуле это замены, пропуски и лишние вставки, и каждая засчитывается как ошибочное слово.
- От самой записи: результат относится к тому файлу, который вы прогнали, и не переносится на другие записи автоматически.
Другие вопросы по голосовому вводу собраны в разделе ответов.
Когда расчёт вас не касается
Если вы просто диктуете и не сравниваете программы, считать WER не нужно. Цифра 2,1% у «Потока» получена на нашем бенчмарке GolosTest, а не на ваших записях. «Поток» — облачный сервис, распознавание на серверах в России; без интернета не работает. Офлайна, приложений для Android и iPhone, голосовых команд и перевода у него нет, а записи расшифровывает Telegram-бот @potok_now_bot.
Частые вопросы
WER 10% значит примерно 10 ошибок на 100 слов эталонного текста. Чем меньше процент, тем меньше ошибочных слов относительно эталона.
WER = (S+D+I)/N: сумма ошибок в словах, делённая на число слов эталонного текста. Формула приведена в статье Word error rate, где WER назван общей метрикой для систем распознавания речи и машинного перевода.
WER (Word Error Rate) — метрика точности распознавания речи — доля ошибочных слов относительно эталонного текста. Пример: WER 2,1% значит 2-3 ошибки на 100 слов.
Что такое WER и как измерить точность распознавания на своих записях. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое WER и как измерить точность распознавания на своих записях» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое WER и как измерить точность распознавания на своих записях. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое WER и как измерить точность распознавания на своих записях» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое WER и как измерить точность распознавания на своих записях. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое WER и как измерить точность распознавания на своих записях» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: en.wikipedia.org · support.microsoft.com