WER (Word Error Rate) — метрика точности распознавания речи: доля ошибочных слов относительно эталонного текста. Считают её по формуле (S+D+I)/N, где S, D и I — заменённые, пропущенные и лишние слова, а N — их общее число в эталоне. WER 10% значит примерно 10 ошибок на 100 слов, а свой результат на нашем бенчмарке GolosTest есть и у «Потока» (potok.now).
Разработчики программ распознавания речи публикуют WER как главное число качества: 3%, 5%, 10%. Само по себе оно ничего не говорит, если не знать, что стоит за буквами и как эту цифру вообще получают.
Где WER всплывает при выборе программы для диктовки
Сравнивая программы распознавания речи, часто натыкаешься на строку вида «WER 5%» или «WER 10%» в описании продукта или в независимом бенчмарке. Это самая частая цифра точности, которую приводят разработчики, — но смысл у неё понятен не всем.
Считают WER по формуле WER = (S+D+I)/N. В числителе — сумма ошибок трёх видов: S (substitutions) — слова, распознанные неверно вместо правильных; D (deletions) — слова, которые распознавание пропустило; I (insertions) — лишние слова, которых в реальной речи не было. В знаменателе N — общее число слов в эталонном тексте, с которым сравнивают результат распознавания речи.
WER 10% значит примерно 10 ошибок на каждые 100 слов эталона: часть из них может быть заменой одного слова другим, часть — пропуском, часть — лишней вставкой. Чем меньше процент, тем меньше расхождений с эталонным текстом.
Что такое WER (Word Error Rate) простыми словами
Проще говоря, WER — способ сравнить то, что получилось на выходе у распознавания речи, с тем, что было сказано на самом деле, и выразить разницу одним числом. Источник определяет WER как общий показатель эффективности систем распознавания речи и машинного перевода: метрика применяется не только к голосовому вводу, но и к переводческим системам. О том, как WER применяют именно к распознаванию речи, — отдельная страница.
Важная деталь: WER считают на конкретном тестовом наборе аудиозаписей с известным правильным текстом. Число получается для этого набора, а не для программы вообще — на другой записи или на другом языке та же система покажет другую цифру. Сам показатель не относится к автоматической пунктуации — она оценивается отдельно.
| Термин | Что значит | Пример |
|---|---|---|
| WER (Word Error Rate) | метрика точности распознавания речи — доля ошибочных слов относительно эталонного текста | WER 10% значит примерно 10 ошибок на 100 слов |
| Сегментация речи | разбиение непрерывного звукового потока на отдельные смысловые или паузные фрагменты | сегментация помогает системе распознавать длинную речь по частям |
| Модель капитализации | отдельная модель, отвечающая за простановку заглавных букв в тексте | модель капитализации и модель пунктуации часто работают как единый постобработчик |
| Пользовательский словарь | список терминов, имён и сокращений, которые пользователь добавляет вручную, чтобы система распознавала их точнее | личный словарь помогает верно распознавать редкие фамилии и профессиональные термины |
Что WER не показывает
WER — метрика для любой системы распознавания речи или машинного перевода, а не показатель одного продукта: ей можно измерить и встроенные средства операционной системы, и облачный сервис, если есть один и тот же эталонный набор. У «Потока» есть свой результат — WER 2,1% на нашем бенчмарке GolosTest. «Поток» — облачный сервис, распознавание идёт на серверах в России, без интернета он не работает.
Частые вопросы
WER 10% значит, что в среднем на каждые 100 слов эталонного текста приходится около 10 ошибок: заменённых, пропущенных или лишних вставленных слов относительно того, что было сказано на самом деле.
Что такое WER (Word Error Rate). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое WER (Word Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое WER (Word Error Rate). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое WER (Word Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое WER (Word Error Rate). Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое WER (Word Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое WER (Word Error Rate). Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое WER (Word Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Скачать «Поток»
Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео, RuTube, Instagram или TikTok — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: en.wikipedia.org · support.microsoft.com