CER (Character Error Rate) — метрика точности распознавания речи, которая считает ошибки посимвольно, а не по целым словам. Более привычная метрика WER считает ошибки по словам целиком; CER удобнее там, где слово трудно однозначно выделить — в мультиязычных наборах данных и языках с иным делением текста на слова.
Рядом с WER в статьях и бенчмарках распознавания речи иногда встречается ещё один процент — CER. Это соседняя метрика, но считает она не то же самое, и путать их не стоит.
Что такое CER (Character Error Rate) и где он встречается
CER встречается там же, где и WER: в описаниях библиотек для оценки качества распознавания речи, в научных статьях, которые сравнивают модели между собой, и в бенчмарках, где системы распознавания разных языков ставят рядом. По определению это метрика точности распознавания речи, которая считает ошибки на уровне отдельных символов, а не целых слов, — в этом и есть её отличие от более привычной метрики, которая считает ошибки по словам целиком.
Разница становится важной там, где WER работает плохо: CER особенно полезен для мультиязычных наборов данных и языков, где WER плохо применим из-за разнообразия способов деления текста на слова.
Чем CER отличается от WER без формулы
CER — это метрика точности распознавания речи, устроенная как WER, но на уровне символов, а не слов: она смотрит, сколько отдельных символов итогового текста разошлось с эталонной записью, а не сколько разошлось целых слов.
Из-за этого CER и WER на одной и той же записи почти всегда дают разные числа: WER считает ошибочным слово целиком, даже если разошёлся один символ, а CER показывает, что именно внутри этого слова разошлось.
| Термин | Что значит | Пример |
|---|---|---|
| CER (Character Error Rate) | метрика точности распознавания на уровне символов, а не целых слов | CER особенно полезен для мультиязычных наборов данных и языков, где WER плохо применим из-за разнообразия способов деления текста на слова |
| TTS (Text-to-Speech) | технология синтеза речи из текста — обратная задача по отношению к распознаванию речи | TTS озвучивает текст, а ASR, наоборот, превращает речь в текст |
| Стриминговое распознавание | режим, при котором текст появляется по мере произнесения речи, а не только после полной остановки | стриминг показывает частичный текст ещё до конца фразы |
| Субтокенизация (subword-токенизация) | разбиение слов на более мелкие частотные части для работы языковой модели | субтокенизация позволяет модели работать даже с незнакомыми словами |
Что «Поток» может показать про эту метрику
«Поток» — облачный сервис: распознавание идёт на серверах в России, и без интернета он не работает. У «Потока» есть измеренный результат по другой метрике — WER 2,1% на нашем бенчмарке GolosTest, а отдельно по CER результата нет.
Одна подписка «Потока» — это приложение для диктовки и Telegram-бот @potok_now_bot для записей и голосовых.
Частые вопросы
WER (Word Error Rate) считает ошибки распознавания по целым словам, а CER (Character Error Rate) — по отдельным символам. CER похож на WER по смыслу, но работает на уровне символов, а не слов.
WER (Word Error Rate) — метрика точности распознавания речи — доля ошибочных слов относительно эталонного текста. Пример: WER 2,1% значит 2-3 ошибки на 100 слов.
Что такое CER (Character Error Rate). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое CER (Character Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое CER (Character Error Rate). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое CER (Character Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое CER (Character Error Rate). Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое CER (Character Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое CER (Character Error Rate). Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое CER (Character Error Rate)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Проверить за вечер
Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео, RuTube, Instagram или TikTok — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: huggingface.co · support.microsoft.com