Confidence score (оценка уверенности) — числовая оценка того, насколько ASR-система уверена в правильности распознанного слова или фразы. В отличие от WER и CER, её считают сразу при распознавании, без сравнения с эталонным текстом. Низкий confidence score может сигналить о нужде перепроверить слово.
Система распознавания речи не всегда одинаково уверена в собственном результате: одно слово она «слышит» чётко, а другое — с сомнением. Это сомнение можно выразить числом — так появляется confidence score.
Чем confidence score отличается от похожих понятий
Confidence score — числовая оценка того, насколько ASR-система уверена в правильности распознанного слова или фразы. Ключевое отличие от WER и CER в том, когда и как её считают: confidence score система выдаёт сама, сразу в момент распознавания, без сравнения с каким-либо эталонным текстом. WER и CER, наоборот, можно посчитать только после того, как есть готовая правильная расшифровка того же аудио, — сравнивая результат распознавания с ней слово за словом или символ за символом.
Соседние понятия из той же области — автоматическое распознавание речи (ASR), которое и выдаёт confidence score вместе с текстом, а также пакетное распознавание, TTS (синтез речи из текста, обратная задача) и промежуточные результаты — предварительный текст, который система показывает ещё до конца фразы.
Что такое confidence score (оценка уверенности) на практике
По документации Google Cloud, при распознавании речи система измеряет степень точности своего ответа и присваивает всему запросу число от 0.0 до 1.0 — чем оно ближе к единице, тем увереннее система в результате. Такую оценку считают на основе внутренних вероятностей самой модели распознавания, а не сравнением с человеческой разметкой, как это устроено у WER (word error rate).
Низкий confidence score может сигналить о нужде перепроверить слово.
| Термин | Что значит | Пример |
|---|---|---|
| Confidence score (оценка уверенности) | числовая оценка того, насколько ASR-система уверена в правильности распознанного слова или фразы | низкий confidence score может сигналить о нужде перепроверить слово |
| Пакетное распознавание | обработка уже целиком записанного аудиофайла, а не потока в реальном времени | пакетное распознавание применяют для расшифровки готовых записей |
| TTS (Text-to-Speech) | технология синтеза речи из текста — обратная задача по отношению к распознаванию речи | TTS озвучивает текст, а ASR, наоборот, превращает речь в текст |
| Промежуточные результаты (partial results) | черновой, ещё не окончательный текст, который стриминговая система показывает по ходу распознавания | промежуточные результаты могут отличаться от финального текста после уточнения |
Что из этого заявлено у Потока
«Поток» — облачный сервис, распознавание идёт на серверах в России, без интернета он не работает; у него заявлен WER 2,1% на нашем бенчмарке GolosTest. Одна подписка «Потока» — это приложение для диктовки и Telegram-бот @potok_now_bot для записей и голосовых.
Частые вопросы
Нет: confidence score система выдаёт сама, в момент распознавания, без эталонного текста для сравнения, а WER и CER считают уже после, сверяя результат с готовой правильной расшифровкой.
Что такое confidence score (оценка уверенности). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое confidence score (оценка уверенности)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое confidence score (оценка уверенности). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое confidence score (оценка уверенности)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое confidence score (оценка уверенности). Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое confidence score (оценка уверенности)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое confidence score (оценка уверенности). Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое confidence score (оценка уверенности)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Как начать
«Поток» есть для Windows, macOS и Linux. Две недели всё открыто бесплатно, дальше — 2500 слов в неделю без оплаты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: cloud.google.com · support.microsoft.com