Словарь

Что такое локальное (on-device) распознавание

Марк Весёлый · основатель «Потока» · ~6 мин

Локальное (on-device) распознавание — это когда голос обрабатывается прямо на компьютере или телефоне пользователя, без отправки записи на сервер. Такое распознавание работает без интернета, но требует ресурсов самого устройства — процессора и памяти. «Поток» (potok.now) устроен иначе: распознавание у него облачное, а не локальное — аудио уходит на сервер и обрабатывается там.

У распознавания речи есть два разных подхода: локальный, когда всё происходит на самом устройстве, и облачный, когда запись уходит на сервер. Каждый подход по-своему решает вопрос, нужен ли для этого интернет и чьи вычислительные ресурсы используются.

Как устроено локальное (on-device) распознавание

Локальное (on-device) распознавание — это обработка голоса непосредственно на компьютере или телефоне пользователя, без отправки записи на сервер: весь путь от звука до текста проходит на самом устройстве. По-английски это звучит так: «Local processing runs the entire speech recognition pipeline on your device… works offline» — «локальная обработка выполняет весь конвейер распознавания речи на вашем устройстве… работает без интернета».

Локальное распознавание — один из подходов внутри более широкой темы автоматического распознавания речи, тому же общему термину посвящена отдельная статья: что такое ASR — автоматическое распознавание речи.

Ключевое отличие от облачного подхода — куда уходит звук. При локальном распознавании запись не покидает устройство, и подключение к интернету для самого распознавания не нужно. Но у этого подхода есть цена: вся вычислительная работа ложится на процессор и память самого устройства, а не на удалённый сервер.

ТерминЧто значитПример
Локальное (on-device) распознаваниеобработка голоса непосредственно на компьютере или телефоне пользователя, без отправки на серверлокальное распознавание работает без интернета, но требует ресурсов устройства
Модель капитализацииотдельная модель, отвечающая за простановку заглавных букв в текстемодель капитализации и модель пунктуации часто работают как единый постобработчик
Wake word (слово пробуждения)специальное слово, распознаваемое устройством постоянно в фоне, чтобы включить голосовой ассистент«окей, Google» — типичный пример wake word
ASR (Automatic Speech Recognition)автоматическое распознавание речи — технология преобразования звучащей речи в текстASR-система переводит голосовую фразу в строку текста за доли секунды
Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Пример из диктовки

Главный компромисс такой: локальное распознавание работает без интернета, но требует ресурсов устройства. Это значит, что вычисления, которые иначе выполнял бы удалённый сервер, здесь достаются процессору и памяти самого компьютера или телефона.

Такой пример хорошо показывает разницу с облачным подходом: там устройству нужно только записать звук и передать его дальше, а вся тяжёлая часть работы — на стороне сервера.

Как это касается Потока, а где нет

«Поток» устроен ровно наоборот, чем локальное распознавание: это облачный сервис, распознавание речи идёт на серверах в России, и без интернета «Поток» не работает. Но запись не теряется: если аудио сохранилось, оно остаётся в истории, и текст можно получить позже кнопкой «Перераспознать», когда связь вернётся. Другие похожие понятия собраны в общем словаре сайта: полный список статей.

Разбор темы в три шага: Как устроено локальное (on-device) распознавание → Пример из диктовки → Как это касается Потока
О чём страница по шагам: Как устроено локальное (on-device) распознавание → Пример из диктовки → Как это касается Потока.

Частые вопросы

Работает ли локальное распознавание без интернета

Локальное распознавание не требует интернета, потому что обработка голоса происходит на самом устройстве. Но такая обработка требует вычислительных ресурсов самого компьютера или телефона.

Является ли «Поток» локальным (on-device) распознаванием

Нет: «Поток» — облачный сервис, распознавание речи идёт на серверах в России, а не на самом устройстве, и без интернета «Поток» не работает.

Что такое локальное (on-device) распознавание: что это и чем отличается?

Что такое локальное (on-device) распознавание. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое локальное (on-device) распознавание» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Что такое локальное (on-device) распознавание: чем «Поток» отличается от встроенной диктовки?

Что такое локальное (on-device) распознавание. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое локальное (on-device) распознавание» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Что такое локальное (on-device) распознавание: работает ли распознавание без интернета?

Что такое локальное (on-device) распознавание. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое локальное (on-device) распознавание» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Что такое локальное (on-device) распознавание: сколько стоит и что входит в бесплатный план?

Что такое локальное (on-device) распознавание. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое локальное (on-device) распознавание» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Попробовать на своих текстах

Скачайте «Поток» для Windows, macOS или Linux: первые 14 дней — полный доступ без карты. Потом бесплатно 2500 слов в неделю или Pro за 690 ₽ в месяц. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео, RuTube, Instagram или TikTok — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает

Первоисточники: voicecontrol.pro · support.microsoft.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв