Серверный инференс — это работа уже обученной модели распознавания речи на удалённом сервере: устройство отправляет звук по сети, сервер обрабатывает его моделью и присылает обратно готовый текст. У «Потока» (potok.now) распознавание облачное: собственная модель на серверах в России, без интернета не работает.
Когда облачный голосовой ввод перестаёт работать без интернета, дело обычно не в самом устройстве, а в том, где именно распознаётся речь: модель может считать прямо на телефоне или компьютере, а может работать на удалённом сервере. Второй вариант и называют серверным инференсом.
Что означает термин «серверный инференс»
Инференс (от английского inference — «вывод», «умозаключение») — это этап работы модели, когда она уже обучена и применяется к новым данным, а не тренируется заново. В распознавании речи инференс — момент, когда модель получает звук и выдаёт из него текст.
Серверный инференс означает, что этот этап происходит не на устройстве пользователя, а на удалённом сервере: компьютер или телефон отправляет запись по сети, сервер прогоняет её через модель и присылает обратно результат. Без сети такая модель недоступна — обработать звук на самом устройстве, если модель серверная, невозможно.
Противоположность серверному инференсу — локальный инференс, «на устройстве»: модель считается прямо на компьютере или телефоне, без сети.
| Термин | Что значит | Пример |
|---|---|---|
| Серверный инференс | выполнение уже обученной модели распознавания на удалённом сервере для обработки запросов пользователей | при серверном инференсе звук уходит на сервер, а обратно приходит готовый текст; без подключения к сети такая модель недоступна |
| Диктовка вместо печати | сценарий работы, при котором пользователь создаёт текст голосом, а не набирает его на клавиатуре | диктовка вместо печати ускоряет создание текста, особенно длинного |
| N-best гипотезы | список из нескольких наиболее вероятных вариантов распознавания одной и той же фразы | N-best гипотезы используют для выбора и последующей коррекции результата |
| Хотворд (hotword) | заранее заданное слово или фраза, которая запускает определённое действие голосом | хотворд используют для активации ассистента без нажатия кнопок |
Пример серверного инференса при диктовке
При облачном серверном инференсе звук уходит на сервер, а обратно приходит готовый текст; без подключения к сети такая модель недоступна.
У «Потока»: собственная модель, обученная под русскую речь, работает на серверах в России — звук отправляется туда, а текст возвращается в приложение и вставляется в поле, где стоит курсор. Без интернета «Поток» речь не распознаёт: запись остаётся в истории, и её можно распознать заново кнопкой «Перераспознать», когда связь вернётся.
Смежное понятие — распознавание речи (ASR), другие термины собраны в словаре о распознавании речи.
Как это касается Потока, а где нет
У «Потока» распознавание облачное — модель считается на сервере в России, и без интернета запрос до неё не доходит. Отправленная запись не теряется: она остаётся в истории, и её можно распознать заново кнопкой «Перераспознать», когда связь вернётся.
Частые вопросы
Инференс — это этап, когда уже обученная модель применяется к новым данным: получает звук и выдаёт текст, а не обучается заново. Серверный инференс — частный случай, когда этот этап происходит на удалённом сервере, а не на устройстве пользователя.
Нет: у «Потока» распознавание облачное — собственная модель считает на серверах в России, и без интернета запрос до неё не доходит. Запись при этом остаётся в истории, и её можно распознать заново кнопкой «Перераспознать», когда связь вернётся.
Что такое серверный инференс. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое серверный инференс» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое серверный инференс. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое серверный инференс» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое серверный инференс. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое серверный инференс» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое серверный инференс. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое серверный инференс» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: www.redhat.com · support.microsoft.com