Бюджет задержки (latency budget) — это допустимое время отклика системы, которое закладывают при проектировании сервиса, включая распознавание речи. По документации Databricks, у большинства продакшен-приложений такой бюджет есть, и пропускную способность стараются наращивать именно в его рамках. Жёсткий бюджет задержки заставляет ограничивать пропускную способность сервиса, чтобы уложиться в заданное время ответа.
Когда систему распознавания речи проектируют, для неё заранее закладывают предел по времени ответа — этот предел и называют бюджетом задержки.
Откуда берётся бюджет задержки (latency budget)
Бюджет задержки (latency budget) — это допустимое время отклика системы, которое закладывают при проектировании сервиса. Ограничение появляется ещё на этапе проектирования, до того как сервис заработает: команда заранее определяет, сколько времени система может тратить на один ответ.
Термин относится к области серверных технологий распознавания речи (speech-tech). С ним также связаны термины сквозная модель (end-to-end model) и серверный инференс — оба тоже описывают серверную часть систем распознавания речи.
По документации Databricks, у большинства продакшен-приложений есть такой бюджет задержки, и рекомендация звучит так: наращивать пропускную способность сервиса именно в рамках этого бюджета, а не за его счёт. Источник — документация Databricks о запуске бенчмарка пропускной способности для моделей.
Рядом с этим термином часто упоминают распознавание речи (ASR).
| Термин | Что значит | Пример |
|---|---|---|
| Бюджет задержки (latency budget) | допустимое время отклика системы, заложенное при проектировании сервиса | жёсткий бюджет задержки заставляет ограничивать пропускную способность сервиса, чтобы уложиться в заданное время ответа |
| End-to-end модель | архитектура распознавания речи, где один нейросетевой блок сразу переводит звук в текст, без отдельных акустической и языковой моделей | end-to-end модели сегодня — основной подход в современном ASR |
| Серверный инференс | выполнение уже обученной модели распознавания на удалённом сервере для обработки запросов пользователей | при серверном инференсе звук уходит на сервер, а обратно приходит готовый текст; без подключения к сети такая модель недоступна |
| Распознавание речи | процесс преобразования звукового сигнала речи в текстовое представление | распознавание речи лежит в основе любой голосовой диктовки |
Пример из практики
Пример того, как бюджет задержки проявляется на практике: жёсткий бюджет задержки заставляет ограничивать пропускную способность сервиса, чтобы уложиться в заданное время ответа.
По документации Databricks, максимизировать пропускную способность рекомендуют именно с оглядкой на бюджет задержки, а не в отрыве от него. Это тот же источник, что и для определения термина: раздел документации Databricks о запуске бенчмарка пропускной способности для моделей.
Этот же пример относится к серверному инференсу: именно на этапе проектирования такой серверной части системы и закладывают бюджет задержки, до того как сервис начинает отвечать на реальные запросы.
При чём тут «Поток»
«Поток» — облачный сервис, распознавание идёт на серверах в России; без интернета он не работает. Одна подписка «Потока» — это приложение для диктовки на компьютере и Telegram-бот @potok_now_bot для записей и голосовых. Бюджет задержки — термин про общий подход к проектированию серверных систем распознавания речи, включая метрики вроде WER (word error rate), а не про архитектуру конкретного продукта.
Частые вопросы
Чтобы заранее ограничить, сколько времени система может тратить на ответ. По документации Databricks, у большинства продакшен-приложений есть такой бюджет, и пропускную способность увеличивают именно в его рамках, а не в ущерб скорости ответа.
Задержка зависит от того, где физически обрабатывается звук: чем ближе сервер распознавания географически, тем короче отклик. У Потока отклик около 0,4 секунды, серверы — в России.
Задержка (latency) — время между окончанием речи и появлением готового текста. Пример: низкая задержка делает диктовку похожей на живой разговор.
Что такое бюджет задержки (latency budget). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое бюджет задержки (latency budget)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое бюджет задержки (latency budget). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое бюджет задержки (latency budget)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое бюджет задержки (latency budget). Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое бюджет задержки (latency budget)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Проверить за вечер
Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Голосовое из мессенджера или запись созвона можно переслать боту @potok_now_bot — он пришлёт текст. Бот входит в ту же подписку, что и приложение «Поток».
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: learn.microsoft.com · support.microsoft.com