На сервер для инференса ASR нужно столько ресурсов, сколько просит выбранная модель: Whisper просит видеопамяти от около 1 ГБ у tiny и base до около 10 ГБ у large, у turbo около 6 ГБ. В бенчмарке faster-whisper 13 минут аудио на large-v2 в fp16 обработаны за 1 минуту 03 секунды на RTX 3070 Ti. Без своего сервера есть «Поток» (potok.now).
Сколько ресурсов нужно серверу, зависит от модели, режима и железа. Ниже цифры из README самих проектов.
| Задача | Знаков | Печать (200 зн/мин) | Голос (900 зн/мин) |
|---|---|---|---|
| ответ в чате | 300 | 2 мин | 0.5 мин |
| письмо | 1500 | 8 мин | 1.7 мин |
| пост или протокол | 4000 | 20 мин | 4.4 мин |
| статья | 10000 | 50 мин | 11.1 мин |
Сколько ресурсов нужно на сервер для инференса ASR: бенчмарки
Бенчмарк из README faster-whisper: 13 минут аудио, модель large-v2, видеокарта RTX 3070 Ti 8 ГБ. Результаты:
- openai/whisper в fp16 — 2 минуты 23 секунды, 4708 МБ;
- faster-whisper в fp16 — 1 минута 03 секунды, 4525 МБ;
- faster-whisper в int8 — 59 секунд, 2926 МБ;
- faster-whisper с batch_size=8 в fp16 — 17 секунд, 6090 МБ.
На процессоре, по таблице README: openai/whisper в fp32 — 6 минут 58 секунд и 2335 МБ, whisper.cpp в fp32 — 2 минуты 05 секунд и 1049 МБ, faster-whisper в int8 — 1 минута 42 секунды и 1477 МБ. Это замеры авторов на их железе, не гарантия для вашего сервера.
От чего зависит нужный объём ресурсов
- Размер модели Whisper: tiny и base занимают около 1 ГБ видеопамяти, small около 2 ГБ, medium около 5 ГБ, large около 10 ГБ, turbo около 6 ГБ.
- Версия и режим: у WhisperX для large-v2 при beam_size=5 нужно меньше 8 ГБ видеопамяти.
- Память на процессоре: у whisper.cpp tiny занимает около 273 МБ, large — около 3,9 ГБ.
- Выбор модели: маленькой модели Vosk нужно около 300 МБ памяти, большой — до 16 ГБ, а GigaAM имеет от 220M до 600M параметров.
Подробнее о самом серверном запуске — в словаре про серверный инференс, а общее определение смотрите в статье про ASR.
Когда расчёт вас не касается
Считать видеопамять и память процессора нужно тем, кто сам разворачивает модель. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает. Расшифровки готовых записей в приложении нет: записи и голосовые расшифровывает Telegram-бот @potok_now_bot, а подписка одна — на приложение для диктовки и на бота.
Частые вопросы
WhisperX указывает, что для large-v2 при beam_size=5 нужно меньше 8 ГБ видеопамяти. В бенчмарке faster-whisper на RTX 3070 Ti с 8 ГБ модель large-v2 с batch_size=8 в fp16 заняла 6090 МБ. Это замеры авторов на их железе.
Что такое инференс ASR и сколько ресурсов нужно на сервер. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое инференс ASR и сколько ресурсов нужно на сервер» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое инференс ASR и сколько ресурсов нужно на сервер. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое инференс ASR и сколько ресурсов нужно на сервер» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое инференс ASR и сколько ресурсов нужно на сервер. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое инференс ASR и сколько ресурсов нужно на сервер» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое инференс ASR и сколько ресурсов нужно на сервер. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое инференс ASR и сколько ресурсов нужно на сервер» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Попробовать на своих текстах
Скачайте «Поток» для Windows, macOS или Linux: первые 14 дней — полный доступ без карты. Потом бесплатно 2500 слов в неделю или Pro за 690 ₽ в месяц. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: support.microsoft.com · support.apple.com