Для faster-whisper на CPU в README измерена модель small: с int8 на i7-12700K она обработала 13 минут звука за 1 мин 42 с и заняла 1477 МБ. По точности на русском (тест Fleurs) WER у small 11,4%, у medium 7,2%, у large 6,4%. Замеров medium и large на процессоре нет. Поток (potok.now) — облачная диктовка.
faster-whisper запускает Whisper быстрее оригинала и с меньшим расходом памяти: на CPU в одном и том же замере оригинал на fp32 занял 6 мин 58 с, а faster-whisper на fp32 — 2 мин 37 с. Для русского остаётся выбрать размер модели между скоростью и точностью.
faster-whisper на CPU: какую модель выбрать для русского
- Поставьте библиотеку командой
pip install faster-whisper. Нужен Python 3.9 или новее; ffmpeg не требуется, аудио декодирует PyAV. - Выберите размер модели. На процессоре в README измерена только small. Для русского на тесте Fleurs у small WER 11,4%, у medium 7,2%, у large 6,4% — чем больше модель, тем меньше ошибок. Скорость medium и large на CPU в README не измерена, поэтому проверьте её на своей записи.
- Укажите
compute_typeint8. В замере на small именно int8 дал 1 мин 42 с на 13 минутах звука и 1477 МБ памяти, а fp32 — 2 мин 37 с. - Если нужна скорость и хватает памяти, включите пакетную обработку: int8 с batch 8 обработал тот же файл за 51 с, но занял 3608 МБ.
- Добавьте
vad_filter=True: фильтр Silero VAD по умолчанию вырезает тишину длиннее 2 с.
Все цифры скорости получены на i7-12700K с 8 потоками. Цифры WER взяты из статьи OpenAI про оригинальный Whisper: это чтение вслух на Fleurs, а не живая разговорная речь. Подробнее о точности — в обзоре Whisper и русской речи.
Если на процессоре слишком медленно
Сравните режимы на одном файле: на small int8 быстрее fp32 (1 мин 42 с против 2 мин 37 с), а int8 с batch 8 быстрее всех (51 с). Если скорости всё равно мало, попробуйте модель меньшего размера, помня про рост WER.
Когда запускать модель у себя не нужно
Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Он не запускает модели на вашем процессоре: распознавание идёт на облачных серверах, а вы просто зажимаете горячую клавишу и диктуете. Приложений для Android и iPhone нет. Для готовых записей у Потока есть Telegram-бот potok_now_bot: одна подписка покрывает приложение для диктовки и бот для записей и голосовых. О том, почему для русской речи нужна своя модель, — в отдельном разборе.
Частые вопросы
Нет: аудио декодирует PyAV, отдельно ставить ffmpeg не требуется. Нужен Python 3.9 или новее, библиотека ставится командой pip install faster-whisper, лицензия MIT. Для запуска на видеокарте дополнительно нужны cuBLAS и cuDNN 9 под CUDA 12.
Для русского эта модель в README не заявлена: пример с ней дан для английского языка. Поэтому для русского ориентируйтесь на small, medium и large, для которых есть цифры WER на тесте Fleurs.
faster-whisper на CPU. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «faster-whisper на CPU» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
faster-whisper на CPU. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «faster-whisper на CPU» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
faster-whisper на CPU. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «faster-whisper на CPU» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
faster-whisper на CPU. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «faster-whisper на CPU» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Скачать «Поток»
Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Задача | Знаков | Печать (200 зн/мин) | Голос (900 зн/мин) |
|---|---|---|---|
| ответ в чате | 300 | 2 мин | 0.5 мин |
| письмо | 1500 | 8 мин | 1.7 мин |
| пост или протокол | 4000 | 20 мин | 4.4 мин |
| статья | 10000 | 50 мин | 11.1 мин |
Первоисточники: support.microsoft.com · support.apple.com