Поток

Какая видеокарта нужна для Whisper large

Марк Весёлый · основатель «Потока» · ~9 мин

Для Whisper large таблица в README оригинала называет около 10 ГБ видеопамяти. В замере faster-whisper на RTX 3070 Ti с 8 ГБ модель large-v2 заняла 4525 МБ в fp16 и 2926 МБ в int8. Поток (potok.now) — облачная диктовка для компьютера, а не способ запустить Whisper у себя.

Ответ зависит от того, какой реализацией Whisper вы пользуетесь и в какой точности запускаете модель.

Какая видеокарта нужна для Whisper large: что проверить

  1. Сравните свой объём видеопамяти с таблицей README оригинала: у tiny и base около 1 ГБ, у small около 2 ГБ, у medium около 5 ГБ, у turbo около 6 ГБ, у large около 10 ГБ.
  2. Посмотрите, какой реализацией вы пользуетесь. В замере на 13 минутах звука с large-v2 на RTX 3070 Ti (8 ГБ) openai/whisper в fp16 занял 4708 МБ и отработал за 2 минуты 23 секунды, faster-whisper в fp16 занял 4525 МБ и уложился в 1 минуту 3 секунды.
  3. Проверьте режим точности. У faster-whisper в int8 тот же замер дал 2926 МБ и 59 секунд.
  4. Если нужна скорость, а память есть, включайте пакетную обработку: пакет из 8 фрагментов в fp16 занял 6090 МБ и отработал за 17 секунд.
  5. Для запуска faster-whisper на видеокарте нужны cuBLAS и cuDNN 9 под CUDA 12.
Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Что делать, если памяти меньше

Если на large памяти не хватает, смотрите на модели поменьше: medium берёт около 5 ГБ, turbo около 6 ГБ, small около 2 ГБ. У whisper.cpp для large в таблице указано около 3,9 ГБ памяти.

Запуск без видеокарты тоже описан. Для small на процессоре openai/whisper в fp32 занял 2335 МБ памяти, а faster-whisper в int8 — 1477 МБ.

Цифры замера относятся к конкретной карте и 13 минутам звука с large-v2. Для вашей карты и вашей записи они ориентир, а не обещание. Подробнее про видео и записи — в статье как перевести видео в текст.

Цены и условия — по официальным сайтам сервисов.
СервисПлатформыБесплатноЦенаОплата из РФГде распознаётся речь
ПотокWindows, macOS, LinuxFree: 2500 слов в неделю; первые 14 дней — полный доступ без картыPro 690 ₽/мес, 499 ₽/мес при оплате за годроссийские карты, рублиоблако, серверы в России; нужен интернет
Голосовой доступ (Voice Access) Windows 11Windowsбесплатно, встроено в Windows 11 версии 22H2 и новее—не раскрытоустройство (офлайн) — распознавание речи на устройстве после разовой загрузки языкового пакета; интернет нужен только для первичной загрузки языка
LisprWindows, macOS60 минут диктовки в неделю бесплатно; ключевые функции (push-to-talk, перевод, словарь, локальная история) остаются бесплатными всегда, без аккаунта$7.99/мес (Pro, помесячно); $79/год (Pro, за год (от $44.90 с региональными скидками))неизвестно (не подтверждено)облако (США — распознавание выполняет Groq, Inc.)
А-ГОЛОСmacOS, Windows, Android20 минут аудио в месяц бесплатно, без привязки карты490 ₽/мес (Lite, 120 мин/мес); 4900 ₽/год (Lite, год); 950 ₽/мес (Pro, 300 мин/мес)рубли напрямую (через внешнего платёжного провайдера, данные карт сервисом не хранятся)облако — политика заявляет хранение персональных данных на серверах в РФ, но само распознавание речи выполняет OpenAI (США); результаты и аудио на серверах компании не хранятся
SpeakFlowWindows, Web30 минут диктовки в месяц, бесплатно навсегда690 ₽/мес (Персональный (безлимит))рубли напрямуюоблако (страна дата-центра не раскрыта на сайте) (не подтверждено)
Win+H (голосовой ввод Windows)Windowsбесплатно, встроено в Windows 10 и Windows 11—не раскрытооблако (Azure Speech services, Microsoft) — обязательно требуется подключение к интернету
TypelessWindows, macOS, iOS, Android8000 слов в неделю (Free plan); новым пользователям даётся 30-дневный пробный период Pro, затем переход на Free при отсутствии оплаты$12/мес (Pro при оплате за год (эффективно $144/год)); $30/мес (Pro при помесячной оплате)карты Visa/Mastercard, приём карт РФ не уточнёноблако (страна серверов официально не раскрыта; в privacy policy — общая формулировка 'processed in real time on our cloud servers') (не подтверждено)
Dragon NaturallySpeakingWindowsне раскрыто$699.99/разово (Dragon Professional Individual v16, бессрочная лицензия)не раскрытоустройство (офлайн) — локальный акустический движок (~8 ГБ нейросеть) после установки; интернет нужен только для активации лицензии
VoistyWindows, macOS5 минут транскрипции (для оценки качества)$6.7/мес (Pro); $67/год (Pro (год)); $99/разово (Lifetime)карты Visa/Mastercard/Amex, PayPal; приём карт РФ не уточнён (не подтверждено)устройство (офлайн, локальные модели типа Whisper Large V3 Turbo / NVIDIA Parakeet)
Voco (ЦРТ) и Laitis — легаси-программы голосового ввода для WindowsWindowsVoco: неизвестно, был платным продуктом с версиями Basic/Professional/Enterprise, бесплатной версии не было. Laitis: бесплатная версия есть ("free, no ads"), плюс отдельная платная версия, которая, по словам разработчиков, отличается стабильностью работы—не раскрытоVoco: судя по руководству пользователя (2022), распознавание речи Voco исторически работало локально на ПК (offline, без интернета) — это отличало его от современных облачных сервисов, но это не подтверждено на актуальном сайте, так как продукт не найден в текущем каталоге. Laitis: сайт laitis.ru указывает, что для распознавания речи требуется интернет-соединение — то есть облачная обработка
SpokenlymacOS, Windows, Linux, iOSлокальные модели (Whisper/Parakeet) бесплатно навсегда без лимита слов; при подключении собственных API-ключей (BYOK) — тоже бесплатно$9.99/мес (Pro, помесячно); $99.99/год (Pro, годовая (≈$8.33/мес))не раскрытогибрид: локально на устройстве (Whisper/Parakeet, бесплатно) либо облако (GPT-4o Transcribe, Deepgram Nova 3, Soniox и др. — через BYOK или Pro)

Когда вопрос не к видеокарте

Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Это приложение для диктовки на компьютере, и запускать Whisper оно не помогает. Версий для Android и iPhone нет. Готовые записи расшифровывает Telegram-бот potok_now_bot: одна подписка действует и в приложении, и в боте. Другие темы — в подборке ответов про голосовой ввод.

Разбор темы в три шага: Какая видеокарта нужна для Whisper large → Что делать → Когда вопрос не к видеокарте
О чём страница по шагам: Какая видеокарта нужна для Whisper large → Что делать → Когда вопрос не к видеокарте.

Частые вопросы

Уместится ли Whisper large в видеокарту на 8 ГБ?

В замере faster-whisper на RTX 3070 Ti с 8 ГБ large-v2 занял 4525 МБ в fp16, 2926 МБ в int8 и до 6090 МБ с пакетом из 8 фрагментов. Оригинальный openai/whisper в fp16 на том же звуке взял 4708 МБ.

Какая видеокарта нужна для Whisper large: что делать и что проверить?

Какая видеокарта нужна для Whisper large. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Какая видеокарта нужна для Whisper large» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Какая видеокарта нужна для Whisper large: чем «Поток» отличается от встроенной диктовки?

Какая видеокарта нужна для Whisper large. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Какая видеокарта нужна для Whisper large» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Какая видеокарта нужна для Whisper large: работает ли распознавание без интернета?

Какая видеокарта нужна для Whisper large. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Какая видеокарта нужна для Whisper large» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Какая видеокарта нужна для Whisper large: сколько стоит и что входит в бесплатный план?

Какая видеокарта нужна для Whisper large. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Какая видеокарта нужна для Whisper large» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Если хотите сравнить сами

Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple

Первоисточники: support.microsoft.com · support.apple.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв