Поток

Whisper: расшифровка с таймкодами, как получить в каждой версии

Марк Весёлый · основатель «Потока» · ~6 мин

Таймкоды в Whisper зависят от того, какую реализацию вы запускаете: у каждой свои параметры и свой формат вывода. В openai-whisper и faster-whisper пословные включает параметр word_timestamps, в whisper.cpp сегменты выводятся как [00:00:00.000 --> 00:00:11.000], а флаг -ml 1 даёт пословные метки. Для диктовки есть Поток (potok.now).

У Whisper нет одного способа получить таймкоды: он зависит от того, какую реализацию вы используете. Ниже варианты, которые есть в документации проектов.

Расчёт по средней скорости печати и речи, не замер.
ЗадачаЗнаковПечать (200 зн/мин)Голос (900 зн/мин)
ответ в чате3002 мин0.5 мин
письмо15008 мин1.7 мин
пост или протокол400020 мин4.4 мин
статья1000050 мин11.1 мин

Какие таймкоды бывают: по сегментам и по словам

Таймкоды бывают двух уровней. Сегментные показывают, когда началась и закончилась фраза: whisper.cpp выводит их в виде [00:00:00.000 --> 00:00:11.000], а флаг -ml 16 ограничивает длину сегмента. Пословные дают метку для каждого слова: в whisper.cpp их получают флагом -ml 1, но раздел Word-level timestamp в README помечен как experimental.

В openai-whisper параметр word_timestamps есть в функции transcribe(), хотя в README о нём не рассказано: его видно в исходнике whisper/transcribe.py.

Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Как получить расшифровку Whisper с таймкодами по шагам

  1. В openai-whisper передайте word_timestamps в transcribe().
  2. В whisper.cpp запускайте распознавание и берите строки вида [00:00:00.000 --> 00:00:11.000]; для сегментов покороче добавьте -ml 16, для пословных меток -ml 1.
  3. В faster-whisper вызовите model.transcribe("audio.mp3", word_timestamps=True).
  4. В WhisperX пословные метки строятся выравниванием через wav2vec2; чтобы выделять слова в файле .srt, добавьте --highlight_words True.
  5. В API OpenAI укажите timestamp_granularities[] вместе с response_format="verbose_json": параметр работает только для whisper-1.

Если нужен готовый файл с расшифровкой, а не скрипт, посмотрите, как получить расшифровку голосового в Word из бота. Другие готовые варианты собраны на странице про альтернативы WhispeRu.

Когда скрипты с таймкодами не нужны

Если вы хотите диктовать в любое приложение, таймкоды не понадобятся: Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Готовые записи приложение не расшифровывает, для них у Потока есть Telegram-бот potok_now_bot, где тайм-коды [мм:сс] можно включить. Одна подписка — приложение для диктовки и бот для записей и голосовых.

Разбор темы в три шага: Какие таймкоды бывают → Как получить расшифровку Whisper с таймкодами по шагам → Когда скрипты с таймкодами не нужны
О чём страница по шагам: Какие таймкоды бывают → Как получить расшифровку Whisper с таймкодами по шагам → Когда скрипты с таймкодами не нужны.

Частые вопросы

Как получить пословные таймкоды в faster-whisper?

Передайте word_timestamps=True: model.transcribe(«audio.mp3», word_timestamps=True). Так показано в README faster-whisper. Для openai-whisper тот же параметр word_timestamps есть в transcribe(), но в README он не описан.

Можно ли получить таймкоды через API OpenAI?

Да, но только для модели whisper-1: параметр timestamp_granularities[] указывают вместе с response_format=»verbose_json».

Whisper: что делать и что проверить?

Whisper. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Whisper» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Whisper: чем «Поток» отличается от встроенной диктовки?

Whisper. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Whisper» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Whisper: работает ли распознавание без интернета?

Whisper. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Whisper» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Whisper: сколько стоит и что входит в бесплатный план?

Whisper. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Whisper» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Попробовать на своей записи

Бот «Потока» в Telegram расшифрует голосовое, кружок, аудио или видео, а по кнопкам сделает выжимку и список задач. 60 минут в месяц бесплатно.

Открыть @potok_now_bot в Telegram
Сравнение «Потока» и Win+H по строкам: платформы, бесплатно, оплата из рф, распознавание
«Поток» и Win+H: условия по официальным сайтам сервисов.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple

Первоисточники: support.microsoft.com · support.apple.com

Расшифровать запись в Telegram

Голосовые, кружки, аудио и видео расшифровывает Telegram-бот «Потока» @potok_now_bot: перешлите ему голосовое из любого чата, пришлите файл или ссылку на YouTube, VK Видео, RuTube, Instagram или TikTok. Короткая запись приходит текстом в чат, длинная — файлом; тайм-коды и разметку по спикерам можно включить. По кнопкам — краткая выжимка, задачи и сроки, ответ на вопрос по записи и выгрузка в TXT, DOCX, PDF или SRT. Большие файлы, до 2 ГБ, удобнее загружать в мини-приложении бота — кнопка «Загрузить» у поля ввода. Бот распознаёт больше 100 языков (язык определяется сам), 60 минут в месяц — бесплатно.

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв