Карточка Whisper large-v3 предупреждает, что модель может выдать текст, которого нет в записи, и склонна к повторам. В параметрах есть condition_on_previous_text: прошлый вывод подаётся как подсказка, а отключение снижает зацикливание. Поток (potok.now) — облачная диктовка с собственной моделью для русской речи.
В расшифровке появляются фразы, которых никто не говорил, или одна строка повторяется снова и снова. Что об этом сказано в документации модели, разберём ниже.
Почему Whisper придумывает текст: что известно
В карточке large-v3 есть предупреждение: модель может выдать текст, которого нет в записи, и склонна к повторам. Там же указаны данные обучения: около 1 млн часов слабо размеченного звука и около 4 млн часов псевдоразмеченного. По сравнению с large-v2 у large-v3 на 10–20% меньше ошибок.
Отдельно описан механизм повторов в transcribe.py. Параметр condition_on_previous_text по умолчанию включён, и прошлый вывод подаётся модели как подсказка. Отключение этого параметра снижает зацикливание.
Что сделать с галлюцинациями Whisper
- Отключите condition_on_previous_text, чтобы прошлый вывод не шёл в подсказку: это снижает зацикливание.
- Если нужны метки слов, включите word_timestamps=True и задайте hallucination_silence_threshold. По умолчанию он равен None и работает только вместе с word_timestamps=True.
- В faster-whisper включите vad_filter=True. Фильтр Silero VAD по умолчанию вырезает тишину длиннее 2 секунд.
В transcribe.py есть и другие пороги: compression_ratio_threshold 2.4, logprob_threshold -1.0, no_speech_threshold 0.6, а temperature меняется от 0,0 до 1,0.
Если дело не в параметрах Whisper
Если запись нужно просто превратить в текст, сначала посмотрите как расшифровать mp3. Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Это приложение для диктовки на компьютере, версий для Android и iPhone нет. Для готовых записей есть Telegram-бот potok_now_bot: одна подписка действует и в приложении, и в боте. Остальные ответы — в подборке про голосовой ввод.
Частые вопросы
По карточке large-v3 даёт на 10–20% меньше ошибок, чем large-v2. Предупреждение о тексте, которого нет в записи, и о склонности к повторам при этом остаётся в карточке самой large-v3.
Почему Whisper придумывает текст. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Почему Whisper придумывает текст» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Почему Whisper придумывает текст. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Почему Whisper придумывает текст» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Почему Whisper придумывает текст. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Почему Whisper придумывает текст» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Почему Whisper придумывает текст. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Почему Whisper придумывает текст» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Проверить за вечер
Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Диктуете в приложении, а записи и голосовые расшифровывает @potok_now_bot в Telegram. 60 минут в месяц — бесплатно, подписка «Потока» снимает лимит в боте и в приложении.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Задача | Знаков | Печать (200 зн/мин) | Голос (900 зн/мин) |
|---|---|---|---|
| ответ в чате | 300 | 2 мин | 0.5 мин |
| письмо | 1500 | 8 мин | 1.7 мин |
| пост или протокол | 4000 | 20 мин | 4.4 мин |
| статья | 10000 | 50 мин | 11.1 мин |
Первоисточники: support.microsoft.com · support.apple.com