Стоит ли дообучать Whisper на русском, показывает замер WER на ваших данных: готовых цифр для русского здесь нет. Пример с хинди из статьи Hugging Face: Whisper small, около 8 часов данных, WER снизился с 63,5% до 32,0%. Без дообучения есть готовая русская модель GigaAM и облачный сервис «Поток» (potok.now).
Вопрос в том, окупятся ли ваши данные и время обучения. Заранее ответ дают только примеры, и они отвечают не про русский.
Когда дообучать Whisper на русском имеет смысл
Дообучение — вариант тогда, когда у вас есть свои записи и эталонные тексты, на которых можно измерить WER до и после. Whisper обучен на 680 000 часах, и в примере Hugging Face его всё равно дообучали под один язык. Whisper small на хинди (Common Voice 11.0) получил около 8 часов данных, 6540 примеров: WER упал с 63,5% до 32,0% на шаге 4000. Обучение заняло 5–10 часов при fp16, batch 16 и gradient_checkpointing.
Хинди — низкоресурсный язык, а для русского цифр в этой статье нет. Поэтому пример показывает порядок действий, а не обещанный результат.
Когда лучше взять готовую русскую модель
Если своих данных и эталона нет, вариант без обучения — готовая русская модель GigaAM. По таблице самих авторов GigaAM средний WER у v3 CTC составляет 9,1 против 21,0 у Whisper. Это сравнение авторов, а не независимый замер.
Дообучение GigaAM тоже поддерживается: CTC и RNNT, PyTorch Lightning. Как Whisper показывает себя на русском в целом — в обзоре Whisper и русская речь. Другие ответы на похожие вопросы собраны в разделе про голосовой ввод.
- Платформы
- Windows, macOS, Linux
- Бесплатно
- Free: 2500 слов в неделю; первые 14 дней — полный доступ без карты
- Pro
- Pro 690 ₽/мес, 499 ₽/мес при оплате за год
- Оплата
- российские карты, рубли
- Где распознаётся речь
- облако, серверы в России; нужен интернет
«Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает. Скачать: potok.now/download
| Сервис | Бесплатно | Платно |
|---|---|---|
| Поток | Free: 2500 слов в неделю; первые 14 дней — полный доступ без карты | Pro 690 ₽/мес, 499 ₽/мес при оплате за год |
Где «Поток» не поможет с дообучением
«Поток» — облачный сервис диктовки с собственной моделью, обученной под русскую речь. Распознавание идёт на серверах в России, без интернета оно не работает. Расшифровки готовых записей в приложении нет: записи и голосовые расшифровывает Telegram-бот @potok_now_bot, а подписка одна — на приложение для диктовки и на бота.
Частые вопросы
В примере Hugging Face для Whisper small на хинди хватило около 8 часов данных, это 6540 примеров, а обучение заняло 5–10 часов. Это пример для низкоресурсного языка, цифры для русского в статье не приводятся.
Стоит ли дообучать Whisper на русских данных. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Стоит ли дообучать Whisper на русских данных» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Стоит ли дообучать Whisper на русских данных. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Стоит ли дообучать Whisper на русских данных» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Стоит ли дообучать Whisper на русских данных. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Стоит ли дообучать Whisper на русских данных» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Стоит ли дообучать Whisper на русских данных. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Стоит ли дообучать Whisper на русских данных» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Как начать
«Поток» есть для Windows, macOS и Linux. Две недели всё открыто бесплатно, дальше — 2500 слов в неделю без оплаты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Голосовое из мессенджера или запись созвона можно переслать боту @potok_now_bot — он пришлёт текст. Бот входит в ту же подписку, что и приложение «Поток».
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
Первоисточники: support.microsoft.com · support.apple.com