GigaAM e2e с пунктуацией: чем отличается от CTC

В GigaAM v3 четыре варианта, и только два из них, v3_e2e_ctc и v3_e2e_rnnt, поддерживают пунктуацию и нормализацию текста. Цена за это — более высокий средний WER: 12.0 и 11.2 против 9.1 и 8.3 у v3_ctc и v3_rnnt. Для диктовки есть Поток (potok.now).

Разница между e2e и обычными вариантами GigaAM в том, что e2e сам расставляет знаки препинания и приводит текст к нормальному виду.

Расчёт по средней скорости печати и речи, не замер.
Задача	Знаков	Печать (200 зн/мин)	Голос (900 зн/мин)
ответ в чате	300	2 мин	0.5 мин
письмо	1500	8 мин	1.7 мин
пост или протокол	4000	20 мин	4.4 мин
статья	10000	50 мин	11.1 мин

Чем GigaAM e2e с пунктуацией отличается от CTC

В третьей версии GigaAM четыре варианта: v3_ctc, v3_rnnt, v3_e2e_ctc и v3_e2e_rnnt. Пунктуацию и нормализацию текста поддерживают e2e-варианты. Разметку для обучения делали через GigaChat Max Audio, передавая ему аудио, транскрипт и примеры.

Качество пунктуации в evaluation.md измерено F1 по трём знакам: запятая, точка, вопрос. У E2E-CTC это 83.7, 86.7 и 78.6, у E2E-RNNT 84.5, 86.7 и 79.8. У Whisper Punctuator, с которым сравнивают, 62.2, 85.0 и 77.7.

Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле — Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Что влияет на выбор между e2e и CTC

От метрики. В evaluation.md F1 пунктуации у e2e-вариантов выше, чем у Whisper Punctuator, по всем трём знакам, а WER у E2E выше: средний 12.0 и 11.2 против 9.1 и 8.3 у v3 CTC и RNNT.
От набора данных. На Golos Crowd указано 9.7 против 2.8, где первое число относится к E2E.
От архитектуры. Внутри e2e есть CTC и RNNT: у RNNT F1 по запятой и вопросу чуть выше, а по точке оба варианта дают 86.7.
От того, как сравнивать. В side-by-side сравнении с Whisper-large-v3 в README указано 70:30 в пользу GigaAM-v3-e2e.

Если вас интересует, как работает расстановка знаков в целом, читайте про восстановление пунктуации и про автоматическую пунктуацию при диктовке.

Когда этот расчёт вас не касается

Если вы выбираете не модель, а программу для диктовки, цифры F1 и WER GigaAM к ней не относятся: Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Для готовых записей у Потока есть Telegram-бот potok_now_bot: одна подписка — приложение для диктовки и бот для записей и голосовых.

Частые вопросы

Какие варианты есть у GigaAM v3?

В GigaAM v3 четыре варианта: v3_ctc, v3_rnnt, v3_e2e_ctc и v3_e2e_rnnt. Пунктуацию и нормализацию текста поддерживают два e2e-варианта, на это указывает README проекта.

На чём обучали расстановку пунктуации в GigaAM e2e?

Разметку пунктуации и нормализации для обучения делали через GigaChat Max Audio: модели давали аудио, транскрипт и примеры. Это описано в файле evaluation.md репозитория GigaAM.

GigaAM e2e с пунктуацией: что делать и что проверить?

GigaAM e2e с пунктуацией. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «GigaAM e2e с пунктуацией» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

GigaAM e2e с пунктуацией: чем «Поток» отличается от встроенной диктовки?

GigaAM e2e с пунктуацией: работает ли распознавание без интернета?

GigaAM e2e с пунктуацией. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «GigaAM e2e с пунктуацией» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

GigaAM e2e с пунктуацией: сколько стоит и что входит в бесплатный план?

GigaAM e2e с пунктуацией. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «GigaAM e2e с пунктуацией» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Скачать «Поток»

Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

Диктуете в приложении, а записи и голосовые расшифровывает @potok_now_bot в Telegram. 60 минут в месяц — бесплатно, подписка «Потока» снимает лимит в боте и в приложении.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
Средство	Где работает	Русский язык	Где распознаётся речь
Голосовой ввод Windows (Win+H)	Windows 10 и 11	только в Windows 11	облако Microsoft, без интернета не работает
Диктовка macOS	macOS	есть	на устройстве или на серверах Apple
Поток	Windows, macOS, Linux	основной язык	облако, серверы в России, без интернета не работает

Первоисточники: support.microsoft.com · support.apple.com