Поток

GigaAM в ONNX: экспорт и запуск

Марк Весёлый · основатель «Потока» · ~5 мин

Экспорт GigaAM в ONNX делает метод `model.to_onnx(dir_path=onnx_dir, dtype=torch.float32)`, а запуск — функции `load_onnx` и `infer_onnx` из `gigaam.onnx_utils`. Для видеокарты берут float16 и onnxruntime-gpu. Нужны Python 3.10 или новее и ffmpeg. Нужна готовая диктовка без кода — есть Поток (potok.now).

GigaAM — модель распознавания речи из репозитория salute-developers/GigaAM. Её можно выгрузить в формат ONNX и запускать через onnxruntime; все команды ниже взяты из README репозитория.

Где пригодится экспорт GigaAM в ONNX

Экспорт нужен тому, кто хочет запускать GigaAM через onnxruntime, а не через PyTorch: для этого в репозитории есть модуль gigaam.onnx_utils. Версия модели в примере — v3_ctc, но подходит любая версия. Для сервера с Triton и TensorRT в репозитории есть отдельный раздел, triton_scripts/README.md. Лицензия GigaAM — MIT. О самом формате рассказывает подробная статья про ONNX.

Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Шаги: от клонирования до распознавания

  1. Склонируйте репозиторий и перейдите в него: git clone https://github.com/salute-developers/GigaAM.git, затем cd GigaAM.
  2. Установите пакет: pip install -e .[torch]. Нужны Python 3.10 или новее и ffmpeg в PATH.
  3. Экспортируйте модель: model.to_onnx(dir_path=onnx_dir, dtype=torch.float32). По умолчанию это fp32; для видеокарты возьмите dtype=torch.float16.
  4. Загрузите экспортированные сессии: from gigaam.onnx_utils import load_onnx, infer_onnx, затем sessions, model_cfg = load_onnx(onnx_dir, model_version).
  5. Распознайте файл: result = infer_onnx([audio_path], model_cfg, sessions).
  6. Для запуска на GPU удалите onnxruntime и поставьте pip install onnxruntime-gpu==1.22.*.
Разбор темы в три шага: Где пригодится экспорт GigaAM в ONNX → Шаги → Когда ONNX-запуск не нужен
О чём страница по шагам: Где пригодится экспорт GigaAM в ONNX → Шаги → Когда ONNX-запуск не нужен.

Когда ONNX-запуск не нужен

Эти шаги дают распознавание в коде, а не диктовку в любое поле: готовой вставки текста в программы здесь нет. Для диктовки есть Поток — облачный сервис, распознавание на серверах в России; без интернета не работает. Приложений для телефона и офлайн-режима у Потока нет. Одна подписка — приложение для диктовки и Telegram-бот potok_now_bot для записей и голосовых. Общие приёмы диктовки собраны в разделе с инструкциями.

Сравнение «Потока» и Win+H по строкам: платформы, бесплатно, оплата из рф, распознавание
«Поток» и Win+H: условия по официальным сайтам сервисов.

Частые вопросы

Какая версия Python нужна для GigaAM?

Python 3.10 или новее, и ещё ffmpeg в PATH. Пакет ставится из клонированного репозитория командой `pip install -e .[torch]`.

Как запустить GigaAM в ONNX на видеокарте?

Экспортируйте с `dtype=torch.float16`, удалите onnxruntime и поставьте `pip install onnxruntime-gpu==1.22.*`. Для Triton и TensorRT в репозитории есть отдельный раздел triton_scripts/README.md.

GigaAM в ONNX: что делать и что проверить?

GigaAM в ONNX. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «GigaAM в ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

GigaAM в ONNX: чем «Поток» отличается от встроенной диктовки?

GigaAM в ONNX. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «GigaAM в ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

GigaAM в ONNX: работает ли распознавание без интернета?

GigaAM в ONNX. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «GigaAM в ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

GigaAM в ONNX: сколько стоит и что входит в бесплатный план?

GigaAM в ONNX. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «GigaAM в ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Проверить за вечер

Установите «Поток», продиктуйте то, что обычно печатаете, и сравните. 14 дней полного доступа, карта не нужна. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает
Расчёт по средней скорости печати и речи, не замер.
ЗадачаЗнаковПечать (200 зн/мин)Голос (900 зн/мин)
ответ в чате3002 мин0.5 мин
письмо15008 мин1.7 мин
пост или протокол400020 мин4.4 мин
статья1000050 мин11.1 мин

Первоисточники: support.microsoft.com · support.apple.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв