ONNX (Open Neural Network Exchange) — открытый формат представления обученных моделей: он позволяет запускать одну и ту же модель в разных средах и на разном оборудовании, а не только там, где её обучили. Модель, сохранённую в этом формате, не нужно переписывать заново под каждую платформу. Модель в формате ONNX можно запустить не только там, где она была обучена.
Одну и ту же обученную модель иногда нужно запустить не там, где её учили, а на совсем другом оборудовании. ONNX — это как раз про такой перенос. Разбор соседних понятий — в словаре терминов распознавания речи.
Где встречается формат ONNX
- Перенос модели между средами: модель обучили в одном инструменте, сохранили в ONNX — и она запускается в другом, без переобучения заново.
- Локальные и офлайн-приложения распознавания речи: модель экспортируют в ONNX, чтобы она работала прямо на устройстве пользователя, а не только там, где её обучали.
- Разное оборудование: одна и та же модель в формате ONNX подходит для разных устройств, если для них есть подходящий исполнитель этого формата.
- Название расшифровывается как Open Neural Network Exchange — «открытый обмен нейросетевыми моделями», и это отражает саму идею формата: не привязывать модель намертво к одной платформе.
| Термин | Что значит | Пример |
|---|---|---|
| ONNX | открытый формат представления обученных моделей, позволяющий запускать их в разных средах и на разном оборудовании | модель в формате ONNX можно запустить не только там, где она была обучена |
| Микрофонный массив | несколько микрофонов, расположенных рядом и работающих совместно для улучшения захвата звука | микрофонный массив в ноутбуке помогает выделить голос на фоне шума |
| Восстановление пунктуации | отдельный шаг обработки, который добавляет знаки препинания в текст, изначально распознанный без них | восстановление пунктуации делает надиктованный текст похожим на написанный вручную |
| N-best гипотезы | список из нескольких наиболее вероятных вариантов распознавания одной и той же фразы | N-best гипотезы используют для выбора и последующей коррекции результата |
Почему это важно при выборе программы для диктовки
Формат вроде ONNX особенно важен там, где распознавание речи идёт на самом устройстве, а не на удалённом сервере: он позволяет запустить одну обученную модель на разном железе без постоянного подключения к облаку. Для программ с облачным распознаванием, где вся работа модели происходит на стороне сервера, формат хранения модели пользователю не виден и на работу приложения не влияет — для него важнее другие вещи: на каких языках распознаётся речь, нужен ли интернет и куда уходит записанный звук, а также как часто оно ошибается — эту долю измеряет метрика WER.
Где Поток тут ни при чём
Поток — облачный сервис, распознавание на серверах в России, без интернета он не работает. В каком формате хранится и исполняется модель на его серверах, «Поток» не публикует — для конечного пользователя это и не имеет значения: важно, что распознавание идёт в облаке, а не то, в каком виде модель там устроена.
Частые вопросы
Не обязательно. ONNX помогает переносить обученную модель между разным оборудованием и средами исполнения — это важно, когда модель запускают локально на устройстве. Для сервиса с облачным распознаванием формат модели на сервере пользователю не виден и на работу приложения не влияет.
Что такое ONNX. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое ONNX. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое ONNX. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое ONNX. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое ONNX» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Если хотите сравнить сами
Возьмите одну свою задачу и надиктуйте её в «Потоке». Первые 14 дней — без ограничений и без карты. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: onnx.ai · support.microsoft.com