Квантование модели — уменьшение точности числовых вычислений модели ради ускорения её работы и снижения потребления ресурсов. Термин распространён в машинном обучении, включая распознавание речи: по определению IBM, это переход от более точного формата чисел к менее точному. Квантование модели ускоряет её работу ценой небольшой потери точности.
Слово «квантование» встречается в описаниях моделей машинного обучения, в том числе систем распознавания речи, и своим техническим видом обычно пугает больше, чем следовало бы. Разберёмся, что оно значит и как связано со скоростью и точностью работы модели.
Где встречается квантование модели
Квантование модели чаще всего упоминают в похожих контекстах:
- В описании того, как модели распознавания речи ускоряют работу или уменьшают в размере: квантование — один из способов снизить точность числовых вычислений ради скорости и экономии ресурсов.
- В сравнении версий одной и той же модели: квантованная версия обычно работает быстрее и требует меньше ресурсов, чем исходная, но, по определению термина, ценой небольшой потери точности.
- В общем описании методов машинного обучения: источник термина (IBM) определяет квантование как переход от более точного формата чисел к менее точному.
| Термин | Что значит | Пример |
|---|---|---|
| Квантование модели | уменьшение точности числовых вычислений модели для ускорения работы и снижения потребления ресурсов | квантование модели ускоряет её работу ценой небольшой потери точности |
| Определение языка (LID, Language Identification) | автоматическое определение того, на каком языке звучит речь | LID нужен системам, которые поддерживают распознавание нескольких языков без ручного переключения |
| Промежуточные результаты (partial results) | черновой, ещё не окончательный текст, который стриминговая система показывает по ходу распознавания | промежуточные результаты могут отличаться от финального текста после уточнения |
| BPE (Byte Pair Encoding) | алгоритм субтокенизации, который постепенно объединяет часто встречающиеся пары символов в токены | BPE — один из самых распространённых способов токенизации текста для моделей |
Что это значит для скорости и точности
Если сервис распознавания речи рекламирует высокую скорость и работу даже на слабом оборудовании, за этим нередко стоит именно квантование модели: оно ускоряет работу ценой небольшой потери точности — так формулирует это IBM. Само по себе это не хорошо и не плохо, а компромисс, который стоит иметь в виду при сравнении скорости и заявленной точности разных инструментов распознавания речи.
Для голосового ввода это особенно заметно там, где важны и скорость ответа, и качество распознавания одновременно: квантованная модель отвечает быстрее, но, по определению термина, может немного терять в точности рядом с полноточной версией. Точность распознавания в подобных случаях принято измерять показателем WER (Word Error Rate). Подробнее о самой технологии перевода речи в текст — на странице про ASR (автоматическое распознавание речи), а другие термины из этой области собраны в словаре терминов распознавания речи.
Где Поток тут ни при чём
Квантование — техника оптимизации модели вообще, а не функция конкретного продукта, и к «Потоку» термин прямого отношения не имеет. О «Потоке» здесь можно сказать только то, что закреплено в его собственном описании: это облачный сервис, распознавание идёт на серверах в России, и без интернета «Поток» не работает.
Частые вопросы
Может немного снижать: по определению термина, квантование модели ускоряет её работу и экономит ресурсы ценой небольшой потери точности.
Что такое квантование модели. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое квантование модели» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое квантование модели. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое квантование модели» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое квантование модели. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое квантование модели» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое квантование модели. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое квантование модели» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Попробовать на своих текстах
Скачайте «Поток» для Windows, macOS или Linux: первые 14 дней — полный доступ без карты. Потом бесплатно 2500 слов в неделю или Pro за 690 ₽ в месяц. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Голосовое из мессенджера или запись созвона можно переслать боту @potok_now_bot — он пришлёт текст. Бот входит в ту же подписку, что и приложение «Поток».
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: www.ibm.com · support.microsoft.com