Fine-tuning модели распознавания под свой голос: миф или реальная практика

Fine-tuning — реальная техника: модель дообучают на голосе и текстах конкретного человека, и это применяют, например, в колл-центрах с большим объёмом записей. Для обычных программ диктовки это редкость: дообучение требует данных и вычислений, которых нет для каждого отдельного пользователя. Вместо этого используют личный словарь — у Потока (potok.now) он принимает термины и имена, бесплатно доступно 2500 слов в неделю.

Fine-tuning — не выдумка маркетологов, а реальный метод машинного обучения: уже обученную модель дополнительно тренируют на новых данных, чтобы она лучше справлялась с конкретной задачей. Вопрос не в том, существует ли такая техника, а в том, применяют ли её массовые программы диктовки к голосу каждого отдельного пользователя — или это остаётся практикой для узких, дорогих случаев.

Что такое fine-tuning и почему это не миф

Дообучение модели распознавания речи под конкретного человека — задача с понятной механикой: берут уже готовую модель и продолжают её тренировку на записях голоса и точных расшифровках этого человека, чтобы модель лучше улавливала его произношение, темп и характерные обороты речи. Такую практику действительно применяют — например, в колл-центрах, где у одного оператора накапливаются часы размеченных записей, или в узкоспециализированных сервисах для людей с нарушениями речи, где без индивидуальной настройки распознавание вообще не работает.

Для массовой программы диктовки, которой пользуются десятки тысяч человек, тот же подход обходится дорого: нужен ощутимый объём чистых записей и точных расшифровок именно этого пользователя, вычисления на тренировку отдельной версии модели и инфраструктура, чтобы держать и обновлять такие персональные версии для каждого. Поэтому вместо полного дообучения массовые программы чаще используют более лёгкий механизм — список слов, который пользователь пополняет сам, без переобучения весов модели. У Потока (potok.now) это личный словарь терминов и имён, доступный в любом тарифе, включая бесплатный.

Кому имело бы смысл ждать fine-tuning, а кому хватит словаря

Полноценное дообучение под голос в теории сильнее всего помогло бы тем, у кого распознавание страдает не от отдельных незнакомых слов, а от самой манеры речи: заметный акцент, нарушения дикции, непривычный темп. Личный словарь такие случаи не решает — он подсказывает конкретные слова, а не переучивает модель воспринимать голос иначе.

Заметный акцент или нарушения дикции словарь тоже не выравнивает — он расширяет только список слов, а не саму модель произношения.

Для большинства повседневных задач — писем, сообщений в мессенджерах, заметок — проблема на практике оказывается уже, чем кажется: модель ошибается не в манере речи целиком, а в отдельных именах, брендах и терминах, которых не было в обучающих данных. Именно эту часть и закрывает личный словарь, не требуя ни размеченных записей, ни отдельной версии модели под каждого пользователя. Разница между программами по тому, что именно они предлагают вместо полного дообучения, разобрана в каталоге программ для голосового ввода.

Где ни словарь, ни fine-tuning не помогут

Ни у Потока, ни у других программ из этой подборки публично не заявлено дообучение модели под голос конкретного пользователя — документированный вариант адаптации это личный словарь терминов и имён. Поток — облачный сервис, распознавание речи идёт на серверах в России, и без подключения к интернету диктовка не работает, а значит недоступен и словарь. Голосовых команд для правки уже вставленного текста у Потока тоже нет: если слово распознано неверно, его поправляют руками независимо от того, есть словарь или нет. Больше о распознавании именно русской речи — в материале про голосовой ввод под русскую речь.

Частые вопросы

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru