Доменная адаптация: как модели распознавания речи учат медицинский или юридический жаргон

Доменная адаптация — это донастройка модели распознавания под специфический словарь: медицинские диагнозы, юридические термины, аббревиатуры. Полноценное переобучение модели под конкретную область — тяжёлый процесс, доступный специализированным решениям; в потребительских программах вроде Потока (potok.now) для этого чаще используют личный словарь, а не переобучение всей модели — у Потока заявлен WER 2,1% на бенчмарке GolosTest для разборчивой русской речи, а не для конкретного жаргона.

Доменная адаптация — это донастройка модели распознавания речи под конкретную предметную область: медицинскую, юридическую, техническую, — где обычная модель, обученная на бытовой речи, регулярно ошибается в специфических терминах. Разбираем, какими способами этого добиваются разработчики программ для диктовки и что из этого доступно рядовому пользователю, а не только разработчику модели.

Как устроена доменная адаптация в программах для диктовки

Полноценная доменная адаптация — это дообучение самой модели распознавания на новых данных: записях речи с медицинскими или юридическими терминами вместе с точными расшифровками. Такой процесс требует размеченного корпуса и вычислительных мощностей, и обычно им занимаются разработчики модели, а не конечный пользователь программы, — итоговая версия модели либо выпускается отдельно под нужную область, либо остаётся общей. GigaType, например, построен на нейросети GigaAM от Сбера, обученной специально под русский язык, — это уровень дообучения модели под язык в целом, а не под конкретный профессиональный жаргон.

Второй, куда более лёгкий способ — не трогать саму модель, а подсказать ей нужные слова со стороны: список терминов, который повышает вероятность того, что распознавание выберет нужное слово среди похожих по звучанию. Это и есть личный словарь — именно такой механизм доступен пользователю программы, в отличие от переобучения модели целиком. У Потока личный словарь запоминает термины и имена после того, как пользователь один раз поправил распознанный текст, и дальше подставляет их верно. Общие приёмы формулировки фраз для распознавания на русском — отдельная тема, разобранная в материале голосовой ввод под русскую речь: как диктовать вместо печати.

Разница между двумя подходами принципиальная: дообученная модель понимает термин в контексте с первого раза и сразу для любого пользователя программы, а личный словарь работает для конкретного человека и требует, чтобы термин туда сначала попал — вручную или через исправление ошибки. Для узкого профессионального жаргона, который встречается только у конкретного специалиста, личного словаря обычно достаточно; для широко распространённых терминов целой отрасли эффективнее была бы дообученная модель, но такой уровень адаптации в потребительских программах для диктовки почти не встречается.

Где доменная адаптация особенно важна, а где не критична

В медицине и юриспруденции цена ошибки распознавания выше, чем в бытовой переписке: спутанные похожие по звучанию названия препаратов или неверно распознанная формулировка в договоре способны исказить смысл документа, а не просто выглядеть как опечатка. Здесь личный словарь стоит заполнять заранее, а не по факту ошибок: внести основные термины своей специализации до начала работы, а не ждать, пока программа ошибётся в каждом из них хотя бы раз.

Похожая ситуация — с именами собственными: фамилии клиентов, пациентов, названия компаний и брендов звучат непредсказуемо и почти никогда не встречаются в обучающих данных модели в нужном написании. Личный словарь здесь работает так же, как с профессиональными терминами: добавил один раз — дальше распознаётся верно.

В бытовой переписке или коротких сообщениях цена ошибки распознавания куда ниже: опечатку в обычном слове видно сразу, и она не меняет смысл фразы кардинально, поэтому специально настраивать словарь под каждую мелочь не имеет смысла — это лишняя работа ради выигрыша, который не окупается. Если жаргона в тексте вообще нет и хватает системных средств распознавания без отдельной программы, стоит сначала проверить поддерживает ли Windows 10 голосовой ввод клавиатуры на нужном языке, прежде чем разбираться с личным словарём.

Отдельный случай — смешанная речь с терминами на двух языках сразу, например русский с английскими медицинскими или ИТ-терминами внутри одной фразы. Здесь личного словаря может быть недостаточно, если модель в принципе не рассчитана на такое переключение между языками внутри фразы, — это уже вопрос не адаптации словаря, а базовой поддержки языка.

Когда личного словаря недостаточно

Если профессиональный жаргон настолько специфичен, что общая модель распознавания путает его систематически даже после нескольких исправлений, личный словарь такую проблему до конца не решает — он подсказывает конкретные слова, но не переучивает саму модель понимать контекст незнакомой темы. В таких случаях помогает только специализированное решение, обученное под конкретную область, а массовые программы для диктовки, включая Поток, на это не рассчитаны.

Поток — облачный сервис, распознавание на серверах в России; без интернета не работает, поэтому там, где профессиональный словарь нужен вместе с офлайн-режимом — например, из-за требований к данным без доступа в сеть, — стоит присмотреться к программе с распознаванием на устройстве.

Для бизнеса у Потока общий словарь на всю компанию доступен по запросу, а не как часть обычного тарифа: это стоит обсуждать отдельно, если термины специализации общие для всей команды.

Частые вопросы

Первоисточники: speakflow.ru · speakflow.ru · speakflow.ru · blog.speakflow.ru