Нейросети для расшифровки аудио в текст: как это устроено

Нейросеть для расшифровки речи обучена сопоставлять звуковые паттерны — фонемы и слова — с текстом на огромном массиве размеченных записей; чем точнее модель настроена под конкретный язык, тем меньше ошибок. У «Потока» (potok.now), обученного отдельно под русскую речь, ошибка распознавания — 2,1% на бенчмарке GolosTest.

Нейросеть для расшифровки аудио в текст — программа, которая слушает звук и подбирает наиболее вероятную последовательность букв и слов, а не просто ищет совпадения с образцами. Такие нейросети лежат в основе и голосового ввода на компьютере, и автоматических субтитров, и расшифровки записанных интервью или лекций, хотя устроены они везде примерно одинаково — разница только в том, где считает нейросеть и под какой язык её настроили. Полный список готовых программ с таким движком внутри — в разделе программы для голосового ввода.

Как устроен голосовой ввод

Путь от голоса до текста на экране состоит из нескольких этапов, и все программы голосового ввода проходят их в похожем порядке:

1. Микрофон записывает звук и превращает его в цифровую волну.
2. Нейросеть-акустическая модель разбивает эту волну на короткие фрагменты и сопоставляет каждый со звуками языка — фонемами.
3. Языковая модель поверх акустической выбирает из похожих по звучанию вариантов тот, что грамматически и по смыслу вероятнее — например, различает на слух неотличимые «компания» и «кампания».
4. Итоговый текст получает пунктуацию и заглавные буквы — либо от той же нейросети, либо от отдельного модуля постобработки.
5. Готовый текст попадает в приложение, где его напечатали бы руками.

Главная развилка — где именно нейросеть считает. Одни программы отправляют звук на сервер: так работает большинство облачных сервисов, включая Lispr, который прямо называет своего подрядчика по распознаванию — Groq, Inc. в США. Другие считают прямо на компьютере пользователя: GigaType использует GigaAM — нейросеть Сбера, обученную под русский язык, а Voisty — открытые модели вроде Whisper. Ещё один офлайн-вариант разобран в сравнении с WhispeRu. У офлайн-варианта звук не покидает устройство, но для тяжёлой модели нужна мощная видеокарта; у облачного — нужен интернет, зато считает более крупная модель на серверном железе. Качество распознавания в обоих случаях зависит не от того, где стоит нейросеть, а от того, на каком языке и на каком объёме речи её обучали.

Качество такой нейросети принято измерять метрикой word error rate — долей слов, распознанных неверно: чем ниже процент, тем точнее модель. Для русского языка ошибка обычно выше, чем для английского, потому что размеченной русской речи для обучения меньше и в ней больше падежей и вариантов произношения одного и того же слова.

Где диктовка экономит время, а где мешает

Возможности нейросетей одинаковые не для всех ситуаций — вот где диктовка выигрывает у клавиатуры, а где создаёт больше проблем, чем экономит времени.

• Длинные тексты по накатанной теме — письма, отчёты, комментарии к коду словами, а не руками. Здесь голосовой ввод быстрее печати, потому что речь опережает набор текста руками почти в любом темпе.
• Диктовка в шумном месте — открытый офис, кафе, вагон метро. Нейросеть путает похожие по звучанию слова, когда фоновый шум перекрывает часть сигнала, и распознавание проседает у любого движка, не только офлайн-моделей на слабом железе.
• Специфичная терминология — медицинские, юридические или инженерные термины, которых нет в общей языковой модели. Без личного словаря или дополнительного обучения нейросеть будет заменять незнакомое слово на похожее по звучанию общеупотребительное.
• Готовые записи и интервью — расшифровка файла целиком отличается от диктовки в реальном времени: нужен отдельный инструмент для загрузки аудио, а не просто хоткей в текстовое поле.
• Несколько говорящих в одной записи — определить, кто что сказал (диаризация), умеют не все нейросети для распознавания речи; часто это отдельная от расшифровки текста задача.
• Смешанная речь на двух языках в одном предложении — русский с английскими терминами — сложнее для модели, чем чистая речь на одном языке, потому что нейросеть переключается между языковыми моделями.
• Публичное место рядом с посторонними — если диктовать личные данные или переписку вслух неудобно и небезопасно, клавиатура остаётся тише и приватнее, каким бы точным ни было распознавание.

Когда лучше печатать или взять другой инструмент

Если нужно расшифровать уже готовую запись — лекцию, интервью, созвон — голосовой ввод вроде Потока не подходит: это инструмент для диктовки в реальном времени в активное поле, а не для загрузки файлов — для готовых записей у «Потока» есть Telegram-бот @potok_now_bot. Поток — облачный сервис, распознавание происходит на серверах в России, и без подключения к интернету он не работает вовсе, поэтому в самолёте, в дороге без связи или там, где сеть под запретом, надёжнее клавиатура. Голосовых команд и правки текста голосом в нём нет — только сама диктовка, редактировать всё равно приходится руками. Нет версий для Android и iPhone — есть версии для Windows, macOS и Linux. Тем, кто диктует весь рабочий день, бесплатных 2500 слов в неделю хватит на несколько писем, не больше; для постоянной нагрузки нужен платный тариф. Компаниям, которым запрещено отправлять данные во внешнее облако вообще, подойдёт только отдельный бизнес-вариант с обособленным контуром — обычному тарифу это условие не подходит.

Частые вопросы

Первоисточники: yandex.ru · vc.ru · speech2text.ru · audio-2-text.ru