Словарь

Что такое определение языка (LID, Language Identification)

Марк Весёлый · основатель «Потока» · ~7 мин

LID (Language Identification) — это когда система сама определяет, на каком языке звучит речь, без подсказки от человека: так работают сервисы с поддержкой нескольких языков, которым не нужно, чтобы пользователь переключал язык вручную. «Поток» (potok.now) при этом не выбирает язык из списка: он распознаёт русский пополам с английским в одной фразе, без ручного переключения.

Голосовые системы, которые понимают не один язык, а несколько, сталкиваются с вопросом: на каком языке сейчас говорит человек? Ответить на него автоматически, без подсказки от пользователя, — и есть задача LID, определения языка.

Что такое определение языка (LID) в распознавании речи

Определение языка, или LID (Language Identification), — это автоматическое определение того, на каком языке звучит речь, без участия человека. Задача решается до или во время распознавания: сервису нужно понять, на каком из нескольких языков сказана фраза, чтобы применить нужную модель.

По документации Google Cloud, сервис распознавания речи можно настроить на список из нескольких вероятных языков — система пытается расшифровать звук на наиболее подходящем языке из этого списка и помечает результат предполагаемым языковым кодом. Иными словами, вместо того чтобы заранее указывать один-единственный язык, программа сама выбирает его из заданного набора.

LID особенно нужен системам, которые поддерживают распознавание нескольких языков без ручного переключения: пользователю не приходится заранее сообщать программе, на каком языке он собирается говорить.

Рядом с LID в общем разборе терминов распознавания речи стоят понятия, тоже связанные с устройством распознавания: edge-вычисления (где именно работает модель), VAD (Voice Activity Detection — определение начала и конца речи) и ONNX (формат хранения моделей). Каждое из них отвечает за свою часть конвейера, а не за то же самое, что LID. Сам процесс, частью которого бывает LID, называется автоматическим распознаванием речи.

ТерминЧто значитПример
Определение языка (LID, Language Identification)автоматическое определение того, на каком языке звучит речьLID нужен системам, которые поддерживают распознавание нескольких языков без ручного переключения
Edge-вычисленияобработка данных на устройстве пользователя или рядом с ним, а не на удалённом сервереedge-вычисления снижают задержку, но требуют ресурсов самого устройства
VAD (Voice Activity Detection)определение участков записи, где действительно звучит речь, в отличие от тишины и шумаVAD отсекает паузы перед отправкой звука на распознавание
ONNXоткрытый формат представления обученных моделей, позволяющий запускать их в разных средах и на разном оборудованиимодель в формате ONNX можно запустить не только там, где она была обучена
Три шага диктовки в «Потоке»: зажал Ctrl + Space, сказал фразу вслух, текст появился в активном поле
Диктовка в «Потоке»: горячая клавиша, речь, готовый текст в том окне, где стоит курсор.

Пример: зачем нужно определение языка

LID нужен системам, которые поддерживают распознавание нескольких языков без ручного переключения. Представим сервис распознавания, который работает и с английским, и с испанским: без LID пользователю пришлось бы каждый раз заранее выбирать язык в настройках. С LID программа сама определяет, на каком языке идёт запись, и подбирает подходящую модель.

У «Потока» (potok.now) языковой выбор устроен иначе: он не переключается между отдельными языками, а распознаёт русский пополам с английским в одной фразе — без ручного переключения и без выбора из списка.

Как это касается «Потока», а где нет

«Поток» — облачный сервис: распознавание идёт на серверах в России, и без интернета он не работает. Списка языков на выбор у него нет — только один режим: русский и русский вперемешку с английским; других языков «Поток» не поддерживает, определять и переключать их, как это делает LID в многоязычных сервисах, ему не нужно.

Разбор темы в три шага: Что такое определение языка (LID) в распознавании речи → Пример → Как это касается «Потока»
О чём страница по шагам: Что такое определение языка (LID) в распознавании речи → Пример → Как это касается «Потока».

Частые вопросы

Нужен ли LID сервису, который работает только с одним языком

Нет: LID решает задачу выбора между несколькими языками, поэтому он нужен только системам, которые поддерживают распознавание нескольких языков без ручного переключения; для сервиса с одним языком определять нечего.

Voice typing isn't available in the current language: почему и что делать?

Выбранный язык ввода не входит в список поддерживаемых для голосового ввода, либо для него не установлен языковой пакет. Что делать: Установить поддерживаемый язык: Параметры → Время и язык → Язык и регион → Добавить язык.

Что такое определение языка (LID, Language Identification): что это и чем отличается?

Что такое определение языка (LID, Language Identification). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое определение языка (LID, Language Identification)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Что такое определение языка (LID, Language Identification): чем «Поток» отличается от встроенной диктовки?

Что такое определение языка (LID, Language Identification). «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое определение языка (LID, Language Identification)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Что такое определение языка (LID, Language Identification): работает ли распознавание без интернета?

Что такое определение языка (LID, Language Identification). Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое определение языка (LID, Language Identification)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Что такое определение языка (LID, Language Identification): сколько стоит и что входит в бесплатный план?

Что такое определение языка (LID, Language Identification). Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое определение языка (LID, Language Identification)» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.

Попробовать на своих текстах

Скачайте «Поток» для Windows, macOS или Linux: первые 14 дней — полный доступ без карты. Потом бесплатно 2500 слов в неделю или Pro за 690 ₽ в месяц. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.

Скачать «Поток»

В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.

Встроенная диктовка и «Поток»

По справке Microsoft и Apple.
СредствоГде работаетРусский языкГде распознаётся речь
Голосовой ввод Windows (Win+H)Windows 10 и 11только в Windows 11облако Microsoft, без интернета не работает
Диктовка macOSmacOSестьна устройстве или на серверах Apple
ПотокWindows, macOS, Linuxосновной языкоблако, серверы в России, без интернета не работает

Первоисточники: docs.cloud.google.com · support.microsoft.com

Марк Весёлый — основатель «Потока». Пишет о голосовом вводе на русском: как диктовать в рабочих программах, что мешает и чем это чинится.
© Поток · Липатников Владимир Олегович · ИНН 502915859701 · Оферта Сравнения · Вопросы и ответы · О проекте Бесплатный голосовой ввод · Голосовой ввод для нейросетей · Данные и 152-ФЗ · Голосовой ввод на Mac · Тарифы бота · 14 дней Pro за отзыв