Что такое диаризация и зачем она в расшифровке встреч с несколькими участниками

Диаризация — это разметка расшифровки по говорящим: программа определяет, где меняется голос, и подписывает реплики как «Спикер 1», «Спикер 2» с таймкодами. Без неё расшифровка встречи с несколькими участниками превращается в сплошной текст без указания, кто что сказал. Поток (potok.now) диаризацию не делает — это диктовка одного голоса в активное поле, а не запись и разбор встреч.

Термин «диаризация» встречается там, где расшифровывают записи с несколькими участниками — планёрки, интервью, звонки. Для расшифровки одного голоса, как при обычной диктовке текста, она не нужна вовсе: разбираться, кто говорит, там попросту не с кем. Ниже — что именно означает этот и другие термины, которые встречаются в описаниях программ для распознавания речи.

Слова, которые встречаются в описании диаризации

• Диаризация — технический процесс из двух шагов: сначала программа делит запись на отрезки по смене голоса (сегментация), затем объединяет отрезки одного и того же человека в общую дорожку (кластеризация) и подписывает реплики условными метками.
• ASR, или распознавание речи, и диаризация — это разные технологии: ASR превращает звук в текст, а диаризация отдельно определяет, где меняется говорящий. Для расшифровки встречи с несколькими участниками оба процесса обычно работают вместе, но технически это разные модели.
• Спикер, или дорожка спикера, — метка внутри расшифровки, которая обозначает конкретного участника разговора: программа не знает имён людей, она лишь присваивает условные номера вроде «Спикер 1», пока их не сопоставят с именами вручную.
• Таймкоды, или метки времени, — отметки начала и конца каждой реплики в записи: без них диаризация теряет практическую пользу, потому что сложно сопоставить текст реплики с конкретным местом в аудио.
• Точность диаризации, которую иногда обозначают как DER, — отдельная метрика, не то же самое, что точность распознавания текста: программа может верно распознать слова, но перепутать, кто именно их произнёс, особенно если голоса похожи или участники перебивают друг друга.
• Количество участников — часть систем диаризации требует заранее указать число говорящих, другие определяют его автоматически: от этого зависит, насколько надёжно программа разделит голоса в записи.
• Постобработка — ручная правка меток спикеров после автоматической расшифровки: даже качественная диаризация иногда путает похожие голоса, и на встречах с большим числом участников правки обычно требуются чаще.
• Диктовка, или голосовой ввод, в отличие от расшифровки встречи — программы вроде тех, что мы разбираем на сайте, надиктовывают текст одного говорящего прямо в поле ввода в реальном времени: это другая задача, чем последующая расшифровка записи разговора нескольких людей, и диаризация им по смыслу их работы не требуется.

Как проверять обещания производителей

Проверять, есть ли в программе настоящая диаризация, стоит не по общему слову «расшифровка», а по конкретным признакам в описании и в самом результате работы.

Первый признак — явное упоминание меток говорящих или количества участников в описании функции. Если сказано просто «расшифровка записи» или «превращает голос в текст», это чаще всего одна сплошная дорожка без разделения по говорящим — типичный признак программ для диктовки одного человека, а не расшифровки встреч.

Второй признак — тестовый прогон на реальной записи с несколькими голосами. Загрузите короткий фрагмент разговора двух и более людей и посмотрите на результат: если реплики подписаны как «Спикер 1» и «Спикер 2» с таймкодами — диаризация работает, если весь текст идёт единым потоком без разбивки — её нет, как бы ни называлась функция в рекламе.

Третий признак — где именно происходит обработка. Диаризация требовательна к вычислениям больше, чем обычное распознавание речи, поэтому чаще встречается в облачных сервисах или в программах с локальной обработкой на мощном оборудовании, а не в лёгких инструментах для быстрой надиктовки коротких фраз.

Четвёртый признак — упоминание числа участников как параметра настройки. Если программа просит заранее указать, сколько человек участвует в разговоре, или предлагает после расшифровки вручную объединить или разделить дорожки — это подтверждает, что диаризация в ней действительно реализована, а не просто заявлена на сайте. Другие программы для голосового ввода и их особенности — в разделе программ голосового ввода.

Чего Поток не умеет

Поток не делает диаризацию и вообще не расшифровывает готовые аудиозаписи или видео со встреч: это диктовка в реальном времени — сказал, текст появился в активном поле того приложения, где стоит курсор — для готовых записей у «Потока» есть Telegram-бот @potok_now_bot. Загрузить файл со звонком или совещанием и получить размеченную по спикерам расшифровку в Потоке нельзя.

Поток — облачный сервис, распознавание идёт на серверах в России, и без подключения к интернету он не работает. Для задач, где действительно нужна диаризация — расшифровка планёрок, интервью, многоголосых звонков, — стоит искать специализированный инструмент транскрипции встреч, а не программу голосового ввода вроде Потока, GigaType или любой другой из этого обзора. Сравнение Потока с локальным распознаванием — в материале поток или gigatype.

Частые вопросы

Встроенная диктовка и «Поток»

Первоисточники: yandex.ru · vc.ru · speech2text.ru · audio-2-text.ru