Спектрограмма — это визуальное представление звука, показывающее распределение частот во времени. По одной оси на ней отложено время, по другой — частота, а громкость каждой частоты в конкретный момент показана цветом или яркостью точки. Спектрограмма — стандартный вход для акустической модели, в том числе у облачных сервисов распознавания речи вроде «Потока» (potok.now).
Как компьютер вообще «видит» звук, если он не может его услышать? Один из ответов — превратить звуковую волну в картинку, где по одной оси идёт время, а по другой — частота. Это и есть спектрограмма.
Чем спектрограмма отличается от обычной звуковой дорожки
Спектрограмма — это визуальное представление звука, показывающее распределение частот во времени. В отличие от привычной звуковой дорожки, где по горизонтали идёт время, а по вертикали — громкость звука в целом, на спектрограмме вертикальная ось — частота, а громкость каждой отдельной частоты в данный момент времени показана цветом или яркостью точки.
Разница важна для того, как со звуком работает программа распознавания. Обычная звуковая дорожка показывает, насколько громко звучит запись в каждый момент времени, но не говорит, из каких частот состоит звук. Спектрограмма отвечает именно на этот вопрос: какие частоты присутствуют в сигнале и как они меняются со временем.
Спектрограммы используются вместе с рекуррентными нейронными сетями для распознавания речи — общий принцип работы систем ASR (Automatic Speech Recognition) построен на обработке именно такого частотного представления звука, а не сырой звуковой волны.
Как спектрограмму используют на практике
У спектрограммы нет собственной единицы измерения вроде процента ошибок: это не метрика качества, а способ подготовить звук для дальнейшей обработки. Практическая роль видна в примере: спектрограмма — стандартный вход для акустической модели, то есть именно такое изображение частот часто передают в модель, а не исходную звуковую волну.
Дальше с этим изображением работает уже сама модель распознавания. Какие именно данные на входе использует та или иная система, каждая программа не обязана раскрывать — с этим термином и другими понятиями распознавания речи можно ознакомиться в общем словаре сайта.
| Термин | Что значит | Пример |
|---|---|---|
| Спектрограмма | визуальное представление звука, показывающее распределение частот во времени | спектрограмма — стандартный вход для акустической модели |
| Определение языка (LID, Language Identification) | автоматическое определение того, на каком языке звучит речь | LID нужен системам, которые поддерживают распознавание нескольких языков без ручного переключения |
| CER (Character Error Rate) | метрика точности распознавания на уровне символов, а не целых слов | CER особенно полезен для мультиязычных наборов данных и языков, где WER плохо применим из-за разнообразия способов деления текста на слова |
| Бюджет задержки (latency budget) | допустимое время отклика системы, заложенное при проектировании сервиса | жёсткий бюджет задержки заставляет ограничивать пропускную способность сервиса, чтобы уложиться в заданное время ответа |
Что из этого у Потока не заявлено
Что именно подаётся на вход акустической модели «Потока» — спектрограмма или другое представление звука — не объявлено; известно только, что распознавание в «Потоке» облачное, на собственной модели, обученной под русскую речь. «Поток» — облачный сервис, распознавание идёт на серверах в России, без интернета оно не работает.
Частые вопросы
Спектрограмма показывает распределение частот звука во времени: по одной оси отложено время, по другой — частота, а громкость каждой частоты передаётся цветом или яркостью точки.
Спектрограмма — стандартный вход для акустической модели: такие изображения частот используют вместе с рекуррентными нейронными сетями для распознавания речи.
Что такое спектрограмма. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое спектрограмма» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое спектрограмма. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое спектрограмма» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое спектрограмма. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое спектрограмма» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое спектрограмма. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое спектрограмма» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Попробовать на своих текстах
Скачайте «Поток» для Windows, macOS или Linux: первые 14 дней — полный доступ без карты. Потом бесплатно 2500 слов в неделю или Pro за 690 ₽ в месяц. «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»В подписку «Потока» входит и Telegram-бот @potok_now_bot: перешлите ему голосовое или длинную запись встречи — он вернёт текст. Без подписки в боте 60 минут в месяц бесплатно.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: en.wikipedia.org · support.microsoft.com