Орфографическая нормализация — приведение распознанного текста к стандартным правилам письма конкретного языка. Она выправляет написание, которое не совпадает с обычной письменной нормой, — например, приводит разные варианты написания слова к одному принятому стандарту. Так распознанный текст становится ближе к письменной норме языка, а не к тому, как слово прозвучало.
После того как звук превратился в текст, у слов иногда остаётся несколько равнозначных вариантов написания. Привести их к одному стандарту — задача орфографической нормализации.
Где встречается орфографическая нормализация
- В готовом тексте после распознавания речи: написание выправляется до стандартной письменной нормы.
- В текстах с несколькими равнозначными вариантами написания одного и того же слова.
- В документах, где встречаются разные национальные варианты одного языка, — например, американское и британское написание в английском тексте.
Смежные термины из той же области — автоматическое распознавание речи (ASR) и WER (word error rate); другие понятия собраны в словаре терминов распознавания речи.
| Термин | Что значит | Пример |
|---|---|---|
| Орфографическая нормализация | приведение распознанного текста к стандартным правилам письма конкретного языка | орфографическая нормализация выправляет написание, которое не совпадает с обычной письменной нормой |
| Частота дискретизации | количество измерений звукового сигнала в секунду, определяющее качество записи | телефонная связь использует 8000 Гц, что источник называет достаточным для передачи речи, а музыка на Audio CD записывается на 44 100 Гц |
| Attention-механизм | часть нейросети, которая позволяет модели фокусироваться на релевантных участках звука при генерации каждого слова | attention-механизм лежит в основе современных трансформерных ASR-моделей |
| Двухпроходное распознавание | режим, при котором черновой результат распознавания уточняется вторым проходом обработки | двухпроходное распознавание может повысить точность ценой небольшой задержки |
Зачем это нужно при работе с текстом
Орфографическая нормализация — это приведение распознанного текста к стандартным правилам письма конкретного языка. Задача возникает потому, что у одного и того же слова или фразы может быть несколько написаний, которые с точки зрения смысла равнозначны, но не совпадают с принятой письменной нормой, — нормализация выправляет именно такие расхождения.
По определению из Википедии, нормализация текста — это приведение текста к единой канонической форме, которой у него могло не быть раньше. Характерный пример такой работы — последовательное приведение написания к одному стандарту: скажем, выбор одного варианта между американским и британским написанием слова в английском тексте, а не смешение обоих в одном документе.
Где «Поток» тут ни при чём
«Поток» — облачный сервис распознавания речи, а не инструмент орфографической нормализации готового текста: распознавание идёт на серверах в России, без интернета оно не работает. Одна подписка «Потока» — это приложение для диктовки и Telegram-бот @potok_now_bot для записей и голосовых.
Частые вопросы
Не совсем: это приведение написания к единому стандарту письма — например, к одному варианту из нескольких равнозначных, а не поиск случайных ошибок набора.
Нормализация чисел — преобразование произнесённых числительных в цифровую запись текста. Пример: «двадцать пятое сентября» становится «25 сентября».
Что такое орфографическая нормализация. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое орфографическая нормализация» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое орфографическая нормализация. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое орфографическая нормализация» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое орфографическая нормализация. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое орфографическая нормализация» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое орфографическая нормализация. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое орфографическая нормализация» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Скачать «Поток»
Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Готовые записи расшифровывает Telegram-бот «Потока» @potok_now_bot: пришлите файл или ссылку на YouTube, VK Видео, RuTube, Instagram или TikTok — текст придёт в чат. Подписка «Потока» снимает лимит и в боте.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: en.wikipedia.org · support.microsoft.com