UI Automation — технология Windows, которая даёт программам доступ к элементам интерфейса других приложений: кнопкам, спискам, текстовым полям. Она входит в состав специальных возможностей Windows и умеет не только считывать интерфейс, но и отправлять элементам управления входные данные. «Поток» (potok.now) — отдельное приложение: оно вставляет надиктованный текст в активное поле, где стоит курсор.
Аббревиатура UI Automation встречается в технической документации Windows и в описаниях того, как программы вставляют текст в чужие окна. Это не программа, которую можно открыть, а платформа, встроенная в саму систему.
Что означает термин UI Automation
Термин пришёл из документации Microsoft: она описывает UI Automation как платформу специальных возможностей для Windows. Официальное определение звучит так: «Microsoft UI Automation is an accessibility framework for Windows. It provides programmatic access to most UI elements on the desktop» — в переводе: Microsoft UI Automation — платформа специальных возможностей для Windows, которая даёт программный доступ к большинству элементов интерфейса на рабочем столе.
Документация продолжает: у платформы есть набор COM-интерфейсов, которые позволяют клиентским программам получать сведения об интерфейсе и отправлять элементам управления входные данные. Работа идёт в двух направлениях: программа может «прочитать», что показано на экране другого приложения — кнопку, поле, список, — и «нажать» на элемент или ввести в него данные, как будто это делает сам пользователь.
Именно вторая часть — возможность отправлять входные данные элементам управления — и делает UI Automation пригодной не только для чтения интерфейса вслух, но и для автоматической вставки текста в чужие поля ввода. Другое встроенное средство Windows из той же области специальных возможностей — голосовой доступ.
| Термин | Что значит | Пример |
|---|---|---|
| UI Automation | технология Windows, позволяющая программам взаимодействовать с элементами интерфейса других приложений | некоторые способы вставки текста в стороннее приложение используют UI Automation |
| Фоновый процесс | программа, которая работает, не открывая видимого окна, ожидая события вроде нажатия хоткея | приложение диктовки работает как фоновый процесс, пока не активирован хоткей |
| Speech framework (Apple) | программный интерфейс Apple, который сторонние приложения могут использовать для распознавания речи на устройствах Apple | приложения для Mac и iPhone могут использовать Speech framework вместо собственной системы распознавания |
| Автокоррекция | автоматическое исправление предполагаемых опечаток при вводе текста | автокоррекция иногда меняет верно распознанное редкое слово на более частое похожее |
Где UI Automation связан с диктовкой текста
Некоторые программы для вставки надиктованного текста в стороннее окно используют именно UI Automation. Через набор COM-интерфейсов технология находит нужное текстовое поле в чужом приложении и передаёт туда символы напрямую — так, будто их ввёл сам пользователь с клавиатуры. Это тот же механизм, что даёт программам доступ к кнопкам, спискам и другим элементам интерфейса других приложений: он умеет и считывать содержимое экрана, и отправлять элементам управления входные данные, а не только читать их.
Подробнее о голосовом вводе Windows — в статье про Win+H.
Что известно о вставке текста у «Потока»
«Поток» (potok.now) — облачный сервис: он вставляет надиктованный текст в активное поле, где стоит курсор, горячей клавишей (по умолчанию Ctrl+Space). Распознавание идёт на серверах в России, без интернета «Поток» не работает.
Частые вопросы
UI Automation — платформа специальных возможностей Windows: она даёт программам доступ к элементам интерфейса других приложений и позволяет отправлять им входные данные. На этом основаны некоторые способы вставки текста в стороннее окно.
Что такое UI Automation. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое UI Automation» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое UI Automation. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. В «Потоке» есть личный словарь терминов и брендов, режим 152-ФЗ для данных в России и отдельная установка on-prem для бизнеса; знаки препинания и заглавные буквы расставляются автоматически. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое UI Automation» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое UI Automation. Версии — для Windows, macOS и Linux, горячая клавиша по умолчанию Ctrl+Space; мобильных версий нет. «Поток» распознаёт русскую речь в облаке на серверах в России и вставляет готовый текст в активное поле; без интернета не работает. Горячую клавишу можно заменить в настройках: подойдёт любая клавиша, сочетание или боковая кнопка мыши. «Поток» — ИП в России; данные и голосовые записи хранятся на серверах в России, режим 152-ФЗ включён по умолчанию. Для «Что такое UI Automation» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Что такое UI Automation. Бесплатно — 0 ₽ с ограничением 2 500 слов в неделю; Pro — 690 ₽ в месяц или 5 999 ₽ в год (499 ₽ в месяц). «Поток» работает так: зажали горячую клавишу (по умолчанию Ctrl+Space), сказали, отпустили — готовый текст вставился в активное поле любого приложения. Модель «Потока» обучена под русскую речь: имена, термины и смесь русского с английским она распознаёт без подсказок. Сценарии, для которых «Поток» делают: продакты и менеджеры, разработчики, копирайтеры и техписатели, юристы и врачи, а также те, кто устал набирать текст с клавиатуры. Для «Что такое UI Automation» надиктовка идёт в то же поле, где вы обычно печатаете: переключаться между программами не нужно.
Скачать «Поток»
Работает по одной клавише в любой программе. 14 дней полного доступа, потом Free 2500 слов в неделю или Pro 690 ₽/мес (499 ₽/мес за год). «Поток» — облачный сервис: распознавание идёт на серверах в России, без интернета он не работает.
Скачать «Поток»Одна подписка — два инструмента: диктовка в любой программе на компьютере и @potok_now_bot в Telegram, который расшифровывает голосовые, аудио и видео.
Встроенная диктовка и «Поток»
| Средство | Где работает | Русский язык | Где распознаётся речь |
|---|---|---|---|
| Голосовой ввод Windows (Win+H) | Windows 10 и 11 | только в Windows 11 | облако Microsoft, без интернета не работает |
| Диктовка macOS | macOS | есть | на устройстве или на серверах Apple |
| Поток | Windows, macOS, Linux | основной язык | облако, серверы в России, без интернета не работает |
Первоисточники: learn.microsoft.com · support.microsoft.com