Успешная разработка воображаемой клавиатуры для сенсорных экранов и виртуальной реальности на базе искусственного интеллекта.

Группа из трех исследователей искусственного интеллекта (ИИ) из Корейского института передовых наук и технологий (KAIST) недавно успешно разработала невидимый интерфейс клавиатуры с поддержкой ИИ, который абсолютно не требует каких-либо физических нажатий клавиш, а должен полагаться только на положение где вы помещаете руку в положение готовности к вводу для поддержки операций ввода данных.

Невидимая клавиатура? Звучит интересно, но все равно слишком расплывчато. Так как же работает этот тип клавиатуры? Как добиться эффективности ввода данных? Мы скоро узнаем.

• В механической клавиатуре используется новый механизм переключения, обеспечивающий долговечность до 1 миллиарда нажатий.

Виртуальные клавиатуры по-прежнему остаются выбором номер один на сенсорных устройствах.

Ежегодно индустрия производства периферийных устройств, включая клавиатуры, тратит миллиарды долларов на исследования и маркетинговые планы, направленные на создание более совершенных продуктов с уникальными характеристиками. поверхность. Однако эффективность практического использования современных периферийных продуктов во многих случаях все еще остается под большим вопросом.

Появление и популярность сенсорных экранов и мобильных устройств привело ко многим серьезным изменениям в клавиатурах и мышах. Сенсорные экраны и виртуальные клавиатуры являются разумным вариантом для мобильных пользователей, но для стационарных устройств, таких как настольные компьютеры, пока еще не так много заметных замен клавиатурам. ). Хотя размер физической клавиатуры теперь оптимизирован и значительно уменьшен, в целом нам по-прежнему приходится использовать неуклюжую клавиатуру, если мы хотим использовать настольный компьютер.

Были предложены десятки различных решений, включая методы ввода, голосовое управление вместо традиционных клавиатур или ввод с помощью смахивания вместо обычного нажатия клавиш. Вышеупомянутые меры теоретически могут заменить традиционные модели клавиатуры, но на практике они не очень эффективны, и их легче пропустить или ввести в заблуждение, чем традиционные аппаратные модели.

• Модель искусственного интеллекта DeepMind может научиться создавать видео, просто просматривая клипы на YouTube.

Эффективность виртуальной клавиатуры, проецируемой лазером, на практике все еще невысока.

Вот почему исследователи Уэ-Хван Ким, Сан-Мин Ю и Чон-Хван Ким из Корейского института науки и передовых технологий решили разработать новый продукт, который мог бы «переопределить» опыт ввода с клавиатуры в современную эпоху развития искусственного интеллекта. Они успешно разработали буквально интерфейс «воображаемой клавиатуры».

Информация в исследовательских документах корейских учёных излагается следующим образом:

«Прежде всего, необходимо подтвердить, что эта I-Keyboard будет на 100% невидимой, что поможет максимально повысить полезность экрана на мобильных устройствах. Пользователи могут просматривать содержимое приложения в полноэкранном режиме и одновременно свободно печатать, не теряя при этом часть области отображения для виртуальной клавиатуры, как раньше. Чтобы еще больше повысить практическое удобство использования, наша I-Keyboard не будет иметь фиксированного расположения, формы или размера клавиш. Пользователи могут начать процесс ввода из любого положения и под любым углом на сенсорном экране, не беспокоясь о положении и форме клавиатуры.

• STEAL AI от Nvidia обеспечивает лучшую поддержку вывода для моделей компьютерного зрения

По мнению исследователей, для работы I-Keyboard не потребуется никакой калибровки или настройки. Вы просто начинаете печатать в любом месте сенсорного экрана, как если бы вы это делали на физической клавиатуре, и он будет использовать глубокое обучение, аспект области искусственного интеллекта, чтобы распознавать и понимать контент, который вы пытаетесь напечатать. Следующее:

«Клавиатура I-Keyboard будет интегрирована и будет работать на основе специального алгоритма декодирования, разработанного с использованием базовой технологии глубокого обучения, поэтому для нормальной работы не потребуется никаких действий по настройке. Встроенный глубокий нейронный декодер (DND) эффективно обрабатывает как рабочее состояние пальца, так и изменчивость сенсорных операций, тем самым автоматически переключая точки касания на определенные буквы».

Это немного похоже на волшебный трюк. Как клавиатура может четко определить, что вы пытаетесь напечатать, если вы просто тыкаете пальцами повсюду? В конце концов, одна из самых больших проблем с программными клавиатурами заключается в том, что практически невозможно со временем точно определить, где ваши пальцы находятся на клавишах, не глядя, потому что, когда нет никаких физических ограничений на ощущение осязания, мы начнем отклониться от нашего исходного положения.

Тем не менее, I-клавиатура оснащена некоторыми довольно крутыми технологиями. Вместо определения точного положения пальцев пользователя алгоритм определяет, какое действие вы пытаетесь выполнить, и постоянно настраивает свою невидимую клавиатуру так, чтобы она соответствовала другой воображаемой клавиатуре в вашей голове.

• Пять гениев в области искусственного интеллекта объединились, чтобы создать удивительных роботов

Пример моделей пользовательского ввода. Шкалы нормализованы, а пустые места для отображения удалены.

Над I-Keyboard еще много работы. Хотя в настоящее время он может работать с чрезвычайно впечатляющей точностью, до 95,8%, он может работать только со скоростью примерно 45 слов в минуту. В любом случае, это можно считать заметным улучшением по сравнению с нынешней технологией мягкой клавиатуры.

Исследователи полагают, что благодаря дальнейшим разработкам алгоритмов и улучшению сенсорного интерфейса I-Keyboard может быть улучшена и станет идеальной заменой сегодняшним физическим клавиатурам, хотя их текущая цель — просто приложение I-Keyboard на сенсорных экранах и устройствах виртуальной реальности.

• YouTube запускает новые AR-фильтры, позволяющие пользователям примерять макияж с использованием лучших косметических товаров мира

Пример клавиатуры в технологии виртуальной реальности

При эффективном использовании на практике преимущества, которые I-Keyboard привносит в технологию VR, чрезвычайно велики. Кроме того, возможность ввода в любом месте сенсорного экрана (даже в отображаемой информации) может стать инструментом, который полностью меняет UX-дизайн. Представьте себе, что ваш телефон или планшет может отображать 100 % экрана даже во время набора текста, без необходимости использовать отдельную физическую клавиатуру, как сегодня.