AIを活用したタッチスクリーンとVR用の架空のキーボードの開発に成功

韓国科学技術院（KAIST）の人工知能（AI）研究者3人からなるグループは、最近、物理的なキーを押す必要がなく、位置に依存するだけで済む、AIサポートを備えた目に見えないキーボードインターフェイスの開発に成功した。データ入力操作をサポートするために、手を入力できる位置に置きます。

見えないキーボード？面白そうですが、まだ漠然としすぎています。では、このタイプのキーボードはどのように機能するのでしょうか? データ入力を効率的にするにはどうすればよいでしょうか? すぐに分かります。

• メカニカルキーボードは新しいスイッチ機構を採用し、最大10億回のクリック耐久性を実現

仮想キーボードは依然としてタッチ対応デバイスの第一の選択肢です

キーボードを含む周辺機器製造業界は、独自の機能を備えたより完成度の高い製品を提供することを目的とした研究開発とマーケティング計画に毎年数十億ドルを費やしており、レーザー投影された仮想キーボードなどのより高度な機能は、どのデバイスでも使用できます。表面。しかし、現状の周辺製品の実用化には大きな疑問符が付く場合が多い。

タッチ スクリーンとモバイル デバイスの導入と普及により、キーボードとマウスに多くの大きな変化が生じました。タッチ スクリーンと仮想キーボードは、モバイル ユーザーにとって合理的な選択肢ですが、デスクトップ コンピューターのような固定デバイスの場合、キーボードに代わる目立ったものはまだそれほど多くありません。 ）。物理キーボードのサイズは最適化され、大幅に縮小されましたが、デスクトップ コンピューターを使用したい場合は、依然として不格好なキーボードを使用する必要があります。

入力方法、従来のキーボードの代わりに音声制御、通常のキーストロークの代わりにスワイプ入力など、数十の異なるソリューションが提案されています。上記の対策は理論的には従来のキーボード モデルを置き換えることができますが、実際にはあまり効果的ではなく、従来のハードウェア モデルよりも見落とされたり、誤解を招きやすくなります。

• DeepMind の AI モデルは、YouTube クリップを見るだけでビデオの作成方法を学習できます

レーザー投影された仮想キーボードの実際の有効性はまだ高くありません

そのため、韓国科学技術研究院の研究者、Ue-Hwan Kim氏、Sahng-Min Yu氏、Jong-Hwan Kim氏は、現在のAI開発時代におけるキーボード入力エクスペリエンスを「再定義」できる新製品を開発することに決めました。彼らは文字通りの「想像上のキーボード」インターフェイスの開発に成功しました。

韓国の科学者による研究文書には次のように記載されています。

「まず第一に、この I-Keyboard が 100% 非表示になり、モバイル デバイスの画面の有用性を最大限に高めることができることを確認する必要があります。ユーザーは、以前のように仮想キーボードの表示領域の一部を失うことなく、アプリケーションのコンテンツを全画面モードで表示し、同時に自由に入力することができます。実用的な使いやすさをさらに向上させるために、I-Keyboard には固定キーのレイアウト、形状、サイズが一切ありません。ユーザーはキーボードの位置や形状を気にすることなく、タッチスクリーン上の任意の位置、任意の角度から入力プロセスを開始できます。

• Nvidia の STEAL AI は、コンピューター ビジョン モデルに対するより優れた推論サポートを提供します

研究者らによると、I-Keyboard の動作には校正や調整の設定は必要ありません。物理的なキーボードと同じように、タッチ スクリーン上の任意の場所に入力を開始するだけで、人工知能の分野の 1 つであるディープラーニングを使用して、入力しようとしている内容を認識して理解します。次のように：

「I-Keyboard キーボードは、ディープラーニングの中核技術で開発された特別なデコード アルゴリズムに基づいて統合され、動作するため、正常に動作するために調整手順は必要ありません。ディープ ニューラル デコーダ (DND) が統合されており、指の動作状態とタッチ操作の変動性の両方を効果的に処理し、タッチ ポイントを特定の文字に自動的に切り替えます。

これはちょっとした手品のように思えます。単に指をあちこちに動かしているときに、キーボードはどのようにして入力しようとしている内容を明確に認識できるのでしょうか? 結局のところ、ソフト キーボードの最大の問題の 1 つは、時間の経過とともに、見ずに指がキー上のどこにあるかを正確に判断することが事実上不可能であることです。タッチの感覚に物理的な制約が何であれ、なくなると、本来の立場から逸脱してしまう。

ただし、I キーボードには非常に優れたテクノロジーが搭載されています。ユーザーの指の正確な位置を判断する代わりに、アルゴリズムはユーザーが実行しようとしているアクションを把握し、頭の中の他の想像上のキーボードと一致するように目に見えないキーボードを継続的に調整します。

• AI 分野の 5 人の天才頭脳が協力して素晴らしいロボットを作成

ユーザー入力モデルの例。スケールが正規化され、空白が削除されて表示されます

I-Keyboard に関しては、やるべきことがまだたくさんあります。現在、最大 95.8% という非常に優れた精度で動作できますが、約 45WPM でしか動作できません。いずれにせよ、これは現在のソフト キーボード テクノロジーと比較して顕著な進歩であると考えられます。

研究者らは、さらなるアルゴリズムの開発とより優れたタッチ インターフェイスにより、I-Keyboard を今日の物理キーボードの完全な代替品に改良できると考えていますが、現在の目標はタッチ スクリーンや仮想現実デバイス上の I-Keyboard アプリケーションにすぎません。

• YouTube が新しい AR フィルターを発表、ユーザーは世界トップクラスの美容製品を使ってメイクアップを試すことができる

仮想現実技術におけるキーボードの例

実際に効果的に使用すると、I-Keyboard が VR テクノロジーにもたらすメリットは非常に膨大です。さらに、タッチ スクリーン上のどこにでも (表示されている情報上でも) 入力できる機能は、UX デザインを完全に変えるツールとなり得ます。現在のように別の物理キーボードを使用する必要がなく、入力中でも携帯電話やタブレットが画面の 100% を表示できることを想像してみてください。