Erfolgreiche Entwicklung einer imaginären Tastatur für Touchscreens und VR, unterstützt durch KI

Eine Gruppe von drei Forschern für künstliche Intelligenz (KI) vom Korean Advanced Institute of Science and Technology (KAIST) hat kürzlich erfolgreich eine unsichtbare Tastaturschnittstelle entwickelt, die KI-Unterstützung bietet und absolut keine physischen Tastendrücke erfordert, sondern sich nur auf die Position verlassen muss Hier platzieren Sie Ihre Hand in einer schreibbereiten Position, um Dateneingabevorgänge zu unterstützen.

Unsichtbare Tastatur? Klingt interessant, ist aber immer noch zu vage. Wie funktioniert diese Art von Tastatur? Wie erreicht man eine effiziente Dateneingabe? Wir werden es bald herausfinden.

• Die mechanische Tastatur verwendet einen neuen Schaltmechanismus, der eine Haltbarkeit von bis zu 1 Milliarde Klicks bietet

Bei Touch-fähigen Geräten sind virtuelle Tastaturen nach wie vor die erste Wahl

Jedes Jahr gibt die Industrie zur Herstellung von Peripheriegeräten, einschließlich Tastaturen, Milliarden von Dollar für Forschung und Entwicklung sowie Marketingpläne aus, die darauf abzielen, umfassendere Produkte mit einzigartigen Funktionen zu entwickeln. Erweiterte Funktionen, wie etwa eine per Laser projizierte virtuelle Tastatur, können auf jeder Tastatur verwendet werden Oberfläche. Die Wirksamkeit aktueller Peripherieprodukte im praktischen Einsatz ist jedoch in vielen Fällen noch fraglich.

Die Einführung und Beliebtheit von Touchscreens und mobilen Geräten hat zu vielen großen Veränderungen bei Tastaturen und Mäusen geführt. Touchscreens und virtuelle Tastaturen sind eine vernünftige Option für mobile Benutzer, aber für stationäre Geräte wie Desktop-Computer gibt es immer noch nicht viele nennenswerte Ersatztastaturen. QWERTY in voller Größe (die Art von Tastatur, die Sie auf alle zehn Finger gleichzeitig legen können). ). Obwohl die Größe der physischen Tastatur inzwischen optimiert und deutlich verkleinert wurde, müssen wir in der Regel immer noch auf klobige Tastaturen zurückgreifen, wenn wir einen Desktop-Computer nutzen wollen.

Dutzende verschiedene Lösungen wurden vorgeschlagen, darunter Eingabemethoden, Sprachsteuerung anstelle herkömmlicher Tastaturen oder Wischeingabe anstelle normaler Tastenanschläge. Die oben genannten Maßnahmen können theoretisch herkömmliche Tastaturmodelle ersetzen, in der Praxis sind sie jedoch nicht sehr effektiv und werden leichter übersehen oder irreführend als herkömmliche Hardwaremodelle.

• Das KI-Modell von DeepMind kann allein durch das Ansehen von YouTube-Clips lernen, wie man Videos erstellt

Die Wirksamkeit der per Laser projizierten virtuellen Tastatur ist in der Praxis noch nicht hoch

Aus diesem Grund beschlossen die Forscher Ue-Hwan Kim, Sahng-Min Yoo und Jong-Hwan Kim vom Korea Institute of Science and Advanced Technology, ein neues Produkt zu entwickeln, das das Tastatureingabeerlebnis in der aktuellen Ära der KI-Entwicklung „neu definieren“ könnte. Sie haben erfolgreich eine buchstäblich „imaginäre Tastatur“-Schnittstelle entwickelt.

Informationen in Forschungsdokumenten koreanischer Wissenschaftler werden wie folgt angegeben:

„Zunächst muss sichergestellt werden, dass diese I-Tastatur zu 100 % unsichtbar ist und so dazu beiträgt, den Nutzen des Bildschirms auf mobilen Geräten zu maximieren. Benutzer können den Inhalt einer Anwendung im Vollbildmodus betrachten und gleichzeitig frei tippen, ohne wie bisher einen Teil der Anzeigefläche für die virtuelle Tastatur verlieren zu müssen. Um die praktische Benutzerfreundlichkeit weiter zu verbessern, verfügt unsere I-Tastatur über keinerlei feste Tastenanordnung, -form oder -größe. Benutzer können den Eingabevorgang von jeder Position und in jedem Winkel auf dem Touchscreen aus starten, ohne sich Gedanken über die Position und Form der Tastatur machen zu müssen.

• Nvidias STEAL AI bietet eine bessere Inferenzunterstützung für Computer-Vision-Modelle

Den Forschern zufolge ist für den Betrieb des I-Keyboards keine Kalibrierung oder Anpassungskonfiguration erforderlich. Sie beginnen einfach irgendwo auf dem Touchscreen zu tippen, genau wie auf einer physischen Tastatur, und es wird Deep Learning, ein Aspekt der künstlichen Intelligenz, eingesetzt, um den Inhalt, den Sie eingeben möchten, zu erkennen und zu verstehen. Wie folgt:

„Die I-Keyboard-Tastatur wird integriert und basiert auf einem speziellen Decodierungsalgorithmus, der mit der Kerntechnologie des Deep Learning entwickelt wurde, sodass für den normalen Betrieb keine Anpassungsschritte erforderlich sind. . Der Deep Neural Decoder (DND) ist integriert, um sowohl den Betriebszustand des Fingers als auch die Variabilität der Berührungsvorgänge effektiv zu verarbeiten und so Berührungspunkte automatisch in bestimmte Buchstaben umzuwandeln.

Das scheint ein bisschen wie ein Zaubertrick zu sein. Wie kann die Tastatur klar erkennen, was Sie eingeben möchten, wenn Sie einfach nur mit den Fingern herumstochern? Schließlich besteht eines der größten Probleme bei Softtastaturen darin, dass es im Laufe der Zeit praktisch unmöglich ist, ohne Hinsehen genau zu bestimmen, wo sich Ihre Finger auf den Tasten befinden, denn wenn es keine physischen Einschränkungen gibt, die wir für das Tastgefühl haben, beginnen wir damit von unserer ursprünglichen Position abweichen.

Allerdings ist die I-Tastatur mit einer ziemlich coolen Technologie ausgestattet. Anstatt die genaue Position der Finger des Benutzers zu bestimmen, erkennt der Algorithmus, welche Aktion Sie ausführen möchten, und passt seine unsichtbare Tastatur kontinuierlich an die andere imaginäre Tastatur in Ihrem Kopf an. Freund.

• 5 geniale Köpfe auf dem Gebiet der KI arbeiten zusammen, um erstaunliche Roboter zu erschaffen

Beispiel für Benutzereingabemodelle. Die Maßstäbe werden normalisiert und Leerzeichen werden zur Anzeige entfernt

Am I-Keyboard gibt es noch viel zu tun. Obwohl es derzeit mit einer äußerst beeindruckenden Genauigkeit von bis zu 95,8 % arbeiten kann, kann es nur mit etwa 45 WPM betrieben werden. Auf jeden Fall kann dies als eine bemerkenswerte Verbesserung im Vergleich zur aktuellen Soft-Tastatur-Technologie angesehen werden.

Mit weiteren algorithmischen Entwicklungen und einer besseren Touch-Schnittstelle glauben Forscher, dass das I-Keyboard verbessert werden kann, um ein perfekter Ersatz für die heutigen physischen Tastaturen zu werden, obwohl ihr aktuelles Ziel lediglich die I-Keyboard-Anwendung auf Touchscreens und Virtual-Reality-Geräten ist.

• YouTube führt neue AR-Filter ein, die es Nutzern ermöglichen, Make-up mit den weltbesten Schönheitsprodukten auszuprobieren

Beispiel einer Tastatur in der Virtual-Reality-Technologie

Bei effektivem Einsatz in der Praxis sind die Vorteile, die I-Keyboard für die VR-Technologie mit sich bringt, äußerst enorm. Darüber hinaus kann die Möglichkeit, überall auf dem Touchscreen Eingaben vorzunehmen (sogar auf den angezeigten Informationen), ein Werkzeug sein, das das UX-Design völlig verändert. Stellen Sie sich vor, dass Ihr Telefon oder Tablet auch beim Tippen 100 % des Bildschirms anzeigen kann, ohne wie heute eine separate physische Tastatur verwenden zu müssen.