Développement réussi dun clavier imaginaire pour écrans tactiles et VR, alimenté par lIA

Un groupe de trois chercheurs en intelligence artificielle (IA) de l'Institut avancé coréen des sciences et technologies (KAIST) a récemment développé avec succès une interface de clavier invisible, prise en charge de l'IA, qui ne nécessite absolument aucune pression sur une touche physique, mais doit uniquement s'appuyer sur la position. où vous placez votre main dans une position prête à taper pour prendre en charge les opérations de saisie de données.

Un clavier invisible ? Cela semble intéressant, mais encore trop vague. Alors, comment fonctionne ce type de clavier ? Comment atteindre l’efficacité de la saisie des données ? Nous le saurons bientôt.

• Le clavier mécanique utilise un nouveau mécanisme de commutation qui peut offrir une durabilité jusqu'à 1 milliard de clics

Les claviers virtuels restent le choix numéro un sur les appareils tactiles

Chaque année, l'industrie de fabrication de périphériques, y compris de claviers, dépense des milliards de dollars en R&D et en plans de marketing visant à proposer des produits plus complets, possédant des fonctionnalités uniques. Des fonctionnalités plus avancées, telles qu'un clavier virtuel projeté au laser, peuvent être utilisées sur n'importe quel appareil. surface. Cependant, l'efficacité dans l'utilisation pratique des produits périphériques actuels reste, dans de nombreux cas, un grand point d'interrogation.

L’introduction et la popularité des écrans tactiles et des appareils mobiles ont conduit à de nombreux changements majeurs dans le domaine des claviers et des souris. Les écrans tactiles et les claviers virtuels constituent une option raisonnable pour les utilisateurs mobiles, mais pour les appareils fixes comme les ordinateurs de bureau, il n'existe encore pas beaucoup de remplacements notables des claviers. QWERTY pleine taille (le type de clavier que vous pouvez mettre sur les dix doigts à la fois ). Bien que la taille du clavier physique ait désormais été optimisée et considérablement réduite, nous devons généralement toujours utiliser des claviers encombrants si nous voulons utiliser un ordinateur de bureau.

Des dizaines de solutions différentes ont été proposées, notamment des méthodes de saisie, la commande vocale au lieu des claviers traditionnels ou la saisie par balayage au lieu des frappes normales. Les mesures ci-dessus peuvent théoriquement remplacer les modèles de clavier traditionnels, mais en pratique, elles ne sont pas très efficaces et sont plus facilement manquées ou trompeuses que les modèles matériels traditionnels.

• Le modèle d'IA de DeepMind peut apprendre à créer des vidéos simplement en regardant des clips YouTube

L'efficacité pratique du clavier virtuel projeté au laser n'est toujours pas élevée

C'est pourquoi les chercheurs Ue-Hwan Kim, Sahng-Min Yoo et Jong-Hwan Kim de l'Institut coréen des sciences et des technologies avancées ont décidé de développer un nouveau produit qui pourrait « redéfinir » l'expérience de saisie au clavier dans l'ère actuelle du développement de l'IA. Ils ont développé avec succès une interface littérale de « clavier imaginaire ».

Les informations contenues dans les documents de recherche rédigés par des scientifiques coréens sont indiquées comme suit :

« Tout d'abord, il faut confirmer que cet I-Keyboard sera 100 % invisible, contribuant ainsi à maximiser l'utilité de l'écran sur les appareils mobiles. Les utilisateurs peuvent visualiser le contenu d'une application en mode plein écran et taper librement en même temps sans avoir à perdre une partie de la zone d'affichage du clavier virtuel comme auparavant. Pour améliorer encore davantage la convivialité, notre I-Keyboard n'aura absolument aucune disposition, forme ou taille de touches fixe. Les utilisateurs peuvent démarrer le processus de saisie depuis n'importe quelle position et sous n'importe quel angle sur l'écran tactile sans avoir à se soucier de la position et de la forme du clavier.

• STEAL AI de Nvidia offre une meilleure prise en charge de l'inférence pour les modèles de vision par ordinateur

Selon les chercheurs, le I-Keyboard ne nécessitera aucune configuration d’étalonnage ou de réglage pour fonctionner. Vous commencez simplement à taper n'importe où sur l'écran tactile, comme vous le feriez sur un clavier physique, et celui-ci utilisera l'apprentissage en profondeur, un aspect du domaine de l'intelligence artificielle, pour reconnaître et comprendre le contenu que vous essayez de taper. Comme suit:

« Le clavier I-Keyboard sera intégré et fonctionnera sur la base d'un algorithme de décodage spécial, développé avec la technologie de base de l'apprentissage profond, ne nécessitant ainsi aucune étape de réglage pour fonctionner normalement. Le décodeur neuronal profond (DND) est intégré pour gérer efficacement à la fois l'état de fonctionnement du doigt et la variabilité des opérations tactiles, commutant ainsi automatiquement les points de contact en lettres spécifiques".

Cela ressemble un peu à un tour de magie. Comment le clavier peut-il savoir clairement ce que vous essayez de taper alors que vous passez simplement vos doigts partout ? Après tout, l'un des plus gros problèmes des claviers logiciels est qu'il est pratiquement impossible de déterminer exactement où se trouvent vos doigts sur les touches au fil du temps sans regarder, car lorsqu'il n'y a plus de contraintes physiques sur la sensation du toucher, nous commencerons à s'écarter de notre position initiale.

Cependant, le clavier I comporte une technologie plutôt intéressante. Au lieu de déterminer la position exacte des doigts de l'utilisateur, l'algorithme détermine quelle action vous essayez d'effectuer et ajuste en permanence son clavier invisible pour qu'il corresponde à l'autre clavier imaginaire dans votre tête.

• 5 esprits géniaux dans le domaine de l’IA s’unissent pour créer des robots étonnants

Exemple de modèles de saisie utilisateur. Les échelles sont normalisées et les espaces vides sont supprimés pour l'affichage

Il y a encore beaucoup de travail à faire sur le I-Keyboard. Bien qu'il puisse actuellement fonctionner avec une précision extrêmement impressionnante, jusqu'à 95,8 %, il ne peut fonctionner qu'à environ 45 WPM. Quoi qu’il en soit, cela peut être considéré comme une amélioration notable par rapport à la technologie actuelle des claviers logiciels.

Avec de nouveaux développements algorithmiques et une meilleure interface tactile, les chercheurs pensent que l'I-Keyboard peut être amélioré pour devenir un remplacement parfait des claviers physiques d'aujourd'hui, bien que leur objectif actuel soit simplement l'application I-Keyboard sur les écrans tactiles et les appareils de réalité virtuelle.

• YouTube lance de nouveaux filtres AR, permettant aux utilisateurs d'essayer du maquillage avec les meilleurs produits de beauté au monde

Exemple de clavier dans la technologie de réalité virtuelle

S’il est utilisé efficacement dans la pratique, les avantages qu’I-Keyboard apporte à la technologie VR sont extrêmement vastes. De plus, la possibilité de saisir n’importe où sur l’écran tactile (même sur les informations affichées) peut être un outil qui change complètement la conception UX. Imaginez que votre téléphone ou votre tablette soit capable d'afficher 100 % de l'écran même lorsque vous tapez, sans avoir besoin d'utiliser un clavier physique séparé comme aujourd'hui.