Succesvol een denkbeeldig toetsenbord ontwikkeld voor touchscreens en VR, aangedreven door AI

Een groep van drie kunstmatige intelligentie (AI)-onderzoekers van het Korean Advanced Institute of Science and Technology (KAIST) heeft onlangs met succes een onzichtbare toetsenbordinterface ontwikkeld, AI-ondersteuning, vereist absoluut geen fysieke toetsaanslagen, maar hoeft alleen maar te vertrouwen op de positie waarbij u uw hand in een kant-en-klare positie plaatst om gegevensinvoerbewerkingen te ondersteunen.

Onzichtbaar toetsenbord? Klinkt interessant, maar nog steeds te vaag. Dus hoe werkt dit type toetsenbord? Hoe kunt u de efficiëntie van gegevensinvoer bereiken? We zullen het snel ontdekken.

• Het mechanische toetsenbord maakt gebruik van een nieuw schakelmechanisme dat duurzaamheid tot 1 miljard klikken kan bieden

Virtuele toetsenborden zijn nog steeds de eerste keuze op apparaten met aanraakbediening

Elk jaar besteedt de industrie voor de productie van randapparatuur, inclusief toetsenborden, miljarden dollars aan R&D- en marketingplannen die erop gericht zijn completere producten op de markt te brengen, die over unieke eigenschappen beschikken. Geavanceerdere eigenschappen, zoals een met laser geprojecteerd virtueel toetsenbord, kunnen op elk apparaat worden gebruikt. oppervlak. De effectiviteit bij praktisch gebruik van de huidige randproducten is echter in veel gevallen nog steeds een groot vraagteken.

De introductie en populariteit van touchscreens en mobiele apparaten heeft geleid tot veel grote veranderingen op het gebied van toetsenborden en muizen. Aanraakschermen en virtuele toetsenborden zijn een redelijke optie voor mobiele gebruikers, maar voor vaste apparaten zoals desktopcomputers zijn er nog steeds niet veel noemenswaardige vervangingen voor toetsenborden. Full-size QWERTY (het soort toetsenbord dat je op alle tien de vingers tegelijk kunt plaatsen ). Hoewel de grootte van het fysieke toetsenbord nu is geoptimaliseerd en aanzienlijk is verkleind, moeten we over het algemeen nog steeds onhandige toetsenborden gebruiken als we een desktopcomputer willen gebruiken.

Er zijn tientallen verschillende oplossingen voorgesteld, waaronder invoermethoden, stembesturing in plaats van traditionele toetsenborden, of veeginvoer in plaats van gewone toetsaanslagen. Bovenstaande maatregelen kunnen in theorie traditionele toetsenbordmodellen vervangen, maar in de praktijk zijn ze niet erg effectief en worden ze gemakkelijker over het hoofd gezien of misleidend dan traditionele hardwaremodellen.

• Het AI-model van DeepMind kan leren hoe je video's kunt maken door simpelweg naar YouTube-clips te kijken

De effectiviteit van het lasergeprojecteerde virtuele toetsenbord is in de praktijk nog steeds niet hoog

Dat is de reden waarom onderzoekers Ue-Hwan Kim, Sahng-Min Yoo en Jong-Hwan Kim van het Korea Institute of Science and Advanced Technology besloten een nieuw product te ontwikkelen dat de toetsenbordinvoerervaring in het huidige tijdperk van AI-ontwikkeling zou kunnen "herdefiniëren". Ze hebben met succes een letterlijke "denkbeeldige toetsenbord"-interface ontwikkeld.

Informatie in onderzoeksdocumenten van Koreaanse wetenschappers wordt als volgt vermeld:

“Allereerst is het noodzakelijk om te bevestigen dat dit I-Keyboard 100% onzichtbaar zal zijn, waardoor de bruikbaarheid van het scherm op mobiele apparaten wordt gemaximaliseerd. Gebruikers kunnen de inhoud van een applicatie op volledig scherm bekijken en tegelijkertijd vrij typen zonder een deel van het weergavegebied voor het virtuele toetsenbord te verliezen, zoals voorheen. Om de praktische bruikbaarheid verder te verbeteren, heeft ons I-Keyboard absoluut geen vaste toetsindeling, vorm of grootte. Gebruikers kunnen het invoerproces vanuit elke positie en vanuit elke hoek op het touchscreen starten, zonder zich zorgen te hoeven maken over de positie en vorm van het toetsenbord.

• Nvidia's STEAL AI levert betere ondersteuning voor gevolgtrekkingen voor computer vision-modellen

Volgens de onderzoekers vereist het I-Keyboard geen enkele kalibratie- of aanpassingsconfiguratie om te kunnen werken. U begint gewoon ergens op het aanraakscherm te typen, net zoals u dat op een fysiek toetsenbord zou doen, en er wordt gebruik gemaakt van deep learning, een aspect van de kunstmatige intelligentie, om de inhoud die u probeert te typen te herkennen en te begrijpen. Als volgt:

“Het I-Keyboard-toetsenbord zal worden geïntegreerd en werken op basis van een speciaal decoderingsalgoritme, ontwikkeld met de kerntechnologie van deep learning, waardoor er geen aanpassingsstappen nodig zijn om normaal te werken. De diepe neurale decoder (DND) is geïntegreerd om effectief om te gaan met zowel de werkingsstatus van de vinger als de variabiliteit van aanraakbedieningen, waardoor aanraakpunten automatisch in specifieke letters worden omgezet.

Dit lijkt een beetje op een goocheltruc. Hoe kan het toetsenbord duidelijk weten wat je probeert te typen als je gewoon met je vingers overal heen en weer beweegt? Een van de grootste problemen met zachte toetsenborden is immers dat het vrijwel onmogelijk is om in de loop van de tijd precies te bepalen waar je vingers zich op de toetsen bevinden zonder te kijken. afwijken van ons oorspronkelijke standpunt.

Er zit echter een aantal behoorlijk coole technologie op het I-toetsenbord. In plaats van de exacte positie van de vingers van de gebruiker te bepalen, zoekt het algoritme uit welke actie je probeert uit te voeren en past het zijn onzichtbare toetsenbord voortdurend aan zodat het overeenkomt met het andere denkbeeldige toetsenbord in je hoofd.

• 5 geniale geesten op het gebied van AI slaan de handen ineen om geweldige robots te creëren

Voorbeeld van gebruikersinvoermodellen. Schalen zijn genormaliseerd en lege ruimtes zijn verwijderd voor weergave

Er is nog veel werk te doen aan het I-Keyboard. Hoewel hij momenteel met een uiterst indrukwekkende nauwkeurigheid kan werken, tot 95,8%, kan hij slechts werken op ongeveer 45 WPM. Hoe dan ook, dit kan als een opmerkelijke verbetering worden beschouwd vergeleken met de huidige zachte toetsenbordtechnologie.

Met verdere algoritmische ontwikkelingen en een betere aanraakinterface zijn onderzoekers van mening dat het I-Keyboard kan worden verbeterd om een ​​perfecte vervanging te worden voor de huidige fysieke toetsenborden, hoewel hun huidige doel slechts de I-Keyboard-toepassing op aanraakschermen en virtual reality-apparaten is.

• YouTube lanceert nieuwe AR-filters, waarmee gebruikers make-up kunnen passen met 's werelds beste schoonheidsproducten

Voorbeeld van toetsenbord in virtual reality-technologie

Als I-Keyboard in de praktijk effectief wordt gebruikt, zijn de voordelen die I-Keyboard met zich meebrengt voor VR-technologie buitengewoon groot. Bovendien kan de mogelijkheid om overal op het aanraakscherm in te voeren (zelfs op de weergegeven informatie) een hulpmiddel zijn dat het UX-ontwerp volledig verandert. Stel je voor dat je telefoon of tablet 100% van het scherm kan weergeven, zelfs tijdens het typen, zonder dat je zoals vandaag een apart fysiek toetsenbord nodig hebt.