Desenvolveu com sucesso um teclado imaginário para telas sensíveis ao toque e VR, alimentado por IA

Um grupo de três pesquisadores de inteligência artificial (IA) do Instituto Avançado Coreano de Ciência e Tecnologia (KAIST) desenvolveu recentemente com sucesso uma interface de teclado invisível, suporte de IA, absolutamente não requer nenhum pressionamento de tecla física, mas só precisa confiar na posição onde você coloca sua mão em uma posição pronta para digitar para apoiar as operações de entrada de dados.

Teclado invisível? Parece interessante, mas ainda muito vago. Então, como funciona esse tipo de teclado? Como alcançar eficiência na entrada de dados? Vamos descobrir em breve.

• O teclado mecânico usa um novo mecanismo de comutação que pode fornecer durabilidade de até 1 bilhão de cliques

Os teclados virtuais ainda são a escolha número um em dispositivos habilitados para toque

A cada ano, a indústria de fabricação de periféricos, incluindo teclados, gasta bilhões de dólares em P&D e planos de marketing que visam trazer produtos mais completos, com recursos exclusivos. Recursos mais avançados, como um teclado virtual projetado a laser, podem ser usados ​​em qualquer dispositivo. superfície. Contudo, a eficácia na utilização prática dos produtos periféricos atuais, em muitos casos, ainda é um grande ponto de interrogação.

A introdução e popularidade de telas sensíveis ao toque e dispositivos móveis levaram a muitas mudanças importantes em teclados e mouses. Telas sensíveis ao toque e teclados virtuais são uma opção razoável para usuários móveis, mas para dispositivos fixos, como computadores desktop, ainda não há muitos substitutos notáveis ​​para teclados. QWERTY de tamanho normal (o tipo de teclado que você pode colocar em todos os dez dedos ao mesmo tempo). ). Embora o tamanho do teclado físico tenha sido otimizado e reduzido significativamente, em geral ainda temos que usar teclados desajeitados se quisermos usar um computador desktop.

Dezenas de soluções diferentes foram propostas, incluindo métodos de entrada, controle de voz em vez de teclados tradicionais ou entrada por deslizamento em vez de pressionamentos regulares de teclas. As medidas acima podem, teoricamente, substituir os modelos de teclado tradicionais, mas, na prática, não são muito eficazes e são mais facilmente ignoradas ou enganosas do que os modelos de hardware tradicionais.

• O modelo de IA da DeepMind pode aprender como criar vídeos apenas assistindo a clipes do YouTube

A eficácia do teclado virtual projetado a laser na prática ainda não é alta

É por isso que os pesquisadores Ue-Hwan Kim, Sahng-Min Yoo e Jong-Hwan Kim do Instituto Coreano de Ciência e Tecnologia Avançada decidiram desenvolver um novo produto que pudesse “redefinir” a experiência de entrada do teclado na era atual de desenvolvimento de IA. Eles desenvolveram com sucesso uma interface literal de “teclado imaginário”.

As informações em documentos de pesquisa de cientistas coreanos são declaradas da seguinte forma:

“Em primeiro lugar, é necessário confirmar que este I-Keyboard será 100% invisível, ajudando a maximizar a utilidade do ecrã nos dispositivos móveis. Os usuários podem visualizar o conteúdo de um aplicativo em modo de tela cheia e digitar livremente ao mesmo tempo, sem ter que perder parte da área de exibição do teclado virtual como antes. Para melhorar ainda mais a usabilidade prática, nosso I-Keyboard não terá absolutamente nenhum layout, formato ou tamanho fixo de teclas. Os usuários podem iniciar o processo de entrada de qualquer posição, em qualquer ângulo da tela sensível ao toque, sem precisar se preocupar com a posição e o formato do teclado.

• STEAL AI da Nvidia oferece melhor suporte de inferência para modelos de visão computacional

Segundo os pesquisadores, o I-Keyboard não exigirá nenhuma configuração de calibração ou ajuste para funcionar. Basta começar a digitar em qualquer lugar da tela sensível ao toque, como faria em um teclado físico, e ele usará o aprendizado profundo, um aspecto do campo da inteligência artificial, para reconhecer e compreender o conteúdo que você está tentando digitar. Do seguinte modo:

“O teclado I-Keyboard será integrado e operará com base em um algoritmo de decodificação especial, desenvolvido com a tecnologia central de aprendizagem profunda, não exigindo, portanto, etapas de ajuste para funcionar normalmente. O decodificador neural profundo (DND) é integrado para lidar com eficácia tanto com o estado operacional do dedo quanto com a variabilidade das operações de toque, alternando automaticamente os pontos de toque em letras específicas".

Isso parece um truque de mágica. Como o teclado pode saber claramente o que você está tentando digitar quando você está simplesmente cutucando os dedos em todos os lugares? Afinal, um dos maiores problemas dos teclados virtuais é que é virtualmente impossível determinar exatamente onde seus dedos estão nas teclas ao longo do tempo sem olhar, porque quando não houver quaisquer restrições físicas que tenhamos na sensação de toque, começaremos a desviar-nos da nossa posição original.

No entanto, existe uma tecnologia muito interessante equipada no I-keyboard. Em vez de determinar a posição exata dos dedos do usuário, o algoritmo descobre qual ação você está tentando executar e ajusta continuamente seu teclado invisível para corresponder ao outro teclado imaginário em sua cabeça.

• 5 mentes geniais no campo da IA ​​unem as mãos para criar robôs incríveis

Exemplo de modelos de entrada do usuário. As escalas são normalizadas e os espaços em branco são removidos para exibição

Ainda há muito trabalho a fazer no I-Keyboard. Embora atualmente possa operar com uma precisão extremamente impressionante, de até 95,8%, ele só pode operar a aproximadamente 45WPM. De qualquer forma, isso pode ser considerado uma melhoria notável em comparação com a atual tecnologia de teclado virtual.

Com mais desenvolvimentos algorítmicos e uma interface de toque melhor, os pesquisadores acreditam que o I-Keyboard pode ser melhorado para se tornar um substituto perfeito para os teclados físicos atuais, embora seu objetivo atual seja apenas o aplicativo I-Keyboard em telas sensíveis ao toque e dispositivos de realidade virtual.

• O YouTube lança novos filtros AR, permitindo aos usuários experimentar maquiagem com os principais produtos de beleza do mundo

Exemplo de teclado em tecnologia de realidade virtual

Se usado de forma eficaz na prática, os benefícios que o I-Keyboard traz para a tecnologia VR são extremamente vastos. Além disso, a capacidade de inserir qualquer lugar na tela sensível ao toque (até mesmo nas informações exibidas) pode ser uma ferramenta que muda completamente o design UX. Imagine seu celular ou tablet sendo capaz de exibir 100% da tela mesmo durante a digitação, sem a necessidade de usar um teclado físico separado como hoje.