Autoflip, o novo modelo de IA do Google pode personalizar vídeos para qualquer tamanho de tela

Certamente qualquer um de nós já encontrou mais ou menos uma situação em que o quadro de exibição do vídeo fica "irregular" quando você o assiste em um dispositivo móvel. Aborrecimento e aborrecimento são provavelmente sentimentos que aparecem imediatamente, mas você ainda precisa aceitá-los e assistir ao vídeo inteiro porque simplesmente não pode fazer mais nada.

Para resolver esse problema aparentemente pequeno, mas que tem um grande impacto na experiência do usuário, a equipe de pesquisa de IA do Google desenvolveu com sucesso uma solução de código aberto chamada Autoflip, que pode ajustar vídeos automaticamente para que se adaptem a um determinado dispositivo ou tamanho de tela em uma variedade de modos, como paisagem, quadrado, retrato, etc.

Basicamente, o Autoflip funciona em três etapas principais: detecção de cena, análise de conteúdo de vídeo e, finalmente, ajuste fino.

Na fase de detecção de cena, o modelo de aprendizado de máquina prestará muita atenção ao ponto antes de cortar ou pular de uma cena para outra. Graças a isso, ele pode comparar um quadro com o quadro anterior para detectar alterações nas cores e nos elementos relacionados.

Depois de identificar uma tomada de referência, o modelo de IA passará a analisar o conteúdo do vídeo para identificar objetos importantes em uma cena. Para fazer isso, o Autoflip usará uma rede neural de aprendizagem profunda que ajuda a identificar claramente não apenas os objetos que aparecem na cena, como pessoas, animais, veículos, árvores. ... mas também o movimento, bem como o estado de movimento do objeto.

Na etapa final, o modelo de IA determina se deve usar o modo estacionário para cenas que acontecem em um único espaço ou o modo de rastreamento quando os objetos de interesse estão em constante movimento. Com base neste fator e no tamanho alvo que o vídeo precisa ser exibido, o Autoflip cortará o quadro de exibição para garantir suavidade e, principalmente, reter todo o conteúdo interessante.

Os pesquisadores de IA do Google dizem que o Autoflip pode ser usado para converter vídeos em vários formatos e tamanhos de tela sem intervenção humana. Na próxima etapa, a equipe quer melhorar a capacidade do Autoflip de rastrear assuntos em entrevistas e desenhos animados. Para fazer isso, o modelo de IA precisa ser equipado com imagens borradas e técnicas de detecção de texto para posicionar melhor os objetos de primeiro e segundo plano em um quadro.

Você pode consultar o código do Autoflip AQUI .