Autoflip, el nuevo modelo de IA de Google puede personalizar vídeos para cualquier tamaño de pantalla

Seguramente cualquiera de nosotros se ha encontrado más o menos con una situación en la que el marco de visualización del vídeo está "irregular" cuando lo mira en un dispositivo móvil. El fastidio y el enfado probablemente sean sentimientos que aparecen de inmediato, pero aún así tienes que aceptarlo y ver el video completo porque simplemente no puedes hacer nada más.

Para resolver este problema aparentemente pequeño pero que tiene un gran impacto en la experiencia del usuario, el equipo de investigación de inteligencia artificial de Google ha desarrollado con éxito una solución de código abierto llamada Autoflip, que puede ajustar videos automáticamente para que se adapten a un dispositivo o tamaño de pantalla determinado en una variedad de modos, como paisaje, cuadrado, retrato, etc.

Básicamente, Autoflip funciona en tres etapas principales: detección de escenas, análisis de contenido de video y finalmente ajuste.

En la etapa de detección de escenas, el modelo de aprendizaje automático prestará mucha atención al punto antes de cortar o saltar de una escena a otra. Gracias a esto, puede comparar un fotograma con el anterior para detectar cambios en colores y elementos relacionados.

Después de identificar una toma de referencia, el modelo de IA pasará a analizar el contenido del video para identificar objetos importantes en una escena. Para ello, Autoflip utilizará una red neuronal de aprendizaje profundo que le ayuda a identificar claramente no sólo los objetos que aparecen en la escena, como personas, animales, vehículos, árboles... sino también el movimiento y el estado de movimiento del mismo. objeto.

En la etapa final, el modelo de IA determina si debe usar el modo estacionario para escenas que tienen lugar en un solo espacio o el modo de seguimiento cuando los objetos de interés se mueven constantemente. Según este factor y el tamaño objetivo que debe mostrarse el video, Autoflip recortará el marco de visualización para garantizar la suavidad y, especialmente, retener todo el contenido interesante.

Los investigadores de Google AI dicen que Autoflip se puede utilizar para convertir videos a múltiples formatos y tamaños de pantalla sin intervención humana. En la siguiente etapa, el equipo quiere mejorar la capacidad de Autoflip para rastrear sujetos en entrevistas y dibujos animados. Para hacer esto, el modelo de IA debe estar equipado con técnicas de detección de texto e imágenes borrosas para ubicar mejor los objetos de primer y segundo plano en un marco.

Puede consultar el código de Autoflip AQUÍ .