Autoflip, новая модель искусственного интеллекта Google, может настраивать видео для экрана любого размера.

Наверняка любой из нас в той или иной степени сталкивался с ситуацией, когда рамка отображения видео «зазубрина» при просмотре его на мобильном устройстве. Досада и досада – это, наверное, чувства, которые появляются сразу, но вам все равно придется это принять и посмотреть видео целиком, потому что иначе вы просто не сможете.

Чтобы решить эту, казалось бы, небольшую проблему, но оказывающую большое влияние на пользовательский опыт, исследовательская группа Google по искусственному интеллекту успешно разработала решение с открытым исходным кодом под названием Autoflip, которое может автоматически настраивать видео так, чтобы оно адаптировалось к данному устройству или размеру экрана в различных вариантах. режимы, такие как пейзаж, квадрат, портрет и т. д.

По сути, Autoflip работает в три основных этапа: обнаружение сцены, анализ видеоконтента и, наконец, точная настройка.

На этапе обнаружения сцены модель машинного обучения будет уделять много внимания точке, прежде чем обрезать ее или переходить от одной сцены к другой. Благодаря этому он может сравнивать один кадр с предыдущим, чтобы обнаружить изменения в цветах и ​​связанных с ними элементах.

После определения эталонного кадра модель ИИ перейдет к анализу видеоконтента для выявления важных объектов в сцене. Для этого Autoflip будет использовать нейронную сеть глубокого обучения, которая помогает ему четко идентифицировать не только объекты, появляющиеся на сцене, такие как люди, животные, транспортные средства, деревья... ... но также движение и состояние движущегося объекта. объект.

На заключительном этапе модель ИИ определяет, следует ли ей использовать стационарный режим для сцен, происходящих в одном пространстве, или режим отслеживания, когда интересующие объекты постоянно движутся. В зависимости от этого фактора и целевого размера, который необходимо отображать видео, Autoflip обрежет рамку дисплея, чтобы обеспечить плавность и особенно сохранить весь интересный контент.

Исследователи Google AI говорят, что Autoflip можно использовать для конвертации видео в различные форматы и размеры экрана без вмешательства человека. На следующем этапе команда хочет улучшить способность Autoflip отслеживать сюжеты в интервью и мультфильмах. Для этого модель ИИ должна быть оснащена методами обнаружения размытых изображений и текста, чтобы лучше размещать объекты переднего и заднего плана в кадре.

Вы можете ознакомиться с кодом Autoflip ЗДЕСЬ .