Google의 새로운 AI 모델인 Autoflip은 모든 화면 크기에 맞춰 동영상을 맞춤설정할 수 있습니다.

확실히 우리 중 누구라도 모바일 장치에서 비디오 디스플레이 프레임을 볼 때 "들쭉날쭉"한 상황에 직면한 적이 있을 것입니다. 짜증과 짜증은 아마도 즉각적으로 나타나는 감정일 것입니다. 하지만 다른 일을 할 수 없기 때문에 그것을 받아들이고 전체 영상을 시청해야 합니다.

사소해 보이지만 사용자 경험에 큰 영향을 미치는 이 문제를 해결하기 위해 Google의 AI 연구팀은 Autoflip이라는 오픈 소스 솔루션을 성공적으로 개발했습니다. 가로, 정사각형, 세로 등의 모드.

기본적으로 Autoflip은 장면 감지, 비디오 콘텐츠 분석, 최종 미세 조정의 세 가지 주요 단계로 작동합니다.

장면 감지 단계에서 기계 학습 모델은 한 장면에서 다른 장면으로 잘라내거나 점프하기 전에 해당 지점에 많은 주의를 기울입니다. 덕분에 한 프레임을 이전 프레임과 비교하여 색상 및 관련 요소의 변화를 감지할 수 있습니다.

벤치마크 샷을 식별한 후 AI 모델은 비디오 콘텐츠를 분석하여 장면에서 중요한 개체를 식별합니다. 이를 위해 Autoflip은 사람, 동물, 차량, 나무 등 장면에 나타나는 물체뿐만 아니라 물체의 움직임과 이동 상태를 명확하게 식별하는 데 도움이 되는 딥러닝 신경망을 사용합니다. 물체.

마지막 단계에서 AI 모델은 단일 공간에서 일어나는 장면에 대해 정지 모드를 사용할지, 관심 객체가 지속적으로 움직이는 경우 추적 모드를 사용할지 결정합니다. 이 요소와 비디오를 표시해야 하는 대상 크기를 기반으로 Autoflip은 부드러움을 보장하고 특히 모든 흥미로운 콘텐츠를 유지하기 위해 디스플레이 프레임을 자릅니다.

Google AI 연구원들은 Autoflip을 사용하면 사람의 개입 없이 동영상을 다양한 형식과 화면 크기로 변환할 수 있다고 말합니다. 다음 단계에서 팀은 인터뷰와 만화에서 주제를 추적하는 Autoflip의 기능을 개선하려고 합니다. 이를 위해서는 AI 모델에 전경과 배경 객체를 프레임에 더 잘 배치할 수 있는 흐릿한 이미지와 텍스트 감지 기술이 탑재되어야 합니다.

여기에서 Autoflip의 코드를 참조할 수 있습니다 .