Google の新しい AI モデル Autoflip は、あらゆる画面サイズに合わせてビデオをカスタマイズできます

確かに、モバイル デバイスでビデオを視聴するときに、ビデオの表示フレームが「ギザギザ」になる状況に多かれ少なかれ遭遇したことがあるでしょう。イライラやイライラはすぐに現れる感情かもしれませんが、それでも他に何もできないので、それを受け入れてビデオ全体を視聴する必要があります。

この一見小さな問題を解決するために、ユーザー エクスペリエンスに大きな影響を与える Google の AI 研究チームは、Autoflip と呼ばれるオープンソース ソリューションの開発に成功しました。これは、ビデオを自動的に微調整して、さまざまなデバイスや画面サイズに適応できるようにします。風景、正方形、ポートレートなどのモード。

基本的に、Autoflip は、シーン検出、ビデオ コンテンツ分析、そして最後に微調整という 3 つの主要な段階で機能します。

シーン検出段階では、機械学習モデルは、あるシーンから別のシーンにカットまたはジャンプする前の点に細心の注意を払います。このおかげで、あるフレームを前のフレームと比較して、色や関連要素の変化を検出できます。

ベンチマーク ショットを特定した後、AI モデルはビデオ コンテンツの分析に進み、シーン内の重要なオブジェクトを特定します。これを実現するために、Autoflip は深層学習ニューラル ネットワークを使用し、人、動物、車両、木など、シーンに現れるオブジェクトだけでなく、その動きや移動状態も明確に識別できるようにします。物体。

最終段階では、AI モデルは、単一空間で行われるシーンに静止モードを使用するか、対象のオブジェクトが常に移動している場合に追跡モードを使用するかを決定します。この要素と、ビデオを表示する必要があるターゲット サイズに基づいて、Autoflip は表示フレームをトリミングして滑らかさを確保し、特にすべての興味深いコンテンツを保持します。

Google AI 研究者らは、Autoflip を使用すると、人間の介入なしにビデオを複数のフォーマットや画面サイズに変換できると述べています。次の段階では、チームはインタビューや漫画の対象を追跡する Autoflip の機能を改善したいと考えています。これを行うには、前景と背景のオブジェクトをフレーム内に適切に配置するために、AI モデルにぼやけた画像とテキストの検出技術を装備する必要があります。

Autoflip のコードはここで参照できます。