Autoflip، نموذج الذكاء الاصطناعي الجديد من Google يمكنه تخصيص مقاطع الفيديو لأي حجم شاشة

من المؤكد أن أيًا منا قد واجه بشكل أو بآخر موقفًا يكون فيه إطار عرض الفيديو "متعرجًا" عند مشاهدته على جهاز محمول. من المحتمل أن يكون الانزعاج والانزعاج من المشاعر التي تظهر على الفور، ولكن لا يزال يتعين عليك قبولها ومشاهدة الفيديو بأكمله لأنك ببساطة لا تستطيع فعل أي شيء آخر.

لحل هذه المشكلة التي تبدو صغيرة ولكن لها تأثير كبير على تجربة المستخدم، نجح فريق أبحاث الذكاء الاصطناعي في Google في تطوير حل مفتوح المصدر يسمى Autoflip، والذي يمكنه ضبط مقاطع الفيديو تلقائيًا بحيث يتكيف مع جهاز معين أو حجم الشاشة في مجموعة متنوعة من الأوضاع، مثل المناظر الطبيعية والمربعة والعمودية وما إلى ذلك.

في الأساس، يعمل Autoflip على ثلاث مراحل رئيسية: اكتشاف المشهد، وتحليل محتوى الفيديو، وأخيرًا الضبط الدقيق.

في مرحلة اكتشاف المشهد، سيولي نموذج التعلم الآلي الكثير من الاهتمام للنقطة قبل القطع أو القفز من مشهد إلى آخر. وبفضل هذا، يمكن مقارنة إطار واحد بالإطار السابق لاكتشاف التغييرات في الألوان والعناصر المرتبطة بها.

بعد تحديد اللقطة المعيارية، سينتقل نموذج الذكاء الاصطناعي إلى تحليل محتوى الفيديو لتحديد الأشياء المهمة في المشهد. وللقيام بذلك، سيستخدم Autoflip شبكة عصبية للتعلم العميق تساعده في التعرف بوضوح ليس فقط على الكائنات التي تظهر في المشهد، مثل الأشخاص والحيوانات والمركبات والأشجار. ... ولكن أيضًا الحركة وكذلك الحالة المتحركة للكائن. هدف.

في المرحلة النهائية، يحدد نموذج الذكاء الاصطناعي ما إذا كان يجب استخدام الوضع الثابت للمشاهد التي تحدث في مساحة واحدة أو وضع التتبع عندما تتحرك الأشياء محل الاهتمام باستمرار. بناءً على هذا العامل والحجم المستهدف الذي يجب عرض الفيديو به، سيقوم Autoflip باقتصاص إطار العرض لضمان السلاسة والاحتفاظ بشكل خاص بجميع المحتويات المثيرة للاهتمام.

يقول باحثو الذكاء الاصطناعي في Google إنه يمكن استخدام Autoflip لتحويل مقاطع الفيديو إلى تنسيقات وأحجام شاشة متعددة دون تدخل بشري. في المرحلة التالية، يريد الفريق تحسين قدرة Autoflip على تتبع الموضوعات في المقابلات والرسوم المتحركة. وللقيام بذلك، يجب أن يكون نموذج الذكاء الاصطناعي مزودًا بتقنيات اكتشاف الصور والنصوص الباهتة لوضع الكائنات الأمامية والخلفية بشكل أفضل في الإطار.

يمكنك الرجوع إلى كود Autoflip هنا .