Autoflip โมเดล AI ใหม่ของ Google สามารถปรับแต่งวิดีโอให้เหมาะกับหน้าจอทุกขนาด

แน่นอนว่าพวกเราคนใดคนหนึ่งต้องเผชิญกับสถานการณ์ที่กรอบการแสดงวิดีโอ "หยัก" เมื่อคุณดูบนอุปกรณ์เคลื่อนที่ไม่มากก็น้อย ความรำคาญและความรำคาญอาจเป็นความรู้สึกที่เกิดขึ้นทันที แต่คุณยังต้องยอมรับมันและดูวิดีโอทั้งหมดให้จบเพราะคุณไม่สามารถทำอะไรอย่างอื่นได้

เพื่อแก้ปัญหาที่ดูเหมือนเล็กน้อยแต่มีผลกระทบอย่างมากต่อประสบการณ์ผู้ใช้ ทีมวิจัย AI ของ Google ประสบความสำเร็จในการพัฒนาโซลูชันโอเพ่นซอร์สที่เรียกว่า Autoflip ซึ่งสามารถปรับวิดีโอได้โดยอัตโนมัติเพื่อปรับให้เข้ากับอุปกรณ์หรือขนาดหน้าจอที่กำหนดในหลากหลาย โหมดต่างๆ เช่น แนวนอน สี่เหลี่ยม แนวตั้ง ฯลฯ

โดยพื้นฐานแล้ว Autoflip ทำงานในสามขั้นตอนหลัก: การตรวจจับฉาก การวิเคราะห์เนื้อหาวิดีโอ และการปรับแต่งอย่างละเอียดในที่สุด

ในขั้นตอนการตรวจจับฉาก โมเดลแมชชีนเลิร์นนิงจะให้ความสำคัญกับจุดนั้นเป็นอย่างมาก ก่อนที่จะตัดหรือกระโดดจากฉากหนึ่งไปอีกฉากหนึ่ง ด้วยเหตุนี้ จึงสามารถเปรียบเทียบหนึ่งเฟรมกับเฟรมก่อนหน้าเพื่อตรวจจับการเปลี่ยนแปลงของสีและองค์ประกอบที่เกี่ยวข้อง

หลังจากระบุช็อตมาตรฐานแล้ว โมเดล AI จะดำเนินต่อไปเพื่อวิเคราะห์เนื้อหาวิดีโอเพื่อระบุวัตถุที่สำคัญในฉาก ในการทำเช่นนั้น Autoflip จะใช้โครงข่ายประสาทเทียมการเรียนรู้เชิงลึกที่ช่วยให้ระบุได้อย่างชัดเจนไม่เพียงแต่วัตถุที่ปรากฏในฉาก เช่น คน สัตว์ ยานพาหนะ ต้นไม้ ... แต่ยังรวมถึงการเคลื่อนไหวตลอดจนสถานะการเคลื่อนที่ของ วัตถุ.

ในขั้นตอนสุดท้าย โมเดล AI จะกำหนดว่าควรใช้โหมดนิ่งสำหรับฉากที่เกิดขึ้นในพื้นที่เดียวหรือโหมดติดตามเมื่อมีวัตถุที่สนใจเคลื่อนไหวอยู่ตลอดเวลา ขึ้นอยู่กับปัจจัยนี้และขนาดเป้าหมายที่ต้องแสดงวิดีโอ Autoflip จะครอบตัดกรอบการแสดงผลเพื่อให้แน่ใจว่ามีความราบรื่นและโดยเฉพาะอย่างยิ่งจะรักษาเนื้อหาที่น่าสนใจทั้งหมดไว้

นักวิจัย AI ของ Google กล่าวว่า Autoflip สามารถใช้แปลงวิดีโอเป็นรูปแบบต่างๆ และขนาดหน้าจอได้โดยไม่ต้องมีมนุษย์เข้าไปแทรกแซง ในระยะต่อไป ทีมงานต้องการปรับปรุงความสามารถของ Autoflip ในการติดตามหัวข้อในการสัมภาษณ์และการ์ตูน เมื่อต้องการทำเช่นนี้ โมเดล AI จะต้องติดตั้งเทคนิคการตรวจจับข้อความและภาพที่พร่ามัว เพื่อวางวัตถุเบื้องหน้าและพื้นหลังในเฟรมได้ดีขึ้น

คุณสามารถดูรหัสของ Autoflip ได้ที่นี่