研發智慧劇照挑選系統 KKStream與台大登上IEEE國際會議

平常大家在OTT平台上追劇,所看到的一張張封面劇照其實都是人工挑選出來的,得從整集影片挑選吸引目光的關鍵畫面。只是當集數眾多時,小編們就會挑得很辛苦。因此KKStream與台大產學合作,開發出「Stiller」智慧劇照挑選系統,只要60秒就能完成精采劇照擷取。這項成果受到國際電機電子工程師學會IEEE關注,邀請台大陳宏銘教授與曹竣寧同學前往發表。

台大陳宏銘教授(右)與曹竣寧同學
▲ 台大陳宏銘教授(右)與曹竣寧同學(圖/KKStream提供)

KKStream是KKBOX集團旗下影音串流服務技術公司,這次產學合作緣起同集團的KKTV反應劇照挑選上的困境,因而在產學合作上定下視訊理解(Video Understanding)這個研究題目,希望藉人工智慧的幫助縮短逐格挑選的作業時間。

透過KKTV豐富的劇庫資料,從臉部表情到動作場景,從不同面向來訓練AI對視訊理解的能力。現階段已能判讀出重要影片情境並進行劇照挑選,平均每集只需60秒就能完成擷取,並且是吸睛劇照,能提升觀眾點擊播放的意願。

參與系統設計及發表的曹峻寧同學表示,「Stiller」智慧劇照挑選系統結合關鍵影格擷取(Key-Frame Extraction)與影像美感評估(Image Aesthetic Assessment)兩大技術,因此可從影片中挑選兼備代表性與吸引力的劇照。透過AI,Stiller系統只需三集,就能用演算法判斷出誰是男女主角,進而自動擷取精采劇照。未來有機會會延續研究,希望能開發出自動剪輯預告,甚至做出濃縮影片的成果,讓AI不只看見畫面、還能看懂影片。

KKStream也表示,希望Stiller系統除了運用在偶像劇外,也能持續延伸到不同類型的影片發展。

史塔夫短評:能上IEEE很厲害。