Categories
程式開發

結構化視頻分析算法與應用| QCon


每一個視頻,不論長短,在拍攝時都是有故事線和邏輯結構的,以往的視頻分析主要集中於視頻分類打標,而對於視頻的細粒度結構分析涉及較少。如果我們在視頻搜索中查詢“某某角色戰勝另外一位角色的打鬥片段”,僅有基於關鍵詞的匹配是遠遠不夠的。電視劇或者電影在拍攝時都是從小片段拍出來的,如何像導演一樣來解構視頻是視頻理解中一個非常挑戰性的問題,它不僅涉及到基於計算視覺、ASR、OCR、NLP 等一系列多模態分析技術,還涉及到視頻內容製作的原理和方法,如何能夠對視頻做完整的逆向工程不僅對於多模態搜索推薦,而且對於視頻智能創作、後期都有很大的助力。這裡我將給大家介紹優酷在結構化視頻理解方面做的一些嘗試工作,從應用到系統、算法設計給出我們的經驗嘗試。