彈幕信息下的多目標視頻分類任務綜述

　　文中探究了彈幕信息協助下的視頻多標簽分類任務。多標簽視頻分類任務根據視頻內容從不同角度賦予視頻多個標簽，與視頻推薦等應用緊密相關。多標簽視頻數據集的髙標注成本和對視頻內容的多角度理解是該研究領域面臨的主要問題彈幕是一種新近出現的用戶評論形式，受到了眾多用戶的歡迎。由于用戶參與度高，彈幕視頻網站的視頻擁有大量用戶自發添加的標簽，這些標簽是天然的多標簽數據。文中以此構建了一個多標簽視頻數據集，并整理岀了視頻標簽間的層級語義關系，該數據集在未來將公開發布。同時，彈幕文本模態包含大量與視頻內容相關的細粒度信息，因此在以往視頻分類工作融合視覺和音頻模態的基礎上，引入彈幕文本模態進行視頻多標簽分類研究。在基于聚類的NeⅪtⅥLAD模型、注意力Dbof模型和基于時序的GRU模型上進行實驗，在增加彈幕模態后，GAP指標最高提升了23%，證明了彈幕信息對該任務具有輔助作用。此外，還探索了如何在分類中利用標簽層級關系，通過構建標簽關系矩陣來改造標簽，進而將標簽語乂融入訓練。實驗結果表明，加入標簽關系后，Hit@1指標提升了15%，因此其能優化多標簽分類的效果。此外，MAP指標在細粒度小類上提升了4%，說明標簽語義的引入有利于預測樣本量較少的類別，具有研究價值。