面向群體行為識別的非局部網絡模型

摘要：目的視頻行為識別一直廣受計算機視覺領域研究者的關注,主要包括個體行為識別與群體行為識別。群體行為識別以人群動作作為研究對象,對其行為進行有效表示及分類,在智能監控、運動分析以及視頻檢索等領域有重要的應用價值。現有的算法大多以多層遞歸神經網絡(RNN)模型作為基礎,構建出可表征個體與所屬群體之間關系的群體行為特征,但是未能充分考慮個體之間的相互影響,致使識別精度較低。為此,提出一種基于非局部卷積神經網絡的群體行為識別模型,充分利用個體間上下文信息,有效提升了群體行為識別準確率。方法所提模型采用一種自底向上的方式來同時對個體行為與群體行為進行分層識別。首先從原始視頻中沿著個人運動的軌跡導出個體附近的圖像區塊;隨后使用非局部卷積神經網絡(CNN)來提取包含個體間影響關系的靜態特征,緊接著將提取到的個體靜態特征輸入多層長短期記憶(LSTM)時序模型中,得到個體動態特征并通過個體特征聚合得到群體行為特征;最后利用個體、群體行為特征同時完成個體行為與群體行為的識別。結果本文在國際通用的Volleyball Dataset上進行實驗。實驗結果表明,所提模型在未進行群體精細劃分條件下取得了77.6%的準確率,在群體精細劃分的條件下取得了83.5%的準確率。結論首次提出了面向群體行為識別的非局部卷積網絡,并依此構建了一種非局部群體行為識別模型。所提模型通過考慮個體之間的相互影響,結合個體上下文信息,可從訓練數據中學習到更具判別性的群體行為特征。該特征既包含個體間上下文信息、也保留了群體內層次結構信息,更有利于最終的群體行為分類。