結(jié)合BiLSTM和注意力機(jī)制的視頻行人再識(shí)別

摘要：目的跨攝像頭跨場(chǎng)景的視頻行人再識(shí)別問(wèn)題是目前計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)重要任務(wù)。在現(xiàn)實(shí)場(chǎng)景中,光照變化、遮擋、觀察點(diǎn)變化以及雜亂的背景等造成行人外觀的劇烈變化,增加了行人再識(shí)別的難度。為提高視頻行人再識(shí)別系統(tǒng)在復(fù)雜應(yīng)用場(chǎng)景中的魯棒性,提出了一種結(jié)合雙向長(zhǎng)短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(BiLSTM)和注意力機(jī)制的視頻行人再識(shí)別算法。方法首先基于殘差網(wǎng)絡(luò)結(jié)構(gòu),訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)學(xué)習(xí)空間外觀特征,然后使用BiLSTM提取雙向時(shí)間運(yùn)動(dòng)信息,最后通過(guò)注意力機(jī)制融合學(xué)習(xí)到的空間外觀特征和時(shí)間運(yùn)動(dòng)信息,以形成一個(gè)有判別力的視頻層次表征。結(jié)果在兩個(gè)公開(kāi)的大規(guī)模數(shù)據(jù)集上與現(xiàn)有的其他方法進(jìn)行了實(shí)驗(yàn)比較。在iLIDS-VID數(shù)據(jù)集中,與性能第2的方法相比,首位命中率Rank1指標(biāo)提升了4.5%;在PRID2011數(shù)據(jù)集中,相比于性能第2的方法,首位命中率Rank1指標(biāo)提升了3.9%。同時(shí)分別在兩個(gè)數(shù)據(jù)集中進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出算法的有效性。結(jié)論提出的結(jié)合BiLSTM和注意力機(jī)制的視頻行人再識(shí)別算法,能夠充分利用視頻序列中的信息,學(xué)習(xí)到更魯棒的序列特征。實(shí)驗(yàn)結(jié)果表明,對(duì)于不同數(shù)據(jù)集,均能顯著提升識(shí)別性能。