多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)的物體抓取檢測(cè)

摘要：針對(duì)散亂擺放的未知物體的抓取,提出一種將物體的RGB圖像和Depth圖像分開(kāi)作為兩個(gè)輸入的多模態(tài)神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)對(duì)物體抓取框的檢測(cè),完成機(jī)器人對(duì)未知物體的智能抓取。通過(guò)背景減除的方法,獲取物體的掩膜,根據(jù)等間距采樣規(guī)則,得到這個(gè)物體所有可能的候選抓取矩形框;再通過(guò)多模態(tài)神經(jīng)網(wǎng)絡(luò)分類(lèi)模型,從所有可能的候選矩形框中找到評(píng)判值排名前三的矩形框;然后采用比較重心的算法找到中心最接近物體重心的抓取框(最優(yōu)抓取框)。結(jié)果表明,該方法在物體抓取準(zhǔn)確性和魯棒性方面有很大提高。