具有精英策略的深度強(qiáng)化學(xué)習(xí)無(wú)人機(jī)集群通信網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)

摘要：針對(duì)集群無(wú)人機(jī)背景下定向天線網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)的NP-hard特點(diǎn),基于網(wǎng)絡(luò)高抗毀、低功耗、高穩(wěn)定性等要求,以抗毀性(3-連通)、鏈路量、鏈路功耗和穩(wěn)定性為獎(jiǎng)勵(lì),提出了一種具有精英策略的深度強(qiáng)化學(xué)習(xí)通信網(wǎng)絡(luò)拓?fù)渖伤惴?驗(yàn)證了精英經(jīng)驗(yàn)池加速訓(xùn)練效果。與傳統(tǒng)DQN相比,引入精英經(jīng)驗(yàn)池能夠有效加速模型收斂,訓(xùn)練時(shí)間減少3倍以上。與遺傳算法相比,算法分離了訓(xùn)練與使用過(guò)程,當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后,能夠根據(jù)場(chǎng)景需要實(shí)時(shí)計(jì)算通信網(wǎng)絡(luò)拓?fù)洹?shí)驗(yàn)階段設(shè)計(jì)了隨機(jī)給定空間位置的6節(jié)點(diǎn)、10節(jié)點(diǎn)、24節(jié)點(diǎn)和36節(jié)點(diǎn)的3-連通通信網(wǎng)絡(luò)拓?fù)洹?shí)驗(yàn)結(jié)果表明:所提算法具有強(qiáng)的實(shí)時(shí)性和適用性,對(duì)于不大于36節(jié)點(diǎn)的網(wǎng)絡(luò),可在183 ms內(nèi)實(shí)現(xiàn)網(wǎng)絡(luò)拓?fù)涞母掠?jì)算,達(dá)到了實(shí)際應(yīng)用的實(shí)時(shí)性要求。