基于多智能體深度強化學習的無人機集群自主決策
信息技術與網絡安全 5期
劉志飛，曹 雷，賴 俊，陳希亮
(陸軍工程大學 指揮控制工程學院，江蘇 南京210007)
摘要： 由于傳統的無人機由人工進行操控，無人機群在強電磁干擾和復雜多變的戰場環境中表現較為呆板。在這項研究中，開發了一種靈活智能的無人機控制器。通過使用一個經過多智能體深度強化學習技術訓練的神經網絡，無人機可以在飛行中控制自己的行為，從戰場環境中獲取狀態信息，自主決策，并且和其他無人機形成有效戰斗隊形，靈活協調和配合，并產生了最優的動作。
中圖分類號： TP181
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.05.012
引用格式： 劉志飛，曹雷，賴俊，等. 基于多智能體深度強化學習的無人機集群自主決策[J].信息技術與網絡安全，2022，41(5)：77-81.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.05.012
引用格式： 劉志飛，曹雷，賴俊，等. 基于多智能體深度強化學習的無人機集群自主決策[J].信息技術與網絡安全，2022，41(5)：77-81.
Utonomous decision making of UAV cluster with multi-agent deep reinforcement learning
Li Zhifei，Cao Lei，Lai Jun,Chen Xiliang
(College of Command and Control Engineering，Army Engineering University，Nanjing 210007，China)
Abstract： Because the traditional UAV is controlled manually, UAV cluster is more rigid in the strong electromagnetic interference and complex and changeable battlefield environment. In the study, a flexible and intelligent UAV controller is developed. With a neural network trained by multi-agent deep reinforcement learning technology,UAV can control his behavior in flight. At the same time,UAV obtains state information from the battlefield environment, makes independent decisions, forms an effective combat formation with other UAVs, flexibly coordinates and cooperates with each other, and produces the optimal action.
Key words : unmanned aerial vehicle；reinforcement learning；multi agent；autonomous decisio
0 引言
對人工操縱無人機來說，同時操控多架無人機完成多項任務且無人機之間形成有效配合是相當困難的，注意力分散或者操控失誤都會造成較大的安全風險。無人機的操控還受到電磁干擾和遠程控制距離的限制，因此，無人機靈活自主決策能力顯得尤為重要。近年來，多智能體深度強化學習(Multi-Agent Deep Reinforcement Learning，MADRL)在復雜游戲中取得完勝人類專家水平的勝利，表明多智能體深度強化學習在解決復雜序貫問題上取得重要突破。強化學習技術應用到無人機群可以提高無人機群的靈活智能性。本文以一個由6架無人機組成的無人機群為例，使用墨子AI仿真實驗平臺，無人機群組成一個巨大的動作空間，時間步內有200多個組合的動作空間，為每架無人機在每一步行為的機動方向、航線或向目標發出攻擊都有提供了上千種選擇。使用深度神經網絡來預測每個無人機在每個時間步的最優動作，并根據每個無人機的局部觀察產生自主決策。MADRL方法生成無人機群作戰決策對無人機作戰研究具有重要的參考價值，是未來人工智能應用在軍事領域的重要方向。
本文詳細內容請下載：http://www.rjjo.cn/resource/share/2000004251
作者信息：
劉志飛，曹 雷，賴 俊，陳希亮
(陸軍工程大學 指揮控制工程學院，江蘇 南京210007)
此內容為AET網站原創，未經授權禁止轉載。