劉成龍 胡廣朋

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 鎮(zhèn)江 212100）

1 引言

隨著人工智能的發(fā)展，從貝葉斯估計(jì)到近階段的深度學(xué)習(xí)，軍事智能的指揮決策研究者們?cè)趯⑸疃葘W(xué)習(xí)應(yīng)用于自主決策上也展開(kāi)了許多研究。就目前來(lái)說(shuō)，國(guó)內(nèi)外關(guān)于自主決策的方法探討是處于起步階段，絕大部分研究工作采用半監(jiān)督或監(jiān)督的深度學(xué)習(xí)方法，但是數(shù)據(jù)的缺乏限制了方法后續(xù)的發(fā)展。雖然之后也有人利用深度學(xué)習(xí)方法對(duì)自主決策進(jìn)行進(jìn)一步的研究，但是相關(guān)方面的研究也還在理論探索，要想有具體的實(shí)際應(yīng)用，還是要有比較長(zhǎng)的路要走。

傳統(tǒng)典型的方法是胡桐清、陳亮等在軍事智能決策的理論與實(shí)踐中提出的軍事專(zhuān)家支持系統(tǒng)［1］，該系統(tǒng)建立了多條規(guī)則和一個(gè)定量與定性相融合的有效推演機(jī)制，可以自動(dòng)生成作戰(zhàn)決策的方案，根據(jù)方案，能夠幫助指揮員進(jìn)行決策，但方案需要一定的專(zhuān)業(yè)知識(shí)，存在一些局限性。朱豐等在對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)評(píng)估的研究討論中［2］利用一系列技術(shù)對(duì)目的識(shí)別、決策推演等多方面展開(kāi)了研究。李耀宇等曾在國(guó)防科技大學(xué)學(xué)報(bào)上發(fā)表文章［3］，利用逆向強(qiáng)化學(xué)習(xí)的方法，優(yōu)化方案，前提條件是不確定條件策略、地形的戰(zhàn)場(chǎng)火力分布。陳希亮、張永亮在基于深度強(qiáng)化學(xué)習(xí)的陸軍分隊(duì)?wèi)?zhàn)術(shù)決策問(wèn)題研究［4］中提出了一種決策框架，利用逆向強(qiáng)化學(xué)習(xí)在戰(zhàn)場(chǎng)行為決策上收獲頗豐。喬永杰，王欣九，孫亮等提出利用陸軍指揮所模型自主生成作戰(zhàn)計(jì)劃時(shí)間參數(shù)的方法［5］，建立服務(wù)框架，進(jìn)而有了自動(dòng)生成作戰(zhàn)計(jì)劃的方案。中科院研制的“SASIA－先知V1.0”在全國(guó)兵棋推演大賽上取得了較好的成績(jī)，先知V1.0所采用的模型是由知識(shí)和數(shù)據(jù)共同建立的，同時(shí)也證明了深度學(xué)習(xí)在軍事對(duì)抗領(lǐng)域大有可為。

文章針對(duì)對(duì)手行為分析構(gòu)建預(yù)測(cè)模型，進(jìn)而采用基于自適應(yīng)增強(qiáng)的規(guī)劃識(shí)別方法，利用此算法能夠?qū)⒖捎^察到的對(duì)手行為作為唯一已知條件，實(shí)現(xiàn)對(duì)目標(biāo)的預(yù)測(cè)。該方法對(duì)可觀察行為不斷訓(xùn)練弱預(yù)測(cè)器，最終組成強(qiáng)預(yù)測(cè)器。并以aerial bombing operations數(shù)據(jù)集為例設(shè)計(jì)實(shí)驗(yàn)，驗(yàn)證方法可行性。

2 沙盤(pán)推演分析模型

2.1 模型框架

實(shí)現(xiàn)沙盤(pán)推演分析的模型如圖1所示。首先策略規(guī)劃器將對(duì)手的動(dòng)作或狀態(tài)的改變作為觀察對(duì)象，推理出對(duì)手規(guī)劃和所有的目標(biāo)，不僅如此，策略規(guī)劃器會(huì)依據(jù)預(yù)測(cè)的對(duì)手規(guī)劃做出應(yīng)對(duì)動(dòng)作，然后策略規(guī)劃器向動(dòng)作規(guī)劃器下達(dá)指令，動(dòng)作規(guī)劃器會(huì)依照指令，進(jìn)行有效的信息決策，接著模型要依據(jù)決策進(jìn)行行為模擬，同時(shí)將收集到的有效信息發(fā)給動(dòng)作處理器，動(dòng)作處理器后續(xù)就會(huì)將收到的有效信息傳回最初的策略規(guī)劃器，達(dá)到破壞對(duì)手規(guī)劃和防御的目的。

規(guī)劃識(shí)別方法是整個(gè)沙盤(pán)推演的核心，規(guī)劃識(shí)別方法是整個(gè)行為分析網(wǎng)絡(luò)的核心，整個(gè)分析過(guò)程以特征抽象處理后的數(shù)據(jù)特征作為輸入，通過(guò)識(shí)別算法分析尋找異常的操作行為，分析各行為之間相互轉(zhuǎn)換的概率。在對(duì)對(duì)手規(guī)劃的分析時(shí)間，不斷完善規(guī)劃應(yīng)對(duì)，達(dá)到應(yīng)對(duì)對(duì)手規(guī)劃的預(yù)測(cè)識(shí)別。

圖1 沙盤(pán)推演分析框架

2.2 自適應(yīng)增強(qiáng)算法

策略規(guī)劃器根據(jù)對(duì)手行為進(jìn)行的分析會(huì)影響規(guī)劃識(shí)別算法對(duì)最終結(jié)果的預(yù)測(cè)，常見(jiàn)的策略規(guī)劃器方法主要有隱馬爾可夫、隨機(jī)快速搜索樹(shù)（RRT）以及Adaptive boosting等。

Adaptive boosting又被稱(chēng)為自適應(yīng)增強(qiáng)，其基礎(chǔ)的想法就是利用相同的訓(xùn)練集去訓(xùn)練各不相同的弱分類(lèi)器，接著將這些集合起來(lái)，構(gòu)成一個(gè)新的分類(lèi)器，也稱(chēng)為強(qiáng)分類(lèi)器，記為H(x)。定義一個(gè)樣本(xi,yi)，則訓(xùn)練樣xi為樣本類(lèi)別觀測(cè)值，yi是xi的樣本類(lèi)別標(biāo)識(shí)，滿足yi=f(xi)，f是要學(xué)習(xí)的目標(biāo)概念的集合。各個(gè)樣本的權(quán)值為D(1),…D(n),D(i)＞0,1≤i≤n。

基本過(guò)程分為以下幾步：第一，對(duì)初始的訓(xùn)練數(shù)據(jù)進(jìn)行賦值，假設(shè)存在M個(gè)訓(xùn)練數(shù)據(jù)，那么每一個(gè)樣本的初始權(quán)值相同，都為1/M。第二，進(jìn)行訓(xùn)練。在過(guò)程中，如果樣本被錯(cuò)誤分類(lèi)，那么它的權(quán)重增加；如果被正確分類(lèi)，權(quán)重減少。權(quán)重重新賦值后就會(huì)應(yīng)用于下次訓(xùn)練，如此迭代下去，第三，將每次迭代得到的分類(lèi)器融合起來(lái)，作為最終的決策分類(lèi)器，也稱(chēng)為強(qiáng)訓(xùn)練器。融合的規(guī)則是損失函數(shù)（loss function）最小化原則，按照此函數(shù)的負(fù)梯度方向不斷地循環(huán)。定義在第t輪迭代時(shí)，第i個(gè)訓(xùn)練樣本(xi,yi)的權(quán)重分布為Dt(i)。弱學(xué)習(xí)算法的任務(wù)就是根據(jù)訓(xùn)練樣本的分布及權(quán)重Dt完成一個(gè)弱分類(lèi)器ht:X→R的學(xué)習(xí)，最簡(jiǎn)單情況下ht是二值的，好壞由誤判率εt進(jìn)行衡量。

經(jīng)過(guò)T次訓(xùn)練學(xué)習(xí)后，得到一系列弱分類(lèi)器h1,h2,h3,…,hT?？梢杂美奂幽Ｐ蛠?lái)定義強(qiáng)分類(lèi)器：

其中，x是特征向量；ht(x)是第t次迭代得到的弱分類(lèi)器；αt是ht(x)的權(quán)重。AdaBoost的核心思想就是按照損失函數(shù)的負(fù)梯度方向不斷地循環(huán)，融合迭代所得到的分類(lèi)器，指數(shù)損失函數(shù)為

其中，t,y分別為循環(huán)更新次數(shù)和種別標(biāo)記，通過(guò)不斷地更新權(quán)值，求得最終強(qiáng)分類(lèi)器的最優(yōu)解。

2.3 基于自適應(yīng)增強(qiáng)的規(guī)劃識(shí)別算法

針對(duì)于復(fù)雜的沙盤(pán)推演環(huán)境，文章提出基于自適應(yīng)增強(qiáng)的的規(guī)劃識(shí)別方法（Adaptive Boosting Planning Recognition，ABPR）。自適應(yīng)增強(qiáng)算法的核心思想是重視誤差大的學(xué)習(xí)樣本，改變其分配權(quán)重并再次進(jìn)行訓(xùn)練，得到多個(gè)誤差較小的弱預(yù)測(cè)器，再組成一個(gè)強(qiáng)預(yù)測(cè)器。根據(jù)自適應(yīng)增強(qiáng)算法的原理，將規(guī)劃識(shí)別方法看作弱預(yù)測(cè)器。首先用規(guī)劃識(shí)別算法對(duì)樣本不斷的訓(xùn)練，如果得到的預(yù)測(cè)誤差不在范圍之內(nèi)，那么對(duì)該樣本重新賦值，并計(jì)算第t個(gè)規(guī)劃識(shí)別弱預(yù)測(cè)器的權(quán)重，得到T個(gè)規(guī)劃識(shí)別弱預(yù)測(cè)器、權(quán)重，將得到的權(quán)重進(jìn)一步融合，得到一個(gè)強(qiáng)預(yù)測(cè)器，利用最終預(yù)測(cè)器，輸出規(guī)劃預(yù)測(cè)。

ABPR方法在沙盤(pán)推演中的應(yīng)用主要由數(shù)據(jù)預(yù)處理過(guò)程、分析模型建立并調(diào)整模型參數(shù)、識(shí)別判斷當(dāng)前的對(duì)手規(guī)劃和對(duì)敵意規(guī)劃的預(yù)測(cè)四個(gè)部分組成。在本文提出的方法中，首先對(duì)選用的數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，包括對(duì)冗余信息的刪減和不規(guī)范數(shù)據(jù)的規(guī)范化；然后將數(shù)據(jù)集作為Agent的行為進(jìn)行觀察并對(duì)分析模型進(jìn)行優(yōu)化；接著輸入一組對(duì)手行為數(shù)據(jù)，提取領(lǐng)域中的（近期、中期或者遠(yuǎn)期）目標(biāo)，將這些目標(biāo)分解以降低其抽象層，并將其擴(kuò)展進(jìn)規(guī)劃中，重復(fù)這樣的動(dòng)作確定具體動(dòng)作，直至規(guī)劃中只存在原始動(dòng)作。最后預(yù)測(cè)層對(duì)概率值最大的數(shù)據(jù)序列做狀態(tài)信息的預(yù)測(cè)，獲取對(duì)行為的預(yù)測(cè)值。如在沙盤(pán)推演中，占領(lǐng)對(duì)手領(lǐng)地這個(gè)目標(biāo)是明確的，因?yàn)檎碱I(lǐng)陣地明確指出，但是何時(shí)占領(lǐng)、如何占領(lǐng)等問(wèn)題沒(méi)有具體描述，假設(shè)給定以下前提條件：有足夠的兵力，并且已經(jīng)在對(duì)手陣地，那么利用兵力占領(lǐng)陣地就可以直接執(zhí)行，這是一個(gè)具體操作。

根據(jù)以上分析，自適應(yīng)增強(qiáng)改進(jìn)的規(guī)劃識(shí)別算法預(yù)測(cè)具體步驟如下。

1）導(dǎo)入數(shù)據(jù)樣本，初始化樣本權(quán)重。

其中，Di是初始權(quán)重；m是樣本個(gè)數(shù)。

2）設(shè)置要訓(xùn)練的規(guī)劃識(shí)別弱預(yù)測(cè)器個(gè)數(shù)T和模型結(jié)構(gòu)，用規(guī)劃識(shí)別算法對(duì)樣本不斷的訓(xùn)練。

3）計(jì)算規(guī)劃識(shí)別弱預(yù)測(cè)器預(yù)測(cè)訓(xùn)練樣本的預(yù)測(cè)誤差ec。

4）將預(yù)測(cè)誤差ec與預(yù)設(shè)誤e進(jìn)行比較，調(diào)整訓(xùn)練樣本權(quán)重Di。

5）計(jì)算第t個(gè)規(guī)劃識(shí)別弱預(yù)測(cè)器的預(yù)測(cè)誤差：

6）計(jì)算第t個(gè)規(guī)劃識(shí)別弱預(yù)測(cè)器的權(quán)重：

其中，Ct是第t個(gè)規(guī)劃識(shí)別預(yù)測(cè)器權(quán)重；et是第t個(gè)規(guī)劃識(shí)別預(yù)測(cè)器的預(yù)測(cè)誤差。

7）計(jì)算下一輪迭代時(shí)訓(xùn)練樣本的權(quán)重：

其中，Bt是歸一化因子。

若未達(dá)到迭代次數(shù)，返回第2）步，進(jìn)行下一次迭代，直到迭代T次后，停止訓(xùn)練。

8）輸出強(qiáng)預(yù)測(cè)器。經(jīng)過(guò)T次訓(xùn)練后，生成T組弱預(yù)測(cè)函數(shù)ft(x)根據(jù)權(quán)重分布組合生成強(qiáng)預(yù)測(cè)函數(shù)：

其中，F(xiàn)(x)是強(qiáng)預(yù)測(cè)函數(shù)，ft(x)是弱預(yù)測(cè)函數(shù)。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)說(shuō)明

本次實(shí)驗(yàn)主要針對(duì)空軍任務(wù)中飛機(jī)狀態(tài)進(jìn)行分析。主要的樣本來(lái)自于aerial bombing operations數(shù)據(jù)集。該數(shù)據(jù)集由二戰(zhàn)的數(shù)字化紙質(zhì)任務(wù)報(bào)告組成。每條記錄都包含了date（日期）、conflict（沖突）、geographic location（地理位置）和飛機(jī)的狀態(tài)數(shù)據(jù)。并從數(shù)據(jù)集中隨機(jī)抽取50條數(shù)據(jù)定義為對(duì)手進(jìn)攻性行為，以此模擬進(jìn)攻行為。并且該數(shù)據(jù)集的數(shù)據(jù)被按塊分割，在進(jìn)行驗(yàn)證實(shí)驗(yàn)時(shí)，將數(shù)據(jù)塊中的三分之一作為訓(xùn)練集，剩余的數(shù)據(jù)塊作為測(cè)試集，最后分析本文算法在對(duì)飛機(jī)不同狀態(tài)下的行為目的預(yù)測(cè)的效果。

3.2 實(shí)驗(yàn)結(jié)果分析

用規(guī)劃識(shí)別方法訓(xùn)練測(cè)試，誤差大于0.005的樣本視為強(qiáng)化訓(xùn)練樣本，不斷地更新權(quán)值，計(jì)算預(yù)測(cè)誤差。通過(guò)不斷的訓(xùn)練，得到10個(gè)弱預(yù)測(cè)器和相應(yīng)的權(quán)值，最后通過(guò)加權(quán)，輸出一個(gè)規(guī)劃識(shí)別最終預(yù)測(cè)器。

由圖2、圖3的均方誤差曲線可以看出，Ada-Boost改進(jìn)的規(guī)劃識(shí)別在第5次之后開(kāi)始收斂，最佳驗(yàn)證性能為0.00057352；規(guī)劃識(shí)別在訓(xùn)練7次之后開(kāi)始收斂，最佳性能為0.00075864；由圖可得，經(jīng)由AdaBoost改進(jìn)后的規(guī)劃識(shí)別算法比過(guò)去簡(jiǎn)單的的規(guī)劃識(shí)別算法收斂速度更快，擁有更良好的預(yù)測(cè)效果。

圖2 規(guī)劃識(shí)別預(yù)測(cè)模型均方誤差曲線

圖3 AdaBoost改進(jìn)的規(guī)劃識(shí)別預(yù)測(cè)模型均方誤差曲線

4 結(jié)語(yǔ)

為了提高在沙盤(pán)演練中敵意規(guī)劃的預(yù)測(cè)效率和準(zhǔn)確度，本文提出基于AdaBoost改進(jìn)的規(guī)劃識(shí)別方法。將每個(gè)規(guī)劃識(shí)別預(yù)測(cè)模型看做一個(gè)弱預(yù)測(cè)器，利用AdaBoost算法的核心思想，將得到多個(gè)經(jīng)過(guò)多次訓(xùn)練的、誤差較小的弱預(yù)測(cè)器組合成一個(gè)強(qiáng)預(yù)測(cè)器。利用得到的強(qiáng)預(yù)測(cè)器，識(shí)別預(yù)測(cè)軍事對(duì)抗中的敵意規(guī)劃。通過(guò)實(shí)驗(yàn)證明，改進(jìn)后的規(guī)劃識(shí)別方法可以提高預(yù)測(cè)模型的收斂速度以及預(yù)測(cè)效果，因此，改進(jìn)后的規(guī)劃識(shí)別預(yù)測(cè)模型用于沙盤(pán)演練中敵意規(guī)劃的預(yù)測(cè)效果相對(duì)更好，所以該模型可以用于敵意規(guī)劃的識(shí)別與應(yīng)對(duì)之中，為演練中的敵意規(guī)劃預(yù)測(cè)提供了一種新的方法，結(jié)論為決策者做出科學(xué)決策提供幫助。

文章提出的方法主要考慮對(duì)手規(guī)劃中的復(fù)雜性和誤導(dǎo)性，雖然抽象后的數(shù)據(jù)特征能夠提高模型的識(shí)別精度，但是有些初始信息的處理較為繁瑣，會(huì)增加模型對(duì)數(shù)據(jù)信息處理工作量。所以下一步的研究重點(diǎn)是提高處理行為信息的效率，并且雖然本文提出的算法一定程度上提高了識(shí)別的精度，但在實(shí)際應(yīng)用場(chǎng)景中還需要能夠適應(yīng)多場(chǎng)景的識(shí)別方法，接下來(lái)的研究學(xué)習(xí)將盡可能地提高算法的精度，從而能夠在實(shí)際環(huán)境下實(shí)現(xiàn)應(yīng)用。