馬 駿, 楊鏡宇, 鄒立巖1,

(1. 國防大學研究生院, 北京 100091; 2. 國防大學聯(lián)合作戰(zhàn)學院, 北京100091)

0 引 言

作戰(zhàn)體系能力圖譜是在作戰(zhàn)仿真實驗的基礎上,利用可視化技術對作戰(zhàn)體系某種能力的直觀表達,是從整體分析作戰(zhàn)體系能力的有效方法。然而,作戰(zhàn)體系能力圖譜的生成,通常需要對海量實驗方案空間進行仿真,以生成不同約束條件下的仿真實驗結果。同時,作戰(zhàn)仿真系統(tǒng)已發(fā)展為模型逐漸完善、結構日益復雜、行為不斷演化的復雜系統(tǒng)。在此基礎上,對大樣本空間進行探索,需要耗費巨大的計算資源,對某一問題的仿真實驗往往需要歷時數(shù)天甚至數(shù)周。特別是在需要“即時”得到實驗結果的緊迫形勢下,利用復雜的作戰(zhàn)仿真系統(tǒng)進行作戰(zhàn)實驗更是難以達到需求。

元模型也稱代理模型,即“模型的模型”,是復雜物理模型的簡化模型。通過建立元模型的方法,可以在保證實驗精度的前提下,大量減少實驗開銷。本文所述的元模型是仿真元模型,通過獲取作戰(zhàn)仿真系統(tǒng)的輸入輸出,建立逼近仿真系統(tǒng)輸入輸出關系的映射函數(shù),并以此代替復雜的作戰(zhàn)仿真系統(tǒng)進行實驗分析和探索。

元模型廣泛應用于產(chǎn)品設計、工業(yè)控制、風險分析等諸多領域。在軍事方面,文獻[3]為評估戰(zhàn)斗系統(tǒng)性能,建立了戰(zhàn)術仿真模型的元模型;文獻[4]通過建立神經(jīng)網(wǎng)絡元模型,替代了部分仿真模型,并分析了元模型在軍用仿真中的作用;文獻[5]使用神經(jīng)網(wǎng)絡元模型，提高了復雜系統(tǒng)仿真效率;文獻[6]使用元模型對海軍水雷探測模型進行了驗證;文獻[7]建立了裝備費用評估元模型;文獻[8]在美空軍建模技術研究中,提出了綜合運用元建模和因果推理技術的主動元建模,用現(xiàn)象學知識改進元模型質量,開啟了主動元模型研究的新領域。在國內(nèi),文獻[9]提出了元模型多擬合方法和兩類組合元模型,并應用于雷達探測與跟蹤;文獻[10]建立了支持向量機主動元模型,并應用于導彈攻防對抗;文獻[11]面向作戰(zhàn)實驗分析,提出了智能集成的元建模方法。仿真元模型技術的發(fā)展為提高復雜仿真系統(tǒng)效率、快速準確生成作戰(zhàn)體系能力圖譜提供了有效途徑。

1 問題分析

1.1 相關概念

1.1.1 作戰(zhàn)體系能力圖譜

作戰(zhàn)體系能力圖譜,是通過可視化表現(xiàn)體系能力的方法。美軍認為,能力是在特定的標準和條件下,通過各種方法和手段完成一組任務后，達到期望效果的本領;效能是在一定條件下,實現(xiàn)預定功能、達成預定目標的程度。相比較而言,能力是對完成任務內(nèi)在條件的度量,效能是對完成任務效果的度量。對于作戰(zhàn)體系而言,其能力是體系固有的屬性,以體系能力作為研究對象和目標,更能反應作戰(zhàn)體系的整體性特點。在作戰(zhàn)體系的層面,能力和效能往往是不可分割的,能力評價的基礎是效能,能力通常難以用某些系統(tǒng)的量化的指標來表達,需要用體系效能對體系能力進行描述。

由于作戰(zhàn)體系具有整體、動態(tài)、對抗等特性,作戰(zhàn)體系的能力也隨作戰(zhàn)任務、環(huán)境、對手的變化而表現(xiàn)出不確定性,這使得在原理上無法用定量的方式準確的描述其能力。體系能力圖譜的方法是基于探索性仿真的思想和數(shù)據(jù)耕耘的框架,針對體系的某種能力,通過多維度、大樣本采樣和仿真實驗,獲取不同環(huán)境下體系效能的多種度量,并綜合可視化分析技術,以獲得體系該能力的全貌。

1.1.2 元模型

文獻[15]討論了元模型、仿真模型與真實系統(tǒng)三者之間的關系,如圖1所示。

圖1 元模型、仿真模型及真實系統(tǒng)之間關系Fig.1 Relationship among meta-model, simulation model and real system

真實系統(tǒng)經(jīng)過建模生成仿真模型,使用仿真模型的輸入輸出信息擬合產(chǎn)生元模型,然后應用元模型對真實系統(tǒng)進行分析。模型驗證時,通過真實系統(tǒng)對仿真模型進行檢驗,通過仿真模型或真實系統(tǒng)對元模型進行檢驗。

從真實系統(tǒng)到仿真模型再到元模型的過程中,真實系統(tǒng)的輸入輸出關系得以逐步簡化、計算開銷逐步減小,但是也造成了對真實系統(tǒng)求解的精度損失逐步增大。因此,在應用元模型時,應充分考慮計算開銷與精度之間的均衡關系。

元模型的構建過程可以表示為以下四元組:

Metamodel=(,,,)

(1)

式中：為實驗設計的方法集合;為仿真實驗的數(shù)據(jù)集合;為元模型類型和結構的集合;為元模型評估方法及標準的結合。

基于上述描述,元建模(meta-modeling)的基本過程可概括為:

選定∈,運用該實驗設計方法,選擇實驗點并運行仿真模型,得到仿真實驗結果數(shù)據(jù);

將數(shù)據(jù)集劃分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集;

選定∈,運用該元模型類型和結構,對進行擬合,得到元模型meta-model;

利用中的評估方法和標準,以及測試數(shù)據(jù)集,對meta-model進行檢驗。

1.1.3 集成學習

集成學習是機器學習的重要分支,通過構建并結合多個學習器來完成學習任務。通常,一個集成學習器由多個基學習器組成,每個基學習器可以對數(shù)據(jù)集從不同角度進行描述,形成互補。因此,集成多個學習器的建模方法可以有效提升模型的有效性、泛化性和可信度。

一般情況下,集成學習的構建需要兩個步驟:一是訓練基學習器。為取得較好的集成效果,通常需要基學習器盡可能達到準確性和多樣性兩個標準；二是將基學習器按照一定方法結合起來。

常用的集成策略包括:均值法、投票法和學習法。但是,當集成規(guī)模較大時,加權、平均等方法易造成過擬合。學習法的基本思想是,以若干基學習器為一級學習器,將其輸出作為二級學習器的輸入特征,以原始樣本的標記為新的標記,以此新數(shù)據(jù)集訓練二級學習器。通常,按照集成學習的結構,可以將集成學習算法分為Boosting方法、Bagging方法、Stacking方法。

Stacking是學習集成法的典型代表,該方法通過訓練二級學習器來結合若干一級基學習器。Stacking可以看作是一種通用的集成框架,其結構與Bagging相似,是一種并行集成的方法,與Bagging不同的是,其一級基學習器通常使用異質學習器,集成策略使用學習法,即構建二級學習器,如圖2所示。

圖2 Stacking集成算法流程圖Fig.2 Stacking integrated algorithm flow chart

1.2 作戰(zhàn)體系能力圖譜生成方法

傳統(tǒng)的仿真實驗方法,通常難以處理作戰(zhàn)體系不斷演化的問題,不能有效聚焦到影響體系能力的關鍵因素。作戰(zhàn)體系能力圖譜的生成方法,在大規(guī)模探索性仿真實驗的基礎上,構建了一個多重迭代、逐步聚焦的實驗框架,主要包括線索提煉、數(shù)據(jù)栽培、數(shù)據(jù)收獲、綜合分析等步驟。

其中,線索提煉步驟包括對實驗問題的提煉、能力指標的選取、實驗范圍的剪裁、采樣方法的選擇等;數(shù)據(jù)栽培步驟主要包括模型開發(fā)、想定部署、仿真樣本生成、仿真實驗運行等,通過該步驟得到生成圖譜所需的數(shù)據(jù)集;數(shù)據(jù)收獲步驟針對研究問題對實驗數(shù)據(jù)進行處理,通過選擇合理的可視化方式,構建特定的能力圖譜;綜合分析步驟是根據(jù)生成的作戰(zhàn)體系能力圖譜,對作戰(zhàn)體系進行整體分析,得出分析結論的過程。

基于元模型的作戰(zhàn)體系能力圖譜生成方法,是在數(shù)據(jù)栽培環(huán)節(jié),采用構建元模型的方法,用元模型代替仿真模型,得到仿真實驗數(shù)據(jù),如圖3所示。因此,構建合理的元模型是基于元模型生成作戰(zhàn)體系能力圖譜的研究重點。

圖3 作戰(zhàn)體系能力圖譜生成步驟Fig.3 Generation steps of operational system of systems capability graph

1.3 研究重點

使用元模型解決作戰(zhàn)體系能力圖譜的生成問題時,需要解決以下問題:一是需要元模型有較高的精度,能有效反應仿真模型的特征;二是需要元模型有較強的適應性,能夠在不同應用條件下有較強的魯棒性;三是需要元建模的過程有較高的效率,能快速對大量樣本空間做出探索。本文從以下角度出發(fā),解決上述問題:

一方面,通過Stacking集成學習的方法解決元模型的問題依賴性。Stacking集成元模型的構建思路是將集成學習的基學習器由若干“基元模型”代替,而后按照集成學習的方法和策略對基元模型進行結合,生成集成元模型。相比于其他方式,Stacking集成有以下優(yōu)點:一是能有效集成多種異質元模型,提高模型整體的準確性和泛化性;二是該方式通過交叉驗證的方法構造次級學習器的訓練數(shù)據(jù)集,避免了直接使用原始數(shù)據(jù)訓練可能造成的過擬合風險。

另一方面,通過序貫采樣,平衡采樣次數(shù)和模型精度,可以提高能力圖譜生成效率。訓練元模型樣本的規(guī)模和質量,將直接影響建模的效率和精度。通常情況下,構建元模型只用一次采樣,即一步法,然而,如果一次采樣點較多,則需要多次運行仿真模型,降低構建集成元模型的效率;如果采樣點較少,則會影響集成元模型的精度。通過序貫法逐步增加樣本點,不斷更新集成元模型,當集成元模型滿足收斂條件時停止抽樣,合理權衡模型精度與建模效率。

2 基于序貫采樣策略的Stacking集成元模型

2.1 基本思路

本文提出的基于序貫采樣策略的Stacking集成元模型構建方法如圖4所示。

圖4 基于序貫采樣策略的Stacking集成元模型Fig.4 Stacking integrated meta-model based on sequential sampling strategy

根據(jù)體系能力圖譜生成所需的實驗范圍,選擇適當?shù)膶嶒炘O計方法,確定若干初始采樣點={,,…,};

使用仿真系統(tǒng),獲取初始采樣點對應的仿真運行結果={,,…,};

建立訓練基元模型的初始數(shù)據(jù)集=∪={(,),(,)…(,)};

使用折交叉檢驗訓練個基元模型;

將組預測結果與其對應的仿真結果合并生成二級模型數(shù)據(jù)集;

訓練二級學習器;

用測試集對集成元模型的精確度進行測試,達到要求則結束訓練,否則進入下一步;

判斷是否達到訓練次數(shù)或訓練時間的上限,若達到上限則結束訓練,否則進入下一步;

在初始采樣點的基礎上,運用序貫采樣策略,確定新的采樣點′;

2.2 兩級模型的選擇與構建

2.2.1 基元模型的選擇與構建

選擇與構建基元模型需要同時考慮各模型的準確性和多樣性,本文通過集成多個異質元模型提升模型的多樣性,主要使用多項式響應面(polynomial response surface,PRS)模型、Kriging模型、支持向量回歸(support vector regression, SVR)模型、徑向量(radial basis function, RBF)神經(jīng)網(wǎng)絡模型等元模型,在建立基元模型時,通過比較或優(yōu)化算法等方式保證其準確性。

(1) PRS通過多項式的線性組合,擬合一個響應面,以模擬真實狀態(tài)曲面。該模型有較好的透明性,在擬合中低維度、低非線性問題時具有一定優(yōu)勢。當數(shù)據(jù)維度較高,采用高階多項式模型時,需要大量樣本才能計算出所有未知系數(shù)?；谏鲜鎏卣?本文采用探索式方法,分別建立不超過5階的PRS模型,各階模型中包含交叉項并通過折交叉驗證建立,而后比較各階PRS模型的指標,選取其中最高的作為組成集成元模型的PRS基元模型。

(2) Kriging是一種基于距離加權的差值近似法,適用于中低維度的高非線性問題,Kriging模型精度較高,可用少數(shù)樣本數(shù)據(jù)逼近真實模型,對低維問題和高階函數(shù)有較好的性能,但Kriging模型構造復雜,計算量較大。Jones等人對Kriging模型進行了深入的研究,提出了Kriging模型的全局最優(yōu)化方法,通過給出的期望改善(expected improvement,EI)均衡全局和局部搜索能力,該方法目前在Kriging建模中應用較為廣泛。本文使用基于上述算法的pyKiging工具包,以高斯函數(shù)為相關函數(shù),通過粒子群優(yōu)化(partical swarm optimization,PSO)算法對參數(shù)進行優(yōu)化,建立Kriging基元模型。

(3) SVR是支持向量機(support vector machine,SVM)的一種實現(xiàn)方式,與傳統(tǒng)回歸模型相似,其基本思想是求解一個最優(yōu)的超平面,使所有樣本點到該超平面的誤差最小。SVR模型在解決小樣本高維問題時有一定優(yōu)勢。在構建SVR模型時,選擇不同核函數(shù)會影響模型的精度,通常,選用核函數(shù)有兩種方式:一是對數(shù)據(jù)集的特征有一定先驗知識的情況下,基于先驗知識選擇核函數(shù);二是通過試用不同的核函數(shù),選擇使用誤差最小的核函數(shù)。在解決不同問題時,各數(shù)據(jù)集特征有較大差異,因此本文采用第二種方法,以線性核函數(shù)、多項式核函數(shù)、RBF核函數(shù)、Sigmoid核函數(shù)分別建立SVR模型,選擇指標最好的核函數(shù),建立SVR基元模型。

(4) RBF神經(jīng)網(wǎng)絡模型相比于使用核方法的SVR更適合大樣本及高特征維度的數(shù)據(jù)情況。此外,文獻[22]證明了相比于BP神經(jīng)網(wǎng)絡,RBF神經(jīng)網(wǎng)絡是連續(xù)函數(shù)的最佳逼近方式。在RBF神經(jīng)網(wǎng)絡中,常選擇高斯徑向基函數(shù),建立RBF神經(jīng)網(wǎng)絡需要求解基函數(shù)中心點、方差、隱含層到輸出層的權重等參數(shù),常用的求解方法有3種:一是自組織選取中心的學習方法,該方法首先通過無監(jiān)督學習求解中心點及方差,而后通過有監(jiān)督學習求解隱含層到輸出層的權重;二是直接計算法,通過隨機在樣本中選取中心點,計算相關參數(shù),該方法通常用于數(shù)據(jù)分布有明顯代表性的場景;三是有監(jiān)督學習的方法,通過訓練樣本獲取滿足要求的網(wǎng)絡參數(shù),與BP神經(jīng)網(wǎng)絡學習原理相同,常采樣梯度下降等方法修正誤差。本文采取第3種方法建立RBF神經(jīng)網(wǎng)絡基元模型。

2.2.2 二級模型的選擇與構建

二級學習器在很大程度上影響了Stacking集成學習的泛化能力,二級學習器的輸入特征,即一級基元模型的輸出特征,非常接近數(shù)據(jù)的真實標記,使用簡單的模型作為二級學習器可以降低過擬合風險。

文獻[23]建議使用線性回歸作為二級學習器的算法。線性回歸模型是最基礎的回歸模型,模型復雜度低,它通過連續(xù)的直線、平面或超平面擬合數(shù)據(jù)集,使得訓練數(shù)據(jù)集的殘差最小,能高效解決數(shù)據(jù)間有線性相關特征的問題。因此,本文選擇線性回歸模型建立二級學習器模型,對上述4個基元模型進行組合。

2.3 基于Stacking的基元模型集成

Stacking集成方法以兩層結構在增強學習效果的同時確保模型不過于復雜冗余。本文基于Stacking的基元模型集成過程如圖5所示,其整體過程可分為兩步。

圖5 基于Stacking的元模型集成Fig.5 Meta-model integration based on Stacking

訓練第1層共個基元模型,利用各基元模型生成組訓練集預測值和測試集預測值。該步驟中,對每個基元模型的訓練和預測都基于折交叉驗證的思想,Stacking方法常用=5,該步驟具體過程如下:

取基元模型∈,執(zhí)行以下步驟;

將訓練集劃分為份,記為,,…,,

使用至訓練基元模型;

重復步驟1.1～步驟1.6,遍歷所有個基元模型。

訓練第2層集成模型。

根據(jù)步驟1中個基元模型形成的訓練集預測值{Train,Train,…,Train}和測試集預測值{Test,Test,…,Test},分別組合形成第2層模型的訓練集和測試集;

使用上述數(shù)據(jù)集訓練二級模型。

2.4 集成元模型序貫采樣策略

本節(jié)首先明確的集成元模型擬合不確定性檢驗標準,確定序貫采樣點的選擇方法;而后在初始采樣規(guī)模、方法、及序貫采樣步驟等方面明確集成元模型的序貫采樣策略。

2.4.1 集成元模型擬合不確定性檢驗方法

通常,使用元模型的情況有兩種:一是預測,通過建立元模型預測未知輸入情況下系統(tǒng)的響應;二是優(yōu)化,通過元模型快速分析使系統(tǒng)獲得最佳響應的輸入條件。對應上述情況,元模型的序貫采樣通常包括兩種思路:一是尋找元模型擬合精度較差的范圍,在該范圍內(nèi)增加采樣點,以提高元模型整體擬合精度;二是在現(xiàn)有元模型取得的極值點的附近增加采樣點,提高元模型在極值附近的擬合精度。

本文建立集成元模型的目的是生成作戰(zhàn)體系能力圖譜,需要對大量方案做出預測,因此,需要提高模型在取值范圍內(nèi)的整體擬合精度。對于集成元模型而言,各基元模型的預測能力存在一定的差異,將這種差異定義為集成元模型的擬合不確定性(meta model uncertainty)。文獻[24]提出了用多個元模型在設計空間內(nèi)各點預測值的標準偏差來檢驗擬合不確定性:

(2)

(3)

式(3)計算結果較大的區(qū)域表明各基元模型預測差異大,則在該區(qū)域增加采樣點,以提高預測精度。

2.4.2 初始采樣規(guī)模

初始采樣規(guī)模影響直接影響初始模型構建的效率和精度,關于采樣規(guī)模的研究越來越多。文獻[25]比較了不同采樣規(guī)模對元模型預測精度的影響。文獻[26]建議初始采樣規(guī)模應是問題維度的10倍,文獻[27]證明了該建議的可行性。文獻[28]建議采樣規(guī)模為2(+1),其中為問題維度。文獻[29]通過對變量空間的角點進行采樣,建議初始采樣規(guī)模為2。文獻[30]建議初始采樣規(guī)模應設置為max{2(+1),01},其中為總評價次數(shù)。文獻[31]建議采樣規(guī)模不應超過問題維度的20倍。文獻[32]建議如果問題維度小于20維,則采樣規(guī)模不應超過500;如果問題維度大于20維,則采樣規(guī)?？纱笥?00。

綜合上述分析,由于在作戰(zhàn)實驗想定方案探索時,通常會聚焦于特定范圍,問題維度不會過高,本文初始采樣規(guī)模選定為問題維度的20倍。

2.4.3 初始采樣方法

常用的采樣方法有蒙特卡羅采樣、正交采樣、拉丁超立方采樣、均勻采樣等。其中,拉丁超立方采樣(Latin hypercube sampling,LHS)作為一種全空間的采樣方法,是一種以分層采樣為理論基礎并在此基礎上隨機均勻布置采樣點的采樣方法,能夠通過較少的樣本獲得較高的精度,是目前應用最為廣泛的一種采樣方法。本文采用LHS建立初始訓練樣本。

LHS的基本步驟如下。

確定采樣規(guī)模;

將維空間中每個變量(=1,2,…,)的取值范圍劃分為等大小、等概率的個分層;

在每個變量的各分層中隨機抽取一個數(shù)值;

將步驟3中各變量隨機選取的數(shù)值組合,即產(chǎn)生一個樣本點;

重復步驟3和步驟4,產(chǎn)生個樣本點。

LHS在每個分層進行采樣,在采樣規(guī)模較小的情況下,保證了樣本點能夠較全面的反應空間的整體信息,此外,其隨機抽樣的方式無需對樣本點規(guī)模做出限制,有較強的通用性。

2.4.4 序貫采樣步驟

以擬合不確定性為檢驗指標,指導集成元模型的序貫采樣和更新,其基本流程如下。

根據(jù)問題維度確定初始采樣規(guī)模;

按照LHS方法,確定個初始樣本點;

調用仿真系統(tǒng),獲取初始樣本集;

訓練各基元模型和集成元模型;

利用LHS方法,產(chǎn)生個檢驗點;

利用式(3)計算個檢驗點上集成元模型的擬合不確定性,尋找集成元模型不確定值最大的個檢驗點;

調用仿真系統(tǒng),獲取個點的仿真結果,并將該點集及仿真結果作為序貫采樣點加入原樣本集中,形成新的訓練樣本集;

重復執(zhí)行步驟4～步驟7,直至滿足收斂條件。

收斂條件根據(jù)具體問題,對集成元模型的精度、訓練時間或訓練次數(shù)做出限定,其判斷步驟如圖3所示。

3 案例分析

3.1 實驗設計

3.1.1 實驗想定

以紅方在某重點關注海域內(nèi)對藍方某型時敏目標的指示能力、打擊能力的分析任務為背景,生成紅方作戰(zhàn)體系對該重點關注海域內(nèi)的作戰(zhàn)能力圖譜。實驗依托“體系仿真試驗床”系統(tǒng)進行,紅方部署任務區(qū)域相關的作戰(zhàn)力量,主要包括相關天基預警裝備和通信裝備、對目標實施打擊的遠程打擊裝備,并建立完善的指揮控制體系;藍方主要包括活動于紅方重點關注海域的艦艇目標及相關探測和攔截裝備。

3.1.2 實驗方案

紅方作戰(zhàn)體系對重點關注區(qū)域的目標指示能力和打擊能力隨對抗環(huán)境的差異在三維物理空間內(nèi)有不同的分布,并隨作戰(zhàn)進程的推進不斷變化。對該區(qū)域按照熱圖與基于地理信息的可視化方法生成能力圖譜,將紅方重點關注區(qū)域分為×個區(qū)塊,通過對每個區(qū)塊進行仿真,計算區(qū)塊內(nèi)能力指標(如目標指示能力)數(shù)值,根據(jù)數(shù)值大小對區(qū)塊進行著色,形成該區(qū)域的能力圖譜,通過生成不同條件下的能力圖譜,分析體系的整體能力。圖6為生成體系能力圖譜的示意圖。

圖6 生成作戰(zhàn)體系能力圖譜示意圖Fig.6 Schematic diagram of generating operational system of systems capability graph

使用該分析方法,將本想定的關注區(qū)域,按照地理坐標經(jīng)緯度每一定度數(shù)劃分為一個區(qū)塊,共劃分52×42個區(qū)塊,形成2 184組方案,每組方案進行一次仿真實驗,實驗時分別對目標指示(target indicate,TI)能力、目標打擊(target strike,TS)能力指標進行統(tǒng)計。

其中,目標指示能力TI反映了紅方體系從發(fā)現(xiàn)目標、正確判斷目標直至將目標信息發(fā)送到武器平臺的能力,本文采用一定時間段內(nèi)武器裝備接受到的有效目標指示時長計算該指標,具體方法為

(4)

式中:為有效的目標指示時間段的時長;為有效的目標指示總次數(shù);為作戰(zhàn)總時長。

目標打擊能力TS反應了紅方體系對藍方目標形成有效毀傷的能力,本文采用對藍方目標的命中率計算該指標,具體方法為

(5)

式中:為紅方命中目標的導彈數(shù)量;為紅方發(fā)射的導彈總數(shù)。

使用上述數(shù)據(jù)作為實驗數(shù)據(jù),建立集成元模型,對元模型的各項性能進行評價。

313 評價指標

在生成作戰(zhàn)能力體系圖譜的基礎上,分別從準確性、魯棒性兩個方面,評價該方法在生成作戰(zhàn)體系能力圖譜時的有效性。

(1) 準確性指標采用擬合優(yōu)度為評價指標,計算方法如下：

(6)

分析本文提出方法在生成作戰(zhàn)體系能力圖譜的應用中相比于其他模型的預測精度。

(2) 魯棒性指標計算

(7)

計算該模型對于目標指示能力TI和目標打擊能力TS兩種不同應用時的魯棒性指標,分析模型對不同應用環(huán)境的適應性。

式(7)以方差衡量數(shù)據(jù)離散程度,在計算元模型對不同應用場景的預測精度的基礎上,計算各精度值的方差,方差越小,說明元模型對各場景預測精度的離散程度越小,則魯邦性越強。

3.2 作戰(zhàn)體系能力圖譜生成

針對TI和TS兩種能力,分別各取4種作戰(zhàn)態(tài)勢條件進行分析,共形成8組測試數(shù)據(jù)。生成作戰(zhàn)體系能力圖譜如圖7所示。

圖7 作戰(zhàn)體系TI能力和TS能力圖譜Fig.7 Capability graph of TI and TS of operational system of systems

圖7中,第1行和第3行為不同案例下體系TI能力和TS能力的仿真實驗結果,第2行和第4行分別為使用Stacking集成元模型對相應案例的預測結果,實驗時設定集成模型預測精度達到90%,或序貫抽樣次數(shù)達到10次停止訓練。從圖7中可以看出,在不超過10次序貫抽樣的條件下,預測模型能有效反映出體系能力的整體趨勢。

3.3 準確性分析

為消除隨機誤差,對每組樣本各訓練20次,統(tǒng)計在各組測試數(shù)據(jù)條件下,的均值、標準差,具體數(shù)據(jù)如表1所示。

表1 各元模型對不同應用案例的預測準確性

從表1中可知,本文提出的Stacking集成元模型在大多數(shù)情況下都能表現(xiàn)出最好的預測準確性,在TI和TS種能力的案例3中,SVR元模型預測準確度略高與Stacking集成元模型,但僅分別高出0.007 8和0.004 2,相差不大,且Stacking元模型在多次運行中的方差較小。各元模型在不同應用案例下的預測準確性分布如圖8所示,可見,在不同應用案例下,Stacking集成元模型均有較好的表現(xiàn)。

圖8 各元模型對不同應用案例的預測準確性分布圖Fig.8 Prediction accuracy distribution of each metamodel for different application cases

3.4 魯棒性分析

根據(jù)式(7),分別計算各元模型在TI和TS兩種應用下對4個不同方案預測準確度的魯棒性,并綜合計算各元模型對8個方案的魯棒性,其值如表2所示?？芍?本文提出的Stacking集成元模型對各數(shù)據(jù)集的預測準確度的魯棒性最強,說明與其他模型相比,該模型在各場景的應用中,預測精度較為穩(wěn)定。

表2 各元模型在不同案例中的魯棒性

4 結 論

作戰(zhàn)體系能力圖譜是通過可視化的方法對體系能力進行整體分析的有效手段。生成作戰(zhàn)體系能力圖譜需要對海量實驗方案進行仿真,難以滿足時效性要求。本文提出了基于Stacking集成元模型的作戰(zhàn)體系能力圖譜生成方法,一方面通過Stacking集成學習解決元模型在不同應用條件下魯棒性較差的問題,另一方面通過使用序貫采樣策略解決精度與效率的矛盾問題。通過實驗分析,證明了方法的有效性,為快速準確生成作戰(zhàn)體系能力圖譜,分析作戰(zhàn)體系能力提供了方法。