陳文青，王建斌，王學(xué)軍

（1.海軍裝備研究院，北京102249；2.復(fù)雜艦船系統(tǒng)仿真重點(diǎn)實(shí)驗(yàn)室，北京102249）

復(fù)雜系統(tǒng)效能評估支撐平臺

陳文青1，2，王建斌1，王學(xué)軍1

（1.海軍裝備研究院，北京102249；2.復(fù)雜艦船系統(tǒng)仿真重點(diǎn)實(shí)驗(yàn)室，北京102249）

復(fù)雜系統(tǒng)的效能評估面臨著評估數(shù)據(jù)量大、評估計(jì)算實(shí)時性要求高、評價(jià)規(guī)則靈活多變等問題，選擇Spark分布式計(jì)算平臺作為海量數(shù)據(jù)處理的技術(shù)途徑，可以有效解決大數(shù)據(jù)實(shí)時處理問題?；赟park技術(shù)，結(jié)合AppWEE（武器效能評估支撐平臺）構(gòu)建復(fù)雜系統(tǒng)效能評估的支撐平臺，可以解決數(shù)據(jù)處理規(guī)模以及數(shù)據(jù)處理的實(shí)時性問題，并且可以兼顧評價(jià)準(zhǔn)則設(shè)置靈活性，這樣就有效地解決了復(fù)雜系統(tǒng)評估問題。

效能評估，大數(shù)據(jù)，Spark

0 引言

當(dāng)今，效能評估已經(jīng)廣泛應(yīng)用于從單裝到體系的武器裝備論證研究中，效能評估技術(shù)正面臨著研究對象固有復(fù)雜性提出的挑戰(zhàn)。在復(fù)雜系統(tǒng)的效能評估中主要有3個特點(diǎn)：數(shù)據(jù)量大、實(shí)時處理、準(zhǔn)則靈活。即：①數(shù)據(jù)量大：當(dāng)前單次仿真實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)可達(dá)到TB，傳統(tǒng)關(guān)系數(shù)據(jù)庫的存儲方法已經(jīng)無法滿足要求，需要采用NoSQL技術(shù)，使用大數(shù)據(jù)分析處理方法進(jìn)行存儲與分析；②實(shí)時處理：部分仿真/半實(shí)物仿真實(shí)驗(yàn)周期較長，等待實(shí)驗(yàn)結(jié)束才進(jìn)行離線式分析處理無法滿足決策的時效性要求，因此，需要采用實(shí)時評估方式，采用數(shù)據(jù)流處理方法，支持決策者實(shí)時獲得關(guān)鍵指標(biāo)的動態(tài)評估結(jié)果；③規(guī)則靈活：針對不同評估對象，需要有針對性地構(gòu)建評價(jià)指標(biāo)體系，針對不同指標(biāo)給出特定的計(jì)算規(guī)則，選用不同分析評估算法，靈活構(gòu)建指標(biāo)計(jì)算流程，只有這樣才能夠滿足仿真結(jié)果分析處理與評估的要求。指標(biāo)體系中的底層指標(biāo)稱為性能指標(biāo)，中間層級的指標(biāo)稱為效能指標(biāo)。性能指標(biāo)根據(jù)實(shí)驗(yàn)結(jié)果數(shù)據(jù)計(jì)算獲得，效能指標(biāo)通過邏輯運(yùn)算或多屬性決策分析方法獲得。

面對以上特點(diǎn)，本文探討了如何構(gòu)建基于Spark平臺的大數(shù)據(jù)分析處理技術(shù)的開展復(fù)雜系統(tǒng)效能評估，可為復(fù)雜系統(tǒng)的效能評估提供有效技術(shù)解決途徑。Spark平臺采用數(shù)據(jù)內(nèi)存化管理提高了數(shù)據(jù)訪問速度，同時采用一套有向無環(huán)圖（DAG）的調(diào)度機(jī)制，用于提高批處理與流式處理的運(yùn)算調(diào)度，通過以上措施Spark顯著提升了大數(shù)據(jù)處理的速度，同時為大數(shù)據(jù)的批處理、流式處理提供了統(tǒng)一平臺，此外在Spark之上還提供了機(jī)器學(xué)習(xí)庫、圖計(jì)算庫為機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘提供了技術(shù)途徑。

1 復(fù)雜系統(tǒng)效能評估的關(guān)鍵技術(shù)實(shí)現(xiàn)

1.1 數(shù)據(jù)量大

由于需要解決海量數(shù)據(jù)的分析處理，因此，平臺選擇目前最具潛力的云計(jì)算技術(shù)Spark作為分析計(jì)算支撐框架。Spark是伯克利大學(xué)AMP lab（Algorithms Machines People，Laboratory）開源的通用的并行計(jì)算框架。Spark生態(tài)系統(tǒng)組成如圖1所示。Spark具有以下特點(diǎn)：

圖1 Spark生態(tài)系統(tǒng)

（1）采用RDD，在內(nèi)存中完成計(jì)算。RDD(Resilient Distributed Dataset,彈性分布數(shù)據(jù)集)是Spark對分布式內(nèi)存進(jìn)行的抽象，Spark以操作本地集合的方式來操作分布式數(shù)據(jù)集。RDD可以通過從文件系統(tǒng)輸入獲得，或通過其他RDD變換獲得，通過變換獲得的RDD自動稱為源RDD的子RDD，源RDD稱為新生成RDD的父RDD。針對RDD可以進(jìn)行“轉(zhuǎn)換”或“操作”兩種不同計(jì)算。轉(zhuǎn)換包括map、filter、groupBy、Join等；操作包括count、collect、save等。轉(zhuǎn)換處理后，得到的結(jié)果依然是RDD。

（2）作業(yè)調(diào)度更加合理。Spark通過DAG（Directed Acyclic Graph，有向無環(huán)圖）進(jìn)行作業(yè)調(diào)度，當(dāng)一個RDD的操作被觸發(fā)時，系統(tǒng)會通過DAG作業(yè)調(diào)度遍歷整個RDD依賴鏈，根據(jù)RDD的依賴關(guān)系，生成一系列調(diào)度階段，為當(dāng)前可運(yùn)行Stage生成一個作業(yè)，等待完成后再進(jìn)行下一個調(diào)度階段，這樣既保證了盡可能多的Stage被執(zhí)行，又保證了計(jì)算的有序性。

（3）運(yùn)行方式更為多樣。Spark可以在Hadoop的資源管理系統(tǒng)YARN上運(yùn)行，也可以在Spark自己的資源管理系統(tǒng)Mesos上運(yùn)行，還可以在本機(jī)獨(dú)立運(yùn)行。

（4）更加易用。Spark支持通過Scala語言或Java語言編寫計(jì)算程序。Scala語言是一種運(yùn)行在JVM上的集成面向?qū)ο笈c函數(shù)式編程特征的語言，采用Scala可使得MapReduce的開發(fā)更為簡潔。建立在Spark之上的SparkR模塊提供了與R語言的交互功能，可以在R語言內(nèi)直接使用Spark的分布式計(jì)算能力。

（5）生態(tài)系統(tǒng)完備，代表了大數(shù)據(jù)的發(fā)展方向。Spark目前擁有包括Spark SQL（支持關(guān)系化查詢）、Spark Stream（支持實(shí)時數(shù)據(jù)處理）、MLlib（支持機(jī)器學(xué)習(xí)）、GraphX（支持并行圖計(jì)算）在內(nèi)的一系列模塊，獲得各大云計(jì)算公司的廣泛關(guān)注。實(shí)際使用過程中，針對特定運(yùn)算采用Scala或Python編寫分析評估算法。評估執(zhí)行引擎將調(diào)用Spark進(jìn)行分析處理。計(jì)算完成后再通過HDFS獲得分析結(jié)果，根據(jù)官網(wǎng)給出的測試結(jié)果，Spark的執(zhí)行效率是Hadoop的120倍。

1.2 實(shí)時評估

為了在實(shí)驗(yàn)過程中為決策人員實(shí)時提供評估結(jié)果，平臺提供了實(shí)時評估功能。實(shí)時評估與離線評估的區(qū)別在于，實(shí)時評估基于數(shù)據(jù)流進(jìn)行計(jì)算，每次僅需要收集時間片內(nèi)新產(chǎn)生的數(shù)據(jù)，并與前次結(jié)果進(jìn)行融合獲得新的結(jié)果，如統(tǒng)計(jì)戰(zhàn)損率，只需要獲得當(dāng)前時間片內(nèi)被擊毀的實(shí)體個數(shù)、前一時刻累計(jì)的毀傷實(shí)體個數(shù)、仿真起始時刻我方的實(shí)體總數(shù)，即可計(jì)算出當(dāng)前時刻的戰(zhàn)損率。實(shí)時評估需要關(guān)注監(jiān)控界面設(shè)計(jì)與實(shí)時評估計(jì)算引擎兩部分。

圖2 實(shí)時評估監(jiān)控界面

圖3 Spark流式計(jì)算示意圖

實(shí)時評估監(jiān)控界面如圖2所示。實(shí)時評估監(jiān)控界面需要支持用戶自定義功能，即用戶自主選擇所關(guān)心的要素，并將這些要素對應(yīng)的控件排布為所需的監(jiān)控界面。系統(tǒng)為每個計(jì)算流程中的算子都提供了輸入?yún)?shù)配置界面、輸出參數(shù)配置界面，用戶可以再監(jiān)視界面內(nèi)自由選擇所關(guān)心的指標(biāo)或中間結(jié)果，將它們所對應(yīng)算子的參數(shù)輸入輸出界面拖入監(jiān)視界面即可完成實(shí)時評估監(jiān)控界面的設(shè)計(jì)。

Spark流式計(jì)算示意圖如圖3所示。Spark Steam是建立在Spark之上的流式計(jì)算框架，將每個時間片（0.5 s～2 s）內(nèi)由各種Spark Stream數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)作為新的RDD，每輪計(jì)算中都按照DAG調(diào)度算法進(jìn)行調(diào)度操作。評估執(zhí)行引擎在每一輪計(jì)算中，將實(shí)時產(chǎn)生的大樣本數(shù)據(jù)交于Spark Stream進(jìn)行分析處理，在運(yùn)算結(jié)束后通過HDFS獲得結(jié)果，并提交監(jiān)控界面進(jìn)行可視化展示。

1.3 規(guī)則設(shè)計(jì)

復(fù)雜系統(tǒng)效能評估存在分層化與流程化的特點(diǎn)。分層化指需要為評估對象的各級評價(jià)指標(biāo)建立層次，從原始評估數(shù)據(jù)逐級向上計(jì)算指標(biāo)的評估結(jié)果。流程化指評估分析存在某些可遵循的流程：如獲取數(shù)據(jù)、數(shù)據(jù)過濾、分析計(jì)算、結(jié)果記錄與呈現(xiàn)。在效能評估中采用指標(biāo)體系與指標(biāo)計(jì)算流程分別解決層次化與流程化的問題。指標(biāo)體系構(gòu)建示意圖如圖4所示。在指標(biāo)體系的構(gòu)建過程中，需要對指標(biāo)類型、量綱進(jìn)行定義，指標(biāo)類型包括成本型、效益型、固定型、偏離型、固定區(qū)間型、偏離區(qū)間型。系統(tǒng)提供可視化指標(biāo)體系構(gòu)建環(huán)境，可以創(chuàng)建各層級指標(biāo)并定義指標(biāo)間的依賴關(guān)系。

圖4 指標(biāo)體系構(gòu)建示意圖

圖5 指標(biāo)計(jì)算流程示意圖

指標(biāo)計(jì)算流程示意圖如圖5所示。指標(biāo)計(jì)算流程明確了一個或多個同級相鄰指標(biāo)的計(jì)算規(guī)則。在整個指標(biāo)體系中，可以為一個或多個指標(biāo)創(chuàng)建計(jì)算流程。被計(jì)算的指標(biāo)稱為計(jì)算流程中的輸出指標(biāo)，輸出指標(biāo)所依賴的指標(biāo)稱為輸入指標(biāo)。指標(biāo)計(jì)算流程由各類算子和算子之間的參數(shù)鏈接組成。

針對復(fù)雜系統(tǒng)效能評估的關(guān)鍵問題，采用Spark解決了數(shù)據(jù)量大和實(shí)時評估中的流式處理問題；采用AppWEE解決了實(shí)時評估中監(jiān)控界面設(shè)計(jì)和規(guī)則靈活設(shè)計(jì)問題。進(jìn)一步，初步確定了復(fù)雜系統(tǒng)效能評估支撐平臺的總體框架。

2 效能評估支撐平臺的總體框架

2.1 平臺功能和組成

效能評估支撐平臺可為仿真系統(tǒng)的數(shù)據(jù)分析與指標(biāo)綜合評估提供一體化的技術(shù)解決途徑，為武器裝備論證、研制、測試和使用等提供效能評估的基礎(chǔ)工具平臺，從而有效解決復(fù)雜系統(tǒng)評估中面對的評估數(shù)據(jù)量龐大、分析評估時效性強(qiáng)、評估規(guī)則靈活的問題。平臺設(shè)計(jì)過程中采用標(biāo)準(zhǔn)化、組件化的設(shè)計(jì)思路，提升系統(tǒng)功能的重用性，滿足針對不同系統(tǒng)的評估需求。效能評估支撐平臺組成圖如圖6所示。在平臺基礎(chǔ)上提供部分專業(yè)分析插件，包括復(fù)雜網(wǎng)絡(luò)分析、電子對抗效能分析、毀傷效能分析等。

圖6 效能評估支撐平臺組成圖

圖7 效能評估支撐平臺使用流程

2.2 平臺使用流程

效能評估支撐平臺使用流程如圖7所示。效能評估支撐平臺使用流程包括建立指標(biāo)體系、設(shè)計(jì)評估方案、選取與定制評估算法、采集與處理數(shù)據(jù)、創(chuàng)建評估任務(wù)、選擇評估模式、執(zhí)行評估計(jì)算、更新監(jiān)控界面、生成評估報(bào)告等步驟。

（1）創(chuàng)建指標(biāo)體系。為指標(biāo)設(shè)定層級并建立指標(biāo)間的依賴關(guān)系，并對不宜直接度量的指標(biāo)進(jìn)行分解。最終建立起由效能指標(biāo)（MOE）和性能指標(biāo)（MOP）構(gòu)成的指標(biāo)體系。

（2）設(shè)計(jì)評估方案。評估方案由指標(biāo)體系和各個指標(biāo)的指標(biāo)計(jì)算流程組成。每個指標(biāo)計(jì)算流程是一個由輸入指標(biāo)、輸出指標(biāo)、樣本數(shù)據(jù)、各類評估方法組成的計(jì)算流程。

（3）選取/定制評估算法。平臺提供了AHP、模糊綜合評估法、灰色白化權(quán)函數(shù)聚類、TOPSIS、DEA、ADC等典型評估算法，創(chuàng)建評估流程時使用的評估算法可以從評估算法庫中直接選取，也可通過公式、腳本語言、算法插件3種方式對現(xiàn)有評估方法庫進(jìn)行擴(kuò)展，構(gòu)造出滿足專業(yè)需求的評估方法。

（4）評估數(shù)據(jù)采集與處理。評估樣本數(shù)據(jù)包括各類主客觀數(shù)據(jù)，系統(tǒng)能夠使用多種來源的數(shù)據(jù)，可與Oracle、SQLServer、MySQL、MongoDB等多種數(shù)據(jù)庫適配。所有采集獲得的數(shù)據(jù)以數(shù)據(jù)集的形式保存，當(dāng)需要執(zhí)行分布式計(jì)算時，可通過Spark平臺的Spark SQL接口，將數(shù)據(jù)集存儲于HDFS分布式文件系統(tǒng)中。

（5）創(chuàng)建評估任務(wù)。評估任務(wù)是在已建立評估方案的基礎(chǔ)上，針對若干明確的評估對象進(jìn)行的一次具體評估活動。評估對象可以是具體裝備的綜合效能，也可以是不同作戰(zhàn)方案的執(zhí)行效果。評估任務(wù)使用的數(shù)據(jù)來自數(shù)據(jù)預(yù)處理模塊從各數(shù)據(jù)源獲得的數(shù)據(jù)。在構(gòu)建評估任務(wù)后，需要為計(jì)算流程中的各算子參數(shù)配置數(shù)據(jù)。數(shù)據(jù)包括動態(tài)數(shù)據(jù)與靜態(tài)數(shù)據(jù)，動態(tài)數(shù)據(jù)僅指定數(shù)據(jù)來源、查詢語句與查詢參數(shù)，需要在評估執(zhí)行時自動從數(shù)據(jù)源獲得最新的樣本數(shù)據(jù)。靜態(tài)數(shù)據(jù)則直接使用數(shù)據(jù)預(yù)處理環(huán)節(jié)已經(jīng)采集到的數(shù)據(jù)。

（6）選擇評估模式。評估模式包括離線評估與實(shí)時評估兩種模型。離線評估模式下，根據(jù)評估方案設(shè)計(jì)的計(jì)算規(guī)則執(zhí)行一次評估計(jì)算，對運(yùn)算時間沒有要求。實(shí)時評估模式下，則需要在一定的監(jiān)控刷新率下，反復(fù)執(zhí)行評估計(jì)算，并實(shí)時獲得計(jì)算結(jié)果。

（7）執(zhí)行評估計(jì)算。按照評估方案自底向上逐層計(jì)算，獲得指標(biāo)體系中所有指標(biāo)關(guān)于每一個評估對象的評估結(jié)果。在評估任務(wù)正確執(zhí)行后，用戶能夠通過多種可視化手段，查看各評估對象各指標(biāo)的評估結(jié)果。在離線評估模式下，可基于評估結(jié)果進(jìn)行敏感性分析、全壽命周期分析、指標(biāo)相關(guān)性及獨(dú)立性分析。

（8）更新監(jiān)控界面。在實(shí)時評估啟動執(zhí)行之前，用戶可根據(jù)監(jiān)控要求，選擇監(jiān)控控件，并將指標(biāo)分值、中間計(jì)算結(jié)果與監(jiān)控控件綁定。實(shí)時評估過程中，根據(jù)評估計(jì)算結(jié)果不斷更新監(jiān)控界面。

（9）生成評估報(bào)告。根據(jù)評估結(jié)果生成評估報(bào)告，評估報(bào)告中包含指標(biāo)體系、評估方案、評估結(jié)果等信息。評估報(bào)告采用文字、圖表顯示各類信息。

3 結(jié)束語

Spark大數(shù)據(jù)處理技術(shù)為復(fù)雜系統(tǒng)效能評估提供了新的解決途徑，同時利用已購買的AppWEE，二者結(jié)合可以在批處理模式下進(jìn)行離線分析，在流處理模式下進(jìn)行實(shí)時評估，有效解決了海量數(shù)據(jù)分析問題；通過評價(jià)準(zhǔn)則體系的分層化與流程化，做到了評估規(guī)則的靈活設(shè)計(jì)。

［1］高彥杰.Spark大數(shù)據(jù)處理：技術(shù)、應(yīng)用與性能優(yōu)化［M］.北京：機(jī)械工業(yè)出版社，2014.

［2］Holden K，余璜，譯.Spark快速數(shù)據(jù)處理［M］.北京：機(jī)械工業(yè)出版社，2014.

［3］孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例［J］.軟件學(xué)報(bào)，2014，25（4）：839-862.

［4］蔣麗萍，蔡驊.武器系統(tǒng)效能評估與仿真研究［D］.南京：南京理工大學(xué)，2010.

Effectiveness Evaluation for Complicated System Based on Spark Plat

CHEN Wen-qing1,2，WANG Jian-bin1，WANG Xue-jun1
（1.Naval Academy of Armament，Beijing 102249，China；2.Key Laboratory of Complex Ship System Simulation，Beijing 102249，China）

Effectiveness evaluation for complex systems faces with calculation problem of large amount of data，high real-time requirements and flexible evaluation rules.The Spark distributed computing platform is selected as a way to real-time processing massive data effectively.Based on the Spark plat，a effectiveness evaluation plat for complex system is constructed for solve scale data processing and real-time issues of data processing，and can be both evaluation criteria set flexibility，which can effectively solve the problem of complex system evaluation.

effectiveness，evaluation，mass data spark

TP31

A

1002-0640（2015）12-0152-04

2014-11-17

2015-01-09

陳文青（1977-），男，福建福州人,博士,副研究員。研究方向：裝備論證、仿真評估。