邢 馳，柴旭東

（1.北京航空航天大學(xué) 自動化科學(xué)與電氣工程學(xué)院，北京 100083；2.北京仿真中心，北京 100854）

面向復(fù)雜系統(tǒng)的高效能仿真云體系架構(gòu)及應(yīng)用技術(shù)研究

邢 馳1，柴旭東2

（1.北京航空航天大學(xué) 自動化科學(xué)與電氣工程學(xué)院，北京 100083；2.北京仿真中心，北京 100854）

本文針對復(fù)雜系統(tǒng)仿真規(guī)模的不斷擴大，建模與仿真的精度要求不斷提高等因素對仿真系統(tǒng)以及仿真支撐環(huán)境提出的更高要求，首先指出了復(fù)雜系統(tǒng)高效能仿真云的發(fā)展需求，其次提出了以高性能仿真計算機為仿真硬件載體的高效能仿真云架構(gòu)，然后對基于云計算的仿真系統(tǒng)多租戶，面向復(fù)雜系統(tǒng)的高性能RTI，以及高效能仿真云環(huán)境下的仿真容錯等技術(shù)開展研究，得到了相應(yīng)的研究和解決方法。通過本文的方法能夠解決在大規(guī)模、復(fù)雜系統(tǒng)工程建模仿真過程中面臨的協(xié)同互操作，可重用性等問題，同時保證仿真運行的高效性及可靠性。

復(fù)雜系統(tǒng)；高性能計算機；仿真云；多租戶；高性能RTI；容錯

1 研究背景

復(fù)雜系統(tǒng)［1］在社會、生物、環(huán)境、軍事、水利工程等領(lǐng)域普遍存在。在復(fù)雜系統(tǒng)的建模仿真中存在多學(xué)科的異構(gòu)仿真模型，且模型之間需要頻繁的數(shù)據(jù)交互進行協(xié)同仿真，以保證各個子系統(tǒng)組成的復(fù)雜系統(tǒng)性能最優(yōu)。例如在水利工程全生命周期的建模與仿真中，既要保證水庫模型符合外觀要求，還必須保證水庫的安全運行，同時還要滿足水庫群的最優(yōu)化調(diào)度需求等。復(fù)雜系統(tǒng)的建模與仿真對仿真系統(tǒng)以及仿真支撐環(huán)境提出了更高的要求，在技術(shù)上要求保證整個仿真的高效、可靠的運行，在應(yīng)用上減小運行成本使得用戶能夠“用得起”高效的仿真資源。因此為了實現(xiàn)該目標(biāo)，不少專家學(xué)者對建模仿真系統(tǒng)開展研究。其中，建模仿真系統(tǒng)包括仿真軟件、仿真硬件以及仿真支撐環(huán)境，其中仿真支撐環(huán)境又包括了各種技術(shù)，如有運行支撐技術(shù)、仿真容錯技術(shù)等。

為了完成上述目標(biāo)，建模與仿真技術(shù)結(jié)合了“云計算”服務(wù)模式，提出了“云仿真”概念［2］。云仿真平臺提供對仿真資源（仿真的硬件資源以及軟件資源）的動態(tài)管理，以及進行網(wǎng)絡(luò)化建模仿真系統(tǒng)的協(xié)同運行。

隨著高性能計算機技術(shù)的不斷發(fā)展，建模仿真應(yīng)用也被搬上了高性能計算機。典型的分布式仿真技術(shù)（DIS）以及高層體系結(jié)構(gòu)（HLA）也都應(yīng)用在高性能計算機上。在基于高性能計算機通訊技術(shù)的RTI方面（RTI是HLA［3～5］框架的核心），為多種類型的仿真盟員間的交互提供了一組通用服務(wù)實現(xiàn)盟員間數(shù)據(jù)的有序及按需傳送，通過盟員之間的接口規(guī)范實現(xiàn)無縫連接，完成盟員之間的互操作和可重用?，F(xiàn)如今，建模仿真界針對高性能計算機平臺對HLA進行了改進，其中包括美國Georgia大學(xué)的FDK［6］（Federated simulations Development Kit），Steinman等人基于并行仿真框架SPEEDES［7］（Synchronous Parallel Environment for Emulation and Discrete Event Simulation）實現(xiàn)了高性能RTI（HPC RTI），法國太空宇航局開發(fā)了面向高性能計算平臺的RTI軟件HP-CERTI［8］，國防科技大學(xué)也開展了相應(yīng)研究，提出了針對不同網(wǎng)絡(luò)環(huán)境的自適應(yīng)RTI［9］。綜上，雖然高性能RTI的研究已取得了可喜的成果，但應(yīng)用起來仍不能滿足復(fù)雜系統(tǒng)的仿真需求。

在仿真容錯方面，基于HLA的分布式仿真系統(tǒng)的容錯也有相關(guān)研究，其主要特點是在仿真節(jié)點上，根據(jù)仿真運行的特點進行容錯。其并未考慮到在高性能計算機的多核情況下，以及仿真系統(tǒng)本身特性的條件下的容錯技術(shù)。同時，現(xiàn)階段的仿真容錯都聚焦在理論領(lǐng)域中，在實際的工程應(yīng)用中還尚未見到具體的使用。

針對上述問題，本文提出了一個面向復(fù)雜系統(tǒng)高效能仿真云的建模仿真運行的支撐環(huán)境，其無論是在技術(shù)上還是在應(yīng)用上都勢在必行。本文首先從應(yīng)用和技術(shù)兩方面，分析了高效能仿真云的需求，然后在高性能計算機的硬件載體上提出了高效能仿真云的框架，最后對復(fù)雜系統(tǒng)高效能仿真云應(yīng)用的三項技術(shù)提出了研究思路。

2 復(fù)雜系統(tǒng)高效能仿真云的發(fā)展需求

2.1 應(yīng)用需求現(xiàn)有的仿真支撐環(huán)境已不能完全滿足復(fù)雜系統(tǒng)的全生命周期的仿真運行，這樣對于仿真支撐環(huán)境需要提出新的要求。

（1）更高的計算能力。在仿真系統(tǒng)運行過程中，往往對一次仿真的分析、評估、論證需要運行成百上千、甚至上萬次，所消耗的時間從幾天到幾十天不等。這種耗時的仿真計算妨礙了仿真應(yīng)用的發(fā)展，因此仿真系統(tǒng)需要更高的計算能力來提高仿真運行的速度。

（2）解決模型重用、異構(gòu)的問題。越來越大規(guī)模的仿真系統(tǒng)中，有的模型是依據(jù)新的建模仿真標(biāo)準(zhǔn)規(guī)范重新開發(fā)的（如HLA［10］或PDES等），但有的模型是以前仿真系統(tǒng)遺留下的，這種共存的局面，要求仿真支撐環(huán)境能夠兼容模型，讓已有的模型重用，并和新模型聯(lián)合仿真。

（3）能夠支持“海量用戶”的仿真支撐環(huán)境。建設(shè)一套完整的“高效”仿真環(huán)境，無論是在建設(shè)方面還是在運行方面都要投入非常巨大的人力和財力，這就要求高效能仿真云能夠滿足資源共享，支持“海量用戶”的租用資源模式。

（4）保證仿真運行的高可靠。復(fù)雜系統(tǒng)仿真運行中會出現(xiàn)：硬件故障、網(wǎng)絡(luò)延遲、數(shù)據(jù)交換和通信出錯概率大幅度的提升等問題，這就要求構(gòu)建的仿真運行支撐環(huán)境在遇到這些問題時，能夠有應(yīng)對措施，以保證仿真運行的高可靠性。

2.2 技術(shù)需求復(fù)雜系統(tǒng)高效能仿真的應(yīng)用需求需要相應(yīng)的技術(shù)需求做支撐。

（1）基于高性能計算機的仿真環(huán)境構(gòu)建。仿真支撐環(huán)境以高性能計算機為仿真硬件載體，為不同的用戶/租戶構(gòu)建所需的仿真系統(tǒng)，并且保證用戶/租戶之間數(shù)據(jù)、模型的隔離高安全特性。

（2）仿真服務(wù)的高效協(xié)同。根據(jù)高性能計算機本身多CPU、多核的特點，將仿真任務(wù)合理的安排到節(jié)點和核上，以提高仿真協(xié)同的高效性。

（3）仿真系統(tǒng)的容錯遷移。仿真支撐環(huán)境能夠?qū)Ψ抡嫦到y(tǒng)進行容錯，并對出錯模型進行遷移和恢復(fù)運行，使得模型遷移后，整個仿真系統(tǒng)恢復(fù)到失效的前一個狀態(tài)記錄點，繼續(xù)仿真運行。

綜上所述復(fù)雜系統(tǒng)高效能仿真系統(tǒng)，要求建立一套以高性能計算機為硬件運行環(huán)境，以高層體系結(jié)構(gòu)HLA為仿真規(guī)范，在高性能計算機上運行RTI來支撐整個仿真系統(tǒng)的運行，并且能將仿真資源以云模式提供給海量用戶，不斷保證仿真運行過程中用戶之間數(shù)據(jù)的安全和隔離，并且能對仿真進行容錯，保證仿真能夠高效可靠的運行。

3 面向復(fù)雜系統(tǒng)的高效能仿真云系統(tǒng)架構(gòu)

面向復(fù)雜系統(tǒng)的高效能仿真云系統(tǒng)要求能夠運行在高性能計算機上，并且能支撐復(fù)雜系統(tǒng)的建模仿真運行，其架構(gòu)見圖1所示。

該系統(tǒng)架構(gòu)首先要滿足通信網(wǎng)絡(luò)的要求，即能夠運行在Infiniband網(wǎng)絡(luò)以及合理利用共享內(nèi)存，其次設(shè)計仿真管理的中間件模塊，其中包括：仿真錯誤點檢測單元，仿真數(shù)據(jù)保存單元，仿真對象通信單元，在RTI總線上進行通信管理單元以及仿真推進管理單元。

仿真錯誤點檢測單元：對仿真對象的每一個線程進行監(jiān)控，能夠檢測仿真中是否因為仿真線程運行的問題導(dǎo)致仿真錯誤。

圖1 面向復(fù)雜系統(tǒng)的高效能仿真云系統(tǒng)架構(gòu)

仿真數(shù)據(jù)保存單元：對每個節(jié)點上仿真對象的通信數(shù)據(jù)進行保存，以便在仿真運行過程中檢測到錯誤后進行仿真快速恢復(fù)。

仿真對象管理單元：管理節(jié)點內(nèi)CPU之間與核之間的仿真線程，進程之間的通信。

通信管理單元：管理定性、定量、連續(xù)、離散系統(tǒng)之間的通信方式，實現(xiàn)復(fù)雜系統(tǒng)中的子系統(tǒng)、仿真模型之間交換數(shù)據(jù)，以達到復(fù)雜系統(tǒng)協(xié)同仿真。

仿真推進管理單元：在RTI總線上加入仿真推進管理單元可針對不同的仿真子系統(tǒng)，如連續(xù)系統(tǒng)可采用時間步長推進方式，離散系統(tǒng)能夠采用時間推進的方式。

4 復(fù)雜系統(tǒng)高效能仿真云應(yīng)用技術(shù)研究

面向復(fù)雜系統(tǒng)高效能仿真云的根本目的是解決目前大規(guī)模復(fù)雜系統(tǒng)仿真所面臨的上述應(yīng)用需求，針對以上需求，提煉出了以下三個關(guān)鍵技術(shù)，并開展了初步研究。

4.1 基于云計算的仿真系統(tǒng)多租戶技術(shù)

4.1.1 多租戶的系統(tǒng)架構(gòu) 針對多租戶［11-12］的內(nèi)涵，以及實現(xiàn)技術(shù)手段的不同，多租戶實現(xiàn)主要有以下各個階段，如圖2、表1所示［12］。

基于虛擬化技術(shù)的“云仿真”模式在圖2中屬于“共享硬件”階段，其能夠很好地利用虛擬化技術(shù)，從操作系統(tǒng)的層面將軟件分開，真正的做到了共享硬件的功能，為用戶創(chuàng)建虛擬機或集群，來滿足用戶的仿真需求。但在支持海量用戶方面，高性能仿真計算機資源非常寶貴，一臺高性能計算機資源能夠構(gòu)建的虛擬機是極其有限的，同時引入虛擬化技術(shù)對計算機性能有影響，這種“共享硬件”的方式不足以支持海量用戶。因此，要在多租戶方面做到不但共享硬件，而且共享軟件和操作系統(tǒng)，才能更好的支持多租戶以及保證高效能“仿真云”的高效性。

圖2 多租戶體系架構(gòu)

表1 多租戶不同階段

高效能“仿真云”平臺的多租戶系統(tǒng)模式，可按圖3的結(jié)構(gòu)進行設(shè)計：在數(shù)據(jù)層面上，公共數(shù)據(jù)可以用來記錄租戶自身的信息，每個租戶中用戶的個數(shù)，租戶操作的一些信息，客戶數(shù)據(jù)指租戶間單獨的仿真模型以及仿真數(shù)據(jù)。通過底層數(shù)據(jù)的合理劃分，租戶能夠通過驗證，利用上層的共享的軟件只能訪問租戶自己的數(shù)據(jù)區(qū)，而相對其他的租戶，數(shù)據(jù)具有隔離和安全性。

在這樣的層級架構(gòu)中，不同的應(yīng)用程序會組成不同的服務(wù)，為不同的租戶提供仿真服務(wù)，而在數(shù)據(jù)基礎(chǔ)層中，客戶數(shù)據(jù)管理根據(jù)通過公共數(shù)據(jù)區(qū)中記錄的租戶信息來判斷租戶的訪問權(quán)限，并在成功登錄操作后在租戶自己的客戶數(shù)據(jù)區(qū)存放仿真計算結(jié)果，或從中提取已完成的仿真結(jié)果展現(xiàn)給登陸租戶。

4.1.2 海量多租戶負載均衡 高效能仿真云環(huán)境下的多租戶技術(shù)不但是要保證數(shù)據(jù)的安全和隔離，整個系統(tǒng)能支持海量的仿真用戶，并且還能保證仿真運行的高效性。針對復(fù)雜系統(tǒng)按照HLA標(biāo)準(zhǔn)規(guī)范組件仿真系統(tǒng)，RTI的體系結(jié)構(gòu)模型使用的是層次式結(jié)構(gòu)模型，這樣的結(jié)構(gòu)能夠減少全局操作的延遲，數(shù)據(jù)通信的高效，從而提高仿真系統(tǒng)運行的效率。

圖3 多租戶的數(shù)據(jù)架構(gòu)

但在云環(huán)境下，就帶來一個問題，高效能仿真云中，每個計算節(jié)點都可以作為RTI中心服務(wù)器，如果仿真系統(tǒng)很大，會對網(wǎng)絡(luò)帶來很大的壓力。因此，在為用戶分配仿真環(huán)境時，盡量避免將不同仿真系統(tǒng)的RTI中心服務(wù)器分配在不同的計算節(jié)點上。如果在海量用戶存在情況下，即仿不同用戶的仿真系統(tǒng)數(shù)量大于高效能云環(huán)境的計算節(jié)點，可以將仿真系統(tǒng)較小，即通信量較小的兩個或多個RTI中心服務(wù)器部署在同一個仿真節(jié)點中。

將仿真高效能云資源建模，并進行實施監(jiān)控，作為多個仿真系統(tǒng)部署的依據(jù)，模型如下［13］：

與高性能計算中心所建立的資源模型不同之處在于高性能計算中心是將計算任務(wù)進行提交，進行多核并行計算，因此不考慮網(wǎng)絡(luò)因素。但多學(xué)科協(xié)同仿真中，多個仿真聯(lián)邦，仿真模型之間存在著頻繁的交互，因此網(wǎng)絡(luò)帶寬嚴重影響仿真運行效率以及可靠性，因此除了要均衡計算節(jié)點資源，還需要均衡網(wǎng)絡(luò)帶寬資源。

4.2 面向復(fù)雜系統(tǒng)高性能RTI技術(shù)面向復(fù)雜系統(tǒng)的高性能RTI技術(shù)主要分為兩個方面，第一，將RTI運行在高性能計算機上，以提高RTI本身的通信速度。第二，RTI能夠支撐復(fù)雜系統(tǒng)中所包含的定性系統(tǒng)，定量系統(tǒng)，連續(xù)系統(tǒng)以及離散系統(tǒng)的仿真。

本文的高性能RTI主要是服務(wù)復(fù)雜系統(tǒng)，包含定性，定量，連續(xù)，離散系統(tǒng)所組成的更大的復(fù)雜系統(tǒng)能夠在RTI上進行協(xié)同仿真。

在第3章中提出的高效能仿真云架構(gòu)中，RTI中心服務(wù)器中的仿真推進管理單元的任務(wù)就是完成復(fù)雜仿真系統(tǒng)的子系統(tǒng)的分配部署，將一類系統(tǒng)（如連續(xù)子系統(tǒng)，離散子系統(tǒng)）分配在單一一個或多個節(jié)點中，使得在一個節(jié)點中不出現(xiàn)兩類仿真子系統(tǒng)，對不同的仿真子系統(tǒng)可以使用不同的時間推進機制，例如對離散系統(tǒng)使用事件推進機制，連續(xù)系統(tǒng)使用時間推進機制，在子系統(tǒng)之間存在協(xié)同交互時，RTI服務(wù)器采用事件推進機制，這樣可以保證各子系統(tǒng)的高效性，并且子系統(tǒng)之間能夠進行協(xié)同仿真。

4.3 高效能仿真云環(huán)境下的仿真容錯技術(shù)仿真系統(tǒng)的容錯的重點主要包含兩個方面的內(nèi)容：第一，仿真模型失效檢測，第二，錯誤后的仿真恢復(fù)。

4.3.1 仿真模型失效檢測 根據(jù)仿真運行的過程中，仿真實例是被分配到不同的核，CPU以及節(jié)點上運行的。將失效等級分為三個等級：①Core失效，②CPU失效，③節(jié)點失效。

目前針對失效檢測的方法大多使用周期心跳的方法，這種方法是運行過程中仿真節(jié)點主動按周期發(fā)送心跳信號或主程序在周期內(nèi)進行心跳檢測，這種方法在計算機節(jié)點檢測中應(yīng)用非常廣泛，用于檢測計算機是否宕機。但基于HLA規(guī)范的仿真系統(tǒng)，這種心跳法除了影響仿真數(shù)據(jù)通訊之外，還會由于收到網(wǎng)絡(luò)延遲等產(chǎn)生失效誤判。而且計算節(jié)點沒有宕機，但仿真對象“死掉”這種情況無法及時檢測。

因此在系統(tǒng)中設(shè)計并實現(xiàn)仿真錯誤點檢測單元，其原理類似計算機心跳的方式，在每隔固定周期內(nèi)監(jiān)控仿真聯(lián)邦、仿真對象是否依舊存在，但不同的是不是簡單的查詢計算機在線的網(wǎng)絡(luò)心跳方式，而是在仿真對象管理單元為每個仿真對象在不同的核上創(chuàng)建仿真線程后，對每一個仿真線程、CPU進程進行監(jiān)控，并采用主動“推”的方式告訴RTI仿真對象是否“活著”，這種方法能夠及時發(fā)現(xiàn)仿真運行過程中的仿真錯誤。

4.3.2 仿真過程中的數(shù)據(jù)保存 在仿真系統(tǒng)運行過程中，設(shè)置一個共享數(shù)據(jù)區(qū)，每個仿真成員在仿真數(shù)據(jù)交互的同時將交互的數(shù)據(jù)類型、數(shù)據(jù)內(nèi)容、數(shù)據(jù)來源對象和數(shù)據(jù)的目的對象等數(shù)據(jù)記錄到仿真系統(tǒng)的共享數(shù)據(jù)區(qū)，并且在一定的時間段做一個仿真時間點。對此仿真時間點當(dāng)仿真系統(tǒng)一個或多個仿真成員發(fā)生錯誤時，共享數(shù)據(jù)區(qū)記錄了這個仿真成員在之前所接收和發(fā)送的所有數(shù)據(jù)，以便于仿真恢復(fù)使用。

在檢測到仿真系統(tǒng)中一個或多個仿真節(jié)點失效后，將整個仿真系統(tǒng)進行回退，回退到上一個記錄的仿真時間點，健康存在的仿真成員處于等待狀態(tài)，而已經(jīng)出錯的仿真成員能夠重新加入到仿真聯(lián)邦中，并且能夠讀取共享數(shù)據(jù)區(qū)中跟自己有關(guān)的仿真數(shù)據(jù)，以獲得其他仿真成員發(fā)送給自己的數(shù)據(jù)消息，進行“離線”推進，當(dāng)推進到時間記錄點時，標(biāo)志著此時的整個仿真系統(tǒng)的仿真狀態(tài)已經(jīng)達到此成員出錯前的狀態(tài)，然后開始同時“在線”進行仿真推進，繼續(xù)仿真運行。

5 結(jié)語

本文針對越來越復(fù)雜的仿真系統(tǒng)對仿真環(huán)境提出的新需求，以及根據(jù)云計算理念所要求對仿真資源應(yīng)用的新模式，提出了面向復(fù)雜系統(tǒng)高效能仿真云環(huán)境，總結(jié)并提煉了其中的關(guān)鍵技術(shù)，首先提出了高效能仿真云的體系架構(gòu)，其次，對基于云計算的仿真系統(tǒng)多租戶技術(shù)，面向復(fù)雜系統(tǒng)高性能RTI技術(shù)以及高效能仿真云環(huán)境下的仿真容錯技術(shù)展開研究，并提出了相應(yīng)的研究方法。從而能夠解決在大規(guī)模、復(fù)雜系統(tǒng)工程建模仿真過程中面臨的協(xié)同互操作，可重用性等已存在的問題，并且保證仿真的運行效率以及仿真運行的可靠性。

［1］李伯虎，柴旭東，侯寶存，等.復(fù)雜工程系統(tǒng)高效能仿真技術(shù)中的幾個問題［J］.高性能計算發(fā)展與應(yīng)用，2010，33：3-12.

［2］李伯虎，柴旭東，侯寶存，等.一種基于云計算理念的網(wǎng)絡(luò)化建模與仿真平臺——“云仿真平臺”［J］.系統(tǒng)仿真學(xué)報，2009，21（17）：5292-5299.

［3］Draft Standard for Modeling and Simulation（M&S）High LevelArchitecture（HLA）-Object Model Template（OMT）Specification［S］.2008.

［4］Draft Standard for Modeling and Simulation（M&S）High LevelArchitecture（HLA）-Framework and Rules［S］. 2008.

［5］Draft Standard for Modeling and Simulation（M&S）High LevelArchitecture（HLA）-Interface Specification［S］. 2008.

［6］Fujimoto R，Mclean T，Perumalla K，et al.Design of High Performance RTI Software［C］//Distributed Simulation and Real Time Applications，IEEE ACM International Symposium onIEEE Computer Society，2000：89.

［7］Steinman J S.WarpIV Kernel：Real Time HPC-RTI Prototype［C］//Proceedings of the Spring Simulation Interoperability Workshop，05S-SIW-071，2005.

［8］Adelantado M.HP-CERTI：Towards a high performance，high availability open source RTI for composable simulations［M］.04F-SIW-014.Orlando，USA：IEEE，2004.

［9］梁洪波，柳林，等.高性能RTI自適應(yīng)通信機制研究［J］.國防科技大學(xué)學(xué)報，2012，34（3）：148-153.

［10］周彥，戴劍偉.HLA仿真程序設(shè)計［M］.北京：電子工業(yè)出版社，2002.

［11］Guo C J，Sun W，Huang Y，et al.A Framework for Native Multi-Tenancy Application Development and Management［C］//E-Commerce Technology，IEEE International Conference on，and Enterprise Computing，E-Commerce，and E-Services，IEEE International Conference onIEEE Computer Society，2007：551-558.

［12］蔡維德.云計算中的多租戶及多租戶架構(gòu)［R］.北京：中國航天科工集團第二研究所，2013.

［13］Xing C，Chai X D，Al Q W E.Simulation Job Scheduling on Clusters with Heterogeneous Scheduling Systems［C］//AsiaSim2013，CCIS 402，2013：403-408.

Research on architecture and application technology of high efficiency simulation cloud for complex systems

XING Chi1，CHAI Xudong2
（1.College of Automation Science and Electrical Engineering，Beihang University，Beijing 100083，China，2.Beijing Simulation Center，Beijing 100854，China）

With the expanding simulation scale of complex engineering systems，requirements of modeling and simulation accuracy continue to increase，which highly demand on simulation systems and simulation run support environment.In such a case，this paper first proposed the architecture of high efficiency simulation cloud，which is supported by high performance simulation computer，and propose the key technologies of high efficiency simulation cloud.Secondly，the paper is in depth research on key technologies，such as multi-tenant for simulation system，high performance RTI for complex system，and fault tolerance in the process of the simulation run which run on the high efficiency simulation cloud environment.Finally，this paper gives the corresponding research and solutions.By this method not only can we solve problems that already exist，such as collaborative interoperability，simulation model reuse issue in the process of largescale，complex systems engineering modeling and simulation，but also ensure reliability and efficiency when the simulation runs.

complex system；high efficiency simulation cloud；multi-tenant；high performance RTI（run time infrastructure）；fault tolerance

TP391.9

A

10.13244/j.cnki.jiwhr.2015.06.008

1672-3031（2015）06-0449-07

（責(zé)任編輯：李福田）

2015-07-10

科技部863項目（2013AA041302）；新型分析仿真及綠色設(shè)計軟件開發(fā)

邢馳（1984-），男，陜西人，博士生，主要從事導(dǎo)航制導(dǎo)與控制方向研究。E-mail：xingchi09@163.com