邢　馳，李伯虎

(1．北京航空航天大學(xué)自動化科學(xué)與電氣工程學(xué)院，北京100191; 2．北京仿真中心，北京100854; 3．北京市復(fù)雜產(chǎn)品先進(jìn)制造系統(tǒng)工程技術(shù)研究中心，北京100854; 4．復(fù)雜產(chǎn)品智能制造系統(tǒng)技術(shù)國家重點(diǎn)實(shí)驗室，北京100854)

?

Infiniband網(wǎng)絡(luò)架構(gòu)下RTI通信機(jī)制研究

邢馳1，2，李伯虎1，3，4

(1．北京航空航天大學(xué)自動化科學(xué)與電氣工程學(xué)院，北京100191; 2．北京仿真中心，北京100854; 3．北京市復(fù)雜產(chǎn)品先進(jìn)制造系統(tǒng)工程技術(shù)研究中心，北京100854; 4．復(fù)雜產(chǎn)品智能制造系統(tǒng)技術(shù)國家重點(diǎn)實(shí)驗室，北京100854)

摘要:復(fù)雜系統(tǒng)的協(xié)同仿真中需要運(yùn)行支撐軟件RTI(Run Time Infrastructure)來解決異構(gòu)模型、異構(gòu)仿真軟件間的數(shù)據(jù)交互的問題．但RTI的TCP/IP通信機(jī)制卻無法使得HPC(High Performance Computer)的高速網(wǎng)絡(luò)Infiniband(IB)在仿真中發(fā)揮最大的優(yōu)勢．針對這一問題，本文提出在IB網(wǎng)絡(luò)架構(gòu)下基于RDMA(Remote Direct Memory Access)通信機(jī)制對RTI進(jìn)行優(yōu)化，并以開源HLA項目CERTI軟件為基礎(chǔ)，研制運(yùn)行在IB網(wǎng)絡(luò)下的IB-CERTI軟件，最后在不同網(wǎng)絡(luò)環(huán)境下進(jìn)行對比實(shí)驗，實(shí)驗結(jié)果證明了IB—CERTI軟件在仿真通信中的高效性，特別是仿真邦員間的交互數(shù)據(jù)量越大，越能提高仿真數(shù)據(jù)傳輸效率．

關(guān)鍵詞:Infiniband網(wǎng)絡(luò); RDMA; CERTI;高層體系結(jié)構(gòu);高性能計算機(jī)

1　引言

仿真規(guī)模不斷擴(kuò)大、系統(tǒng)復(fù)雜度提高，復(fù)雜系統(tǒng)［1，2］迫切需要仿真支撐環(huán)境提供更高的計算能力和網(wǎng)絡(luò)通信能力以及實(shí)時性來滿足仿真需求，傳統(tǒng)的計算機(jī)硬件和網(wǎng)絡(luò)架構(gòu)已經(jīng)無法支撐仿真技術(shù)的迅速發(fā)展．隨著高性能計算機(jī)和高速通信網(wǎng)絡(luò)技術(shù)的發(fā)展，高性能計算機(jī)HPC成為HLA(High Level Architecture)新的硬件環(huán)境，HPC-HLA也成為了仿真技術(shù)的研究新熱點(diǎn)．

HPC多核的特點(diǎn)以及HPC節(jié)點(diǎn)之間的高速通信網(wǎng)絡(luò)能夠為HLA仿真提供多種的通信環(huán)境和通信方式［3］，如在一個計算節(jié)點(diǎn)內(nèi)可采用共享內(nèi)存方式、計算節(jié)點(diǎn)間通過IB網(wǎng)絡(luò)連接、連接半實(shí)物仿真器以及外部子系統(tǒng)則可使用以太網(wǎng)．目前比較成熟的RTI軟件，均支持TCP/IP通信機(jī)制，此外也有部分商業(yè)公司或研究人員將共享內(nèi)存式的通信機(jī)制加入到RTI軟件中，如Richard Fujimoto等在SMP(Symmetric Multi-Processor)的硬件環(huán)境下為FDK增加了共享內(nèi)存通信［4］;法國國家航天航空研究中心基于CERTI實(shí)現(xiàn)了共享內(nèi)存通信的SHM-CERTI，并用于飛機(jī)的研制［5］;國防科技大學(xué)姚益平教授團(tuán)隊針對高性能計算平臺的高性能層次式通信環(huán)境，提出了SACM (Self-Adaptive Communication Mechanism)機(jī)制［6］(共享網(wǎng)絡(luò)/IB網(wǎng)絡(luò)/以太網(wǎng)自適應(yīng)RTI通信機(jī)制)，使得基于HPC的不同網(wǎng)絡(luò)通信環(huán)境下仿真系統(tǒng)能夠自適應(yīng)選擇通信方式進(jìn)行互聯(lián);作者所在團(tuán)隊的研究人員張智慧研究實(shí)現(xiàn)了基于共享內(nèi)存的COSIM-RTI-SHM［7］．綜上可見，HLA被移植到HPC上后，研究人員將RTI的底層通信作為一個新的研究領(lǐng)域，針對高性能計算機(jī)的RTI通信機(jī)制的研究大多是基于共享內(nèi)存機(jī)制的，即為單計算節(jié)點(diǎn)之內(nèi)，多核之間的通信方式，對于計算節(jié)點(diǎn)之間，基于IB網(wǎng)絡(luò)的RTI通信機(jī)制的研究還尚未有較為成熟的研究成果．

而基于IB［8，9］的RDMA協(xié)議在數(shù)據(jù)傳輸過程中能夠避免4次數(shù)據(jù)拷貝(發(fā)送和接收各兩次)，大大減少傳輸過程中消耗在數(shù)據(jù)復(fù)制上的時間，從而能夠縮短仿真運(yùn)行的時間．本文的研究內(nèi)容是基于IB網(wǎng)絡(luò)架構(gòu)下的RTI通信機(jī)制，通過對開源HLA項目CERTI軟件的分析和網(wǎng)絡(luò)通信的優(yōu)化，實(shí)現(xiàn)了IB-CERTI軟件，并編寫測試程序后在不同網(wǎng)絡(luò)環(huán)境下進(jìn)行多次的測試，給出了測試結(jié)果以及對結(jié)果進(jìn)行分析，最后給出研究結(jié)論．

2　Infiniband架構(gòu)與RDMA通信機(jī)制

2.1Infiniband架構(gòu)

IB［10］是一種硬件網(wǎng)絡(luò)架構(gòu)，它是支持多并發(fā)鏈接的轉(zhuǎn)換線纜技術(shù)，被用于高性能計算中心的節(jié)點(diǎn)之間的通信，計算機(jī)與存儲器之間的通信等，其擁有高帶寬、低延遲、低CPU開銷等特點(diǎn)，不同的配置下使用不同的編碼方式，能夠達(dá)到不同的速度和網(wǎng)絡(luò)延遲，數(shù)據(jù)交互能力可達(dá)到每端口2.5Gb/s或10Gb/s(根據(jù)硬件配置的不同)．

IB上能夠運(yùn)行多種不同的協(xié)議，主流的如IPoIB (Internet Protocol over InfiniBand)，RDS(Reliable Datagram Sockets)等，如圖1所示在單個計算機(jī)節(jié)點(diǎn)內(nèi)，需要交互的數(shù)據(jù)在不同的協(xié)議下如何被準(zhǔn)備好，而后通過硬件網(wǎng)絡(luò)板卡發(fā)送，其中陰影部TCP/IP協(xié)議不運(yùn)行在IB架構(gòu)下，只用來作為其他協(xié)議的對比說明．

TCP/IP協(xié)議:程序數(shù)據(jù)通過TCP/IP將需要交互的數(shù)據(jù)拷貝到NIC(Network Interface Card)準(zhǔn)備發(fā)送．

IPoIB協(xié)議:目的是為了兼容基于TCP/IP的軟件程序．傳統(tǒng)軟件的通信部分幾乎都是基于TCP/IP的，為了能夠在IB網(wǎng)絡(luò)下運(yùn)行，IPoIB才被提出，此部分對用戶完全透明，用戶可以將基于TCP/IP的程序不做任何改動運(yùn)行在IB網(wǎng)絡(luò)下，以享用IB的高帶寬能力．同樣，RTI也能夠在不進(jìn)行任何修改的情況下運(yùn)行在具有IB網(wǎng)絡(luò)的高性能計算機(jī)上．但I(xiàn)PoIB的核心還是TCP/IP，所以通信效率受到其制約．

RDS協(xié)議: Oracle公司基于IPC(Inter Process Communication)的協(xié)議，目的是替代效率低下的TCP/IP協(xié)議．TCP/IP協(xié)議本身復(fù)雜，需要較大的網(wǎng)絡(luò)開銷，RDS能夠減少CPU參與通信的開銷，并能夠減少網(wǎng)絡(luò)延遲．

RDMA協(xié)議:一種繞開OS(Operating System)的協(xié)議，在數(shù)據(jù)準(zhǔn)備與數(shù)據(jù)發(fā)送過程中完全不需要操作系統(tǒng)內(nèi)核參與．

通過以上對比，IPoIB，RDS等協(xié)議需要操作系統(tǒng)參與，并且要做數(shù)據(jù)拷貝操作，而RDMA完全不需要操作系統(tǒng)參與，無需數(shù)據(jù)拷貝，能夠釋放CPU，使通信性能最大化．因此本文選擇RMDA作為Infiniband下RTI運(yùn)行的通信機(jī)制．

2.2Infiniband的RDMA通信機(jī)制

2.2.1RDMA

在IB的架構(gòu)中，能夠支持遠(yuǎn)程直接內(nèi)存訪問(RDMA)．DMA (Direct memory access)技術(shù)是設(shè)備能夠直接訪問主存儲器，而不經(jīng)過CPU的介入，同理RDMA (Remote DMA)是一個設(shè)備能夠直接訪問遠(yuǎn)程計算機(jī)上的內(nèi)存，而不會中斷該系統(tǒng)上的CPU的運(yùn)行進(jìn)程．

2.2.2RDMA與TCP/IP

TCP/IP和RDMA的通信機(jī)制如圖2所示．

從TCP/IP［11］的通信機(jī)制可以看出，在整個數(shù)據(jù)傳輸過程中，有以下多次數(shù)據(jù)的拷貝:①從應(yīng)用程序到系統(tǒng)內(nèi)核的拷貝;②從系統(tǒng)內(nèi)核到網(wǎng)卡設(shè)備數(shù)據(jù)緩沖區(qū)的拷貝．此外，網(wǎng)絡(luò)層由于網(wǎng)絡(luò)最大傳輸單元(MTU)的限制對傳輸層傳來的數(shù)據(jù)包進(jìn)行分片以及對分片的重新組合引起的拷貝．?dāng)?shù)據(jù)的拷貝需要CPU進(jìn)行參與，并且數(shù)據(jù)拷貝的速度跟CPU的核心內(nèi)存與CPU的時鐘頻率有直接關(guān)系．同時，因為IPoIB協(xié)議的根本核心也是運(yùn)行著TCP/IP協(xié)議，因此在IB架構(gòu)下，其只利用了IB架構(gòu)的帶寬，并沒有從通信原理上提高通信的效率．

從RDMA通信機(jī)制來看，數(shù)據(jù)能夠在無CPU和操作系統(tǒng)的參與下，通過HCA在兩個獨(dú)立節(jié)點(diǎn)之間完成數(shù)據(jù)傳送，并且從數(shù)據(jù)發(fā)送到接收整個過程零拷貝．

綜上，RDMA因為沒有進(jìn)行數(shù)據(jù)多次復(fù)制具有低延遲的特性，同時操作系統(tǒng)與CPU不參與數(shù)據(jù)拷貝，能夠使CPU完全專注于計算，此外高帶寬以及減少內(nèi)存帶寬的瓶頸等這些特點(diǎn)，能夠極大的提高網(wǎng)絡(luò)通信的速率和效率．

將傳統(tǒng)以TCP/IP通信機(jī)制的RTI軟件升級為RDMA通訊機(jī)制，以支持復(fù)雜系統(tǒng)在HPC上求解與協(xié)同仿真運(yùn)行，是提高仿真運(yùn)行速度、縮短仿真運(yùn)行耗時的重要途徑．為了驗證RDMA通信機(jī)制下，RTI能夠在HPC上提升仿真效率，本文選擇開源HLA項目CERTI軟件進(jìn)行優(yōu)化，并給出驗證的結(jié)果與分析．

3　基于RDMA通信機(jī)制的IB-RTI

通過理論分析可得出基于RDMA通信機(jī)制的RTI，能夠在Infiniband網(wǎng)絡(luò)架構(gòu)下極大的發(fā)揮高速網(wǎng)絡(luò)的特性，以提高仿真效率、縮短仿真時間．本章中選擇開源RTI軟件CERTI作為優(yōu)化對象，進(jìn)行驗證．

3.1CERTI結(jié)構(gòu)及接口分析

在優(yōu)化CERTI通信底層之前，需要對CERTI的運(yùn)行機(jī)制以及各模塊的包含關(guān)系梳理清楚，然后重構(gòu)有關(guān)網(wǎng)絡(luò)通信的代碼，在保證各模塊代碼的完整功能的前提下，只優(yōu)化網(wǎng)絡(luò)通信部分．在這里著重分析RTIG 和RTIA的內(nèi)部層次結(jié)構(gòu)和運(yùn)行機(jī)制［12，13］．

3.1.1RTIG

相較于RTIA，RTIG的代碼結(jié)構(gòu)和運(yùn)行流程較為簡單，只負(fù)責(zé)讀取fed文件后進(jìn)行聯(lián)邦創(chuàng)建，并且監(jiān)聽個聯(lián)邦成員所發(fā)的消息，進(jìn)行相應(yīng)的處理和分發(fā)．RTIG的運(yùn)行流程如圖3所示．

RTIG的主要功能調(diào)用如圖4所示，RTIG在進(jìn)行網(wǎng)絡(luò)通信時，調(diào)用了LibCERTI中的SocektTCP和SocketUDP兩個功能函數(shù)，完成了網(wǎng)絡(luò)通信的整個操作．本文的研究內(nèi)容就是在不改變RTIG的運(yùn)行流程下，通過對通信部分代碼進(jìn)行修改和替換來優(yōu)化網(wǎng)絡(luò)通信，即修改圖4中陰影部分的功能模塊和功能函數(shù)．

3.1.2RTIA

RTIA是聯(lián)邦運(yùn)行中最復(fù)雜的部分，要完成六大類的服務(wù)，并且在時間管理服務(wù)的協(xié)調(diào)下，與其他五類服務(wù)進(jìn)行協(xié)作，保證聯(lián)邦成員的運(yùn)行，包括對聯(lián)邦成員屬性的更新，所有權(quán)轉(zhuǎn)移等操作，將完成后的操作通過網(wǎng)絡(luò)通信告知RTIG，同步所有狀態(tài)，即完成RTI中的回調(diào)功能．運(yùn)行流程如圖5所示．

RTIA的主要功能接口調(diào)用如圖6所示，上述的流程的調(diào)用方式可以清晰的看出，而在圖5和圖6中陰影部分，則是需要進(jìn)行網(wǎng)絡(luò)優(yōu)化的部分．

3.2IB-RTI網(wǎng)絡(luò)優(yōu)化

3.2.1數(shù)據(jù)結(jié)構(gòu)和消息格式

為了在優(yōu)化網(wǎng)絡(luò)通信接口時，不修改其他各程序模塊，而且能夠保證正常運(yùn)行，同時確保消息通過RDMA協(xié)議傳輸，數(shù)據(jù)的結(jié)構(gòu)和消息格式定義如下，其中消息內(nèi)容部分定義了數(shù)據(jù)發(fā)送的地址(主機(jī)位置+端口)、要發(fā)送/接受的數(shù)據(jù)緩存以及數(shù)據(jù)的長度;資源設(shè)置定義了跟RDMA相關(guān)的資源標(biāo)識．

在仿真運(yùn)行過程中，所有參與網(wǎng)絡(luò)通信的數(shù)據(jù)均封裝成上述消息格式，保證在接口調(diào)用的過程中不影響其他程序模塊的運(yùn)行．同時，動態(tài)的數(shù)據(jù)大小能夠動態(tài)的申請RDMA交互數(shù)據(jù)時所需要的內(nèi)存，能夠保證在有多個邦員在大量數(shù)據(jù)交互時不會因為臨時存儲內(nèi)存的浪費(fèi)而造成的通信效率的影響．

3.2.2IB-CERTI網(wǎng)絡(luò)主程序

IB-CERTI網(wǎng)絡(luò)優(yōu)化的主要工作是分析CERTI的運(yùn)行流程以及調(diào)用關(guān)系后，將程序中所涉及的底層基于TCP/IP協(xié)議的通信全部替換，本文的原型系統(tǒng)主要替換了LibCERTI和LibHLA中的SocketTCP的部分．對照TCP/IP建立連接和收發(fā)數(shù)據(jù)的流程，用RDMA編碼進(jìn)行相同功能的替換［14，15］，在程序中建立Server端和Client端的代碼，具體流程如圖7所示，其所實(shí)現(xiàn)功能與TCP/IP一樣．

RDMA的Server和Client的建立過程類似，與TCP/IP不同之處在于RDMA要自行注冊操作緩存，用于存放數(shù)據(jù)，并設(shè)置QPs(消息隊列對)，作為數(shù)據(jù)交換的信道，在使用完成后要及時釋放緩存，以免在進(jìn)行大量RDMA通信時，大量內(nèi)存被占用后未被及時釋放，造成緩存耗盡而無法繼續(xù)傳輸數(shù)據(jù)．

4　實(shí)驗結(jié)果與分析

RTI的測試分為功能測試與性能測試［6］，功能測試目的是測試RTI的六大類服務(wù)以及其支持服務(wù)的130個接口服務(wù);而性能測試是為了測試RTI的性能的優(yōu)劣，其中包括:最大傳輸率、屬性延遲、消息丟失率、時間推進(jìn)速率、tick()速率、交互延遲、注冊速率、屬性所有權(quán)轉(zhuǎn)移速率等．而本文主要測試RTI軟件的網(wǎng)絡(luò)性能，故測試內(nèi)容為最大傳輸率，即對象屬性更新/反射最大速率．

4.1實(shí)驗環(huán)境

本軟件是在開源RTI項目CERTI上設(shè)計并實(shí)現(xiàn)的基于IB網(wǎng)絡(luò)環(huán)境下的RDMA通信機(jī)制的IB-CERTI軟件．

在HLA仿真程序運(yùn)行中，模型間的互操作是由對象屬性值更新服務(wù)來完成的，在沒有時間管理服務(wù)參與仿真運(yùn)行的情況下，對象屬性值更新的速率直接反應(yīng)RTI的通信性能，因此測試系統(tǒng)中聯(lián)邦成員、對象之間沒有時間管理參與，只有對象屬性更新服務(wù)等參與運(yùn)行．

實(shí)驗環(huán)境由3個高性能計算節(jié)點(diǎn)和3臺PC機(jī)組成，硬件環(huán)境和軟件操作系統(tǒng)的配置如表1所示．

表1　實(shí)驗環(huán)境配置

4.2測試程序

測試系統(tǒng)［5～7］為一個“消息傳遞游戲”，游戲規(guī)則是:總共有兩個Recorder，首先由R1發(fā)送一個消息給R2，然后R2在收到消息后變更接收到的累計次數(shù)，并給R1回復(fù)一個消息，同樣R1也記錄下所接收消息的累計次數(shù)，即成員R1首選向RTI發(fā)出屬性更新的請求，RTI將更新的屬性反射給成員R2，待R2收到反射后則向RTI發(fā)出屬性更新的請求，同樣RTI將更新的屬性反射給R1.為了測試結(jié)果足夠的精確，將上述的過程循環(huán)1萬次作為一個仿真運(yùn)行，其仿真運(yùn)行的時間即為屬性更新的延遲時間，并且每一個仿真運(yùn)行進(jìn)行12次，對每次運(yùn)行獲得的延遲時間做統(tǒng)計均值濾波(12次運(yùn)算結(jié)果中，去掉最大值和最小值，然后做10次均值)，得到的結(jié)果誤差最小，最后將得到的延遲時間除以屬性更新的次數(shù)(即t/2×10000)所得結(jié)果即為實(shí)驗結(jié)果．此外，不斷改變發(fā)送消息數(shù)據(jù)大小，從32字節(jié)到4096字節(jié)進(jìn)行變化，以此來觀察在不同的數(shù)據(jù)包情況下，RTI網(wǎng)絡(luò)通信的性能．

4.3結(jié)果與分析

測試結(jié)果如表2所示．

為了方便對比，將上述數(shù)據(jù)的結(jié)果以圖表分析．如圖8所示．

(1)在TCP/IP通信機(jī)制下，傳輸數(shù)據(jù)小于512字節(jié)時，其延遲時間與IPoIB與RDMA方式下的結(jié)果相當(dāng)，甚至在256字節(jié)之內(nèi)，其延遲時間要低于IPoIB的方式，可見TCP/IP通信機(jī)制下，端與端之間建立連接的速度要高于IPoIB方式．但數(shù)據(jù)大小增加時，TCP/IP下仿真延遲時間劇增，在數(shù)據(jù)大小為4096字節(jié)時，延遲時間約是IPoIB下的4.5倍，RDMA下的5.6倍．

(2)由于IB硬件結(jié)構(gòu)網(wǎng)絡(luò)高帶寬的特性，在數(shù)據(jù)包大小為4096之內(nèi)時，以IPoIB和RDMA兩種通信所得到的延遲時間相差不大，RDMA的延遲時間約為IPoIB的80％，而且隨著數(shù)據(jù)包的增大，延遲時間增加幅度很?。貏e指出在IPoIB下，當(dāng)數(shù)據(jù)包在2048時，數(shù)據(jù)傳輸?shù)难舆t時間最小，約為其他數(shù)據(jù)包耗時的一半．這是由于IBoIP默認(rèn)設(shè)置的MTU為2048，發(fā)送和接收過程不需要進(jìn)行分片和重組，避免了數(shù)據(jù)包分片和重組所需要的時間，因此在整個測試過程中2048的數(shù)據(jù)測試中網(wǎng)絡(luò)通信效率最高．

表2　實(shí)驗結(jié)果

此外，將三種通信方式下的多次測試結(jié)果以圖表形式分析，如圖9，圖10，圖11所示．

在TCP/IP方式下，多次實(shí)驗結(jié)果的延遲時間波動相對來說比較大，說明在端到端的屬性更新時存在著數(shù)據(jù)交互的網(wǎng)絡(luò)延遲，數(shù)據(jù)包越大時，網(wǎng)絡(luò)延遲越頻繁;相反RDMA下，多次測量的延遲時間變化波動不大，可見IB網(wǎng)絡(luò)低延遲的特性使得仿真運(yùn)行的效率更高．

上述實(shí)驗表明，在仿真運(yùn)行過程中，相比傳統(tǒng)以太網(wǎng)下的TCP/IP通信機(jī)制，IB網(wǎng)絡(luò)數(shù)據(jù)的交互能力更強(qiáng)，延遲時間更小，尤其是RDMA機(jī)制下，網(wǎng)絡(luò)數(shù)據(jù)交互的效率更高，從而仿真運(yùn)行的效率更高．實(shí)驗結(jié)果初步驗證了IB-CERTI軟件實(shí)現(xiàn)結(jié)構(gòu)，及其數(shù)據(jù)交互機(jī)制的高效性．

5　結(jié)束語

本文提出了基于Infiniband高速通信網(wǎng)絡(luò)架構(gòu)下的RTI通信的優(yōu)化方法，對開源HLA項目軟件CERTI進(jìn)行分析，定義了傳輸數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，并且以RDMA的通信方式優(yōu)化了CERTI的通信部分，完成了IB-CERTI軟件原型系統(tǒng)的研發(fā)．最后，在TCP/IP協(xié)議，IPoIB協(xié)議以及RDMA協(xié)議下分別進(jìn)行了實(shí)驗，實(shí)驗結(jié)果表明，基于RDMA協(xié)議的通信網(wǎng)絡(luò)能夠有效的提高仿真數(shù)據(jù)傳輸效率，從而縮短仿真運(yùn)行的時間．

RDMA通信協(xié)議不但能運(yùn)行在Infiniband網(wǎng)絡(luò)架構(gòu)下，同樣也能夠運(yùn)行在Ethernet網(wǎng)絡(luò)下，而高性能計算機(jī)的仿真資源有限，目前多數(shù)的仿真仍以傳統(tǒng)的計算機(jī)硬件和網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)，因此將RDMA協(xié)議應(yīng)用于傳統(tǒng)的Ethernet網(wǎng)絡(luò)，用于提高仿真效率勢在必行．

下一步的研究工作:在復(fù)雜系統(tǒng)的仿真運(yùn)行中，大量聯(lián)邦成員和仿真實(shí)體存在時，在頻繁的數(shù)據(jù)交互的情況下，對消息的延遲以及網(wǎng)絡(luò)帶寬承載能力的進(jìn)一步實(shí)驗和研究．

參考文獻(xiàn)

［1］Li B H，Chai X，Li T，et al．Research on High-Performance Modeling and Simulation for Complex Systems［M］．Concepts and Methodologies for Modeling and Simulation Springer International Publishing，2015.45－66.

［2］Li B H，Li T，Hou B，et al．Research on high-efficiency simulation technology for complex system［A］．Proceedings of the 2011 Grand Challenges on Modeling and Simulation Conference［C］．Society for Modeling＆Simulation International，2011.285－289.

［3］曹政，王達(dá)偉，劉新春，等．曙光5000高性能計算機(jī)多播網(wǎng)絡(luò)的設(shè)計［J］．電子學(xué)報，2011，39(2) : 481－488.CAO Zheng，WANG Da-wei，LIU Xin-chun，et al．Design of multicast network of dawning 5000 high performance computer［J］．Acta Electronica Sinica，2011，39(2) : 481－488.(in Chinese)

［4］Fujimoto R，McLean T，Perumalla K，et al．Design of high performance RTI software［A］．Distributed Simulation and Real-Time Applications，2000［C］．2000.89－96.

［5］Adelantado M．HP-CERTI: Towards a High Performance，High Availability Open Source RTI for Composable Simulations［M］．Orlando，USA: IEEE，2004.1－9.

［6］梁洪波，柳林，姚益平，等．高性能RTI自適應(yīng)通信機(jī)制研究［J］．國防科技大學(xué)學(xué)報，2012，34(3) : 148－153.LIANG Hongbo，LIU Lin，YAO Yiping et al．Research on self-adaptive communication mechanism for high performace RTI［J］．Journal of National University of Defense Technology，2012，34(3) : 148－153.(in Chinese)

［7］張智慧，李伯虎，柴旭東，等．一種面向共享內(nèi)存環(huán)境的高性能HLA/RTI原型系統(tǒng)［J］．系統(tǒng)仿真學(xué)報，2014，26 (2) : 315－322.ZHANG Zhi-hui，LI Bo-hu，CHAI Xu-dong，et al．HPHLA/RTI prototype oriented on shared memory environment［J］．Journal of System Simulation，2014，26(2) : 315 －322.(in Chinese)

［8］InfinBandTMTrade Associate．InfinBandTMarchitecture，specification volumnl release 1.1［S/OL］．http: / /www．infinibandta．org/specs，2006．

［9］Pfister G F．An introduction to the infiniband architecture ［J］．High Performance Mass Storage and Parallel I/O，2001，42: 617－632.

［10］陳凱，白英彩．網(wǎng)絡(luò)存儲技術(shù)及發(fā)展趨勢［J］．電子學(xué)報，2002: 30(S1)，1928－1932.CHEN Kai，BAI Yingcai．Technology and trend of network storage［J］．Acta Electronica Sinica，2002: 30(S1)，1928－1932.(in Chinese)

［11］樊秀梅，單志廣，張寶賢，陳輝．容遲網(wǎng)絡(luò)體系結(jié)構(gòu)及其關(guān)鍵技術(shù)研究［J］．電子學(xué)報，2008，36(1) : 161－170.FAN Xiu-meil，SHAN Zhi-guang，ZHANG Bao-xian，CHEN Hui．State—of-the art of the architecture and techniques for delay-tolerant networks［J］．Acta Electronica Sinica，2008，36(1) : 161－170.(in Chinese)

［12］Noulard E，Rousselot J Y．CERTI，An open source RTI，why and how［R］．Spring Simulation Interoperability Workshop，2009.

［13］Bréholée B．CERTI: Evolutions of the ONERA RTI Prototype［R］．Proceedings of the Fall Simulation Interoperability Workshop，Orlando，2002.

［14］Mellanox Technologies，Inc．．RDMA Aware Programming User Manual Rev1.2［EB/OL］．http: / /www．mellanox．com，2010-01.

［15］Mellanox Technologies，Inc．．ConnectX Family Programmer’s Reference Manual［EB/OL］．http: / /www．mellanox．com，2003-06-20.

邢馳男，1984年生于陜西省楊陵區(qū)．北京航空航天大學(xué)自動化科學(xué)與電氣工程學(xué)院博士研究生．研究方向為云仿真、云制造、高效能仿真．

E-mail: xingchi09@163.com

李伯虎男，1938年生于上海市．中國工程院院士，博導(dǎo)．研究方向為云制造、網(wǎng)絡(luò)化建模仿真等．

E-mail: bohuli100@ aliyun．com

Research on RTI Communication Mechanism on Infiniband Network Architecture

XING Chi1，2，LI Bo-hu1，3，4
(1．College of Automation Science and Electrical Engineering，Beihang University，Beijing 100191，China; 2．Beijing Simulation Center，Beijing 100854，China; 3．Beijing Complex Product Advanced Manufacturing Engineering Research Center，Beijing 100854，China; 4．State Key Laboratory of Intelligent Manufacturing System Technology，Beijing 100854，China)

Abstract:Collaborative simulation of complex systems need Run Time Infrastructure (RTI) software to solve the problem of data exchange between heterogeneous models and heterogeneous simulation software．But the TCP/IP communication mechanism of RTI cannot make HPC High Speed Network in the simulation which is the strongest advantages of Infiniband (IB)．To solve this problem，this research designs the RTI network optimization based on RDMA communication mechanism，which through the module decomposition and network optimization of CERTI software in open source HLA project，made the IB-CERTI software which run on IB．Eventually，in the experiment of comparison RTI software network performance under different network environment，the experiment results show the efficiency of the IB-CERTI software under simulation communication，especially the larger amount of interactive data between simulation federates，the more efficiency in improving simulation data transmission．

Key words:Infiniband network; remote direct memory access (RDMA) ; CERTI; high level architecture (HLA) ; high performance computer (HPC)

作者簡介

基金項目:國家863高技術(shù)研究發(fā)展計劃(No．2013AA041302)

收稿日期:2015-05-24;修回日期: 2015-09-25;責(zé)任編輯:藍(lán)紅杰

DOI:電子學(xué)報URL: http: / /www．ejournal．org．cn10．3969/j．issn．0372-2112．2016．02．012

中圖分類號:TP319

文獻(xiàn)標(biāo)識碼:A

文章編號:0372-2112 (2016) 02-0327-07