王東煜,張佳樂，鄧志龍

(1.河北旅游職業(yè)學(xué)院 信息技術(shù)系,河北 承德,067000；2.廣西南寧職業(yè)技術(shù)學(xué)院,廣西 南寧530000)

集群系統(tǒng)實(shí)時(shí)并行測試裝置開發(fā)中,對軟件開發(fā)速度與軟件性能常常必舍其一。某些情況下，測試裝置已經(jīng)疊加在現(xiàn)有的高層大量復(fù)制和通信包上，例如PVM機(jī)[1]和陣列編程語言ZPL，盡管延用存儲(chǔ)共享模式，但對分布式存儲(chǔ)而言，既可以使用PVM也可以使用MPI進(jìn)行消息傳遞。而在另一些情況下，使用低層基元如Unix rsh、套接字應(yīng)用程序編程接口。本文將單處理器并行編程語言、并元語言(CML)[2]擴(kuò)展到一個(gè)集群系統(tǒng)。將CML語言從其基本功能語言格式翻譯成C編程語言代碼。現(xiàn)有的并行語言無法反映基于事件的CML語言的通信模式[3],故而采取對可用并行基元進(jìn)行基準(zhǔn)分析。研究Mosix、MIP-2及Linux基本工作機(jī)制：遠(yuǎn)程進(jìn)程調(diào)用（RPC）、信息和套接字等。由于這些系統(tǒng)所需的軟件類型各有不同，故選上述幾種系統(tǒng)進(jìn)行本次實(shí)驗(yàn)。MIP-2[4]是一種著名的消息傳遞系統(tǒng)，由資料庫、服務(wù)器和在操作系統(tǒng)應(yīng)用程序構(gòu)成。Mosix[5]由Linux內(nèi)核擴(kuò)展程序組成以便將程序透明遷移至遠(yuǎn)程節(jié)點(diǎn)。盡管Mosix可用作吞吐量引擎，但這方面的研究人員[6]則建議充當(dāng)集群計(jì)算機(jī)的并行應(yīng)用程序，如分子動(dòng)力學(xué)模擬。盡管從上述兩方面來說Linux操作系統(tǒng)是基礎(chǔ)性的，但本身存在低層機(jī)制，如套接字API和RPC2[7-8]，能夠直接支持并行處理。除了對性能進(jìn)行研究，程序執(zhí)行人員還應(yīng)遵循配置簡單、編程、調(diào)試方便的原則。

本文在155 Mb/s ATM網(wǎng)絡(luò)計(jì)算機(jī)上將CORBA、ACE C++通信包資料庫與Socket模式C語言的軟件進(jìn)行對照。針對醫(yī)療存儲(chǔ)區(qū)域的網(wǎng)絡(luò)應(yīng)用，CORBA控制信號(hào)與套接字API調(diào)用整合在一起進(jìn)行批量數(shù)據(jù)的傳輸，結(jié)果發(fā)現(xiàn)網(wǎng)絡(luò)信道速率與端對端應(yīng)用程序的吞吐量不成比例，ATM網(wǎng)絡(luò)寬帶僅僅使用了40%。研究結(jié)果因此演變成所謂“吞吐量保留問題”的一個(gè)例證。

1 系統(tǒng)的運(yùn)行環(huán)境

本文使用的集群系統(tǒng)包含經(jīng)兩個(gè)以太網(wǎng)交換機(jī)連接起來的37個(gè)處理節(jié)點(diǎn)。形象地將這些節(jié)點(diǎn)稱為“堆”。每個(gè)節(jié)點(diǎn)是一個(gè)小型因子穿梭箱 （XPC SN41G2型號(hào))，配置了AMD速龍XP 2800+巴頓內(nèi)核 (CPU頻率2.1 GHz)，512 KB二級緩存，雙通道 1 GB DDR333 RAM。圖1中的節(jié)點(diǎn)通過24個(gè)端口千兆位以太網(wǎng)交換機(jī) （D-Link生產(chǎn)，DGS-1024T型號(hào)）連接起來。每臺(tái)交換機(jī)是非阻斷網(wǎng)絡(luò)模式，允許任何一對端口之間同時(shí)具有全雙工千兆位帶寬。每臺(tái)交換機(jī)可以通過服務(wù)器上的獨(dú)立網(wǎng)卡聯(lián)網(wǎng)，便于集群系統(tǒng)分成兩個(gè)區(qū)間。本文將實(shí)驗(yàn)范圍縮小至節(jié)點(diǎn)對節(jié)點(diǎn)的通信，而不考慮群體通信。不過在某些情況下，群體通信內(nèi)的區(qū)別因子可能不是聯(lián)網(wǎng)行為而是軟件執(zhí)行行為。

本文所用軟件Mosix[9-10]的open Mosix直接運(yùn)行在標(biāo)準(zhǔn)的Unix通信機(jī)制上。實(shí)驗(yàn)中使用Linux核心版本2.4.22；‘C’資料庫版本是 2.3.2；GNU gcc編輯軟件的版本3.2.3,MPICH版MPICH2-0.96p2。Mosix是一種搶占式進(jìn)程遷移系統(tǒng)。由于運(yùn)行在內(nèi)核空間，Mosix對應(yīng)用程序就變得無法察覺。但由于存在簡易API，所以應(yīng)用程序可以注意到集群系統(tǒng)的配置及它們在系統(tǒng)內(nèi)的位置。

2 實(shí)驗(yàn)操作

Unix機(jī)制通常由Unix的BSD變體派生，數(shù)據(jù)以字節(jié)流形式傳輸；而系統(tǒng)V STREAMS由Unix的AT&T變體派生，數(shù)據(jù)以離散消息形式傳輸?；就ㄐ藕蜕蓹C(jī)制可以是Linux發(fā)布內(nèi)容的部分,也可以是預(yù)寫軟件包的部分。語義上定義好的包裝層在實(shí)驗(yàn)操作時(shí)圍繞軟件編寫好。不論實(shí)驗(yàn)過程中的軟件是MPI、MOSIX或Unix機(jī)制中的哪一種，均會(huì)對輕量級層進(jìn)行研究。

2.1 帶寬與延時(shí)實(shí)驗(yàn)

基準(zhǔn)代碼創(chuàng)建出兩個(gè)進(jìn)程，彼此可以相互通信。帶寬實(shí)驗(yàn)時(shí)，一個(gè)子進(jìn)程充當(dāng)發(fā)送端，另一個(gè)充當(dāng)接收端。延時(shí)實(shí)驗(yàn)時(shí)，單字節(jié)在兩個(gè)進(jìn)程之間來回1萬次，等傳輸次數(shù)均等后用鐘表計(jì)算往返用時(shí)。這兩個(gè)進(jìn)程可根據(jù)以下情況來創(chuàng)建：(1)視同一個(gè)處理器為父進(jìn)程；(2)若有兩個(gè)不同的處理器，任何一個(gè)都不作父處理器；(3)若有兩個(gè)不同的處理器，選任意一個(gè)作父處理器。

2.2 動(dòng)態(tài)進(jìn)程的創(chuàng)建實(shí)驗(yàn)

當(dāng)大量復(fù)制一個(gè)新進(jìn)程時(shí)，可以采取以下策略：

(1)允許系統(tǒng)自動(dòng)選擇合適的節(jié)點(diǎn)：具有MPI-2和MOSIX的特征。

(2)對目標(biāo)節(jié)點(diǎn)的選擇進(jìn)行明確控制：具有RPC及rsh調(diào)用的特征。

執(zhí)行MPI-2的當(dāng)前MPICH-2時(shí)，只允許對進(jìn)程進(jìn)行隨機(jī)遷移，越過了定向遷移。而且，如果兩個(gè)進(jìn)程一個(gè)接一個(gè)地大量復(fù)制，說明它們位于同一節(jié)點(diǎn)位置。MPI-2的確允許同時(shí)對兩個(gè)或多個(gè)同類進(jìn)程進(jìn)行大量復(fù)制，且在此情況下，當(dāng)前的MPICH-2將這些進(jìn)程分配到不同節(jié)點(diǎn)位置。

RPC可以將自動(dòng)生成的服務(wù)器和顧客代碼打包塞入可執(zhí)行進(jìn)程里。這種情況不常見，但對一些自動(dòng)代碼進(jìn)行再編譯還是有可能的。因此，在每個(gè)節(jié)點(diǎn)位置，RPC并行應(yīng)用程序都會(huì)有一個(gè)拷貝進(jìn)程充當(dāng)服務(wù)器，在特定節(jié)點(diǎn)位置也需要一個(gè)拷貝進(jìn)程來進(jìn)行初始化操作。每個(gè)RPC從一臺(tái)服務(wù)器上對新的應(yīng)用程序副本創(chuàng)建子進(jìn)程。

3 實(shí)驗(yàn)結(jié)果

3.1 帶寬及延時(shí)測定

圖1給出各通信機(jī)制的帶寬檢測結(jié)果，當(dāng)處理器內(nèi)部通信和消息大小在10～100 B時(shí)，盡管套接字互聯(lián)網(wǎng)域選項(xiàng)被選來進(jìn)行處理器間的通信，但套接字通信的效率最高。消息體積變大時(shí)，管道和fifos[11]成為最高效的機(jī)制，難以對它們進(jìn)行區(qū)分。當(dāng)消息≥10 000 B時(shí)，所有Unix機(jī)制的通信速率約為1 GB/s。

圖2是千兆位網(wǎng)絡(luò)連接的外部帶寬情況。由于Mosix代理機(jī)制的緣故，圖2中所有Mosix通信均通過主節(jié)點(diǎn) 1(即所謂的 Mosix通用主節(jié)點(diǎn),縮寫為 UHN)來執(zhí)行。由此可以發(fā)現(xiàn)所有的Mosix通信都不理想，其有效帶寬遠(yuǎn)遠(yuǎn)低于簡易套接字通信所達(dá)到的帶寬標(biāo)準(zhǔn)。套接字通信帶寬高達(dá)100 MB/s，可用帶寬的使用率達(dá)到80%，可見效率很高。

圖3中當(dāng)發(fā)出端節(jié)點(diǎn)是個(gè)UHN時(shí)，Mosix帶寬性能有所提高。但Mosix帶寬的有效使用率仍遠(yuǎn)低于套接字通信的。鑒于此MPI的通信性能穩(wěn)定徘徊在兩區(qū)間之間，當(dāng)大小在100 B～10 KB之間時(shí)，表現(xiàn)出特有的平穩(wěn)狀態(tài)。主要原因在于MPI版本內(nèi)部使用到一定緩沖面積。當(dāng)信息大小超出閾值時(shí)，會(huì)有不同（及更高效）的機(jī)制來代替。

表1為通信延時(shí)檢測結(jié)果。由表1可知,當(dāng)采取標(biāo)準(zhǔn)的Unix進(jìn)程內(nèi)通信（IPC）機(jī)制如管道、fifios、及 System V消息機(jī)制時(shí)，通信延時(shí)約為2 μs。這種通信僅適于同一臺(tái)處理器上的進(jìn)程之間進(jìn)行。同一臺(tái)處理器上互聯(lián)網(wǎng)域套接字通信導(dǎo)致的延時(shí)約為7 μs。表中的陰影部分表明延時(shí)數(shù)據(jù)是在Mosix操作時(shí)獲取到的。在單處理器上操作時(shí)，Mosix對通信延時(shí)的影響最小。表2只給出了單處理器帶/不帶Mosix機(jī)制的套接字通信延時(shí)性能的檢測結(jié)果。同時(shí)可知所需通信費(fèi)用較少。

3.2 動(dòng)態(tài)進(jìn)程創(chuàng)建的檢測

對采取不同機(jī)制以“大量復(fù)制”一個(gè)新進(jìn)程的用時(shí)進(jìn)行基準(zhǔn)分析。一臺(tái)1.8 GHz速龍XP 2200+PC（256 KB二級緩存、主內(nèi)存配置同Linux處理器的）的用時(shí)如表3所示，這些主要是SSH用時(shí)。由于實(shí)驗(yàn)不需確保內(nèi)部安全，所以未在集群系統(tǒng)上安裝SSH。而是增加了一個(gè)安全層到RSH，系統(tǒng)性能未見明顯的“飆升”情況。

表1 通信延時(shí)檢測結(jié)果

表2 Linux集群系統(tǒng)上處理器間各大量復(fù)制機(jī)制的性能結(jié)果對照

當(dāng)源節(jié)點(diǎn)（src）和終節(jié)點(diǎn)（dst）合二為一且為同一個(gè)時(shí)，MOSIX FORK幾乎與標(biāo)準(zhǔn)的FORK一樣高效。再看其他復(fù)制機(jī)制，情況依次如下：

鑒于單一大量復(fù)制通常耗時(shí)需1/10 s，所以不主張應(yīng)用RSH、SSH、或 RUNON執(zhí)行機(jī)制。RPC在一個(gè)千兆位的以太網(wǎng)上運(yùn)行時(shí)十分高效——比其他通信機(jī)制更節(jié)約網(wǎng)絡(luò)資源。

表3給出了Linux集群系統(tǒng)上檢測的前大量復(fù)制遠(yuǎn)程機(jī)制的性能執(zhí)行實(shí)驗(yàn)結(jié)果。計(jì)算MOSIX機(jī)制的平均用時(shí)，因?yàn)閁HN位置的不同，結(jié)果也不同，因此就有了更簡單的排序方法，如表4。表4、表5中的“指數(shù)”一欄就是相對性能的一種簡單指代。鑒于性能幅度較大，采取粗度量單位較為妥當(dāng)。指數(shù)1代指性能最佳。指數(shù)5表明速率降低了30%，依次類推等。

表3 Linux系統(tǒng)PC機(jī)處理器內(nèi)各大量復(fù)制機(jī)制的性能結(jié)果對照

本文在對各通信機(jī)制的性能進(jìn)行實(shí)驗(yàn)后，根據(jù)研究結(jié)果對其進(jìn)行了排序，如表5。有些機(jī)制在某些情況下表現(xiàn)不佳，較硬件標(biāo)準(zhǔn)還低，今后開發(fā)人員要特別注意這一點(diǎn)。實(shí)驗(yàn)結(jié)果表明，MPI-2及Mosix無論在大量復(fù)制還是通信延時(shí)方面均存在廣泛可比性。不過，Mosix機(jī)制下的通信帶寬較低。若Mosix要成為實(shí)時(shí)或高帶寬應(yīng)用程序之選，需要對之進(jìn)行優(yōu)化。鑒于本文旨在探討Mosix大量復(fù)制的透明度情況，故未對Mosix負(fù)荷平衡性能進(jìn)行研究。低層通信機(jī)制的性能明顯優(yōu)于高層軟件數(shù)據(jù)包的，這給因便捷或可遷移性而帶來的收益提出了質(zhì)疑。

表4 實(shí)驗(yàn)機(jī)器上各大量復(fù)制機(jī)制的性能執(zhí)行結(jié)果排列

表5 實(shí)驗(yàn)機(jī)器上各大量復(fù)制機(jī)制的簡易排序

總之，選用傳輸軟件用于集群系統(tǒng)仍是至關(guān)重要的決策。不論特定的并行計(jì)算模型有何優(yōu)點(diǎn)，最終都得根據(jù)其性能表現(xiàn)情況做出判斷。但是，由于對傳輸軟件的重要性關(guān)注度更高，所以執(zhí)行人員就更能解決性能方面的瓶頸問題。今后針對是什么樣的傳輸軟件架構(gòu)才能提高通信性能和大量復(fù)制性能這一問題,還需進(jìn)一步探討，可以從其底層結(jié)構(gòu)如緩沖結(jié)構(gòu)、軟件分層結(jié)構(gòu)以及與操作系統(tǒng)內(nèi)核交互作用情況等角度來研究。

[1]ABRAHAM A,THOMAS J.Distributed intrusion detection systems：a computational intelligence approach.In：Abbass HA,Essam D,editors.Applications of information systems to homeland security and defense.USA：Idea Group Inc.Publishers,2005：1051-1055.

[2]KABIRI P,GHORBANI A A.Research on intrusion detection and response：A survey.International Journal on Information Security,2005,1(2)：84-102.

[3]ALIPIO P,CARVALHO P,NEVES J.Using CLIPS to Detect Network Intrusion[J].Lecture Notes in Computer Science,2003：341-354.

[4]VIGNA G,ECKMAN S,KEMMERER R.The STAT tool suite[J].Proceedings of the DARPA Information Survivability Conference and Exposition 2000(2)：1046-1050.

[5]KANTZAVELOU I,KATSIKASS.An attack detection system for secure computer systems outline of the solution[C].Proceedings of the IFIP TC11 13th International Conference on Information Security,1997：123-135.

[6]DOYLE J,KOHANE I,LONG W,et al.Event recognition beyond signature and anomaly[C].Proceedings of the 2001 IEEE Workshop on Information Assurance and Security,2001：170-174.

[7]KIM D,NGUYEN H,PARK J.Genetic algorithm to improve svm-based network intrusion detection system[C].Proceedings of the 19th International Conference on Advanced Information Networking and Applications(AINA),2005(2)：155-158.

[8]CHAVAN S,SHAH K,DAVE N,et al.Adaptative neurofuzzy intrusion detection systems[C].Proceedings of the 2004 International Conference on Information Technology：Coding and Computing,2004(1)：70-74.

[9]HELMER G,WONG J,HONAVAR V,et al.Lightweight agents for intrusion detection[J].Journal of Systems and Software,2003(67)：109-122.

[10]LAZAREVIC A,ERTOZ L,KUMAR V,et al.A comparative study of anomaly detection schemes in network in trusion detection[M].Proceedings of the SIAM International Conference on Data Mining,2003：121-130.

[11]VALDES A,SKINNER K.Adaptive,model-based monitoring for cyber attack detection[M].Proceedings of RAID 2000：80-92.