安勤玲

煙臺(tái)市食品藥品檢驗(yàn)所 山東 264000

0 引言

網(wǎng)絡(luò)地址轉(zhuǎn)換-協(xié)議轉(zhuǎn)換(NAT-PT)是一種IPv4/IPv6過渡時(shí)期采用的轉(zhuǎn)換技術(shù)，通過NAT-PT網(wǎng)關(guān)設(shè)備連接IPv6網(wǎng)絡(luò)和IPv4網(wǎng)絡(luò)，可以實(shí)現(xiàn)純IPv6節(jié)點(diǎn)和純IPv4節(jié)點(diǎn)之間的透明通信。當(dāng)IPv4和IPv6節(jié)點(diǎn)之間通信時(shí)，NAT-PT網(wǎng)關(guān)實(shí)現(xiàn)兩種IP協(xié)議的格式翻譯和地址的映射：NAT-PT網(wǎng)關(guān)將維護(hù)一個(gè)IPv4地址池，支持為IPv6網(wǎng)絡(luò)中的節(jié)點(diǎn)動(dòng)態(tài)分配IPv4地址和端口，并通過建立 NAT表維護(hù)地址端口映射關(guān)系，完成IPv4協(xié)議和IPv6協(xié)議的轉(zhuǎn)換。

NAT-PT技術(shù)對(duì) v4/v6網(wǎng)絡(luò)兩端的主機(jī)是透明的，運(yùn)行在不同版本網(wǎng)絡(luò)協(xié)議上的應(yīng)用程序不需做修改就能完成業(yè)務(wù)，較好地解決IPv4和IPv6的互通問題。但對(duì)于需要在應(yīng)用層協(xié)議的負(fù)載中攜帶IP層信息的應(yīng)用，可能會(huì)導(dǎo)致不能正確通信，如DNS地址查詢應(yīng)答報(bào)文中對(duì)應(yīng)被查詢域名的IP，在跨越v4/v6網(wǎng)絡(luò)時(shí)需要轉(zhuǎn)換成對(duì)應(yīng)協(xié)議格式，F(xiàn)TP協(xié)議在其控制連接中攜帶有FTP數(shù)據(jù)連接相關(guān)的IP地址/端口信息，SIP協(xié)議 INVITE應(yīng)答等消息中也攜帶該對(duì)應(yīng)主機(jī)所在網(wǎng)絡(luò)版本的IP地址，這些信息不做相應(yīng)的轉(zhuǎn)換翻譯在另一端將不能被正確識(shí)別，因此這些轉(zhuǎn)換工作都需要對(duì)應(yīng)的 ALG功能實(shí)現(xiàn)。

本文不側(cè)重于NAT-PT協(xié)議和應(yīng)用層網(wǎng)關(guān)ALG功能的具體實(shí)現(xiàn)，而側(cè)重于從整體上討論具有廣泛參考意義的基于網(wǎng)絡(luò)處理器的高性能應(yīng)用層網(wǎng)關(guān)設(shè)計(jì)。

1 NAT-PT實(shí)現(xiàn)基礎(chǔ)框架

傳統(tǒng)的網(wǎng)絡(luò)設(shè)備的開發(fā)，在硬件體系結(jié)構(gòu)上一般采取通用CPU和專用標(biāo)準(zhǔn)設(shè)備組成，或者采取基于ASIC的設(shè)計(jì)方案。第一種方案主要依靠軟件來實(shí)現(xiàn)功能，可擴(kuò)展性較強(qiáng)，但是其缺點(diǎn)也十分明顯的，處理能力較低，無法適應(yīng)現(xiàn)代高速網(wǎng)絡(luò)的要求。第二種方案以硬件的方式實(shí)現(xiàn)功能，能夠有效提高網(wǎng)絡(luò)設(shè)備的處理性能和速度，但是缺乏了靈活性，且成本較高。近年來，網(wǎng)絡(luò)處理器(Network Processor，NP)的出現(xiàn)給網(wǎng)絡(luò)設(shè)備的設(shè)計(jì)帶來新的選擇。網(wǎng)絡(luò)處理器采用了與傳統(tǒng)的處理器不同的設(shè)計(jì)，既有ASIC的高速處理能力，又有完全的可編程特性，是一種具備線速轉(zhuǎn)發(fā)和智能處理的方案。為了設(shè)計(jì)一個(gè)高性能的NAT-PT網(wǎng)關(guān)設(shè)備，使之能夠適應(yīng)高速的網(wǎng)絡(luò)環(huán)境，能夠達(dá)到線速1Gbps的要求，并且能夠?qū)?ALG數(shù)據(jù)處理進(jìn)行較為復(fù)雜的處理，我們采用 Intel IXP2400網(wǎng)絡(luò)處理器及其提供的IXA SDK軟件框架來做為NAT-PT設(shè)備的基礎(chǔ)框架。系統(tǒng)參考原型的系統(tǒng)框架結(jié)構(gòu)圖如圖1所示。

在NAT-PT系統(tǒng)原型的設(shè)計(jì)中，主要參考INTEL提供的IXP SDK設(shè)計(jì)模型，利用IXP2400網(wǎng)絡(luò)處理器中的8個(gè)微引擎(Micro Engine，ME)進(jìn)行普通網(wǎng)絡(luò)數(shù)據(jù)包的快速翻譯和收發(fā)功能，利用IXP2400的Xscale處理器進(jìn)行應(yīng)用層數(shù)據(jù)(異常)包的處理和實(shí)現(xiàn)系統(tǒng)的管理功能，其中異常包的處理包括需要進(jìn)行較為復(fù)雜轉(zhuǎn)換的 ALG數(shù)據(jù)包的處理。經(jīng)過測(cè)試，基于網(wǎng)絡(luò)處理的NAT-PT網(wǎng)關(guān)設(shè)備，能夠很好的達(dá)到了普通數(shù)據(jù)包1Gbps線速轉(zhuǎn)發(fā)的要求。但是，其應(yīng)用層網(wǎng)關(guān)(ALG)的處理性能不很理想，吞吐率低，不足 10Mbps。根據(jù)已有的網(wǎng)絡(luò)流量統(tǒng)計(jì)數(shù)據(jù)表明，網(wǎng)絡(luò)中數(shù)據(jù)流量的6%的數(shù)據(jù)屬于ALG處理的數(shù)據(jù)范疇，因此以設(shè)計(jì)總吞吐率為1Gbps的 NAT-PT設(shè)備為標(biāo)準(zhǔn)，ALG的吞吐率要求至少要達(dá)到60Mbps。

ALG功能是保證NAT-PT能夠順利進(jìn)行IPv4/IPv6網(wǎng)絡(luò)互聯(lián)互通的關(guān)鍵，因此如何設(shè)計(jì)出高性能的ALG，是NAT-PT網(wǎng)關(guān)設(shè)備能否成功的關(guān)鍵之一。下節(jié)將以FTP數(shù)據(jù)包從數(shù)據(jù)從輸入到輸出經(jīng)過的處理流程為例，逐步分析整個(gè) ALG處理流程中可能的性能瓶頸，并提出對(duì)應(yīng)的解決方案。本系統(tǒng)支持的其他需要做應(yīng)用層翻譯的協(xié)議，如 SIP、DNS，對(duì)數(shù)據(jù)包的處理流程基本相同，對(duì) FTP-ALG性能的分析和設(shè)計(jì)也適用于SIP-ALG，DNS-ALG。

圖1 原系統(tǒng)參考框架結(jié)構(gòu)圖

圖2 新設(shè)計(jì)系統(tǒng)體系結(jié)構(gòu)圖

2 高性能應(yīng)用層網(wǎng)關(guān)(ALG)設(shè)計(jì)分析

2.1 ALG處理流程分析

以FTP數(shù)據(jù)包的流程為例，數(shù)據(jù)包的處理主要經(jīng)過以下處理流程：

(1) 底層微引擎執(zhí)行數(shù)據(jù)包的接收和解包工作，并對(duì)數(shù)據(jù)包進(jìn)行分類，若此數(shù)據(jù)包需要ALG處理，則將此數(shù)據(jù)包的描述符通過 IXA 3.1 SDK的消息機(jī)制傳遞到Xscale層；

(2) Xscale接收到處理ALG的消息之后，通過IXP2400系統(tǒng)內(nèi)部總線讀取數(shù)據(jù)包緩沖，進(jìn)行IP頭部的V4/V6轉(zhuǎn)換，分析數(shù)據(jù)包的負(fù)載，將負(fù)載中需要翻譯的字段進(jìn)行數(shù)據(jù)轉(zhuǎn)換，并更新其傳輸層相關(guān)字段，此為 ALG的主要功能。最后進(jìn)行路由表的查找；

(3) Xscale將處理之后的ALG數(shù)據(jù)包描述符通過消息機(jī)制發(fā)送到ME，由ME查L(zhǎng)2(MAC層)表，組成完整的以太網(wǎng)幀，從相應(yīng)的端口發(fā)送。

2.2 Xscale處理能力分析

IXP2400中的核心部件是8個(gè)ME，ME擁強(qiáng)大的指令執(zhí)行單元，并且每個(gè)微引擎內(nèi)部有8個(gè)硬件線程，ME上的程序由微碼實(shí)現(xiàn)。經(jīng)測(cè)試，ME在接收包、解封裝包、包分類以及發(fā)送處理過程中可以達(dá)到 1Gbps的處理能力，相對(duì)與10Mbps的ALG流量而言，ME并不是ALG處理流程中的瓶頸。ALG處理功能大部分屬于字符串處理，ME使用的是類匯編的微碼來編程，不適合處理較為復(fù)雜的 ALG功能，因此必需傳遞給Xscale進(jìn)行處理。 Xscale主頻為600M，屬于嵌入式精簡(jiǎn)指令集處理器，雖然能夠使用高級(jí)語言編程進(jìn)行通用數(shù)據(jù)處理，但是其處理能力比其它通用CPU存在差距，同時(shí)Xscale還負(fù)責(zé)執(zhí)行整個(gè)系統(tǒng)的管理功能。經(jīng)過測(cè)試試驗(yàn)表明，在ALG輸入吞吐率從0-10Mbps的過程中，Xscale的負(fù)載迅速提高，當(dāng)?shù)竭_(dá)吞吐率達(dá)到10Mbps時(shí)，其CPU使用率接近100%，因此Xscale有限的處理能力是制約NAT-PT設(shè)備處理ALG性能的瓶頸之一。

為了解決Xscale的處理能力瓶頸，在單NP(1個(gè)Xscale+8個(gè)ME)的基礎(chǔ)上，我們提出基于PMC方式外接了一個(gè)處理能力更強(qiáng)的通用CPU(PowerPC，主頻1G， 512M DDR內(nèi)存，內(nèi)存總線64bit/133MHz，PCI總線64bit/66MHz)的方案，將ALG的處理功能任務(wù)轉(zhuǎn)移到PowerPC上，當(dāng)ME接收到數(shù)據(jù)包，并判斷其為 ALG數(shù)據(jù)時(shí)，不再提交給 Xscale，而直接提交給PowerPC進(jìn)行ALG處理，利用PowerPC在通用計(jì)算上的優(yōu)勢(shì)解決Xscale處理能力的瓶頸問題。新的系統(tǒng)框架結(jié)構(gòu)圖如圖2。

在新設(shè)計(jì)的系統(tǒng)中，在BSP驅(qū)動(dòng)層面將IXP2400的內(nèi)存直接映射到PCI地址空間之上，因此PowerPC可以直接通過PCI總線訪問到 IXP2400的內(nèi)存空間。同時(shí)也將原來的在Xscale的管理層面和應(yīng)用數(shù)據(jù)層面分開，使系統(tǒng)模塊功能更為清晰和獨(dú)立。

2.3 數(shù)據(jù)包拷貝性能分析

在系統(tǒng)原型的設(shè)計(jì)中，Xscale和ME通過系統(tǒng)內(nèi)部總線共享內(nèi)存，因此當(dāng)Xscale讀取數(shù)據(jù)包的緩沖數(shù)據(jù)時(shí)，訪存延遲低。而在新的設(shè)計(jì)中，PowerPC作為IXP 2400的一個(gè)外部設(shè)備，PowerPC只能通過PCI總線訪問IXP 2400的內(nèi)存。在PowerPC處理ALG數(shù)據(jù)之前，必需通過PCI總線讀取對(duì)應(yīng)數(shù)據(jù)包的數(shù)據(jù)，在處理結(jié)束之后再次通過PCI總線將新的數(shù)據(jù)包寫回，提交給ME進(jìn)行轉(zhuǎn)發(fā)。其中PrPMC的PCI總線的頻率僅為66MHz，因此PowerPC在拷貝數(shù)據(jù)包的過程中訪存延遲比Xscale直接通過系統(tǒng)內(nèi)部總線大。

為了更好測(cè)試拷貝對(duì)整體 ALG處理性能的影響，我們首先對(duì) PowerPC在沒有數(shù)據(jù)包拷貝的情況下進(jìn)行純數(shù)據(jù)翻譯處理，然后再加上數(shù)據(jù)包的功能進(jìn)行測(cè)試，比較不同包拷貝方式之間的性能差異。

測(cè)試結(jié)果表明PowerPC在沒有數(shù)據(jù)包拷貝的條件下，至少能夠達(dá)到每秒處理15,000個(gè)FTP數(shù)據(jù)包的性能，若每個(gè)FTP數(shù)據(jù)包為72byte，則吞吐率超過100Mbps。在此基礎(chǔ)之上，加入通過PCI總線，以PIO(Programmable I/O)方式進(jìn)行數(shù)據(jù)包拷貝的處理，并使用長(zhǎng)度為72byte的FTP包進(jìn)行測(cè)試，測(cè)試結(jié)果顯示PowerPC吞吐率下降至34Mbps。因此數(shù)據(jù)包拷貝的性能是整個(gè)新系統(tǒng)ALG處理吞吐率的瓶頸。

DMA(Direct Memory Access)是一種無需CPU的參與就可以讓外設(shè)與系統(tǒng) RAM 之間進(jìn)行雙向數(shù)據(jù)傳輸?shù)挠布C(jī)制，使用DMA可以使系統(tǒng)CPU從實(shí)際的I/O數(shù)據(jù)傳輸過程中擺脫出來，從而大大提高系統(tǒng)的吞吐率。經(jīng)過測(cè)試，以DMA方式代替PIO方式進(jìn)行數(shù)據(jù)包拷貝，PowerPC處理ALG的吞吐率可以提高到50Mbps。DMA方式是提高數(shù)據(jù)包拷貝速度的有效途徑，但是DMA方式的讀寫優(yōu)勢(shì)體現(xiàn)在處理大數(shù)據(jù)量的時(shí)候。在測(cè)試中，每次 DMA讀取的數(shù)據(jù)大小僅為72Bytes，因此并沒有發(fā)揮DMA的最佳性能。通過測(cè)試單純的DMA數(shù)據(jù)讀取，每次讀取的數(shù)據(jù)大小從逐漸變大，可以統(tǒng)計(jì)出DMA讀取性能與讀取數(shù)據(jù)大小之間的變化趨勢(shì)。測(cè)試時(shí)每一種大小的數(shù)據(jù)包大小均進(jìn)行 10次測(cè)試，記錄下每次讀取所消耗的時(shí)間，然后取其平均值作為讀取此該數(shù)值大小的數(shù)據(jù)包所消耗的時(shí)間，并根據(jù)計(jì)算出平均傳輸速率。圖 3為各種數(shù)據(jù)包大小與其平均速率之間的變化曲線圖。

測(cè)試結(jié)果中證明了DMA讀取速度隨著每次讀取數(shù)據(jù)的大小增大而提高，同時(shí)隨著每次讀取數(shù)據(jù)大小的增加，DMA讀取的速度提高的幅度也隨之減小。圖4是根據(jù)測(cè)試結(jié)果計(jì)算出的平均讀取每一個(gè)字節(jié)的耗時(shí)變化趨勢(shì)。不難得出如下結(jié)論：當(dāng)每次讀取大小增加到一定程度之后，再增加每次讀取數(shù)據(jù)的大小，對(duì)提高平均讀取速度已經(jīng)沒有太多作用，其平均每字節(jié)耗時(shí)已經(jīng)趨于穩(wěn)定。在DMA讀取中，為了保證高速讀取，PowerPC端的緩沖區(qū)必需是在SRAM中分配的，而PowerPC的SRAM是片內(nèi)的二級(jí)緩沖，預(yù)留給應(yīng)用程序使用的空間很小，因此必需選擇一個(gè)合適的緩沖大小，使其發(fā)揮最大效率。當(dāng)平均增加一個(gè)字節(jié)帶來的速率提高小于1Kbps的時(shí)，我們認(rèn)為沒有實(shí)際性能提高。因此，通過計(jì)算我們確定每次讀取大小為 5120Bytes的數(shù)據(jù)能夠發(fā)揮 DMA讀取方式的最佳性能。

圖3 DMA數(shù)據(jù)讀取速率測(cè)試結(jié)果

圖4 每字節(jié)平均耗時(shí)變化趨勢(shì)

ALG要處理的數(shù)據(jù)包一般大小在 64Bytes到 512Bytes之間，采取組包之后再使用DMA方式進(jìn)行拷貝的方案可以充分利用DMA讀取的性能。即在IXP2400中利用ME先將多個(gè)數(shù)據(jù)包組合成大小為5120Bytes的數(shù)據(jù)包集，并將此數(shù)據(jù)包集拷貝到指定的內(nèi)存空間中，然后再發(fā)送消息給PowerPC，通知其從指定內(nèi)存地址中使用 DMA方式整體拷貝到PowerPC的本地內(nèi)存，再進(jìn)行逐個(gè)數(shù)據(jù)包的拆分處理。經(jīng)過測(cè)試，在輸入數(shù)據(jù)包大小為72Bytes時(shí)，組包DMA拷貝方式的ALG處理吞吐率能夠達(dá)到65Mbps。此性能指標(biāo)較好的滿足系統(tǒng)對(duì)ALG的吞吐率的要求。

2.4 對(duì)ALG處理算法的優(yōu)化

影響 ALG處理性能除了硬件體系結(jié)構(gòu)上的因素之外，程序本身的效率也是關(guān)鍵因素之一。在設(shè)計(jì) ALG過程中，針對(duì)IXA3.1的SDK中一些如計(jì)算Hash值的算法進(jìn)行了優(yōu)化，以及優(yōu)化的系統(tǒng)函數(shù)調(diào)用，避免內(nèi)存波動(dòng)等措施。優(yōu)化后的測(cè)試表明，通過算法層面的優(yōu)化，能夠提高 ALG處理的性能。

3 性能測(cè)試結(jié)果

本節(jié)對(duì)NAT-PT網(wǎng)關(guān)設(shè)備ALG性能進(jìn)行全面的測(cè)試，主要考察在各種設(shè)計(jì)方案實(shí)施前后NAT-PT對(duì)FTP-ALG處理性能。以 Spirent公司的 SmartBits作為測(cè)試工具，通過SmartBits給NAT-PT發(fā)送v4 FTP數(shù)據(jù)包，同時(shí)接收轉(zhuǎn)化后的v6 FTP數(shù)據(jù)包，不斷提高發(fā)送速率，以NAT-PT開始出現(xiàn)丟包時(shí) SmartBits的發(fā)送速率作為最高吞吐率。試驗(yàn)連接圖如圖5所示。

圖5 測(cè)試環(huán)境拓?fù)浣Y(jié)構(gòu)

表1 改進(jìn)方案測(cè)試統(tǒng)計(jì)數(shù)據(jù)

由于 ALG數(shù)據(jù)大多屬于控制信息，因此單個(gè)數(shù)據(jù)包比較小，因此我們選取64Bytes，72Bytes，128Bytes，256Bytes和512Bytes的包作為性能測(cè)試包，可以較好的反應(yīng)出系統(tǒng)的實(shí)際性能。表1為具體的測(cè)試數(shù)據(jù)結(jié)果。

4 結(jié)論

本文從網(wǎng)絡(luò)設(shè)備的硬件體系結(jié)構(gòu)分析開始，逐步分析制約NAT-PT 實(shí)現(xiàn)ALG的性能關(guān)鍵瓶頸，得出Xscale是網(wǎng)絡(luò)處理器中在進(jìn)行大量通用計(jì)算處理時(shí)瓶頸的結(jié)論，提出了以外接方式添加通用處理器(PowerPC)的方案，以彌補(bǔ) Xscale的處理能力不足；為了解決PowerPC與網(wǎng)絡(luò)處理之間數(shù)據(jù)通信速度的問題，提出以DMA方式進(jìn)行數(shù)據(jù)讀取方案，并通過一系列的測(cè)試，分析測(cè)試數(shù)據(jù)確定出DMA方式數(shù)據(jù)讀取的最佳性能的參數(shù)，最后結(jié)合 ALG的具體實(shí)現(xiàn)，進(jìn)行的相關(guān)程序算法優(yōu)化，完成整個(gè)NAT-PT網(wǎng)關(guān)設(shè)備處理ALG性能的提升。最終經(jīng)過測(cè)試，證明按照方案實(shí)現(xiàn)的 ALG處理性能比原型系統(tǒng)提高了6倍，最小包達(dá)到60Mbps的性能，較好的達(dá)到系統(tǒng)要求。同時(shí)也給出基于網(wǎng)絡(luò)處理器的高性能網(wǎng)絡(luò)設(shè)備設(shè)計(jì)提供了參考。

[1] Tsarists G,Srisuresh P.Network Address Translation-Protocol Translation (NAT-PT).RFC 2766.2000.

[2] P.Srisuresh,G.Tsirtsis.DNS extensions to Network Address Translators (DNS_ALG).RFC 2694.1999.

[3] M.Altman,NASA Lewis/Sterling Software,S.Oysterman.FTP Extensions for IPv6 and NATs.RFC 2428.1998.

[4] 陳沫.基于IXP2400網(wǎng)絡(luò)處理器的高性能IPv4/IPv6互通網(wǎng)關(guān).計(jì)算機(jī)工程.2006.

[5] 張宏科.網(wǎng)絡(luò)處理器原理與技術(shù).北京:北京郵電大學(xué)出版社.2004.

[6] Brayant,R,E.Computer System a Programmer’s Perspective深入理解計(jì)算機(jī)系統(tǒng).北京:中國(guó)電力出版社.2004.