查奇文，張 武，曾學(xué)文，宋 毅

(1. 中國科學(xué)院聲學(xué)研究所國家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心，北京 100 190；2. 中國科學(xué)院大學(xué)，北京 10004 9)

多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端研究與實現(xiàn)

查奇文1,2，張 武1，曾學(xué)文1，宋 毅1,2

(1. 中國科學(xué)院聲學(xué)研究所國家網(wǎng)絡(luò)新媒體工程技術(shù)研究中心，北京 100 190；2. 中國科學(xué)院大學(xué)，北京 10004 9)

針對已有的互聯(lián)網(wǎng)小型計算機系統(tǒng)接口(iSCSI)發(fā)起端實現(xiàn)方式在面向多核網(wǎng)絡(luò)處理器時存在的性能和擴展性不佳等問題，研究多核網(wǎng)絡(luò)處理器的網(wǎng)絡(luò)處理軟件框架，提出基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的網(wǎng)絡(luò)處理軟件框架。采用軟件框架和P-SPL數(shù)據(jù)層面編程模型，給出一種iSCSI發(fā)起端實現(xiàn)方式。實驗結(jié)果證明，相比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)，基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)在吞吐率和響應(yīng)時間上都有明顯的性能提升。在6個千兆網(wǎng)口的測試環(huán)境中，讀寫吞吐率最高可達到180 MB/s，響應(yīng)時間最多減少1.6 ms。

互聯(lián)網(wǎng)小型計算機系統(tǒng)接口；iSCSI發(fā)起端；多核網(wǎng)絡(luò)處理器；Linux操作系統(tǒng)；TCP/IP協(xié)議棧；網(wǎng)絡(luò)處理操作系統(tǒng)

1 概述

互聯(lián)網(wǎng)小型計算機系統(tǒng)接口(Internet S mall Computer System Interface, iSCSI)是由IETF批準(zhǔn)的一種基于存儲網(wǎng)絡(luò)的新的協(xié)議[1]。隨著千兆以太網(wǎng)技術(shù)的普及、萬兆以太網(wǎng)技術(shù)的逐步成熟，iSCSI技術(shù)成為最具有發(fā)展前景的SAN (Storage Area Network)技術(shù)和協(xié)議。iSCSI的原理是將SCSI命令通過IP網(wǎng)絡(luò)傳輸，這樣就可以使在網(wǎng)絡(luò)上傳送數(shù)據(jù)更加便利，而且可以實現(xiàn)遠程存儲管理。基于iSCSI的網(wǎng)絡(luò)存儲系統(tǒng)由于其大容量、部署靈活、低成本、擴展性好等特點，使得iSCSI的產(chǎn)品化和普及化進程非常迅速，獲得了業(yè)界軟硬件方面的廣泛支持。

iSCSI分為發(fā)起端和目標(biāo)端。應(yīng)用程序通過發(fā)起端訪問存儲設(shè)備，目標(biāo)端通常為磁盤陣列等存儲服務(wù)器。iSCSI發(fā)起端負責(zé)將用戶發(fā)來的SCSI命令和數(shù)據(jù)封裝為iSCSI網(wǎng)絡(luò)數(shù)據(jù)報發(fā)送到目標(biāo)端；目標(biāo)端存儲設(shè)備收到后會將其解包成原始的SCSI命令和數(shù)據(jù)進行處理，并將得到的數(shù)據(jù)訪問結(jié)果再次封裝成iSCSI包發(fā)回至發(fā)起端，這樣就實現(xiàn)了遠程存儲操作。iSCSI發(fā)起端的性能直接影響用戶的存儲性能，最終決定了客戶應(yīng)用的性能。

多核處理器技術(shù)被廣泛采用以提高系統(tǒng)的整體性能。多核處理器可以很好地控制處理器的功耗問題，也能減少與內(nèi)存、I/O之間的訪問延遲，而且多核處理器技術(shù)增加了處理器同時執(zhí)行的硬件線程數(shù)，極大地提升了處理器的并行處理能力。網(wǎng)絡(luò)處理器是為處理網(wǎng)絡(luò)應(yīng)用而設(shè)計的專用處理器，其體系結(jié)構(gòu)和指令集對網(wǎng)絡(luò)數(shù)據(jù)流的處理和轉(zhuǎn)發(fā)都做了具有針對性的優(yōu)化，并增加了一些用于網(wǎng)絡(luò)加速的協(xié)處理器，可以加速系統(tǒng)處理網(wǎng)絡(luò)數(shù)據(jù)流的效率。多核網(wǎng)絡(luò)處理器兼有多核處理器和網(wǎng)絡(luò)處理器的優(yōu)點，使得越來越多的網(wǎng)絡(luò)應(yīng)用和業(yè)務(wù)采用多核網(wǎng)絡(luò)處理器作為解決方案。所以，基于多核網(wǎng)絡(luò)處理器的iSCSI發(fā)起端研究有著重要意義。本文對基于多核網(wǎng)絡(luò)處理器的iSCSI發(fā)起端進行研究，并提出一種新的實現(xiàn)方式。

2 已有iSCSI發(fā)起端實現(xiàn)研究

2.1 iS CSI發(fā)起端的系統(tǒng)結(jié)構(gòu)與實現(xiàn)方式

iSCSI發(fā)起端的系統(tǒng)結(jié)構(gòu)模型如圖1所示。

圖1 iS CSI發(fā)起端系統(tǒng)結(jié)構(gòu)模型

iSCSI發(fā)起端的實現(xiàn)主要有以下3種方式[2]：

(1)純軟件方式

采用普通以太網(wǎng)卡進行網(wǎng)絡(luò)連接，通過運行上層軟件實現(xiàn)iSCSI和TCP/IP協(xié)議棧功能層。這種方式無需添加任何額外設(shè)備，因此，硬件成本最低，靈活性也較強。但是在這種方式中，應(yīng)用主機在完成應(yīng)用程序處理的同時，還需要兼顧iSCSI的處理和TCP/IP協(xié)議棧的處理，造成主機運行時間加長，系統(tǒng)性能下降。

(2)智能TOE(TCP Offload Engine)網(wǎng)卡實現(xiàn)方式

在這種方式中，服務(wù)器采用特定的TOE網(wǎng)卡連接網(wǎng)絡(luò)，TCP/IP協(xié)議棧功能由TOE網(wǎng)卡完成，而 iS CSI層的功能仍然由主機完成。這種方式較第1種方式部分提高了服務(wù)器的性能。但是由于需要額外的網(wǎng)卡，擴展性和靈活性較差。

(3)iSCSI HBA(Host Bus Adapter)卡實現(xiàn)方式

使用HBA存儲適配器完成iSCSI層和TCP/IP協(xié)議棧的功能。該方式性能最好，但是HBA卡較為昂貴，同時由于需要額外的HBA卡，擴展性和靈活性較差。

2.2 Lin ux操作系統(tǒng)的iSCSI實現(xiàn)方式

在iSCSI發(fā)起端的實現(xiàn)方式中，基于Linux操作系統(tǒng)的純軟件實現(xiàn)方式是最常見、最簡單的一種Linux操作系統(tǒng)下軟件方式實現(xiàn)發(fā)起端的系統(tǒng)軟件結(jié)構(gòu)，如圖2所示[3-4]。

圖2 L inux iSCSI發(fā)起端軟件結(jié)構(gòu)

TCP/IP協(xié)議棧使用Linux操作系統(tǒng)TCP/IP協(xié)議棧，以軟件形式運行于Linux操作系統(tǒng)內(nèi)核空間。iSCSI發(fā)起端的實現(xiàn)則采用開源軟件Open-iSCSI或者基于Open-iSCSI的修改版本。Open-iSCSI是一個開源的項目，也是Linux下使用最廣泛的iSCSI發(fā)起端軟件。Open-iSCSI軟件包括2個部分，一部分是運行于Linux操作系統(tǒng)用戶空間的配置管理工具，包括應(yīng)用程序iscsiadm和守護進程iscsid；另一部分運行于Linux操作系統(tǒng)內(nèi)核空間的內(nèi)核模塊。

在基于Linux操作系統(tǒng)的iSCSI發(fā)起端全軟件實現(xiàn)方式中，應(yīng)用程序運行于Linux操作系統(tǒng)的用戶空間，通過Linux標(biāo)準(zhǔn)API調(diào)用文件系統(tǒng)，而Linux內(nèi)核空間的文件系統(tǒng)通過調(diào)用Linux塊設(shè)備驅(qū)動將文件請求轉(zhuǎn)化為塊請求，然后通過Linux SCSI子系統(tǒng)封裝成SCSI命令，最后通過OpeniSCSI內(nèi)核模塊，將SCSI命令通過TCP/IP封裝，與iSCSI目標(biāo)端進行交互。

Open-iSCSI配置管理工具也是運行于Linux用戶空間，通過NetLink機制，與Open-iSCSI內(nèi)核模塊交互，主要包括目標(biāo)端的發(fā)現(xiàn)、目標(biāo)端的登錄、iSCSI會話的建立與銷毀、TCP連接的建立與銷毀以及多連接管理等。

3 i SCSI發(fā)起端研究與實現(xiàn)

3.1 基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的軟件框架

目前基于多核網(wǎng)絡(luò)處理器的網(wǎng)絡(luò)應(yīng)用已經(jīng)形成了成熟的系統(tǒng)結(jié)構(gòu)，即由管理層面、控制層面和數(shù)據(jù)層面構(gòu)成的分層系統(tǒng)結(jié)構(gòu)[5-7]。

(1)管理層面：對用戶和上層應(yīng)用程序提供交互接口，管理底層的硬件資源、組織網(wǎng)絡(luò)處理功能模塊和多核拓撲結(jié)構(gòu)。

(2)控制層面：協(xié)助數(shù)據(jù)層面的數(shù)據(jù)流處理，提供操作系統(tǒng)與數(shù)據(jù)層面的交互通道，維護路由表、ARP信息等非實時信息。

(3)數(shù)據(jù)層面：通過多核網(wǎng)絡(luò)處理器上的處理核心以及協(xié)處理器搭建網(wǎng)絡(luò)數(shù)據(jù)流的處理通道，結(jié)合網(wǎng)絡(luò)處理器的優(yōu)勢對網(wǎng)絡(luò)數(shù)據(jù)流進行加速處理，實現(xiàn)快速的數(shù)據(jù)包分類與查找、TCP/IP協(xié)議棧、深度包檢測、數(shù)據(jù)包加/解密、流量整形等功能。

基于以上分層體系結(jié)構(gòu)，本文提出了一種基于異構(gòu)操作系統(tǒng)的多核網(wǎng)絡(luò)處理器軟件框架。如圖3所示，將一顆多核網(wǎng)絡(luò)處理器的處理核心分成2個部分，一部分處理核心運行通用操作系統(tǒng)，另一部分處理核心運行網(wǎng)絡(luò)處理操作系統(tǒng)(Network Processing Operating System, NPOS)[8]。適用于多核網(wǎng)絡(luò)處理器的通用操作系統(tǒng)主要是Linux操作系統(tǒng)。網(wǎng)絡(luò)處理操作系統(tǒng)主要有實時操作系統(tǒng)、嵌入式執(zhí)行環(huán)境，以及一些廠商特有的加速執(zhí)行環(huán)境，如Cavium公司的SE執(zhí)行環(huán)境。

圖3 多核網(wǎng)絡(luò)處理器系統(tǒng)結(jié)構(gòu)

網(wǎng)絡(luò)處理的控制層面通常邏輯較復(fù)雜，要求開發(fā)環(huán)境相對簡單，但對數(shù)據(jù)的處理性能要求不高。管理層面通常要求平臺無關(guān)性、接口豐富、便于交互等特點。所以本文將控制層面和管理層面運行于通用操作系統(tǒng)之上，通過操作系統(tǒng)屏蔽底層的硬件信息，為用戶提供通用的執(zhí)行環(huán)境。同時，基于通用操作系統(tǒng)的各種編程接口、系統(tǒng)調(diào)用，簡化應(yīng)用的開發(fā)難度，同時具有較好的移植性和擴展性。

數(shù)據(jù)層面負責(zé)對網(wǎng)絡(luò)數(shù)據(jù)進行高速實時處理，對性能有著較高的要求，通常需要做到高吞吐、低延時以及高并發(fā)等。所以數(shù)據(jù)層面運行于網(wǎng)絡(luò)處理操作系統(tǒng)，直接操作底層的處理核心、內(nèi)存、協(xié)處理器等硬件資源，以充分發(fā)揮多核網(wǎng)絡(luò)處理器的性能。

管理層面需要對整個系統(tǒng)的運行情況和參數(shù)進行管理，管理各種軟硬件資源等；控制層面需要對數(shù)據(jù)層面進行控制，提供運行信息、交互數(shù)據(jù)等。管理層面和控制層面通過異構(gòu)操作系統(tǒng)間的通信機制和數(shù)據(jù)交互機制與數(shù)據(jù)平面進行信令交互和數(shù)據(jù)交互。通信機制主要包括網(wǎng)絡(luò)信令交互、多核核間通信機制等；數(shù)據(jù)交互機制主要有網(wǎng)絡(luò)數(shù)據(jù)交互、共享內(nèi)存等。

3.2 iS CSI發(fā)起端實現(xiàn)

本文采用純軟件的iSCSI發(fā)起端實現(xiàn)方案，所有的iSCSI和網(wǎng)絡(luò)處理都由軟件實現(xiàn)。同時借鑒TOE網(wǎng)卡實現(xiàn)方式和HBA卡實現(xiàn)方式的思想，充分利用多核網(wǎng)絡(luò)處理器的特點，對iSCSI層和TCP/IP協(xié)議棧進行加速處理?；诙嗪司W(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)的軟件結(jié)構(gòu)如圖4所示。

圖4 iS CSI發(fā)起端軟件結(jié)構(gòu)

采用基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的軟件框架，在一顆多核網(wǎng)絡(luò)處理器上同時運行Linux操作系統(tǒng)和網(wǎng)絡(luò)處理操作系統(tǒng)。應(yīng)用程序和iSCSI配置管理工具運行于Linux用戶空間，屬于控制層面和管理層面；iSCSI層和TCP/ IP協(xié)議棧則以iSCSI加速引擎和TCP/IP加速引擎運行于網(wǎng)絡(luò)處理操作系統(tǒng)，屬于數(shù)據(jù)層面。在Linux內(nèi)核中運行iSCSI卸載驅(qū)動，其主要功能為提供iSCSI對于Linux SC SI子系統(tǒng)和iSCSI配置管理工具的完成調(diào)用接口，并通過多核核間通信機制和共享內(nèi)存與網(wǎng)絡(luò)操作系統(tǒng)上的iSCSI加速引擎進行信令交互和數(shù)據(jù)交互。例如，將一個SCSI寫命令封裝為多核核間消息，將寫的數(shù)據(jù)填到共享物理內(nèi)存。

數(shù)據(jù)層面是整個網(wǎng)絡(luò)數(shù)據(jù)流處理器的核心部分，數(shù)據(jù)層面編程模型需要解決開發(fā)效率和運行效率問題，對數(shù)據(jù)層面軟件進行合理的組織、映射和調(diào)度，對提高整個系統(tǒng)性能起著關(guān)鍵作用。根據(jù)每個處理核心上部署任務(wù)的關(guān)系，處理核心之間構(gòu)成了多種多核拓撲結(jié)構(gòu)，主要的結(jié)構(gòu)有以下3種[9-10]：

(1)RTC(Run to Complete)結(jié)構(gòu)：各個處理核心之間相互獨立、并行工作，每個處理核心都可以完成數(shù)據(jù)流處理的全部子任務(wù)。

(2)S-SPL(Single Software PipeLine)：各個處理核心之間逐級互聯(lián)形成流水線，每一級的處理核心實現(xiàn)數(shù)據(jù)流處理分解為多級子任務(wù)，然后與流水線上的處理核心一一對應(yīng)。

(3)P-SPL(Parallel S oftware P ipeLine)：結(jié)合了RTC和S-SPL，采用并行結(jié)構(gòu)擴展S-SPL模型上各個階段的處理核心數(shù)量，縮短每個階段的處理開銷。通過P-SPL模型可以有效地提高流水線結(jié)構(gòu)的處理速度，消除流水線結(jié)構(gòu)的處理瓶頸。

研究發(fā)現(xiàn)，P-SPL模型在網(wǎng)絡(luò)數(shù)據(jù)流處理上，兼顧處理性能和擴展性，能較好地利用多核網(wǎng)絡(luò)處理器的并行處理優(yōu)勢，適用于網(wǎng)絡(luò)數(shù)據(jù)處理[11-12]。本文采用P-SPL編程模型設(shè)計數(shù)據(jù)層面的系統(tǒng)模型，充分利用多核處理器的并行性，同時兼顧軟件的模塊化和擴展性。基于P-SPL編程模型設(shè)計的多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端數(shù)據(jù)層面系統(tǒng)結(jié)構(gòu)如圖5所示。

圖5 iS CSI發(fā)起端數(shù)據(jù)層面系統(tǒng)結(jié)構(gòu)

對比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)方式[13]，基于多核網(wǎng)絡(luò)處理異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)主要有以下優(yōu)點：

(1)TCP/IP協(xié)議棧與iSCSI層以加速引擎的軟件模塊運行于數(shù)據(jù)平面，可以充分利用多核處理的協(xié)處理器進行網(wǎng)絡(luò)加速處理，協(xié)議處理以及校驗計算等是消耗處理器資源的重要因素之一[14]。

(2)數(shù)據(jù)層面可以充分利用多核處理器的并行性，進行P-SPL模型的編程，優(yōu)化軟件結(jié)構(gòu)。

(3)數(shù)據(jù)層面的數(shù)據(jù)包處理采用輪詢模式，面向高速網(wǎng)絡(luò)時，減少了大量的中斷處理。而研究表明，在Linux操作中，網(wǎng)絡(luò)處理中最影響性能的因素之一就是中斷[15]。

(4)對Linux應(yīng)用程序和iSCSI配置管理工具完全透明。應(yīng)用的開發(fā)和iSCSI配置管理無需做任何改變。

(5)內(nèi)存的零拷貝。研究表明，基于Linux的iSCSI實現(xiàn)方式中，內(nèi)存拷貝也是影響性能的重要因素之一?；诙嗪司W(wǎng)絡(luò)處理器的iSCSI發(fā)起端軟件架構(gòu)中，數(shù)據(jù)包的處理在Linux SCSI子系統(tǒng)之前都基于物理地址和指針偏移實現(xiàn)，無需內(nèi)存拷貝[16]。

(6)數(shù)據(jù)包數(shù)據(jù)層面的處理在網(wǎng)絡(luò)處理操作系統(tǒng)上進行，實時性高，處理延時低。

4 實驗與分析

基于本文提出的多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)方式，在高性能嵌入式邊緣服務(wù)器ATCA-8000R上實現(xiàn)了iSCSI發(fā)起端。iSCSI目標(biāo)端使用新一代網(wǎng)絡(luò)存儲產(chǎn)品藍鯨BW2000。具體的硬件參數(shù)如表1所示。

表1 實驗硬件參數(shù)

在ATCA-8000R上分別運行基于Linux操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)和本文提出的基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)。通過千兆交換機連接ATCA-8000R的6個千兆網(wǎng)口和藍鯨BW2000的6個千兆網(wǎng)口進行測試。具體的運行參數(shù)如表2所示。

表2 實驗運行參數(shù)

基于多核網(wǎng)絡(luò)處理器的異構(gòu)操作系統(tǒng)中，網(wǎng)絡(luò)處理操作系統(tǒng)使用Cavium公司的SE執(zhí)行環(huán)境。數(shù)據(jù)層面的6個處理核心的具體分配如圖5所示。分別對2種iSCSI發(fā)起端實現(xiàn)方式的讀寫吞吐率和響應(yīng)時間進行對比測試，測試結(jié)果如圖6和圖7所示。

圖6 吞吐率測試結(jié)果

圖7 響應(yīng)時間測試結(jié)果

從測試結(jié)果可以看出，基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)在吞吐率和響應(yīng)時間上的性能都要優(yōu)于基于Linux操作系統(tǒng)的實現(xiàn)方式，在512 KB的塊請求中，達到了180 MB/s的性能優(yōu)勢，而平均響應(yīng)時間最好情況下減少了1.6 ms。從第3節(jié)的分析可知，主要原因是基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端軟件架構(gòu)在處理效率和實時性方面，都與Linux操作系統(tǒng)的實現(xiàn)方式有了改進。

5 結(jié)束語

通用的iSCSI發(fā)起端實現(xiàn)方式不能充分利用多核網(wǎng)絡(luò)處理器的特點。本文提出了一種基于異構(gòu)操作系統(tǒng)的多核網(wǎng)絡(luò)處理器軟件框架，在一顆多核網(wǎng)絡(luò)處理器上同時運行通用操作系統(tǒng)和網(wǎng)絡(luò)處理操作系統(tǒng)。網(wǎng)絡(luò)處理的管理層面和控制層面運行于通用操作系統(tǒng)；數(shù)據(jù)層面運行于網(wǎng)絡(luò)處理操作系統(tǒng)，直接操作底層的處理核心、內(nèi)存、協(xié)處理器等硬件資源，以充分發(fā)揮多核網(wǎng)絡(luò)處理器的性能?；诙嗪司W(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)軟件框架，提出了一種多核網(wǎng)絡(luò)處理器iSCSI發(fā)起端實現(xiàn)方式，應(yīng)用程序與iSCSI配置管理工具運行于Linux用戶空間，在Linux內(nèi)核空間運行iSCSI卸載驅(qū)動，保證對上接口不變，實現(xiàn)對應(yīng)用程序和iSCSI配置管理工具的透明。iSCSI層和TCP/IP協(xié)議棧以P-SPL編程模型在網(wǎng)絡(luò)處理操作系統(tǒng)實現(xiàn)，實現(xiàn)加速處理。實驗證明，基于多核網(wǎng)絡(luò)處理器異構(gòu)操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)比基于Linux操作系統(tǒng)的iSCSI發(fā)起端實現(xiàn)方式有更好的性能。

在本文提出的iSCSI發(fā)起端實現(xiàn)方式中，異構(gòu)操作系統(tǒng)的硬件資源分配和數(shù)據(jù)層面的子任務(wù)劃分與資源分配都是根據(jù)經(jīng)驗值靜態(tài)分配的，不能更好地適應(yīng)業(yè)務(wù)負載的變化。在后續(xù)研究中，將繼續(xù)研究異構(gòu)操作系統(tǒng)硬件資源的動態(tài)分配問題，以及數(shù)據(jù)層面的子任務(wù)劃分與資源動態(tài)分配問題。

[1] Satran J, Meth K, S apuntzakis C, et al. Internet Small Computer Systems Interface(iSCSI)[S]. RFC 3720, 2004.

[2] 韓紅根. 基于iSCSI的存儲系統(tǒng)設(shè)計與實現(xiàn)[D]. 武漢:華中科技大學(xué), 2012.

[3] Zhou Jingli, Xu Feng, YU Shengsheng. Implementation and Performance Analysis of iSCSI Based Storage Systems Under Linux[J]. Computer Engineering & Science, 2004, 26(6): 1-3, 6.

[4] 任 勁, 謝長生, 李 為. iSCSI協(xié)議及其Linux下的實現(xiàn)[J].小型微型計算機系統(tǒng), 2003, 24(7): 1183-1186.

[5] 蔣漢平. 面向多核網(wǎng)絡(luò)處理器軟件框架的研究與實現(xiàn)[D].武漢: 武漢理工大學(xué), 2008.

[6] 郭秀巖. 面向多核的多層次實時網(wǎng)絡(luò)數(shù)據(jù)流調(diào)度技術(shù)研究[D]. 合肥: 中國科學(xué)技術(shù)大學(xué), 2011.

[7] Wolf T, Weng Ning. Runtime Support for Multicore Packet Processing Systems[J]. IEEE Network, 2007, 21(4): 29-37.

[8] Zha Qi wen, W u Zhang, Zeng Xu ewen, et al. A High Performance Multi-core Network Processing System[C]//Proc. of the 3rd International Conference on Computer Technology and Development. Chengdu, China: [s. n.], 2012.

[9] Verdú J, Nemirovsky M, Valero M. Multilayer Processing——An Execution Model for Parallel Stateful Packet Processing[C]//Proc. of the 4th ACM/IEEE Sym posium on Architectures for Networking and Communications Systems. [S. l.]: ACM Press, 2008: 79-88.

[10] Jiang Haiya ng, Yang Jianhu a, Xie Gaogang. Ex ploring and Enhancing the Performance of Parallel ID S on Multi-core Processors[C]//Proc. of the 10th I nternational Conference on Trust, Security and Privacy in Computing and Communications. [S. l.]: IEEE Press, 2011: 673-680.

[11] 郭秀巖, 張 武, 王勁林, 等. 用于視頻點播系統(tǒng)中實時數(shù)據(jù)流發(fā)送的多核結(jié)構(gòu)[J]. 小型微型計算機系統(tǒng), 2011, 32(7): 1310-1316.

[12] 賀鵬程, 王勁林, 鄧浩江, 等. 多核分組處理系統(tǒng)軟件結(jié)構(gòu)研究[J]. 微計算機應(yīng)用, 2010, 31(9): 12-20.

[13] 羅 剛. i SCSI協(xié)議研究及其性能優(yōu)化[D]. 武漢: 中南民族大學(xué), 2009.

[14] Akagic A, Amano H. Performance Analysis of Fully-adaptable CRC Accelerators on an FP GA[C]//Proc. of the 22nd International Co nference o n Field Programmable Lo gic an d Applications. [S. l.]: IEEE Press, 2012: 575-578.

[15] 譚志虎, 萬繼光. i SCSI性能優(yōu)化方法綜述[J]. 計算機科學(xué), 2009, 36(1): 16-18.

[16] Chiang Meiling, Li Yunchen. LyraNET: A Zero-copy TCP/IP Protocol Stack for Embedded Systems[C]//Proc. of the 1 1th IEEE International C onference on Embedded and Real-time Computing Syste ms and Applicat ions. [S. l.]: IE EE Press, 2005: 123-128.

編輯 顧逸斐

Research and Implementation of iSCSI Initiator on Multi-core Network Processor

ZHA Qi-wen1,2, ZHANG Wu1, ZENG Xue-wen1, SONG Yi1,2

(1. National Network New Media Engineering Research Center, Institute of Acoustics, Chinese Academy of Sciences, Beijing 100190, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China)

For the performance and scalability problems of the existi ng implementation of Internet Small Computer System Interface(iSCSI) initiator, this paper studies the network processing software framework of multi-core network processor and proposes the multi-core network processor heterogeneous operating system soft ware framework. Based on the pro posed multi-core network processor heterogeneous operating system software framework and P-SPL data plane programming model, this paper proposes an implementation of iSCSI initiator. Experimental result proves that the implementation based on the multi-core network processor heterogeneous ope rating system software framework has better performance on throughput and response time than the implementation based on Linux. In 6 GE ports experiment environment, the n ew implementation gets a maximum of 180 MB/s re ad and write throughput improvement and 1.6 ms of response time reduce.

Internet Small Computer System Interface(iSCSI); iSCSI initiator; multi-core network processor; Linux operating system; TCP/IP protocol stack; Network Processing Operating System(NPOS)

10.3969/j.issn.1000-3428.2014.05.063

國家“863”計劃基金資助重大項目“融合網(wǎng)絡(luò)業(yè)務(wù)體系的開發(fā)”(2011AA01A102)；國家科技支撐計劃基金資助項目“數(shù)字家庭服務(wù)媒體設(shè)備集成技術(shù)研究”(2011BAH16B03)；中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項基金資助項目“未來網(wǎng)絡(luò)架構(gòu)研究與邊緣設(shè)備研制”(XDA06010302)。

查奇文(1986－)，男，博士研究生，主研發(fā)向：網(wǎng)絡(luò)新媒體技術(shù)，高性能嵌入式服務(wù)器；張 武，副研究員、博士；曾學(xué)文，研究員、博士生導(dǎo)師；宋 毅，博士研究生。

2013-04-16

2013-05-10E-mail：zhaqw@dsp.ac.cn

1000-3428(2014)05-0304-05

A

TP309