蘇哲蓉 陳修旭 曾驍勇 杜方

摘要：針對網(wǎng)絡密集型應用程序?qū)崿F(xiàn)低延遲的需求，本文分析了使用普通網(wǎng)卡的傳統(tǒng)內(nèi)核網(wǎng)絡協(xié)議棧的不足。基于智能網(wǎng)卡的內(nèi)核旁路技術(shù)，探索了其對于提高數(shù)據(jù)傳輸速率的優(yōu)勢和有效性。

關(guān)鍵詞：低延遲;內(nèi)核旁路;數(shù)據(jù)傳輸

中圖分類號：TN929.5 文獻標識碼：A 文章編號：1007-9416（2020）08-0071-02

0 引言

近年來，網(wǎng)絡規(guī)模日益增長，催生了一系列面向用戶的應用程序例如網(wǎng)絡購物、搜索引擎、在線直播等。其中的網(wǎng)絡傳輸數(shù)據(jù)量日益增大，而傳統(tǒng)內(nèi)核網(wǎng)絡協(xié)議棧的處理能力無法與之相匹配。過高的延遲不能為用戶提供清晰良好的使用體驗，并且在高頻交易等領(lǐng)域?qū)е仑攧論p失。因此就對延遲性能提出迫切需求，要求實現(xiàn)微秒級的延遲和高效的數(shù)據(jù)包傳輸速率。

本文將利用solarflare智能網(wǎng)卡所提供的內(nèi)核旁路軟件解決方案之一的Onload，解決傳統(tǒng)內(nèi)核網(wǎng)絡協(xié)議棧的性能瓶頸。我們將分析傳統(tǒng)網(wǎng)絡協(xié)議棧的工作原理和缺陷，以及利用智能網(wǎng)卡中的高度加速的網(wǎng)絡中間件onload，證明其加速網(wǎng)絡數(shù)據(jù)傳輸以實現(xiàn)網(wǎng)絡低延遲[1]的優(yōu)勢。

1 傳統(tǒng)網(wǎng)絡協(xié)議棧的問題

在普通網(wǎng)卡中數(shù)據(jù)包在傳統(tǒng)網(wǎng)絡協(xié)議棧中的處理如下，當數(shù)據(jù)包傳輸?shù)狡胀ǖ腘IC，它將被DMA直接送到由NIC驅(qū)動程序所維護的環(huán)形緩沖區(qū)。接著，NIC將向處理器發(fā)送硬件中斷，通知其處理此數(shù)據(jù)包。當OS收到中斷后，它將分配sk_buff結(jié)構(gòu)，并在softIRQ上下文中調(diào)用net_if_ receive_skb。若是IP數(shù)據(jù)包，則將調(diào)用ip_rcv，將數(shù)據(jù)包傳輸?shù)絻?nèi)核協(xié)議棧以進行高級處理。完成TCP/IP處理后，數(shù)據(jù)包將從內(nèi)核傳送到用戶空間。最后，應用程序可以通過標準POSIX調(diào)用，從套接字讀取數(shù)據(jù)包并執(zhí)行下一步操作。

從以上過程可以看出，內(nèi)核網(wǎng)絡協(xié)議棧的開銷主要來源于以下三方面：

（1）系統(tǒng)調(diào)用開銷：當應用程序請求系統(tǒng)調(diào)用以和內(nèi)核協(xié)議棧中的網(wǎng)絡套接字進行交互時，包的處理需要在中斷處理、內(nèi)核態(tài)和用戶態(tài)中不停地切換。那么頻繁的系統(tǒng)調(diào)用和上下文切換必然帶來了額外的處理開銷，從而導致性能下降。

（2）額外的數(shù)據(jù)拷貝：在接收或發(fā)送數(shù)據(jù)時，數(shù)據(jù)包需要在用戶空間緩沖區(qū)和內(nèi)核之間進行拷貝。

（3）內(nèi)核數(shù)據(jù)包的處理：處理的每個數(shù)據(jù)包將會導致中斷、動態(tài)內(nèi)存分配和復雜的數(shù)據(jù)結(jié)構(gòu)的構(gòu)建。如sk_buff（socket buffer）不僅結(jié)構(gòu)復雜會增加內(nèi)存的讀寫開銷，且在處理數(shù)據(jù)包時，其頻繁地被申請和釋放會占用大量系統(tǒng)資源。

2 智能網(wǎng)卡下的內(nèi)核旁路軟件Onload增加數(shù)據(jù)傳輸速率的優(yōu)勢

內(nèi)核旁路技術(shù)是指在用戶空間中同時運行應用程序和網(wǎng)絡驅(qū)動程序，繞過了內(nèi)核網(wǎng)絡協(xié)議棧，將原始數(shù)據(jù)包緩沖區(qū)直接傳遞到用戶空間，而用戶進程封裝好的數(shù)據(jù)包則直接由網(wǎng)卡驅(qū)動發(fā)送出去，這使得所連接的應用程序端能以更低且更一致的延遲來處理更多消息。

基于智能網(wǎng)卡下的Onload是個高性能用戶空間協(xié)議棧[2]，本文主要討論其中的openonload。OpenOnload是IP上的TCP和UDP的實現(xiàn)，它被動態(tài)鏈接到用戶模式應用程序的地址空間中，并允許對網(wǎng)絡適配器硬件的直接但安全訪問?？梢栽诓簧婕安僮飨到y(tǒng)的情況下，通過應用程序直接將數(shù)據(jù)傳輸?shù)骄W(wǎng)絡并從網(wǎng)絡接收數(shù)據(jù)。因為繞過了內(nèi)核，這樣就可以避免了相應的破壞性事件，例如系統(tǒng)調(diào)用，上下文切換和中斷，從而提高了處理器可以執(zhí)行應用程序代碼的效率。這也直接減少了主機處理的開銷，為應用程序處理留出了更多的CPU時間。對于如市場數(shù)據(jù)和交易應用程序這樣的網(wǎng)絡密集型應用程序，這種影響更為明顯。

使用傳統(tǒng)內(nèi)核協(xié)議棧時，應用程序會在OS內(nèi)核上進行調(diào)用，以發(fā)送和接收來自網(wǎng)絡的數(shù)據(jù)。從應用程序到內(nèi)核的轉(zhuǎn)換是一項代價巨大的操作，這等效于數(shù)百或數(shù)千條指令。當應用程序使用OpenOnload來發(fā)送或接收數(shù)據(jù)時，其可以直接訪問網(wǎng)絡適配器上的分區(qū)，無需訪問操作系統(tǒng)。圖1展示了這兩種方案的對比。

OpenOnload使數(shù)據(jù)在用戶進程內(nèi)完全完成了TCP/IP處理，從而消除了代價巨大的應用程序與內(nèi)核之間的轉(zhuǎn)換。且基于對內(nèi)核的繞行，避免了額外的數(shù)據(jù)拷貝，無需在用戶空間緩沖區(qū)和內(nèi)核之間進行數(shù)據(jù)拷貝。在應用程序和網(wǎng)絡適配器之間傳輸數(shù)據(jù)時，這種零拷貝跳過了中間緩沖區(qū)來提高網(wǎng)絡應用程序的性能。

同時，將硬件級別的NIC劃分為多個受保護的虛擬NIC（VNIC），授予應用程序直接訪問VNIC的權(quán)限，而無法訪問系統(tǒng)的其余部分（包括不屬于該應用程序的其他VNIC或內(nèi)存）。因此，在保證了安全性和系統(tǒng)的完整性前提下，可實現(xiàn)最佳性能。此外，還對Onload中TCP/IP堆棧進行了高度調(diào)整，從而進一步節(jié)省了開銷。簡而言之，減少的開銷意味著減少的延遲。使用onload模式所節(jié)省的開銷，使得應用程序可以使用更多的CPU計算能力來完成有用的工作。

3 結(jié)語

實驗結(jié)果表明，對于相同大小的數(shù)據(jù)，基于智能網(wǎng)卡的onload協(xié)議棧來繞過內(nèi)核的方案相比于普通網(wǎng)卡下的經(jīng)過內(nèi)核的傳統(tǒng)方案，其所消耗的數(shù)據(jù)傳輸時間明顯縮短。綜上所述，基于onload模式下內(nèi)核旁路的優(yōu)勢，應用程序可以保持在用戶級別，等待請求到達網(wǎng)絡適配器并直接處理它們。內(nèi)核到用戶之間的轉(zhuǎn)換以及中斷的消除可以大大減少延遲，加速了網(wǎng)絡數(shù)據(jù)傳輸以實現(xiàn)對網(wǎng)絡低延遲的迫切需求。

參考文獻

[1] 左旭彤，王莫為，崔勇.低時延網(wǎng)絡：架構(gòu)，關(guān)鍵場景與研究展望[J].通信學報，2019，40（8）：22-35.

[2] 別體偉，華蓓.用戶空間協(xié)議棧的并行化與性能優(yōu)化[J].電子技術(shù)，2016，45（8）：50-56.