姜 偉，潘邵芹

(北京工業(yè)大學(xué) 信息學(xué)部，北京 100124)

0 引 言

隨著業(yè)務(wù)需求的多元化以及系統(tǒng)規(guī)模的不斷擴(kuò)大，單體架構(gòu)的服務(wù)架構(gòu)可擴(kuò)展性越來(lái)越差，系統(tǒng)變得難以維護(hù)，而微服務(wù)通過(guò)服務(wù)功能拆分、模塊功能聚合，使單體架構(gòu)的服務(wù)拆分成多個(gè)微服務(wù)，提高了擴(kuò)展性和可維護(hù)性[1-3]，因此微服務(wù)架構(gòu)在分布式服務(wù)領(lǐng)域有著越來(lái)越重要的位置。微服務(wù)架構(gòu)目前的負(fù)載均衡策略主要在調(diào)用方控制，依賴于隨機(jī)調(diào)用或Round Robin方式，沒(méi)有考慮網(wǎng)絡(luò)負(fù)載以及調(diào)用鏈路情況[3-4]。

SDN是目前廣受關(guān)注的新型網(wǎng)絡(luò)架構(gòu)[5-6]，通過(guò)將控制平面和數(shù)據(jù)平面進(jìn)行分離，提高了對(duì)網(wǎng)絡(luò)流量的控制能力，使SDN控制器能夠?qū)嵤┘?xì)粒度的路徑規(guī)劃和控制能力[7-8]，是未來(lái)網(wǎng)絡(luò)的發(fā)展方向。

文中研究基于SDN的微服務(wù)負(fù)載均衡方案，通過(guò)將微服務(wù)部署于SDN網(wǎng)絡(luò)，可以借助SDN控制平面的精細(xì)化管控能力提供更細(xì)粒度的負(fù)載均衡能力，實(shí)現(xiàn)針對(duì)微服務(wù)特點(diǎn)的負(fù)載均衡的優(yōu)化。

1 相關(guān)研究

負(fù)載均衡一般會(huì)維護(hù)一個(gè)服務(wù)端清單，利用心跳檢測(cè)等手段進(jìn)行清單維護(hù)，保證清單中都是可以正常訪問(wèn)的服務(wù)節(jié)點(diǎn)。當(dāng)用戶發(fā)送請(qǐng)求時(shí)，會(huì)先到達(dá)負(fù)載均衡器，負(fù)載均衡器根據(jù)負(fù)載均衡算法(輪詢、隨機(jī)、加權(quán)輪詢)從可用的服務(wù)端列表中取出一臺(tái)服務(wù)端的地址，根據(jù)負(fù)載情況進(jìn)行轉(zhuǎn)發(fā)，降低系統(tǒng)的壓力[9-12]。

文獻(xiàn)[13]設(shè)計(jì)并實(shí)現(xiàn)了一種鏈路負(fù)載均衡方案，在利用SDN獲取了全局網(wǎng)絡(luò)拓?fù)湟晥D的基礎(chǔ)上，實(shí)現(xiàn)了一種最優(yōu)K條路徑算法，選擇出最優(yōu)的K條冗余鏈路，制定評(píng)價(jià)模型對(duì)于每條候選鏈路進(jìn)行評(píng)估，得到最有利于當(dāng)前全局網(wǎng)絡(luò)負(fù)載均衡的鏈路，最終將對(duì)應(yīng)的轉(zhuǎn)發(fā)策略部署到OpenFlow交換機(jī)的流表上。

文獻(xiàn)[14]提出一種基于SDN的分布式服務(wù)器負(fù)載均衡方法，SDN控制器管理通過(guò)SDN網(wǎng)絡(luò)訪問(wèn)服務(wù)器集群的進(jìn)出流量，并能綜合網(wǎng)絡(luò)設(shè)備、服務(wù)器負(fù)載與用戶特定需求，部署動(dòng)態(tài)可擴(kuò)展的負(fù)載均衡策略。

文獻(xiàn)[9]確定了在OpenFlow網(wǎng)絡(luò)中進(jìn)行負(fù)載均衡需要解決的三個(gè)關(guān)鍵問(wèn)題：服務(wù)器狀態(tài)的度量、網(wǎng)絡(luò)狀態(tài)的度量和路徑選擇，提出了一種基于Open Flow的負(fù)載均衡算法。該算法對(duì)網(wǎng)絡(luò)建立起全局的視圖，綜合考慮網(wǎng)絡(luò)資源與計(jì)算資源的使用狀態(tài)，通過(guò)統(tǒng)一的決策，合理地進(jìn)行流量分配，以達(dá)成負(fù)載均衡的目標(biāo)。

2 基于SDN的微服務(wù)負(fù)載均衡關(guān)鍵技術(shù)

文中主要工作是研究將SDN技術(shù)應(yīng)用于微服務(wù)架構(gòu)，利用SDN對(duì)網(wǎng)絡(luò)的精細(xì)化管控能力使微服務(wù)架構(gòu)達(dá)到更優(yōu)的負(fù)載均衡策略。重點(diǎn)研究并解決了下列問(wèn)題：

研究負(fù)載均衡由客戶端上移到控制平面：為了使負(fù)載均衡能夠在得知全網(wǎng)流量視圖的基礎(chǔ)上計(jì)算策略，而不是僅僅依靠round robin這種比較隨機(jī)的方式，需要將微服務(wù)調(diào)用的負(fù)載均衡策略選擇從客戶端上移到控制平面。

基于調(diào)用鏈分析的微服務(wù)負(fù)載均衡：負(fù)載均衡決策上移到控制平面后，可以針對(duì)全局網(wǎng)絡(luò)視圖進(jìn)行路徑?jīng)Q策，還可以根據(jù)微服務(wù)的特點(diǎn)，進(jìn)行調(diào)用鏈路分析，不局限在兩個(gè)主機(jī)之間的網(wǎng)絡(luò)通信，而是綜合考慮整個(gè)調(diào)用鏈路的網(wǎng)絡(luò)負(fù)載情況，提升負(fù)載均衡決策的效果。

服務(wù)限流：當(dāng)服務(wù)調(diào)用量過(guò)多或服務(wù)容量不夠時(shí)，只靠負(fù)載均衡仍然可能不足以支撐微服務(wù)集群的正常工作，為避免過(guò)多的流量造成網(wǎng)絡(luò)或服務(wù)不可用，需要進(jìn)行限流。

2.1 基于SDN的微服務(wù)整體架構(gòu)

基于SDN的微服務(wù)網(wǎng)絡(luò)組成如圖1所示。微服務(wù)的應(yīng)用服務(wù)器部署于SDN網(wǎng)絡(luò)之中，微服務(wù)之間通過(guò)應(yīng)用名進(jìn)行服務(wù)調(diào)用，應(yīng)用名與ip的綁定與映射由服務(wù)注冊(cè)與發(fā)現(xiàn)機(jī)制完成，通過(guò)將服務(wù)注冊(cè)與發(fā)現(xiàn)組件嵌入到控制平面也就是SDN控制器，實(shí)現(xiàn)將微服務(wù)調(diào)用過(guò)程的負(fù)載均衡完全上移到控制平面，服務(wù)調(diào)用方不需要感知負(fù)載均衡策略，而控制平面則能夠?qū)崿F(xiàn)更精細(xì)化的負(fù)載均衡策略，可以綜合考量服務(wù)提供方主機(jī)的負(fù)載情況、網(wǎng)絡(luò)路徑的帶寬情況，進(jìn)而引入調(diào)用鏈路分析，根據(jù)微服務(wù)的特點(diǎn)進(jìn)行調(diào)用鏈路的負(fù)載均衡決策，而不僅僅限于兩臺(tái)主機(jī)之間的網(wǎng)絡(luò)通信。

圖1 基于SDN的微服務(wù)網(wǎng)絡(luò)組成

2.2 基于虛IP與IP改寫(xiě)的服務(wù)發(fā)現(xiàn)機(jī)制

使用SDN進(jìn)行負(fù)載均衡設(shè)計(jì)，首先需要解決如何將微服務(wù)調(diào)用過(guò)程對(duì)目的節(jié)點(diǎn)的選擇上移到SDN控制器。為此，文中定義虛IP。虛IP與特定的服務(wù)進(jìn)行綁定，調(diào)用該服務(wù)時(shí)使用虛IP，這樣調(diào)用方不需要知道被調(diào)用服務(wù)有幾臺(tái)機(jī)器，也不需要知道這些機(jī)器的IP，負(fù)載均衡策略完全對(duì)調(diào)用方透明。此外，當(dāng)被調(diào)用服務(wù)節(jié)點(diǎn)下線、上線新機(jī)器時(shí)，調(diào)用方不需要感知。服務(wù)提供方服務(wù)節(jié)點(diǎn)的選取、網(wǎng)絡(luò)路徑的計(jì)算都由SDN的微服務(wù)鏈路計(jì)算與負(fù)載均衡模塊進(jìn)行處理。當(dāng)SDN控制器計(jì)算好網(wǎng)絡(luò)路徑后，目的服務(wù)節(jié)點(diǎn)也就確定下來(lái)，這時(shí)候會(huì)有IP改寫(xiě)的過(guò)程，將虛IP改寫(xiě)成實(shí)際服務(wù)節(jié)點(diǎn)的IP。

當(dāng)微服務(wù)A的某臺(tái)節(jié)點(diǎn)調(diào)用微服務(wù)B的服務(wù)時(shí)，主要會(huì)有以下步驟：

(1)需要發(fā)起服務(wù)調(diào)用的機(jī)器向服務(wù)發(fā)現(xiàn)模塊進(jìn)行服務(wù)發(fā)現(xiàn)請(qǐng)求，請(qǐng)求微服務(wù)B的IP；

(2)服務(wù)發(fā)現(xiàn)模塊返回微服務(wù)B對(duì)應(yīng)的虛IP：ipB；

(3)微服務(wù)A向ipB發(fā)起服務(wù)請(qǐng)求；

(4)SDN控制器進(jìn)行路徑計(jì)算，選擇微服務(wù)B的某個(gè)主機(jī)的IP，如ip2；

(5)SDN控制器向SDN交換機(jī)下發(fā)流表進(jìn)行轉(zhuǎn)發(fā)的同時(shí)對(duì)IP進(jìn)行改寫(xiě)(目的IP由IPB改為ip2)。

2.3 基于調(diào)用鏈分析的負(fù)載均衡算法

微服務(wù)架構(gòu)中，服務(wù)調(diào)用通常伴隨著下游依賴的調(diào)用，導(dǎo)致一個(gè)服務(wù)調(diào)用的鏈路可能會(huì)比較長(zhǎng)，在負(fù)載均衡決策中，就不能只考慮服務(wù)調(diào)用的兩個(gè)節(jié)點(diǎn)之間，而應(yīng)該考慮整個(gè)調(diào)用鏈路上的負(fù)載均衡。

圖2展示了典型微服務(wù)調(diào)用的調(diào)用鏈路。應(yīng)用A調(diào)用應(yīng)用B時(shí)，伴隨著應(yīng)用B調(diào)用應(yīng)用C，應(yīng)用C調(diào)用應(yīng)用D和E，只對(duì)應(yīng)用A到應(yīng)用B之間的鏈路做負(fù)載均衡存在弊端。圖3展示了微服務(wù)的分布式節(jié)點(diǎn)網(wǎng)絡(luò)聯(lián)通圖。節(jié)點(diǎn){Xi|X∈(A,B,C,D…),i∈(1,2,3,4…)}分別代表微服務(wù)X的服務(wù)器節(jié)點(diǎn)，連接線表示某臺(tái)服務(wù)器可以通過(guò)網(wǎng)絡(luò)(可以經(jīng)過(guò)若干交換機(jī)，圖里省略了交換機(jī))與另一臺(tái)服務(wù)器通信，在應(yīng)用A調(diào)用應(yīng)用B的服務(wù)時(shí)，存在多條鏈路可以選擇，如果只考慮A→B的鏈路，鏈路負(fù)載可能不是最佳的選擇，還可能選擇的鏈路無(wú)法完成后續(xù)調(diào)用導(dǎo)致調(diào)用失敗(C1→D1之間網(wǎng)絡(luò)故障無(wú)法調(diào)用成功)。

圖2 微服務(wù)調(diào)用(A→B)引起的服務(wù)調(diào)用鏈路

圖3 微服務(wù)調(diào)用的分布式節(jié)點(diǎn)示意(省略交換機(jī))

微服務(wù)調(diào)用有以下特點(diǎn)：

(1)服務(wù)以分布式部署，服務(wù)調(diào)用沒(méi)有明確的調(diào)用目的主機(jī)，網(wǎng)絡(luò)路徑選擇是對(duì)服務(wù)之間，而不是主機(jī)之間；

(2)局部最優(yōu)不一定表示整個(gè)調(diào)用鏈路最優(yōu)；

(3)某個(gè)網(wǎng)絡(luò)鏈路中斷如C1→D1中斷導(dǎo)致A→B1→C1是調(diào)不通的路徑，如果不進(jìn)行調(diào)用鏈路分析，對(duì)A調(diào)用B服務(wù)進(jìn)行路徑選擇時(shí)可能會(huì)選擇A→B1的路徑，導(dǎo)致B服務(wù)的后續(xù)調(diào)用失敗。

基于調(diào)用鏈路分析的負(fù)載均衡算法綜合考慮整個(gè)服務(wù)調(diào)用鏈路涉及到的網(wǎng)絡(luò)負(fù)載狀況，進(jìn)行綜合的路徑選擇考量。SDN控制器在處理流表請(qǐng)求時(shí)分析應(yīng)用之間的依賴關(guān)系，逐漸維護(hù)出微服務(wù)之間的調(diào)用鏈路，在進(jìn)行微服務(wù)負(fù)載均衡路徑計(jì)算時(shí)，綜合考慮整個(gè)調(diào)用鏈路涉及到的所有網(wǎng)絡(luò)節(jié)點(diǎn)的負(fù)載情況，計(jì)算出更合適的路徑。

以圖3為例，基于調(diào)用鏈路分析的微服務(wù)負(fù)載均衡路徑計(jì)算主要步驟可通過(guò)圖4簡(jiǎn)要描述：

(1)節(jié)點(diǎn)標(biāo)注：計(jì)算路徑時(shí)不再抽象成無(wú)差別的網(wǎng)絡(luò)節(jié)點(diǎn)，明確網(wǎng)絡(luò)節(jié)點(diǎn)的身份：交換機(jī)、服務(wù)A、服務(wù)B……

(2)鏈路剪枝：剪掉不符合調(diào)用邏輯的節(jié)點(diǎn)如A→F(服務(wù)A沒(méi)有調(diào)用服務(wù)B)、B2→E1(服務(wù)B沒(méi)有調(diào)用服務(wù)C)；

(3)以服務(wù)為基準(zhǔn)進(jìn)行費(fèi)用計(jì)算。從最后一個(gè)服務(wù)開(kāi)始，標(biāo)注調(diào)用該服務(wù)的某臺(tái)機(jī)器需要的費(fèi)用；

(4)依次沿著調(diào)用鏈路逆向計(jì)算費(fèi)用，直到調(diào)用源頭。

圖4 基于調(diào)用鏈路分析的微服務(wù)負(fù)載均衡

2.4 基于VLAN和流表優(yōu)先級(jí)的服務(wù)限流

當(dāng)網(wǎng)絡(luò)請(qǐng)求到達(dá)SDN網(wǎng)絡(luò)時(shí)，需要路由到限流服務(wù)器決定是否通過(guò)，SDN控制器通過(guò)對(duì)SDN交換機(jī)安裝流表，將網(wǎng)絡(luò)流量轉(zhuǎn)發(fā)到限流服務(wù)器，由限流服務(wù)器決定是否允許網(wǎng)絡(luò)流量通過(guò)。

如果網(wǎng)絡(luò)流沒(méi)有觸發(fā)限流，被允許通過(guò)，限流服務(wù)器需要把數(shù)據(jù)包發(fā)送回網(wǎng)絡(luò)，并按照合適的路徑傳輸給目的主機(jī)。但前文提到，需要把新進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)包轉(zhuǎn)發(fā)到限流服務(wù)器，當(dāng)限流服務(wù)器把數(shù)據(jù)包傳回網(wǎng)絡(luò)時(shí)，需要網(wǎng)絡(luò)能夠正確處理網(wǎng)絡(luò)數(shù)據(jù)包，不再轉(zhuǎn)發(fā)給限流服務(wù)器，而是按照正常的路徑規(guī)劃轉(zhuǎn)發(fā)到目標(biāo)節(jié)點(diǎn)。

為了能夠區(qū)分到達(dá)限流服務(wù)器之前的數(shù)據(jù)包和從限流服務(wù)器傳回的數(shù)據(jù)包，文中通過(guò)VLAN標(biāo)記對(duì)兩種數(shù)據(jù)包進(jìn)行標(biāo)識(shí)。當(dāng)限流服務(wù)器將數(shù)據(jù)包傳回SDN網(wǎng)絡(luò)時(shí)，需要對(duì)數(shù)據(jù)包添加VALN標(biāo)記，SDN交換機(jī)和SDN控制器通過(guò)VLAN標(biāo)記對(duì)兩種數(shù)據(jù)包進(jìn)行區(qū)分。此技術(shù)消耗一個(gè)VLAN id即可，文中定義為VLAN 10。

在SDN交換機(jī)的流表項(xiàng)匹配時(shí)，使用流表優(yōu)先級(jí)確定對(duì)網(wǎng)絡(luò)數(shù)據(jù)包的轉(zhuǎn)發(fā)決定。為此需要預(yù)先安裝另一條流表1：VLAN 10，轉(zhuǎn)發(fā)至SDN控制器，優(yōu)先級(jí)A。前文提到的默認(rèn)轉(zhuǎn)發(fā)到限流服務(wù)器的流表2優(yōu)先級(jí)定義為B。優(yōu)先級(jí)A>B，當(dāng)網(wǎng)絡(luò)數(shù)據(jù)包到達(dá)SDN網(wǎng)絡(luò)時(shí)，SDN交換機(jī)有兩個(gè)流表，流表1優(yōu)先級(jí)高，但此時(shí)數(shù)據(jù)包沒(méi)有VLAN 10的標(biāo)記，所以不匹配流表1，但匹配流表2，從而按照流表2的轉(zhuǎn)發(fā)決定轉(zhuǎn)發(fā)到限流服務(wù)器。當(dāng)限流服務(wù)器把數(shù)據(jù)包傳回SDN網(wǎng)絡(luò)時(shí)，由于添加了VLAN 10標(biāo)記，從而匹配到了流表1，按照流表1的轉(zhuǎn)發(fā)決定把數(shù)據(jù)包轉(zhuǎn)發(fā)到SDN控制器，SDN控制器為其進(jìn)行路徑選擇，然后安裝相應(yīng)流表(定義為流表3，優(yōu)先級(jí)C)到SDN交換機(jī)。此時(shí)流表優(yōu)先級(jí)C>A>B。所以數(shù)據(jù)包此后會(huì)按照流表3的轉(zhuǎn)發(fā)決定，被轉(zhuǎn)發(fā)到目的服務(wù)節(jié)點(diǎn)。

圖5為網(wǎng)絡(luò)流被允許通過(guò)時(shí)網(wǎng)絡(luò)流的走向。其中，步驟3將網(wǎng)絡(luò)流轉(zhuǎn)發(fā)到限流服務(wù)器，限流服務(wù)器決定允許該網(wǎng)絡(luò)流正常轉(zhuǎn)發(fā)，對(duì)數(shù)據(jù)包添加VLAN 10標(biāo)記，然后傳回到SDN網(wǎng)路中，到達(dá)SDN交換機(jī)后，由于匹配到了流表1，且流表1的優(yōu)先級(jí)大于流表2，所以會(huì)向SDN控制器發(fā)出請(qǐng)求流表。步驟7控制器為交換機(jī)安裝正常轉(zhuǎn)發(fā)的流表3，該流表的優(yōu)先級(jí)最高，后續(xù)的轉(zhuǎn)發(fā)行為將按照此流表正常轉(zhuǎn)發(fā)到服務(wù)節(jié)點(diǎn)。

圖5 微服務(wù)通信時(shí)的網(wǎng)絡(luò)數(shù)據(jù)流向

3 實(shí)驗(yàn)評(píng)估與分析

3.1 測(cè)試環(huán)境搭建

Mininet是一款廣泛使用的SDN網(wǎng)絡(luò)測(cè)試平臺(tái)，文中基于Mininet搭建網(wǎng)絡(luò)拓?fù)洌⒒贠NOS(一款分布式SDN控制器)編寫(xiě)算法，微服務(wù)使用thrift框架編寫(xiě)，運(yùn)行于docker容器中，docker容器內(nèi)運(yùn)行ubuntu操作系統(tǒng)。整個(gè)實(shí)驗(yàn)的網(wǎng)絡(luò)拓?fù)淙鐖D6所示，共10臺(tái)SDN交換機(jī)，由Mininet拓?fù)淠_本建立，13臺(tái)運(yùn)行微服務(wù)的主機(jī)，部署在13臺(tái)docker容器中，微服務(wù)之間的調(diào)用關(guān)系與圖5保持一致。docker容器與SDN交換機(jī)進(jìn)行橋接，以進(jìn)行網(wǎng)絡(luò)連通。實(shí)驗(yàn)中交換機(jī)端口帶寬配置為50 M，延遲10 ms。

圖6 實(shí)驗(yàn)拓?fù)?/p>

3.2 實(shí)驗(yàn)結(jié)果分析

首先將D1與S6的連接斷開(kāi)，主機(jī)A1發(fā)起服務(wù)調(diào)用，使用隨機(jī)模式的負(fù)載均衡與文中提出的基于調(diào)用鏈路分析的負(fù)載均衡算法分別進(jìn)行1 000次調(diào)用，重復(fù)10次試驗(yàn)，結(jié)果表明文中算法的調(diào)用全部成功，隨機(jī)模式的實(shí)驗(yàn)結(jié)果如圖7所示。大體上有三分之一的調(diào)用失敗，其原因?yàn)锳應(yīng)用調(diào)用B應(yīng)用有3個(gè)候選機(jī)器，每個(gè)機(jī)器同等概率被調(diào)用，但主機(jī)B1的調(diào)用后續(xù)鏈路是不通的。

圖7 實(shí)驗(yàn)1隨機(jī)負(fù)載均衡算法失敗次數(shù)

然后將D1與S6的連接恢復(fù)，延遲時(shí)間增加到100 ms，使用iperf工具進(jìn)行隨機(jī)的背景流量發(fā)送，然后進(jìn)行100次服務(wù)調(diào)用，對(duì)比平均調(diào)用時(shí)延，結(jié)果如圖8所示?？梢?jiàn)文中提出的算法能夠有效降低調(diào)用時(shí)延，其原因主要是隨機(jī)負(fù)載均衡算法無(wú)法感知某個(gè)調(diào)用鏈路具體的優(yōu)劣，無(wú)法進(jìn)行更優(yōu)化的路徑選擇。

最后進(jìn)行服務(wù)限流實(shí)驗(yàn)，開(kāi)啟20 M/s的隨機(jī)背景流量，隨后不斷加大調(diào)用頻率，出現(xiàn)大量超時(shí)后，統(tǒng)計(jì)100次調(diào)用成功的平均時(shí)延，共統(tǒng)計(jì)10次，隨后開(kāi)啟限流，丟棄1/4的流量，重復(fù)實(shí)驗(yàn)，結(jié)果如圖9所示。實(shí)驗(yàn)表明限流功能能夠有效減少網(wǎng)絡(luò)擁堵。

圖8 隨著流量增多服務(wù)調(diào)用延遲趨勢(shì)

圖9 限流實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

對(duì)基于SDN的微服務(wù)場(chǎng)景下的負(fù)載均衡與限流進(jìn)行了研究，通過(guò)虛IP與IP改寫(xiě)技術(shù)，將微服務(wù)調(diào)用的負(fù)載均衡上移到控制平面，進(jìn)而提出了基于調(diào)用鏈路分析的負(fù)載均衡算法。同時(shí)通過(guò)VLAN標(biāo)記和流表優(yōu)先級(jí)機(jī)制實(shí)現(xiàn)服務(wù)限流，在服務(wù)過(guò)載時(shí)保護(hù)服務(wù)的正常服務(wù)，避免服務(wù)不可用。實(shí)驗(yàn)結(jié)果表明，提出的算法、策略能夠降低微服務(wù)的調(diào)用時(shí)延，提升微服務(wù)的性能。