劉錦輝，易必杰，張 昊

(西安電子科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，陜西 西安 710071)

霧計(jì)算[1]是從云計(jì)算演化來(lái)的一種計(jì)算范式。作為云計(jì)算的延伸，霧計(jì)算的算力由云端下沉至靠近物聯(lián)網(wǎng)設(shè)備的邊緣側(cè)，從而有效降低服務(wù)的傳輸延遲，保障服務(wù)質(zhì)量。霧計(jì)算環(huán)境通常是由高性能嵌入式板卡組成的異構(gòu)計(jì)算集群。一方面，由于底層硬件架構(gòu)的差異性，霧計(jì)算環(huán)境中的資源很難像云計(jì)算那樣進(jìn)行統(tǒng)一管理。另一方面，由于嵌入式計(jì)算資源算力受限，服務(wù)在霧計(jì)算層不同的映射放置策略，對(duì)霧計(jì)算層設(shè)備的資源利用率影響巨大。因此，研究在霧計(jì)算環(huán)境中如何合理部署服務(wù)，高效利用嵌入式設(shè)備上有限的異構(gòu)資源，已成為學(xué)術(shù)界與產(chǎn)業(yè)界的研究熱點(diǎn)。

針對(duì)分布式計(jì)算協(xié)作問題，文獻(xiàn)[2]采用基于動(dòng)態(tài)規(guī)劃的策略不僅可以有效降低系統(tǒng)服務(wù)延遲，同時(shí)還可以提高資源利用率。為保證訪問頻繁的服務(wù)盡可能靠近用戶，文獻(xiàn)[3]提出一種分布式服務(wù)放置策略，有效改善了服務(wù)的網(wǎng)絡(luò)使用和延遲。文獻(xiàn)[4]將應(yīng)用請(qǐng)求建模為有向無(wú)環(huán)圖(Directed Acycline Graph，DAG)，分別設(shè)計(jì)在線和離線兩種策略，期望在截止期限內(nèi)完成更多的任務(wù)請(qǐng)求。文獻(xiàn)[5]提出的服務(wù)管理策略在滿足了不同服務(wù)交付延遲的同時(shí)顯著提高了系統(tǒng)性能?，F(xiàn)有研究主要考慮服務(wù)質(zhì)量(Quality of Service，QoS)，較少涉及嵌入式資源異構(gòu)性及資源利用率[6]。然而在資源受限環(huán)境下，有效提高異構(gòu)計(jì)算資源利用率是提升霧環(huán)境服務(wù)承載能力的關(guān)鍵。因此在霧環(huán)境中，有必要研究一種基于嵌入式異構(gòu)資源利用率的服務(wù)放置策略。

筆者提出了一種面向霧計(jì)算應(yīng)用的服務(wù)放置策略，在確保服務(wù)質(zhì)量的同時(shí)，充分考慮異構(gòu)資源利用率。實(shí)驗(yàn)結(jié)果表明，與基于請(qǐng)求率策略和iFogSim默認(rèn)策略相比，筆者提出的策略在系統(tǒng)異構(gòu)資源利用率方面分別提高了約10.7%和28.7%。

1 基于嵌入式異構(gòu)資源利用率的放置策略

如圖1所示，采用一種通用系統(tǒng)架構(gòu)描述霧計(jì)算環(huán)境，整體分為3層：云層、霧層和用戶層。云層是由大型服務(wù)器構(gòu)成的計(jì)算集群，位于整個(gè)架構(gòu)的最上層。

圖1 霧計(jì)算系統(tǒng)架構(gòu)

霧層主要由各種嵌入式計(jì)算設(shè)備組成，位于用戶和云之間，主要為延遲敏感的應(yīng)用提供部署環(huán)境，對(duì)用戶請(qǐng)求做出快速響應(yīng)。根據(jù)霧層設(shè)備與用戶間的物理距離不同，將霧層設(shè)備細(xì)分為多個(gè)子層，越靠近用戶側(cè)的子層網(wǎng)絡(luò)延遲越小，同一子層內(nèi)的設(shè)備間網(wǎng)絡(luò)通信開銷明顯低于跨層網(wǎng)絡(luò)通信開銷。用戶層與用戶直接交互，向上層發(fā)送收集到的數(shù)據(jù)，同時(shí)接收上層處理后的返回結(jié)果。

針對(duì)霧層中微服務(wù)的放置問題，如果在建模過(guò)程中僅考慮服務(wù)質(zhì)量指標(biāo)，就無(wú)法充分利用霧層設(shè)備上的資源，造成霧層設(shè)備資源利用率下降。因此，考慮資源約束條件下的任務(wù)分配問題是更符合霧計(jì)算環(huán)境的[7]。

1.1 系統(tǒng)模型

基于微服務(wù)的設(shè)計(jì)思想，將應(yīng)用程序建模為一組服務(wù)集合，服務(wù)間的調(diào)用關(guān)系以有向無(wú)環(huán)圖的形式表示。霧層設(shè)備資源利用率模型構(gòu)建如下。

(1)

其中，d(k)表示用戶k訪問的設(shè)備到云層的路徑上的設(shè)備集合。

(2)

(3)

假定霧層中的設(shè)備集合為F，設(shè)備數(shù)量為|F|，則系統(tǒng)X類型的資源利用率ηX為所有設(shè)備利用率的算術(shù)平均值：

(4)

在考慮多種資源的情況下，無(wú)法保證n種資源利用率均最大化[8]。因此，通過(guò)一種加權(quán)平均方法綜合考慮各種資源的利用率。按上述模型計(jì)算系統(tǒng)每種類型資源的利用率，為每種資源設(shè)置權(quán)重，且權(quán)重之和為1：

wcpu+wmem+wbw+wgpu+wfpga=1 。

(5)

(6)

(7)

(8)

(9)

(10)

(11)

基于以上分析，定義系統(tǒng)平均異構(gòu)資源利用率ηavg為所有類型資源利用率的加權(quán)平均，服務(wù)放置策略的求解目標(biāo)即為最大化系統(tǒng)平均資源利用率：

(12)

1.2 放置策略算法

為了同時(shí)保證服務(wù)質(zhì)量指標(biāo)與霧層設(shè)備的資源利用率，服務(wù)放置時(shí)首選霧層中最靠近用戶側(cè)的子層[9]。圖2展示了服務(wù)放置位置的決策流程。

圖2 算法流程圖

在設(shè)備Di資源充足時(shí)，則直接在其上放置服務(wù)Mx，否則需要比較直接在新的設(shè)備放置服務(wù)與遷移設(shè)備Di上已有服務(wù)來(lái)滿足服務(wù)Mx放置需求這兩種策略的資源利用率，確定放置決策。具體地，算法1描述了基于系統(tǒng)異構(gòu)資源利用率設(shè)計(jì)服務(wù)放置策略。

算法1基于嵌入式異構(gòu)資源的服務(wù)放置策略。

輸入：微服務(wù)服務(wù)Mx，嵌入式設(shè)備Di。

輸出：服務(wù)Mx放置操作a。

① ifMx?Ms

③a(Mx，Di)；

⑤a(Mx，f(Di))；

⑥ else

⑦ forM∈Ms

⑧ 計(jì)算CsubDi，M并加入到o(Di)；

⑨ forCsubDi，Mino(Di)

⑩ 計(jì)算Ravg，M；

算法1的整體過(guò)程是確定一個(gè)服務(wù)Mx是否放置在設(shè)備Di上。當(dāng)設(shè)備Di上剩余的可用資源已不能滿足服務(wù)Mx的資源請(qǐng)求時(shí)，則考慮重新放置設(shè)備Di上已部署的其他服務(wù)，從而使得Di上的資源可用量達(dá)到服務(wù)Mx的要求。算法1以最大化霧層設(shè)備資源利用率為目標(biāo)，不斷衡量通過(guò)重新放置其他服務(wù)來(lái)保證Mx放置到設(shè)備Di上的策略與直接將服務(wù)Mx放置到上層設(shè)備的策略的優(yōu)劣關(guān)系，確定最佳服務(wù)放置策略。

具體地，算法1的輸入為當(dāng)前待放置的服務(wù)Mx和放置目標(biāo)設(shè)備Di。算法1第1行到第5行中，嘗試將Mx放置到Di上。當(dāng)且僅當(dāng)Di上已經(jīng)放置的服務(wù)列表Ms中不包含Mx時(shí)，策略才會(huì)考慮服務(wù)放置請(qǐng)求。如果Di是云層的設(shè)備，或者Di當(dāng)前資源可用量可以滿足Mx請(qǐng)求資源量時(shí)，則直接將Mx放置到Di上。如果Mx請(qǐng)求資源量大于Di資源總量，則直接將服務(wù)Mx放置在Di的上層設(shè)備f(Di)，并開始新一輪的策略循環(huán)。

若上述決策均未執(zhí)行，則執(zhí)行算法1的第6行到第12行，對(duì)Ms中的所有服務(wù)計(jì)算傳遞閉包，并對(duì)傳遞閉包與Ms交集計(jì)算平均資源利用率。需要考慮選擇當(dāng)前設(shè)備Di上合適的服務(wù)集合進(jìn)行重新放置，以釋放足夠的資源空間放置Mx。如上文所述，首先需要計(jì)算Di上的每個(gè)服務(wù)對(duì)應(yīng)的傳遞閉包T(M)。由于此時(shí)T(M)中的服務(wù)不一定都在Di上，因此還需要和Ms求交集，得到CsubDi，M集合；該集合表示當(dāng)需要遷移某個(gè)服務(wù)M時(shí)需要一起進(jìn)行遷移的服務(wù)集合。對(duì)每個(gè)CsubDi，M進(jìn)行判斷，是否真正需要遷移以釋放資源，取決于CsubDi，M中服務(wù)的平均資源請(qǐng)求量。具體而言，需要先計(jì)算當(dāng)前集合CsubDi，M的平均資源占用量Ravg，M，該值用于表示根據(jù)服務(wù)請(qǐng)求率和資源請(qǐng)求量綜合之后得到的對(duì)比指標(biāo)；最后按照Ravg，M對(duì)所有集合排序得到o(Di)。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 軟硬件環(huán)境及參數(shù)介紹

使用Xilinx的ZCU102嵌入式平臺(tái)作為硬件測(cè)試環(huán)境，通過(guò)Petalinux2018.3編譯生成系統(tǒng)啟動(dòng)文件[10]。然后通過(guò)Kuberbetes設(shè)備插件設(shè)計(jì)實(shí)現(xiàn)在ZCU102上容器化環(huán)境中的資源發(fā)現(xiàn)，為服務(wù)在嵌入式設(shè)備上的放置與執(zhí)行提供容器化執(zhí)行環(huán)境[11]。

使用iFogSim框架構(gòu)建霧計(jì)算環(huán)境[12]。該框架支持創(chuàng)建分層的體系結(jié)構(gòu)、分布式應(yīng)用程序的建模以及基于性能指標(biāo)評(píng)估調(diào)度策略。實(shí)驗(yàn)中使用的環(huán)境參數(shù)參考文獻(xiàn)[3]，如表1所示。

表1 環(huán)境參數(shù)對(duì)照表

2.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

本節(jié)通過(guò)改變環(huán)境參數(shù)構(gòu)建不同場(chǎng)景，并針對(duì)應(yīng)用程序數(shù)量、網(wǎng)絡(luò)層數(shù)等對(duì)比指標(biāo)設(shè)計(jì)實(shí)驗(yàn)[13]。筆者提出的基于異構(gòu)資源利用率的服務(wù)放置策略，在結(jié)果中表示為Resource，以下簡(jiǎn)稱R策略。實(shí)驗(yàn)中與之對(duì)比的另外兩種策略如下：

Popularity：以下簡(jiǎn)稱P策略，文獻(xiàn)[3]中提出的基于請(qǐng)求率的服務(wù)放置策略，核心思想是將請(qǐng)求率較高的服務(wù)盡可能放置在靠近用戶層的設(shè)備上。

Edgewards：以下簡(jiǎn)稱E策略，或iFogSim默認(rèn)策略[14]。該策略盡量將服務(wù)放置在靠近用戶層的設(shè)備上，與P策略的不同在于僅通過(guò)CPU的資源消耗量決定服務(wù)的放置。

2.2.1 異構(gòu)資源利用率對(duì)比

本小節(jié)分別對(duì)比不同參數(shù)下3種策略的異構(gòu)資源利用率的實(shí)驗(yàn)情況，并給出簡(jiǎn)要分析。

應(yīng)用程序數(shù)量：參數(shù)A表示應(yīng)用程序的數(shù)量，這一參數(shù)在實(shí)驗(yàn)環(huán)境中表示為連接到某一網(wǎng)關(guān)上的傳感器數(shù)量。實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 資源利用率隨應(yīng)用程序數(shù)量變化情況

由于設(shè)備資源有限，過(guò)多請(qǐng)求會(huì)導(dǎo)致霧層設(shè)備資源消耗接近飽和狀態(tài)，無(wú)法處理新到來(lái)的放置請(qǐng)求，此時(shí)請(qǐng)求將直接被發(fā)送到云層處理。因此隨著A數(shù)量不斷增加，霧層設(shè)備整體資源利用率會(huì)趨于穩(wěn)定[15]。實(shí)驗(yàn)結(jié)果表明，筆者提出的R策略的霧層設(shè)備資源利用率明顯高于另外兩種策略。原因在于P策略將請(qǐng)求率較低的服務(wù)放置在距離云層更近的霧層設(shè)備上，服務(wù)分布較為分散，從而導(dǎo)致資源利用率較低；E策略將服務(wù)更多地放置在距離用戶層更近的霧層設(shè)備上以滿足服務(wù)靠近用戶的要求，因此資源利用率隨著A增加而上升。

網(wǎng)絡(luò)層數(shù)：霧層設(shè)備資源利用率隨網(wǎng)絡(luò)層數(shù)的變化如圖4所示。由于傳入的A數(shù)量保持不變，所以對(duì)于霧層設(shè)備資源利用率的影響較小。R策略在保障請(qǐng)求率的基礎(chǔ)上考慮了資源利用率，因此整體利用率略高于P策略；由于P策略和R策略使用類似于廣度優(yōu)先遍歷的策略搜索設(shè)備，盡量將服務(wù)放置到同層的其他設(shè)備上，因此激活的設(shè)備數(shù)量受層數(shù)變化影響較小；而E策略采用類似深度優(yōu)先策略，服務(wù)被放置到多層設(shè)備上，從而導(dǎo)致霧層的資源利用率較低。

圖4 資源利用率隨網(wǎng)絡(luò)層數(shù)變化情況

路由節(jié)點(diǎn)數(shù)量：霧層設(shè)備資源利用率隨路由節(jié)點(diǎn)數(shù)量變化如圖5所示。路由節(jié)點(diǎn)數(shù)量參數(shù)Lchildrendevices增加會(huì)導(dǎo)致A數(shù)量增加。R策略隨路由節(jié)點(diǎn)數(shù)量增加，霧層設(shè)備資源利用率上升，在路由節(jié)點(diǎn)數(shù)量為8時(shí)趨于穩(wěn)定。相較之下，另外兩種策略利用率變化不明顯，路由節(jié)點(diǎn)數(shù)量為3時(shí)就已經(jīng)趨向穩(wěn)定，原因在于E策略是一種縱向放置決策，受橫向擴(kuò)展的參數(shù)變化影響不明顯；而P策略將服務(wù)分為高低兩種請(qǐng)求率，服務(wù)放置較為分散，因此橫向擴(kuò)展后，雖然A數(shù)量增加，但是對(duì)應(yīng)同一層的設(shè)備數(shù)量也隨之增加，因此P策略的資源利用率略高于E策略，但低于將服務(wù)放置更緊密的R策略。

圖5 資源利用率隨路由節(jié)點(diǎn)數(shù)變化情況

2.2.2 網(wǎng)絡(luò)帶寬占用對(duì)比

根據(jù)文獻(xiàn)[3]，定義網(wǎng)絡(luò)帶寬占用為每個(gè)請(qǐng)求大小與設(shè)備間網(wǎng)絡(luò)延遲乘積之和，單位為字節(jié)。網(wǎng)絡(luò)帶寬占用隨網(wǎng)絡(luò)層數(shù)變化情況如圖6所示。實(shí)驗(yàn)結(jié)果中，3種策略表現(xiàn)出來(lái)的整體變化趨勢(shì)一致，即隨著網(wǎng)絡(luò)層數(shù)增加，設(shè)備之間網(wǎng)絡(luò)帶寬占用也隨之增加。然而，筆者提出的R策略在同樣的實(shí)驗(yàn)環(huán)境下，霧層設(shè)備網(wǎng)絡(luò)帶寬占用明顯較低，原因在于R策略較于另外兩種策略，會(huì)將服務(wù)更緊密放置在同一層，避免不同層間頻繁通信。因此，設(shè)備之間延遲受網(wǎng)絡(luò)層數(shù)變化影響相對(duì)較小，網(wǎng)絡(luò)帶寬占用更低。

圖6 網(wǎng)絡(luò)帶寬占用隨網(wǎng)絡(luò)層數(shù)量變化情況

2.3 實(shí)驗(yàn)總結(jié)

對(duì)3種服務(wù)放置策略進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果說(shuō)明筆者提出放置策略在降低網(wǎng)絡(luò)帶寬占用的同時(shí)提高了霧層設(shè)備資源利用率。如表2所示，筆者提出的R策略在不同場(chǎng)景均表現(xiàn)出較高的資源利用率，相比其他兩種策略分別平均提高約 10.7% 和28.7%。在網(wǎng)絡(luò)帶寬占用對(duì)比實(shí)驗(yàn)中，隨著網(wǎng)絡(luò)層數(shù)不斷增加，R策略相比其他策略在網(wǎng)絡(luò)帶寬占用上大幅度降低。

表2 實(shí)驗(yàn)結(jié)果匯總

3 結(jié)束語(yǔ)

通過(guò)設(shè)計(jì)針對(duì)異構(gòu)資源利用率的服務(wù)放置策略，在保證服務(wù)質(zhì)量的前提下，有效地提高了嵌入式資源的利用率。通過(guò)與基于請(qǐng)求率的策略和iFogSim默認(rèn)策略進(jìn)行對(duì)比，筆者提出的策略在同樣的霧計(jì)算環(huán)境下，在提高霧層設(shè)備資源利用率的同時(shí)有效地降低了網(wǎng)絡(luò)帶寬占用。