摘 要：在邊緣計算切換策略中，針對馬爾可夫決策過程（Markov decision process，MDP）傳輸時延高且環(huán)境適應(yīng)能力差等問題，提出了一種融合模糊邏輯與馬爾可夫決策過程的邊緣計算切換策略。該策略采用模糊邏輯算法將系統(tǒng)參數(shù)模糊化，并且將模糊值引入適應(yīng)度函數(shù)，保證系統(tǒng)參數(shù)能夠有效融合；利用差分進化算法求解適應(yīng)度函數(shù)最大值，從而選取出該環(huán)境的最優(yōu)規(guī)則，提高邊緣計算對環(huán)境的適應(yīng)能力；將適應(yīng)度函數(shù)引入MDP，提高系統(tǒng)綜合性能。該方案將移動智能設(shè)備作為任務(wù)卸載發(fā)起方，將邊緣服務(wù)器作為任務(wù)卸載對象，對一維MDP切換策略、一維僅時延MDP切換策略、二維MDP切換策略、模糊邏輯MDP切換策略、最小距離切換算法和最小時延切換算法進行仿真。仿真結(jié)果表明，模糊邏輯MDP的邊緣計算切換策略的任務(wù)執(zhí)行平均時長為608.8 s，較一維MDP切換策略、一維僅時延MDP切換策略、二維MDP切換策略、最小距離切換算法和最小時延切換算法分別降低了27.2%、8.6%、37.1%、41%和22.3%。該方案在提高了基于MDP的邊緣計算切換策略的環(huán)境適應(yīng)性的同時，大幅降低了邊緣計算的傳輸時延。

關(guān)鍵詞：邊緣計算；馬爾可夫決策過程；模糊邏輯；差分進化

中圖分類號：TP3 文獻標志碼：A

文章編號：1001-3695（2022）07-022-2063-05

doi：10.19734/j.issn.1001-3695.2021.12.0669

基金項目：國家自然科學(xué)基金資助項目（61761007）

作者簡介：鐘盛德（1996-），男，廣西崇左人，碩士研究生，主要研究方向為移動邊緣計算；唐煜星（1995-），男，廣西南寧人，碩士研究生，主要研究方向為云計算與無線傳感網(wǎng)絡(luò)；郭文豪（1995-），男，河南鄧州人，碩士研究生，主要研究方向為智能電網(wǎng)信息化處理；胡永樂（1980-），男，廣西南寧人，高級工程師，碩士，主要研究方向為移動通信、智能電網(wǎng)信息工程；覃團發(fā)（1966-），男（通信作者），廣西賓陽人，教授，博導(dǎo)，博士，主要研究方向為無線多媒體通信（tfqin@gxu.edu.cn）.

Edge computing switching strategy integrated fusion of fuzzy logic and Markov decision process

Zhong Shengde^1a，1b，Tang Yuxing^1a，1b，Guo Wenhao^1a，1b，Hu Yongle²，Qin Tuanfa^1a，1b?

（1.a.School of Computer amp; Electronic Information，b.Guangxi Key Laboratory of Multimedia Communications amp; Network Technology，Guangxi University，Nanning 530004，China；2.Runjian Co.，Ltd.，Nanning 530007，China）

Abstract：In edge computing switching strategy，aiming at the problems of high transmission delay and poor environmental adaptability of Markov decision process（MDP），this paper proposed an edge computing switching strategy integrating fuzzy logic and Markov decision process.The method used fuzzy logic algorithm to fuzzify the system parameters，and introduced the fuzzy value into the fitness function to ensure the effective fusion of system parameters.The differential evolution algorithm solved the maximum problem of fitness function，which could select the optimal rules of the environment and improve the adaptability of edge computing to the environment.The algorithm introduced the fitness function into MDP，which improved the comprehensive performance of the system.The scheme took the mobile intelligent device as the initiator of task unloading and the edge server as the object of task unloading.This paper simulated the one-dimensional MDP switching strategy，one-dimensional delay only MDP switching strategy，two-dimensional MDP switching strategy，fuzzy logic MDP switching strategy，minimum distance switching algorithm and minimum delay switching algorithm.The simulation results show that the average task execution time of the edge computing switching strategy of fuzzy logic MDP is 608.8 s，which are 27.2%，8.6%，37.1%，41% and 22.3% lower than one-dimensional MDP switching strategy，one-dimensional delay only MDP switching strategy，two-dimensional MDP swi-tching strategy，minimum distance switching algorithm and minimum delay switching algorithm respectively.This scheme not only improves the environmental adaptability of the edge computing switching strategy based on MDP，but also greatly reduces the transmission delay of edge computing.

Key words：edge computing；MDP；fuzzy logic；differential evolution

0 引言

移動邊緣計算（mobile edge computing，MEC）是一種將計算任務(wù)卸載至附近邊緣設(shè)備的新型技術(shù)。該技術(shù)使用分布式數(shù)據(jù)處理的方式來滿足用戶設(shè)備不斷增長的能量和計算需求^［1］。目前，邊緣計算正在與5G甚至更高級別網(wǎng)絡(luò)進行融合。邊緣計算在一定程度上可以提高5G網(wǎng)絡(luò)的靈活性，而5G網(wǎng)絡(luò)可以滿足邊緣計算對吞吐量、延遲和可擴展性方面的要求^［2］。從某種意義上說，邊緣計算與5G網(wǎng)絡(luò)相互依存。5G和MEC的融合主要用于工業(yè)領(lǐng)域。在工業(yè)領(lǐng)域中，已經(jīng)形成以“5G+邊緣計算”網(wǎng)絡(luò)為主體的智慧工廠系統(tǒng)；而在民用領(lǐng)域，移動智能設(shè)備受到芯片的限制，不能有效地計算大量數(shù)據(jù)，無法滿足移動設(shè)備用戶的需求，因此邊緣計算節(jié)點網(wǎng)絡(luò)的建設(shè)引起了廣泛關(guān)注。

目前，基于MDP的MEC系統(tǒng)任務(wù)切換策略已有一些成果。Yang等人^［3］研究了由支持各種無線接入技術(shù)的異構(gòu)邊緣服務(wù)器組成的MEC系統(tǒng)，并基于異構(gòu)邊緣服務(wù)器的可用帶寬和移動設(shè)備的位置，建立馬爾可夫模型，實驗表明馬爾可夫模型在卸載對象的選擇上優(yōu)于經(jīng)典策略。Taleb等人^［4］提出了一種基于MDP的一維模型，將移動智能設(shè)備和邊緣計算服務(wù)器之間的距離作為判斷依據(jù)，運動方向和系統(tǒng)動作作為獎勵，構(gòu)建一維的MDP模型，解決了移動智能設(shè)備在邊緣計算領(lǐng)域的計算卸載問題，但是在定位精度低的復(fù)雜場景中，會出現(xiàn)無法選擇最佳卸載對象的情況。李波等人^［5］使用馬爾可夫決策，將通信鏈路的動態(tài)變化時隙作為切換依據(jù)，構(gòu)建一維僅時延MDP模型，能有效降低卸載場景動態(tài)化對計算卸載的影響，但是該算法在計算動態(tài)變化時隙時需要消耗大量的時間進行等待操作，對使用環(huán)境不具有普適性。Wang等人^［6］針對動態(tài)的服務(wù)遷移，在假設(shè)定位準確的情況下設(shè)計了一維和二維的馬爾可夫模型，結(jié)果表明采用馬爾可夫模型可以解決動態(tài)遷移問題。Miao等人^［7］提出了一種基于優(yōu)先級的馬爾可夫資源分配方案，以提高車輛對任務(wù)突發(fā)性的應(yīng)變能力。

除此之外，模糊邏輯在MEC系統(tǒng)中也取得了一些成果。文獻［8］對云端、邊緣計算和用戶端進行三級設(shè)計，使用模糊邏輯進行負載平衡，實現(xiàn)效能比的最大化。Sonmez等人^［9］針對邊緣計算設(shè)計了一個任意輸入模糊邏輯系統(tǒng)，將任意元素作為輸入，將卸載對象作為輸出，實驗表明，該系統(tǒng)可以提高卸載對象選擇的有效性。文獻［10］提出了同一層的計算對等卸載（EOPO）方案，在邊緣服務(wù)器之間共享計算資源，與局部邊緣卸載（LEO）相比，平均任務(wù)完成時間和任務(wù)失敗率大幅降低。Kolomvatsos^［11］針對邊緣計算系統(tǒng)的不確定性，采用了Ⅱ型模糊邏輯系統(tǒng)，將不確定性管理機制融入邊緣節(jié)點的決策模型中，最后邊緣節(jié)點選擇最合適的對等節(jié)點進行同層網(wǎng)絡(luò)的任務(wù)卸載。由上可知，模糊邏輯可以有效地融合系統(tǒng)參數(shù)，減少環(huán)境變化對系統(tǒng)的影響。

在邊緣計算領(lǐng)域中，MDP具有良好的預(yù)測性，可以應(yīng)對移動設(shè)備的無規(guī)則運動。由于環(huán)境的復(fù)雜性與多變性，許多MDP切換策略只適用于單一環(huán)境，無法針對各類復(fù)雜環(huán)境作出高效的卸載節(jié)點選擇決策，在工程應(yīng)用中效率較低。為了提高基于MDP的邊緣計算切換策略對環(huán)境的適應(yīng)能力，本文在一維MDP的基礎(chǔ)上，提出一種基于模糊邏輯的MDP邊緣計算切換策略，該策略利用差分進化算法對模糊邏輯的隸屬度函數(shù)進行進化選優(yōu)，得到該環(huán)境的最優(yōu)隸屬度函數(shù)、最優(yōu)規(guī)則和最大適應(yīng)度函數(shù)，最后將最大適應(yīng)度函數(shù)代入MDP進行運算。為了對比模糊邏輯MDP切換決策與其他MDP切換決策、同類切換算法的性能優(yōu)劣，本文模擬了三個不同的邊緣計算任務(wù)卸載環(huán)境，并進行了仿真實驗。實驗結(jié)果表明，該策略可以針對不同的環(huán)境動態(tài)進化出適合該環(huán)境的最優(yōu)隸屬度函數(shù)和規(guī)則，從而達到適應(yīng)多種地形環(huán)境的目的。

1 基于MDP的模型和切換策略

MDP模型通常分成狀態(tài)空間模型、動作空間模型、系統(tǒng)狀態(tài)轉(zhuǎn)移概率模型、回報函數(shù)模型。通過值迭代等算法求解最佳回報函數(shù)，從而得到切換策略。

1.1 MDP狀態(tài)空間模型

狀態(tài)空間是系統(tǒng)中各個模塊狀態(tài)的集合。在MDP模型中，將用戶與一定范圍內(nèi)的邊緣設(shè)備的距離作為狀態(tài)，所以MDP模型的狀態(tài)空間可定義為

S={s|s=（d，q）}（1）

其中：d表示用戶與一定范圍內(nèi)的邊緣設(shè)備的距離；q表示一定范圍內(nèi)邊緣設(shè)備的任務(wù)隊列狀態(tài)。

1.2 MDP動作空間模型

動作空間表示系統(tǒng)接下來將采取策略，一般MDP模型的動作空間定義為

A={a|a=1，2，3，…，n}（2）

式（2）表示在一定范圍有n個邊緣計算設(shè)備，選擇任意的設(shè)備進行卸載即為切換策略。令a（a∈A）表示系統(tǒng)對任務(wù)所采取的卸載動作，則a=1指將任務(wù)卸載至1號邊緣設(shè)備。

1.3 系統(tǒng)狀態(tài)轉(zhuǎn)移概率模型

令s′表示當前系統(tǒng)狀態(tài)s（s∈S）的下一個狀態(tài)，q′表示采取動作a后，連接上的邊緣設(shè)備中的任務(wù)隊列狀態(tài)，d′表示與各個邊緣設(shè)備的距離。由于系統(tǒng)狀態(tài)轉(zhuǎn)移概率與用戶采取的動作相關(guān)，所以當系統(tǒng)對任務(wù)執(zhí)行動作a（a∈A）時，任務(wù)隊列、距離從當前狀態(tài)轉(zhuǎn)移到下一個狀態(tài)的轉(zhuǎn)移函數(shù)分別表示為P（q|q′，a）和P（d|d′，a）。假設(shè)任務(wù)隊列和距離的狀態(tài)相互獨立，則系統(tǒng)狀態(tài)的轉(zhuǎn)移概率表示為

P（s|s′，a）=P（q|q′，a）×P（d|d′，a）（3）

系統(tǒng)轉(zhuǎn)移概率是對終端設(shè)備的下一狀態(tài)空間進行概率計算。終端設(shè)備在移動過程中，狀態(tài)空間是動態(tài)變化的。卸載模型一般是將地圖劃分為多個正六邊形小區(qū)，即距離轉(zhuǎn)移函數(shù)為P（d|d′，a）=0.167，而隊列轉(zhuǎn)移函數(shù)為

P（q|q′，a）=1-1tcapacity（4）

其中：t為目標邊緣計算節(jié)點任務(wù)隊列數(shù)量；tcapacity為該節(jié)點任務(wù)隊列的總?cè)萘?。?jié)點任務(wù)隊列數(shù)量越少，系統(tǒng)狀態(tài)轉(zhuǎn)移概率越大。

系統(tǒng)轉(zhuǎn)移概率將在值迭代算法中進行運算，對移動設(shè)備的未來狀態(tài)概率作出迭代計算，迭代次數(shù)越多，未來狀態(tài)的概率對當前狀態(tài)的影響越小。

1.4 回報函數(shù)模型

系統(tǒng)的回報函數(shù)定義為效益函數(shù)和代價函數(shù)之差。由于回報函數(shù)與用戶的任務(wù)和移動終端采取的動作相關(guān)，則任務(wù)的回報函數(shù)定義為

r=ωuU（xin）-ωcC（xin，a） a∈A（5）

其中：U（xin）為MDP模型關(guān)于任務(wù)的效益函數(shù)；xin為任務(wù)的數(shù)據(jù)量；ωu與ωc均為加權(quán)系數(shù)，加權(quán)取值為0～10。在無線通信和移動計算領(lǐng)域，用戶效益經(jīng)常采用對數(shù)函數(shù)表示，所以用戶對任務(wù)執(zhí)行決策的效益函數(shù)定義為

U（xin）=ρ log（1+xin）（6）

其中：ρ是常數(shù)。C（xin，a）為移動終端采用動作a對任務(wù)進行卸載的代價函數(shù)，其定義為

C（xin，a）=Cc+Ce（7）

Cc=φ×D+τ×T（8）

其中：Cc表示任務(wù)的傳輸代價，由傳輸距離D和傳輸時延T表示；φ和τ為加權(quán)系數(shù)，取值為［0，1］；Ce表示任務(wù)的計算代價，由計算能耗表示。由上述模型可知，任務(wù)的效益函數(shù)是靜態(tài)的，而代價函數(shù)是動態(tài)的，由于代價函數(shù)的計算較為復(fù)雜，所以需要采用一些特殊的算法進行處理。

1.5 切換策略

目前有多種算法可以用來解決方程的最優(yōu)問題，其中值迭代和策略迭代算法使用最廣。本文采用值迭代算法進行討論。MDP模型值迭代算法的目標函數(shù)是MDP模型的值函數(shù)，表示系統(tǒng)在s狀態(tài)下采取a動作后取得的回報，任務(wù)的值函數(shù)定義為

V（s，a）=r+λ∑s′P（s|s′，a）V（s′，a）（9）

其中：s∈S，a∈A；r為回報函數(shù)；λ為折扣率，取值為［0，1］，表示后續(xù)狀態(tài)對當前狀態(tài)值函數(shù)的影響因子?？梢钥闯?，卸載最優(yōu)解就是關(guān)于值函數(shù)V（s，a）的最大值求解，即

最佳卸載動作為

a*=argmaxa∈AV（s，a）（11）

2 改進的MDP切換策略

在計算機網(wǎng)絡(luò)中，模糊邏輯是處理低精確性的問題主要方法。它已成功地應(yīng)用于許多與網(wǎng)絡(luò)相關(guān)的領(lǐng)域，如負載管理、網(wǎng)絡(luò)管理、緩沖區(qū)管理和擁塞緩解等。所以，為了克服定位精度對切換策略的影響，本文提出一種基于模糊邏輯的MDP切換策略。該策略的計算步驟如下：

a）利用隸屬函數(shù)模糊化系統(tǒng)參數(shù)，將參數(shù)模糊值引入差分進化算法，在完成一定次數(shù)的差分進化后，得到適應(yīng)度函數(shù)最大值和最優(yōu)隸屬度函數(shù)，從而推理出該場景的最優(yōu)模糊規(guī)則。

b）對場景的隸屬度函數(shù)和模糊規(guī)則進行固化，用戶再次進入該場景時，無須再次進行最優(yōu)規(guī)則推理。

c）根據(jù)該場景的最優(yōu)隸屬函數(shù)和模糊規(guī)則，計算適應(yīng)度，并且將適應(yīng)度引入MDP切換策略，提高MEC系統(tǒng)的計算效率，同時保障系統(tǒng)對環(huán)境的適應(yīng)性。

2.1 模糊邏輯系統(tǒng)

模糊邏輯主要是對輸入變量和輸出變量進行模糊化處理，制定輸入變量和模糊值的映射規(guī)則，經(jīng)過模糊推理，得到輸出變量的模糊值，最后進行解模糊處理，得到輸出變量。為了將模糊邏輯與MDP進行融合，本文對模糊邏輯系統(tǒng)進行了改進，設(shè)計了一個針對MDP切換策略的模糊邏輯系統(tǒng)，該模糊邏輯系統(tǒng)的組成部分是參數(shù)整合模塊、規(guī)則推理模塊和MDP模塊。模糊邏輯系統(tǒng)結(jié)構(gòu)如圖1所示。

2.2 參數(shù)整合模塊

參數(shù)整合模塊利用邊緣計算系統(tǒng)所能監(jiān)測到的四種數(shù)據(jù)和任務(wù)量作為輸入變量，如式（12）所示。

F=（α，β，γ，δ，ε）（12）

其中：α是WAN帶寬，代表著移動終端與中心云的通信情況；β是輸入任務(wù)大小，任務(wù)的大小關(guān)系著傳輸?shù)臅r延；γ是終端附近的邊緣服務(wù)器的利用率；δ是終端與其附近的邊緣服務(wù)器的距離，距離的精度關(guān)乎卸載策略的精準性；ε是終端與其附近的邊緣服務(wù)器的通信時延，與WAN帶寬相對，其代表著移動終端與邊緣端的通信情況。

2.3 規(guī)則推理模塊

在規(guī)則中，包含五個輸入變量對應(yīng)的程度變量，而程度變量對應(yīng)不同的隸屬函數(shù)。在不同環(huán)境下，通信時延與距離是兩種對立的卸載依據(jù)，所以令ε=1-δ。四個輸入變量對應(yīng)的程度變量為一組規(guī)則。

模糊規(guī)則是推理系統(tǒng)的核心，確定模糊規(guī)則十分關(guān)鍵，系統(tǒng)的整體性能高度依賴于這些規(guī)則。由于有五個輸入?yún)?shù)和五個程度變量，其中四個輸入使用不同的隸屬函數(shù)進行運算，可以做到對特定的環(huán)境進行個性化設(shè)置，以便達到時延和資源分配的良好統(tǒng)一。

規(guī)則的推理需要經(jīng)過輸入?yún)?shù)模糊化和規(guī)則的推理兩個步驟。規(guī)則推理模塊需要遍歷所有規(guī)則對適應(yīng)度函數(shù)進行最大值求解，從而得出最優(yōu)規(guī)則。

2.3.1 規(guī)則

在模糊系統(tǒng)中，規(guī)則通常采用程度變量集表示。

模糊系統(tǒng)中的程度變量，一般不使用數(shù)值表示，而使用自然語言表示。對于α、β、δ輸入變量，本文使用very low（VL）、low（L）、medium（M）、high（H）和very high（VH）作為程度變量，而對于γ輸入變量，本文使用very light（VL）、light（L）、normal（N）、heavy（H）和very heavy（VH）作為程度變量，所以模糊規(guī)則的總數(shù)量為625個。本系統(tǒng)取其中三組規(guī)則作為例子，如表1所示。

在對625個規(guī)則進行選擇之前，需要將輸入變量通過隸屬函數(shù)轉(zhuǎn)換成模糊值。

2.3.2 隸屬函數(shù)

隸屬函數(shù)決定了在不同環(huán)境中，輸入變量對結(jié)果的影響。不同的程度變量對應(yīng)著不同的隸屬函數(shù)。例如，設(shè)置α的程度變量為low（L），則使用μLα（x）函數(shù)進行運算。每一個輸入的變量均有一組隸屬函數(shù)集，該隸屬函數(shù)由每個程度變量的不同函數(shù)組成。例如，輸入變量α的隸屬函數(shù)集如下：

Fα（x）=［μ^VLα（x），μLα（x），μMα（x），μHα（x），μ^VHα（x）］（13）

輸入變量α的隸屬函數(shù)集Fα（x）由隸屬函數(shù)μ^VLα（x）、μLα（x）、μMα（x）、μHα（x）和μ^VHα（x）構(gòu)成。在本例子中，有四個隸屬函數(shù)集，每個隸屬函數(shù)集對相關(guān)的程度變量都有不同的函數(shù)，這些隸屬函數(shù)可以是不同的形式，如矩形、梯形、分段線性和高斯分布等。對于隸屬函數(shù)的形式，本算法采用了常用的三角形形式。同時，對隸屬函數(shù)進行初始化設(shè)置。初始化隸屬函數(shù)如圖2所示。

2.3.3 規(guī)則推理

推理是利用所有的模糊規(guī)則對模糊值進行組合，推理的目標結(jié)果是選擇出一個合適的規(guī)則。規(guī)則推理一般采用經(jīng)驗推理、差分進化算法推理、遺傳算法推理和粒子群算法四種方式。經(jīng)驗推理主觀性比較強、精度低、錯誤率高、無法保證系統(tǒng)效率，而其他三種算法中，差分進化算法比較穩(wěn)定，反復(fù)運算都能收斂到同一個解，所以下面將采用改進型差分進化算法進行規(guī)則推理，步驟如下：

a）設(shè)置適應(yīng)度函數(shù)。

fitness=α×μα×ωu+β×μβ×ωu-γ×μγ×ωc-δ×μδ-ε×（1-μδ）（14）

其中：加權(quán)系數(shù)ωu和ωc分別取值50和100。

b）設(shè)置種群數(shù)量為625，即規(guī)則數(shù)量，進化代數(shù)t為1 000，變異因子取值為0.5，交叉因子CR取值為0.5，個體變量取值為［0，100］ ，生成初始種群，設(shè)置終止條件適應(yīng)度值小于0。

c）判斷是否達到最大代數(shù)。

d）變異操作，隨機選擇選定種群中兩個個體，將其乘以變異因子，再加上第三個隨機個體，得到一個變異個體。

e）交叉操作，如果隨機數(shù)小于交叉因子CR，則交叉結(jié)果為變異結(jié)果，否則交叉結(jié)果為未變異種群。

f）選擇操作，將交叉結(jié)果與初始種群進行適應(yīng)度比較分析，較小適應(yīng)度的種群將會進入下一代的進化中。

g）重復(fù)執(zhí)行變異、交叉、選擇操作，直至進化代數(shù)達到最大值。

差分進化算法不僅可以通過最大適應(yīng)度值推算智能設(shè)備—邊緣服務(wù)器的最佳模糊規(guī)則，還可以動態(tài)更新隸屬函數(shù)，使系統(tǒng)更精確。在對該區(qū)域局域網(wǎng)絡(luò)的所有邊緣服務(wù)器進行差分進化后，得到該區(qū)域網(wǎng)絡(luò)的最佳模糊規(guī)則和隸屬函數(shù)。經(jīng)過多次實驗后，該區(qū)域模糊規(guī)則和隸屬函數(shù)呈正態(tài)分布，選取最佳模糊規(guī)則和隸屬函數(shù)進行區(qū)域固化，以減少計算量。固化最優(yōu)隸屬函數(shù)和規(guī)則后，設(shè)備再次進入該環(huán)境時，使用模糊算法即可求解適應(yīng)度函數(shù)最大值。

由于測量時延需要花費大量時間，只需測量一定數(shù)量的邊緣服務(wù)器的時延即可。

n=（1-μδ）×Medge（15）

其中：n為所需測量時延的邊緣服務(wù)器數(shù)量；Medge為一定范圍內(nèi)的邊緣服務(wù)器數(shù)量。

2.4 MDP模塊

MDP模塊需要根據(jù)智能設(shè)備與其周圍的邊緣節(jié)點之間的數(shù)據(jù)進行迭代判斷，選擇最佳的邊緣節(jié)點進行任務(wù)卸載。在MDP中，回報函數(shù)為效益函數(shù)減損耗函數(shù)，與式（14）同理，令回報函數(shù)等于該區(qū)域的適應(yīng)度函數(shù)。

r=fitness（16）

回報函數(shù)計算完成之后，需要計算系統(tǒng)轉(zhuǎn)移概率。

P（s|s′，a）=P（q|q′，a）×P（d|d′，a）（17）

任務(wù)隊列轉(zhuǎn)移函數(shù)P（q|q′，a）為系統(tǒng)采取動作a后，根據(jù)該邊緣服務(wù)器的任務(wù)隊列負荷判斷任務(wù)卸載至該邊緣服務(wù)器的概率，可以表示為

P（q|q′，a）=1-γ（18）

即通過邊緣服務(wù)器利用率計算任務(wù)隊列轉(zhuǎn)移概率。在通信系統(tǒng)中，通常將場景劃分為多個正六邊形小區(qū)，故P（d|d′，a）=0.167。

最后，使用值迭代算法進行運算。

V（s，a）=r+λ∑s′P（s|s′，a）V（s′，a）（19）

從而得出最佳卸載動作。

a*=arg maxa∈AV（s，a）（20）

2.5 基于模糊邏輯的MDP切換策略偽代碼

基于模糊邏輯的MDP切換策略分為兩個部分：第一部分為差分進化算法求解適應(yīng)度函數(shù)最大值，從而得到該環(huán)境的最優(yōu)隸屬函數(shù)和規(guī)則，確定最優(yōu)隸屬函數(shù)和規(guī)則后，設(shè)備再次進入該環(huán)境時，使用模糊算法即可求解適應(yīng)度函數(shù)最大值；第二部分為MDP，引入適應(yīng)度函數(shù)最大值，使用值函數(shù)求解最佳卸載對象。該切換策略偽代碼如算法1所示。

算法1 基于模糊邏輯的MDP切換策略

輸入：WAN帶寬、任務(wù)大小、邊緣服務(wù)器利用率、距離和時延。

輸出：卸載對象編號。

//差分進化算法

while未達到最大代數(shù)

變異新個體=隨機個體1+（隨機個體2-隨機個體3）

if隨機值≤CR

交叉新個體=變異新個體

else

交叉新個體=個體1

交叉新個體替換當前種群個體1

if新種群適應(yīng)度大于等于舊種群適應(yīng)度

下代進化種群=新種群

最大適應(yīng)度=新種群適應(yīng)

else

下代進化種群=舊種群

end while

//MDP

r=fitness；//取差分進化算法最大適應(yīng)度

P（s|s′，a）=P（q|q′，a）×P（d|d′，a）

V⁰（s′，a）=0；//初始化值函數(shù)

while（|Vⁿ⁺¹（s，a）-Vn（s，a）|gt;閾值）

Vⁿ⁺¹（s，a）=r+λ∑s′P（s|s′，a）Vn（s′，a）

end while

a*=arg maxa∈AV（s，a）//得到最佳卸載對象

結(jié)束

3 仿真與分析

針對邊緣計算卸載節(jié)點的選擇問題，本文將模糊邏輯MDP切換策略與以下三種切換策略、兩種同類切換算法進行仿真實驗和結(jié)果分析，以評估其性能：

a）一維MDP切換策略^［3］。將一維距離和通信時延按固定比例代入MDP決策，以便綜合選擇卸載節(jié)點。為了實現(xiàn)更快響應(yīng)速度，本次實驗將距離和通信時延的比例設(shè)為7：3，將表3邊緣服務(wù)器數(shù)量參數(shù)代入式（15），得到三個邊緣服務(wù)器，即接收到三個邊緣服務(wù)器的時延數(shù)據(jù)后，停止時延數(shù)據(jù)的接收，隨后開始計算。

b）一維僅時延MDP切換策略。將通信時延作為MDP決策的唯一因素來獲取卸載節(jié)點。

c）二維MDP切換策略。在二維平面中，將設(shè)備與節(jié)點間的直線距離作為MDP決策的決策因子來獲取卸載節(jié)點。

d）最小距離切換算法（minimum distance switching，MDS）。通過計算設(shè)備與邊緣服務(wù)器間的最小距離直接選擇節(jié)點。

e）最小時延切換算法（minimum time delay switching，MTDS）。將當前時刻通信時延最小的邊緣服務(wù)器作為卸載節(jié)點。

3.1 性能參數(shù)

為對比上述切換策略和算法，采用以下三種性能參數(shù)對算法進行評估：

a）任務(wù)執(zhí)行總時長。邊緣計算系統(tǒng)完成任務(wù)卸載所需要的時間，包括計算卸載對象時間、任務(wù)傳輸時間和任務(wù)計算時間。

b）任務(wù)平均切換次數(shù)。智能設(shè)備的位置是動態(tài)的，在一定時間內(nèi)，移動軌跡相同的情況下，任務(wù)執(zhí)行過程結(jié)束后觸發(fā)切換準則的次數(shù)。

c）任務(wù)平均切換開銷。在計算執(zhí)行過程中，每次執(zhí)行切換所需的總時間開銷。

3.2 結(jié)果分析

實驗取1 000次實驗結(jié)果的平均值作為切換機制性能的度量標準，對四種策略和兩種算法實驗結(jié)果進行對比分析。假設(shè)在計算任務(wù)上傳至卸載節(jié)點后，計算完成前，無法將計算任務(wù)轉(zhuǎn)移，即邊緣服務(wù)器間無法對計算任務(wù)進行共享。為了驗證模糊邏輯MDP切換策略在不同環(huán)境下的適應(yīng)性，將實驗場景分為復(fù)雜環(huán)境、簡單環(huán)境和一般環(huán)境，如表2所示。

在動態(tài)智能設(shè)備—邊緣計算服務(wù)器環(huán)境中，充分考慮任務(wù)大小、網(wǎng)絡(luò)傳輸速度、MEC計算速度、MEC利用率、距離和時延對任務(wù)卸載的影響，將初始參數(shù)設(shè)置為表3。仿真結(jié)果如圖3～5所示。

由圖6可知，模糊邏輯MDP切換策略任務(wù)執(zhí)行平均總時長為608.8 s，較一維MDP切換策略、一維僅時延MDP切換策略、二維MDP切換策略、MDS和MTDS分別降低了27.2%、8.6%、37.1%、41%和22.3%。這是由于模糊邏輯MDP切換策略可以根據(jù)環(huán)境的復(fù)雜程度，智能設(shè)置WAN帶寬、任務(wù)大小、服務(wù)器利用率、距離和時延對結(jié)果的影響因子，從而找到最優(yōu)卸載對象。而其他五種算法，僅依據(jù)單一的系統(tǒng)參數(shù)求解最優(yōu)卸載對象，系統(tǒng)無法在任意環(huán)境中獲得最優(yōu)解。

在復(fù)雜環(huán)境中，定位精度差，對定位精度依賴較高的一維MDP和二維MDP切換策略無法選擇最優(yōu)卸載對象，導(dǎo)致任務(wù)執(zhí)行總時長增加。一維僅時延MDP切換策略需要獲取一定范圍內(nèi)的邊緣服務(wù)器時延，該方式會增加系統(tǒng)的計算總時長。而模糊邏輯MDP切換策略可以動態(tài)分配距離和時延對結(jié)果的影響因子，測量距離的時間遠小于測量時延的時間，所以模糊邏輯MDP切換策略的計算時長小于一維僅時延MDP。在簡單環(huán)境中，定位精度良好，一維MDP切換策略簡單高效，任務(wù)執(zhí)行總時長相對較低。模糊邏輯MDP切換策略對附近服務(wù)器利用率進行了尋優(yōu)，選擇出最佳卸載對象，所以在任務(wù)計算時間上，模糊邏輯MDP切換策略優(yōu)于一維MDP切換策略。在一般環(huán)境中，定位精度不穩(wěn)定，一維MDP切換策略無法保持最優(yōu)卸載對象，從而導(dǎo)致任務(wù)執(zhí)行平均時長增高。

MDS和MTDS作為局部尋優(yōu)算法，可在不同環(huán)境中直接獲取當前時刻最優(yōu)卸載節(jié)點，由圖3～5可知，任務(wù)量低于200 MB時，這兩種算法具有較好性能，但設(shè)備處于移動狀態(tài)，計算任務(wù)無法隨著設(shè)備的移動而轉(zhuǎn)移。當任務(wù)量過大時，設(shè)備從卸載節(jié)點下載計算結(jié)果所需的時間過長，從而導(dǎo)致任務(wù)執(zhí)行總時長增加。相比于MDS和MTDS算法，基于MDP的切換策略對設(shè)備的移動有一定的預(yù)測性，在同等條件下，選擇在設(shè)備的移動路徑上的邊緣服務(wù)器進行卸載的概率較大，當設(shè)備移動至邊緣服務(wù)器附近時，邊緣服務(wù)器恰好完成任務(wù)的卸載及計算，并立即將計算結(jié)果回傳至設(shè)備，從而縮短任務(wù)傳輸所用的時間。如圖6所示，在任務(wù)執(zhí)行平均時長方面，基于MDP的切換策略優(yōu)于MDS和MTDS算法，其中模糊邏輯MDP切換策略性能最優(yōu)。模糊邏輯MDP切換策略可根據(jù)五種系統(tǒng)參數(shù)對卸載對象進行動態(tài)尋優(yōu)，任務(wù)執(zhí)行平均時長較低。

實驗結(jié)果表明，在MDP中引入模糊邏輯和差分進化算法，可以有效降低系統(tǒng)任務(wù)執(zhí)行總時長，從而提高系統(tǒng)的計算卸載性能。

為了進一步驗證算法的計算卸載性能，對比分析四種策略和兩種算法的平均切換次數(shù)和平均切換開銷性能，實驗結(jié)果如圖7和8所示。

由圖7可知，模糊邏輯MDP切換策略的任務(wù)平均切換次數(shù)為1.84次，較一維MDP切換策略、一維僅時延MDP切換策略、二維MDP切換策略、MDS和MTDS分別降低了41%、24%、48.3%、49.3%和49.6%。在智能設(shè)備移動中，卸載節(jié)點切換次數(shù)受環(huán)境影響。一維MDP和二維MDP的切換策略由與卸載對象的距離和移動路徑?jīng)Q定，在復(fù)雜環(huán)境和一般環(huán)境中，定位精度較低，導(dǎo)致任務(wù)切換次數(shù)升高。一維僅時延MDP切換策略將智能設(shè)備至邊緣服務(wù)器的時延和移動路徑作為判斷依據(jù)，不受定位精度的影響，所以平均切換次數(shù)較低。MDS和MTDS分別是以距離和時延作為切換的決策，即決策因子超過閾值且無正在卸載的任務(wù)時，觸發(fā)卸載節(jié)點的切換動作，所以相比于MDP的切換策略，該兩種算法平均切換次數(shù)較高。模糊邏輯MDP切換策略是基于整個系統(tǒng)的參數(shù)值，通過迭代的方式得到移動路徑上的最優(yōu)卸載對象，故其切換次數(shù)最少。

由圖8可知，模糊邏輯MDP切換策略的平均切換開銷為0.81 s，相較于一維MDP切換策略、一維僅時延MDP切換策略、二維MDP切換策略和 MTDS分別降低了4.7%、52.9%、47%和39.5%。由于距離和時延的比例為7：3，且僅接收最快到達的三個邊緣服務(wù)器時延數(shù)據(jù)，所以一維MDP切換策略的平均切換開銷較小，性能較優(yōu)。二維MDP切換策略和MDS的任務(wù)切換由定位精度決定，獲取位置數(shù)據(jù)所需時間較短，任務(wù)平均切換開銷相對較小。一維僅時延MDP切換策略和MTDS依靠時延進行計算，獲取一定數(shù)量邊緣服務(wù)器的時延將造成切換的時間增加，所以任務(wù)平均切換開銷較大，其中MTDS無須進行迭代，任務(wù)平均切換開銷相對較低。而模糊邏輯MDP切換策略從系統(tǒng)全局出發(fā)，針對不同的環(huán)境，使用不同的規(guī)則，確保選取到最佳卸載對象，由于計算中涉及到邊緣服務(wù)器時延的測量，所以平均切換開銷較MDS高。但該切換策略在卸載節(jié)點的選擇上彌補了任務(wù)切換開銷的不足，任務(wù)執(zhí)行平均時長低于MDS，并且對環(huán)境的動態(tài)變化具有很強的適應(yīng)能力，故模糊邏輯MDP切換策略綜合性能優(yōu)于MDS。

4 結(jié)束語

受控制領(lǐng)域的模糊邏輯啟發(fā)，將模糊邏輯算法和差分進化算法應(yīng)用于邊緣計算的卸載對象選擇上，并取得了一定成果。所提出的基于模糊邏輯的MDP卸載策略性能優(yōu)于一維MDP卸載策略，它可以將任何影響系統(tǒng)的因素進行融合計算，并且針對任意環(huán)境進化出不同規(guī)則，提高卸載算法對不同環(huán)境的適應(yīng)性。由于模糊邏輯算法可以適用于多層網(wǎng)絡(luò)的選擇，如本地處理、邊緣云處理和中心云處理，未來，筆者會考慮將模糊邏輯算法拓展到多層網(wǎng)絡(luò)。同時在邊緣云的設(shè)備選擇上，可以高效地選擇邊緣計算設(shè)備，以便用戶獲得合適的切換策略。

參考文獻：

［1］Malik R，Vu M.Energy-efficient joint wireless charging and computation offloading in MEC systems［J］.IEEE Journal of Selected To-pics in Signal Processing，2021，15（5）：1110-1126.

［2］Mu Ning，Gong Shulei，Sun Wanqing，et al.The 5G MEC applications in smart manufacturing［C］//Proc of IEEE International Conference on Edge Computing .Piscataway，NJ：IEEE Press，2020：45-48.

［3］Yang Guisong，Hou Ling，He Xingyu，et al.Offloading time optimization via Markov decision process in mobile-edge computing［J］.IEEE Internet of Things Journal，2021，8（4）：2483-2493.

［4］Taleb T，Ksentini A，F(xiàn)rangoudis P.Follow-me cloud：when cloud ser-vices follow mobile users［J］.IEEE Trans on Cloud Computing，2019，7（2）：369-382.

［5］李波，牛力，彭紫藝，等.基于馬爾科夫決策過程的車載邊緣計算切換策略［J］.計算機工程與科學(xué)，2020，42（5）：788-794.（Li Bo，Niu Li，Peng Ziyi，et al.A vehicular edge computing handoff stra-tegy based on Markov decision process［J］.Computer Engineering and Science，2020，42（5）：788-794.）

［6］Wang Shiqiang，Urgaonkar R，Zafer M，et al.Dynamic service migration in mobile edge computing based on Markov decision process［J］.IEEE/ACM Trans on Networking，2019，27（3）：1272-1288.

［7］Miao Wang，Min Geyong，Zhang Xu，et al.Performance modelling and quantitative analysis of vehicular edge computing with bursty task arrivals［J］.IEEE Trans on Mobile Computing，2021，11（2）：1.

［8］Singh S P，Sharma A，Kumar R.Design and exploration of load balan-cers for fog computing using fuzzy logic［J］.Simulation Modelling Practice and Theory，2020，101（4）：102017.

［9］Sonmez C，Ozgovde A，Ersoy C.Fuzzy workload orchestration for edge computing［J］.IEEE Trans on Network and Service Management，2019，16（2）：769-782.

［10］Hossain M D，Sultana T，Hossain M A，et al.Edge orchestration based computation peer offloading in MEC-enabled networks：a fuzzy logic approach［C］//Proc of the 15th International Conference on Ubiquitous Information Management and Communication.Piscataway，NJ：IEEE Press，2021：1-7.

［11］Kolomvatsos K.Data-driven type-2 fuzzy sets for tasks management at the edge［J］.IEEE Trans on Emerging Topics in Computational Intelligence，2022，6（2）：377-386.

［12］Basloom H，Bosaeed S ，Mehmood R.Hudhour：a fuzzy logic based smart fingerprint attendance system［C］//Proc of the 5th International Conference on Fog and Mobile Edge Computing.Piscataway，NJ：IEEE Press，2020：331-336.