鄭忠斌 宋青青 熊增薪

摘 要：針對霧計算的NB-IoT資源優(yōu)化問題，結(jié)合霧計算的特點，將系統(tǒng)的資源優(yōu)化看成是連續(xù)時間的馬爾科夫決策過程問題，并給出相關(guān)的定義。在定義基礎(chǔ)上，以平均時延和平均能耗作下的控制策略作為優(yōu)化目標(biāo)函數(shù)，引入神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法對目標(biāo)函數(shù)進(jìn)行求解。最后，在參數(shù)設(shè)置的基礎(chǔ)上，搭建仿真環(huán)境，并給出仿真對比結(jié)果。結(jié)果表明，本研究提出的求解算法得到的綜合平均時延和能耗最低，說明本算法可行，具有一定借鑒參考價值。

關(guān)鍵詞：霧服務(wù)器;NB-IoT;馬爾科夫決策過程;目標(biāo)函數(shù);神經(jīng)網(wǎng)絡(luò)

中圖分類號：TN929.5;TP391.44 ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ?文章編號：1001-5922（2021）04-0087-04

Abstract：Aiming at the NB-IoT resource optimization problem of fog computing， combined with the characteristics of fog computing， the system resource optimization is regarded as a continuous time Markov decision process problem， and the relevant definitions are given. Based on the definition， the control strategy with average time delay and average energy consumption is taken as the optimization objective function， and the value function approximation algorithm of neural network is introduced to solve the objective function. Finally， on the basis of parameter setting， the simulation environment is built and the simulation results are given. The results show that the comprehensive average delay and energy consumption of the proposed algorithm are the lowest， which shows that the algorithm is feasible and has certain reference value.

Key words：fog server; NB-IoT; Markov decision process; objective function; neural network

隨著物聯(lián)網(wǎng)感知技術(shù)的發(fā)展，使得物聯(lián)設(shè)備成指數(shù)級增長。根據(jù)相關(guān)報道發(fā)現(xiàn)，截止到2020年，將有超過500億臺物聯(lián)設(shè)備被連入互聯(lián)網(wǎng)中，伴隨而來的是大量物聯(lián)設(shè)備數(shù)據(jù)的增長。為解決這個問題，考慮到物聯(lián)設(shè)備自身有限的計算能力和存儲能力，提出將大量的數(shù)據(jù)卸載到云服務(wù)器中進(jìn)行集中存儲。但在實際應(yīng)用中，由于物聯(lián)設(shè)備產(chǎn)生的數(shù)據(jù)量大，同時物聯(lián)設(shè)備與云服務(wù)器之間通信會消耗大量的網(wǎng)絡(luò)資源，由此造成在部分情況下云技術(shù)不能滿足時延敏感數(shù)據(jù)傳輸?shù)男枨?。為解決以上的問題，在2012年提出“霧計算”概念，該技術(shù)的核心則是在云端和設(shè)備端建立一個更接近設(shè)備端的設(shè)備，從而縮短數(shù)據(jù)傳輸和計算，且降低云服務(wù)器的通信開銷。而要做好“霧計算”的應(yīng)用，需要解決兩方面的問題：一是要解決物聯(lián)設(shè)備將數(shù)據(jù)發(fā)送給霧計算所帶來的計算卸載問題。因為計算卸載會造成額外的數(shù)據(jù)傳輸時延問題;二是無線資源分配所造成的數(shù)據(jù)時延和功耗問題。本研究則針對以上問題，基于霧計算技術(shù)的特點，提出一種聯(lián)合優(yōu)化的NB-IoT資源調(diào)度模型，并對調(diào)度模型的可行性進(jìn)行仿真驗證。

1 基于霧計算的NB-IoT通信與計算模型構(gòu)建

結(jié)合“霧計算”基本模型，本文將霧計算的NB-IoT模型構(gòu)建為如圖1所示。在該模型中，包含N個IoT設(shè)備，由傳感、存儲、計算和通信等模塊組成。這些IoT設(shè)備在感知到數(shù)據(jù)后，需經(jīng)過處理才能產(chǎn)生有用信息。由于物聯(lián)設(shè)備自身在計算能力、存儲能力方面的限制，需要將數(shù)據(jù)發(fā)送到云端。在引入霧計算后，物聯(lián)設(shè)備則將感知數(shù)據(jù)卸載到霧服務(wù)器中。在此的霧服務(wù)器可被看成是靠近終端的小型數(shù)據(jù)中心。

在圖1中，對每個物聯(lián)設(shè)備，其感知的數(shù)據(jù)都以的泊松分布大小進(jìn)行速率傳送，且假設(shè)數(shù)據(jù)包的大小呈現(xiàn)為指數(shù)分布。

2 霧計算的NB-IoT問題描述

要實現(xiàn)對圖1的NB-IoT通信，需要重點對物聯(lián)設(shè)備的計算卸載、用戶調(diào)度等方面進(jìn)行優(yōu)化。傳統(tǒng)的建模方式是采用離散時間馬爾科夫決策模型。而結(jié)合NB-IoT的性質(zhì)認(rèn)為，在NB-IoT數(shù)據(jù)傳輸過程中需占用多個連續(xù)時隙，如果采用離散時間馬爾科夫決策過程對圖1的模型進(jìn)行建模，勢必會增加新的調(diào)度。因此基于以上分析，參考徐惠娟（2019）的研究成果，提出采用連續(xù)時間馬爾科夫決策過程對霧計算的NB-IoT優(yōu)化問題進(jìn)行描述。

2.1 相關(guān)定義

定義1：服務(wù)系統(tǒng)狀態(tài)。通過服務(wù)系統(tǒng)狀態(tài)的定義，描述了在不同時刻下霧計算的NB-IoT系統(tǒng)的狀態(tài)。設(shè)在第k時期服務(wù)系統(tǒng)的狀態(tài)用來表示。其中Sk，表示k決策時服務(wù)系統(tǒng)狀態(tài);Qk表示數(shù)據(jù)包在到達(dá)或者是在離開時，所觀察到的用于霧服務(wù)器傳輸隊列長度的向量，該向量最大長度為M;Qkloc表示在第k個決策剛剛開始的時候，所觀察到的用于本地計算的處理隊列長度向量，長度為M loc;ek表示第k個決策時期在開始的時候所發(fā)生的概率大小，經(jīng)過該概率，使得狀態(tài)從Sk-1變換到Sk，ek表示第ek物聯(lián)設(shè)備出現(xiàn)包達(dá)到時間，而當(dāng)ek=0時，此時被調(diào)度的物聯(lián)設(shè)備的數(shù)據(jù)包剛開始從傳輸隊離開，ek則表示-ek個物聯(lián)設(shè)備在本地處理隊列發(fā)生離開事件;表示服務(wù)系統(tǒng)的狀態(tài)剛從Sk-1轉(zhuǎn)移到Sk時，在k-1第決策時期的調(diào)度行為。

定義2：控制策略。在數(shù)據(jù)包達(dá)到或者離開時，系統(tǒng)狀態(tài)會出現(xiàn)改變。此時系統(tǒng)需選擇某行為進(jìn)行控制。定義第k個決策時期的行為為：

上式（1）中，如則表示為卸載，如則表示調(diào)度。當(dāng)時，則表示新的數(shù)據(jù)包在到達(dá)后被卸載，而時則表示數(shù)據(jù)包沒有被卸載。

定義3：服務(wù)系統(tǒng)最優(yōu)狀態(tài)。在確定最優(yōu)控制策略后，服務(wù)系統(tǒng)會達(dá)到最優(yōu)狀態(tài)。此時定義服務(wù)系統(tǒng)狀態(tài)為：

具體轉(zhuǎn)移過程如圖2所示。

定義4：轉(zhuǎn)移概率。在馬爾科夫決策過程中，Sk+1的狀態(tài)是Sk'和ek+1共同確定，為：

而研究認(rèn)為，在k第個決策時期的持續(xù)時間可以等效于續(xù)時間馬爾科夫決策過程模型某個給定行為ak下所逗留的時間，其服從的指數(shù)分布。因此，可以推導(dǎo)出ek+1當(dāng)事件發(fā)生時，對應(yīng)的轉(zhuǎn)移概率為：

2.2 目標(biāo)函數(shù)構(gòu)建

2.2.1 目標(biāo)函數(shù)

在上述定義的前提下，結(jié)合霧計算的NB-IoT系統(tǒng)通信與計算模型，以物聯(lián)網(wǎng)設(shè)備平均時延最小和功耗最小作為優(yōu)化目標(biāo)，并在此時最小的目標(biāo)下，找到馬爾科夫決策過程的最優(yōu)策略Ω。因此，則有：

式（5）中，表示物聯(lián)網(wǎng)設(shè)備平均時延和功耗的權(quán)重;表示在行為下的成本。

上式中，1condition為隨機條件，如condition為真，那么l=1，如不為真，則l=0。

2.2.2 最優(yōu)策略

由此結(jié)合馬爾科夫決策過程理論，可得到回報函數(shù)為：

而通過Bellman方程，可得到最優(yōu)策略為：

3 模型求解

要求解上述的問題，人們提出了基于值迭代和策略迭代的方法。王文文（2019）通過研究認(rèn)為，采用上述傳統(tǒng)方法在面臨大規(guī)模數(shù)據(jù)計算時，會極大增加計算的復(fù)雜度，因此提出深度學(xué)習(xí)的策略迭代方法。而徐惠娟則提出增強算法。因此，綜合上述兩人的研究成果，本文借鑒徐慧娟的求解思路，通過卷積神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法對上述的馬爾科夫決策過程模型進(jìn)行求解。其中基于神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法框架如圖3所示。

在上述近似框架求解的情況下，最優(yōu)控制策略為：

4 整體解決方案流程

上述求解方案的整體技術(shù)流程可以用圖4示意。

在圖4的示意圖中看出，最優(yōu)策略的實現(xiàn)主要在基站實現(xiàn)，而物聯(lián)網(wǎng)設(shè)備只需要存儲單節(jié)點值函數(shù)和權(quán)重即可。

5 仿真驗證

5.1 參數(shù)設(shè)置

為驗證上述方案的可行性，以某半徑為R的小區(qū)物聯(lián)網(wǎng)設(shè)備為例。假設(shè)基站在該小區(qū)的中心，且物聯(lián)網(wǎng)設(shè)備按照隨機的方式進(jìn)行分布。將整個小區(qū)劃分為K個圓，從而在基站的周圍存在K-1個同心圓。物聯(lián)網(wǎng)設(shè)備選擇同樣的等級和重復(fù)數(shù)。其余參數(shù)設(shè)置見表1和表2所示。同時設(shè)置，數(shù)據(jù)包的到達(dá)速率為1packet/s，假設(shè)在R半徑內(nèi)物聯(lián)網(wǎng)設(shè)備從3個增加到35個。

5.2 優(yōu)化結(jié)果

基于以上算法編程，可以得到圖5的優(yōu)化結(jié)果。

通過上述的優(yōu)化結(jié)果看出，采用卷積得到的平均時延和能耗要低于其他三種算法，由此證明本文提出的算法的可行性。

同時通過平均時延和平均能耗的單因素變化曲線圖也看出，通過卷積神經(jīng)網(wǎng)絡(luò)求解得到的結(jié)果要由于其他算法，但在能耗方面則要比其他算法差。但綜合起來更具有優(yōu)勢。

6 結(jié)語

通過以上的研究看出，基于本文的研究看出，在霧計算的NB-IoT系統(tǒng)中，人們往往重視對某一個方面的優(yōu)化，如單獨優(yōu)化計算卸載，或?qū)τ脩暨M(jìn)行調(diào)度。而本文則在上述優(yōu)化的基礎(chǔ)上，引入凸顯計算卸載的傳輸時延指標(biāo)和凸顯調(diào)度的能耗用組合權(quán)重的方式進(jìn)行調(diào)節(jié)，并借鑒研究成果，采用神經(jīng)網(wǎng)絡(luò)的值函數(shù)近似算法對目標(biāo)函數(shù)進(jìn)行求解，以此大大提高優(yōu)化了系統(tǒng)能耗和傳輸時延，為霧計算在窄帶物聯(lián)網(wǎng)的應(yīng)用提供了新的參考。

參考文獻(xiàn)

[1]王輝，李小亮，洪波.馬爾科夫決策過程在移動端云存儲策略中的應(yīng)用[J].工業(yè)儀表與自動化裝置，2018（06）：117-121.

[2]嚴(yán)浙平，楊澤文，王璐，等.馬爾科夫理論在無人系統(tǒng)中的研究現(xiàn)狀[J].中國艦船研究，2018，13（06）：9-18.

[3]李艷，孟凡強，陳軍才.新生代農(nóng)民工勞資沖突行為決策——基于適應(yīng)性馬爾科夫鏈的解釋[J].西北人口，2019，40（01）：61-70.

[4]王汝言，李宏娟，吳大鵬，等.基于半馬爾科夫決策過程的虛擬傳感網(wǎng)絡(luò)資源分配策略[J].電子與信息學(xué)報，2019，41（12）：3014-3021.

[5]王云鵬，郭戈.基于深度強化學(xué)習(xí)的有軌電車信號優(yōu)先控制[J].自動化學(xué)報，2019，45（12）：2366-2377.

[6]郭之俊，王瑛，孫贇，等.基于MDP-GERT的航空裝備維修保障流程優(yōu)化研究[J].航空工程進(jìn)展，2019，10（06）：787-793.

[7]周運騰，張雪英，李鳳蓮，等.Q-learning算法優(yōu)化的SVDPP推薦算法及其應(yīng)用研究[J/OL].計算機工程2020（07）：1-8.

[8]張紅，王玉峰.基于霧計算的NB-IoT框架、關(guān)鍵技術(shù)及應(yīng)用[J].中興通訊技術(shù)，2017，23（01）：32-36.

[9]王新宇.基于軟件無線電平臺的NB-IoT下行鏈路物理層設(shè)計與實現(xiàn)[D].北京：北京郵電大學(xué)，2019.

[10]徐惠娟.基于霧計算的NB-IoT資源優(yōu)化的研究[D].北京：北京交通大學(xué)，2019.