高 遠 譚蓉俊 鄧志祥

(河海大學物聯(lián)網(wǎng)工程學院 南京 210098)

1 引言

隨著5G，6G通信技術(shù)發(fā)展，促進物聯(lián)網(wǎng)的應(yīng)用越來越廣泛，如車聯(lián)網(wǎng)、智能醫(yī)療、智能家居、智能城市、工業(yè)4.0等，引發(fā)了新一輪產(chǎn)業(yè)、經(jīng)濟、社會發(fā)展浪潮。然而，由于物聯(lián)網(wǎng)允許具有計算、通信和感知能力的事物之間無處不在的連接，不僅使節(jié)點對通信安全性能要求提升，也導致攻擊者更容易發(fā)現(xiàn)攻擊目標，發(fā)起各種被動和主動攻擊[1]。因此，通信安全是影響物聯(lián)網(wǎng)應(yīng)用的關(guān)鍵因素之一，引起業(yè)界廣泛關(guān)注。

為解決通信安全問題，在物聯(lián)網(wǎng)中使用傳統(tǒng)密鑰加密技術(shù)時，由于物聯(lián)網(wǎng)大規(guī)模分布式異構(gòu)層次結(jié)構(gòu)，增加了密鑰分發(fā)和管理的開銷，同時這些開銷也增加了網(wǎng)絡(luò)中低成本、低能耗設(shè)備的負擔。物聯(lián)網(wǎng)特性使得結(jié)合物理層安全的安全機制更適合物聯(lián)網(wǎng)[2]。物理層安全借助無線通信信道的隨機性、廣播性，實現(xiàn)信息安全傳輸，無須加密和解密。因此，物理層安全可以作為傳統(tǒng)密鑰加密方法的額外保護機制，減少密鑰分發(fā)和管理開銷，為物聯(lián)網(wǎng)通信提供更高效的保護。

隨著5G和6G通信技術(shù)發(fā)展，物聯(lián)網(wǎng)攻擊者也會不斷更新和增強自身能力。例如全雙工技術(shù)可獲得雙倍信道容量，并減少反饋延時和端到端延遲；當竊聽者工作于全雙工模式時，可同時被動竊聽和主動干擾[3，4]，即通過向合法接收機發(fā)射干擾信號，以降低合法用戶信道容量，進而提高竊聽性能。盡管被動竊聽和主動干擾的同時實施，為通信安全帶來更大威脅，但主動干擾信號為估計竊聽者位置提供了新思路，竊聽者位置估計有助于獲得竊聽信道容量。例如竊聽者不是完全被動的，即偶爾主動發(fā)射信號，該信號被合法接收機收集可用于估計竊聽者位置[5]。然而，竊聽者為隱藏自己，主動發(fā)射的信號頻次和強度都會有限，進而增加了對其位置估計的難度。為此，本文針對主動發(fā)射干擾信號的竊聽者，利用輔助合法用戶通信的中繼節(jié)點作為錨點，結(jié)合貝葉斯測距和最小二乘法迭代的方法，估計竊聽者位置信息，提高位置估計的準確性。

在獲得竊聽者位置的基礎(chǔ)上，通過向竊聽者發(fā)射人工噪聲以降低竊聽信道容量，是提升物理層安全性能的有效方法[6，7]。傳統(tǒng)的人工噪聲發(fā)射機固定部署在地面，無法適應(yīng)物聯(lián)網(wǎng)中設(shè)備的移動性，尤其在竊聽設(shè)備位置發(fā)生變化時，無法實施有效干擾。近年來，無人機由于其部署靈活、可移動性強，易動態(tài)跟蹤地面設(shè)備的移動，且空中與地面之間視距信道的存在，可形成比地面信號強度更強的干擾信號，因而可用作空中人工噪聲發(fā)射機[8]。無人機作為人工噪聲發(fā)射機，為保證對竊聽信道干擾效果、獲得最大保密容量，需優(yōu)化飛行軌跡以找到發(fā)射人工噪聲的最佳位置。無人機軌跡優(yōu)化通常為非凸問題，可將其近似轉(zhuǎn)換為凸問題，借助凸優(yōu)化工具求解[9]；或借助塊坐標下降迭代算法求解次優(yōu)解[10]。近年來，機器學習在解決無線通信網(wǎng)絡(luò)優(yōu)化問題中取得顯著進步。作為機器學習算法之一的強化學習，因其動態(tài)決策特性，在無人機輔助的無線通信場景下，實現(xiàn)了無人機部署、軌跡規(guī)劃和資源分配的優(yōu)化[11，12]。類似地，在無人機輔助物理層安全通信中，如文獻[13]借助深度強化學習算法，優(yōu)化了作為干擾發(fā)射機的無人機飛行軌跡，保證了保密速率最大。此外，在進行無人機軌跡優(yōu)化時，無人機能量也是不容忽視的約束條件。由于尺寸和重量受限，無人機機載能量有限；而機載能量大部分消耗在產(chǎn)生飛機前行的動力上[12]，這意味著采用強化學習算法如Q-learning對飛行軌跡優(yōu)化過程中，無人機為找到最優(yōu)位置而執(zhí)行多次位置移動，消耗的能量不可忽略。

綜上，針對物聯(lián)網(wǎng)中帶有主動攻擊的全雙工竊聽者，本文利用無人機輔助發(fā)射人工噪聲，提升系統(tǒng)物理層安全性能。同時，本文在估計竊聽者位置的基礎(chǔ)上，提出基于Q-learning的無人機軌跡優(yōu)化算法，獲得最大系統(tǒng)保密容量。此外，為探究軌跡優(yōu)化中無人機能量消耗因素的影響，在約束軌跡優(yōu)化能耗的同時，分析了無人機離線和在線學習下的能耗與系統(tǒng)保密性能。

2 系統(tǒng)模型

2.1 系統(tǒng)描述

假設(shè)在某個大規(guī)模集體活動場景中，如體育賽事或演唱會，如圖1所示，遠程基站發(fā)射機(Alice)與活動現(xiàn)場內(nèi)合法接收機(Bob)之間沒有直接鏈路，需借助K個 中繼R={R1，R2，...，RK}進行通信，Alice、中繼、Bob之間通信鏈路稱為主信道。K個中繼和Bob工作于半雙工模式，均配置單根天線；現(xiàn)場內(nèi)竊聽者Eve工作于全雙工模式，配置兩根天線包括同時同頻工作的發(fā)射天線和接收天線，具有向主信道發(fā)射干擾信號和竊聽主信道信息功能，Eve能根據(jù)需要移動位置，以保證最佳干擾或竊聽性能。Eve位置移動采用隨機游走模型[14]，也稱為馬爾科夫移動模型，該模型多用于描述一般性隨機移動；Eve移動方向服從均勻分布，分別為前、后、左、右；移動速度范圍為[ 0，cmax]， 其中cmax為最大移動速度。為避免因Eve連續(xù)移動而遠離Bob失去竊聽意義，限定Eve移動范圍在Bob為圓心的圓環(huán)內(nèi)，圓環(huán)半徑限定在[l1，l2]?？罩胁渴鸢l(fā)射機(Jammer，即無人機)發(fā)射人工噪聲干擾Alice到Eve的竊聽信道，以降低竊聽信道容量。

圖1 系統(tǒng)模型

2.2 信號模型

系統(tǒng)工作過程分兩個階段。第1階段，利用Eve發(fā)射的主動干擾信號，并借助K個中繼充當位置估計錨點估計Eve位置；第2階段，根據(jù)Eve位置估計信息，Jammer進行動態(tài)軌跡優(yōu)化，跟蹤Eve以找到最佳干擾位置，達到系統(tǒng)保密容量最大。Eve位置估計和Jammer軌跡優(yōu)化方法，在第4節(jié)詳述。在第2階段，中繼分兩個子階段輔助Alice到Bob通信。第1子階段Alice廣播信號xs給K個中繼，同時Eve以功率PE發(fā) 射干擾信號xv， Jammer以功率PJ發(fā)射人工噪聲信號xAN， 則第l個中繼R?接收信號為

將式(5)、式(6)、式(11)代入式(14)可知，可達安全速率受Jammer與地面節(jié)點間功率增益影響。由式(2)和式(3)可知，Jammer與地面節(jié)點間功率增益與視距概率相關(guān)；而隨著Jammer與地面節(jié)點間距離增加，路徑損耗增大，使得視距概率增加，進而影響可達安全速率。為此，接下來將研究如何優(yōu)化Jammer飛行軌跡，以獲得其最佳位置保證可達安全速率最大。

3 系統(tǒng)保密性能優(yōu)化問題建模

系統(tǒng)保密性能的優(yōu)化目標是通過優(yōu)化無人機(即Jammer)空間位置，獲得對Eve的最佳干擾，進而使系統(tǒng)可達安全速率最大。實現(xiàn)此優(yōu)化目標需要滿足的約束條件是無人機在指定區(qū)域內(nèi)飛行，且剩余能量保證其能安全返航充電。上述優(yōu)化問題數(shù)學表達為

根據(jù)文獻[17]附錄推導可知，式(15)為非凸優(yōu)化問題，求解困難；應(yīng)用Q-learning強化學習算法，無需環(huán)境狀態(tài)轉(zhuǎn)移模型，可以有效解決無人機軌跡優(yōu)化問題。因此，接下來設(shè)計Q-learning算法求解式(15)。

4 保密性能優(yōu)化問題求解

5 仿真結(jié)果與性能分析

本節(jié)通過數(shù)值結(jié)果分析基于Q-learning的無人機軌跡優(yōu)化算法性能。假設(shè)Alice，Bob，Eve以及15個中繼隨機獨立分布在地理位置為1× 1 km的城市環(huán)境中，Eve按照隨機游走模型移動。仿真參數(shù)設(shè)置為：載波頻率fc=2 GHz，環(huán)境因數(shù)常數(shù)分別為φ=11.95，β=0.14 ，地面路徑損耗系數(shù)?1=3，自由空間路徑損耗系數(shù)?2=2，視距和非視距信道衰減因子分別為ηJLP=3，ηJNPL=23，Eve發(fā)射功率PE=5 dBm ，無人機發(fā)射功率PJ=10 dBm，接收機噪聲功率σB2=-170 dBm，σE2=-175 dBm，學習率α=0.001 ，折 扣 因 子γ=0.7 ，ε-greedy 策 略ε=10-4，無人機飛行速度為每秒15 m，各信道增益均值分別設(shè)置為gAR?=30，gR?B=30，gEB=10，gR?E=20，gEE=2，gER?=10，gAE=10。

首先分析算法的收斂性。圖2(a)和圖2(b)分別是在無人機不同初始位置和移動步長下，回合獎勵總值與訓練回合數(shù)之間的關(guān)系。可見，隨著訓練回合數(shù)增加，每回合得到的獎勵值由初始的振蕩，逐漸增加至穩(wěn)定，表明無人機能夠從錯誤中吸取教訓，提高總獎勵值，實現(xiàn)算法收斂。由圖2(a)可見，無人機初始位置不同時，算法收斂速度不同，但均在約600回合后收斂，說明算法收斂性不受無人機初始位置影響；4個初始位置中，距離最優(yōu)位置(170， 200， 700)最近的初始位置4，算法收斂最快，距離增大后會降低收斂速度，說明算法能夠?qū)W到有利于求解的環(huán)境條件，幫助無人機盡快找到最優(yōu)解。由圖2(b)可見，無人機在每次訓練中移動步長越大，算法收斂越快；當無人機移動步長為7時，約50個回合后收斂，比移動步長為1時少了250回合；當無人機增大移動步長時，收斂所得回合獎勵總值降低，相應(yīng)的最優(yōu)位置解準確性降低，這說明通過增大移動步長加快算法收斂速度時，還應(yīng)考慮對最優(yōu)解準確性的影響，二者需要均衡。

其次，比較基于Q-learning的無人機軌跡優(yōu)化算法和窮搜、遺傳算法、隨機部署的性能。窮搜算法指在無人機飛行范圍內(nèi)逐一枚舉坐標位置搜索最優(yōu)解；遺傳算法是一種模擬自然進化的優(yōu)化算法；隨機部署算法是在可行解范圍內(nèi)隨機給定無人機位置作為解。圖3(a)為竊聽者位置固定，無人機飛行范 圍 為xJ∈[300，350]，yJ∈[300，350]，h ∈[450，500]時，不同算法得到的Alice發(fā)射功率與可達安全速率Cs之間的關(guān)系，可見，隨著Alice發(fā)射功率增加，可達安全速率增大，這是由于當增大Alice發(fā)射功率時，雖然同時改善主信道和竊聽信道容量，但由于無人機發(fā)射人工噪聲對竊聽信道干擾，更多地降低了竊聽信道容量，進而保證了主信道容量優(yōu)于竊聽信道；另外，與遺傳算法和隨機部署相比，Q-learning算法與窮搜得到的最優(yōu)解重合，表明Q-learning算法的解是最優(yōu)解。圖3(b)比較了窮搜和Q-learning算法在竊聽者位置固定、無人機在不同飛行區(qū)域中獲得最優(yōu)位置所耗時間。飛行區(qū)域1，2，3空間大小依次遞增，分別為xJ1∈[300，350]，yJ1∈[300，350] ，h1∈[450，500] ;xJ2∈[300，350]，yJ2∈[300，350] ，h2∈[450，550] ;xJ3∈[300，400]，yJ3∈[300，400]，h3∈[450，500]；消耗時間為無人機飛到初始位置、無人機學習尋找最優(yōu)位置、無人機從當前位置飛到最優(yōu)位置耗時總和。從圖3(b)可見，無論飛行區(qū)域是否相同，Q-learning算法耗時都比窮搜短；隨著飛行區(qū)域增大，窮搜算法耗時成倍增加，Q-learning算法增加不足2倍，使得兩者耗時差異明顯增大，說明Q-learning算法時間復雜度低于窮搜，尤其在大范圍內(nèi)搜索最優(yōu)解時，Q-learning算法優(yōu)勢更為明顯。

圖3 基于Q-learning的無人機軌跡優(yōu)化算法和其他算法性能比較

表1 基于Q-learning的無人機動態(tài)軌跡優(yōu)化算法

再次，分析無人機優(yōu)化飛行軌跡跟蹤Eve位置移動的情況。圖4(a)–圖4(c)描述Eve(位置坐標(300， 230))靜止時無人機不同初始位置下獲得最優(yōu)位置的飛行軌跡，其中圓點代表無人機位置，圓點旁邊的數(shù)字對應(yīng)可達安全速率Cs；可見，無人機始終朝著Cs增大的方向飛行，表明無人機能夠?qū)W得最優(yōu)軌跡，這一點也驗證了圖2(a)和圖2(b)所述Qlearning算法收斂的結(jié)論。圖4(d)描述了Eve移動時無人機軌跡優(yōu)化結(jié)果，圖中代表無人機位置的圓點顏色與代表Eve的圓點顏色相同時，表示Eve當前位置下對應(yīng)的無人機最優(yōu)位置；不同顏色圓點間箭頭分別表示Eve移動方向和跟蹤Eve的無人機最優(yōu)位置移動方向；綜合圖4(a)–圖4(d)可見，無人機能夠跟蹤Eve移動來確定自身最佳位置，進而保證對應(yīng)每個Eve位置可達安全速率都最大。

圖2 回合獎勵總值與訓練回合數(shù)之間關(guān)系

圖4 Eve靜止和移動時無人機軌跡優(yōu)化結(jié)果

最后，比較本文基于Q-learning的無人機軌跡優(yōu)化算法采用離線和在線學習兩種方式時的性能。在線學習指無人機實時獲取位置信息和環(huán)境反饋的獎勵值，并實時改變位置直至飛到最優(yōu)位置；離線學習過程與文獻[19]類似，即無人機懸浮于空中，通過計算獲得最優(yōu)位置，然后直接飛行至最優(yōu)位置。無人機能耗包括從起飛點飛至空中初始位置的能耗、最優(yōu)位置解獲得過程的能耗、從當前位置飛到最優(yōu)位置的能耗。圖5描述離線和在線學習在無人機初始能量EJ_initial不同時的性能。圖5(a)假設(shè)EJ_initial始終大于無人機能耗時，離線和在線學習能耗與飛行區(qū)域大小之間的關(guān)系?？梢?，隨著飛行區(qū)域1， 2， 3范圍依次遞增，離線與在線學習的能耗都增大，而離線學習能耗增加速度遠小于在線學習；在同一飛行區(qū)域，離線學習也比在線學習能耗小。以上現(xiàn)象說明無人機在空中懸浮完成離線學習比實時與環(huán)境交互執(zhí)行飛行動作的在線學習消耗更少能量。圖5(b)比較了EJ_initial不同時，離線和在線學習所得可達安全速率與Alice發(fā)射功率之間的關(guān)系，其中EJ_initial=660時，該能量數(shù)小于學到最優(yōu)位置解的能耗數(shù)，此時無人機在未學到最優(yōu)解情況下，飛回地面起始點充電；EJ_initial=1500時，該能量數(shù)大于離線學習下學到最優(yōu)位置解的能耗數(shù)，但小于在線學習下的能耗數(shù)。從圖5(b)可見，無論是離線還是在線學習，EJ_initial=1500時獲得的可達安全速率比EJ_initial=660時大，說明初始能量大有利于提升系統(tǒng)保密性能；而且EJ_initial=1500時離線學習的可達安全速率最大，這是因為此能量數(shù)可以保證離線學習學得最優(yōu)解。此外，無論EJ_initial為600還是1500，離線比在線學習的可達安全速率更大；結(jié)合圖5(a)離線比在線學習能耗小，這表明離線比在線學習在能耗和保密性能上都更有優(yōu)勢；但同時也要看到，本文數(shù)據(jù)是在數(shù)值仿真環(huán)境中獲得的；在真實環(huán)境中，無人機離線計算所得的環(huán)境狀態(tài)數(shù)據(jù)會與環(huán)境反饋的真實值之間存在差異，從而影響最終學得的最優(yōu)解以及可達安全速率值。因此，選擇Q-learning離線或在線學習模式時，需要從能量消耗和系統(tǒng)保密性能兩方面折衷考慮。

圖5 離線和在線學習在無人機初始能量不同時的性能比較

圖6描述了Eve位置移動時長T對本文所提算法求解的影響。由圖6可見，在Alice發(fā)射功率一定時，隨著T增加，算法所得最大可達安全速率增加。這是由于時間T越大，算法學習的時間越長，越可能學得最優(yōu)解；而在T=50 s時，算法所得最大可達安全速率減小。因此，在竊聽者短時間位置移動時，如何縮短算法優(yōu)化時間以保證系統(tǒng)保密性能，是算法性能提升的方向，也是本文未來工作需要解決的問題。

圖6 Eve位置移動時長對本文所提算法求解的影響

6 結(jié)束語

本文針對物聯(lián)網(wǎng)中主動攻擊的全雙工竊聽者，利用無人機部署靈活、與地面通信具有視距信道的優(yōu)勢，輔助發(fā)射人工噪聲，提升系統(tǒng)物理層安全性能。在估計竊聽者位置基礎(chǔ)上，提出基于Q-learning的無人機軌跡優(yōu)化算法，跟蹤竊聽者移動，實現(xiàn)系統(tǒng)保密性能最優(yōu)。仿真結(jié)果表明，本文所提優(yōu)化算法能快速收斂，當無人機初始位置離最優(yōu)位置近、移動步長大時，收斂速度提高；與窮搜、遺傳算法、隨機部署等相比，本文所提算法獲得了最優(yōu)解，并耗時最短；無人機能夠跟蹤竊聽者移動來確定自身最佳位置，對竊聽信道實施干擾，從而保證系統(tǒng)可達安全速率最大。未來工作中，將考慮在更符合實際的多用戶場景下，存在多個合法接收者和竊聽者時，無人機的部署和軌跡、功率優(yōu)化問題。