張 然，高瑩雪，趙 鈺，丁元明

（1.大連大學(xué) 信息工程學(xué)院，遼寧 大連 116622；2.大連大學(xué) 通信與網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116622）

0 概述

微納衛(wèi)星是指質(zhì)量為1～100 kg，具有實(shí)際使用功能的衛(wèi)星，其主要特點(diǎn)是體積小、重量輕、功耗低、隱蔽性好、機(jī)動(dòng)靈活、可組網(wǎng)完成任務(wù)［1-2］。微納衛(wèi)星網(wǎng)絡(luò)工作環(huán)境復(fù)雜，易遭受多種類的攻擊且承載的業(yè)務(wù)量多，所以對(duì)路由的安全性和服務(wù)質(zhì)量（Quality of Service，QoS）提出更高要求，而傳統(tǒng)的衛(wèi)星網(wǎng)絡(luò)路由技術(shù)由于通常只考慮了跳數(shù)的問題［3-5］，因此能同時(shí)保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)QoS的路由算法成為目前研究的熱點(diǎn)。

文獻(xiàn)［6-7］分別提出了基于信任機(jī)制的安全路由算法，但這兩種算法在評(píng)估信任值時(shí)未考慮節(jié)點(diǎn)能量的影響。文獻(xiàn)［8-9］提出的信任機(jī)制可以防御常見的攻擊，但并不能均衡網(wǎng)絡(luò)中的負(fù)載，在計(jì)算當(dāng)前信任值時(shí)也沒有考慮節(jié)點(diǎn)的歷史行為。文獻(xiàn)［10］提出一種多約束服務(wù)選擇機(jī)制蟻群路由算法，該算法根據(jù)網(wǎng)絡(luò)和用戶約束條件的路徑消耗指標(biāo)評(píng)價(jià)路徑的好壞，但初期的收斂速度過慢，容易陷入局部最優(yōu)解。文獻(xiàn)［11］提出的多目標(biāo)蟻群路由算法減少了網(wǎng)絡(luò)的平均能耗，但是犧牲了算法的全局搜索能力。文獻(xiàn)［12-13］將量子計(jì)算與蟻群算法相結(jié)合，應(yīng)用于求解QoS 路由，以量子比特編碼表示各條路徑上的信息素，并通過量子旋轉(zhuǎn)門實(shí)現(xiàn)對(duì)信息素的更新。

本文提出一種實(shí)現(xiàn)多目標(biāo)優(yōu)化的Q 學(xué)習(xí)量子蟻群路由算法（Q-learning Quantum Ant Colony Routing Algorithm，QQARA）。該算法綜合考慮路徑平均信任值和路徑費(fèi)用兩個(gè)優(yōu)化目標(biāo)，同時(shí)在路徑費(fèi)用函數(shù)中加入量子計(jì)算，并將蟻群算法中的信息素映射成Q 學(xué)習(xí)中的Q值，以保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)服務(wù)質(zhì)量。

1 相關(guān)機(jī)制及參數(shù)設(shè)計(jì)

在微納衛(wèi)星網(wǎng)絡(luò)中，將網(wǎng)絡(luò)拓?fù)涞幕灸Ｐ统橄鬄闊o向圖G=｛V，E｝，其中，V表示網(wǎng)絡(luò)中所有微納衛(wèi)星節(jié)點(diǎn)的集合，E={ei，j|i，j∈V}表示微納衛(wèi)星網(wǎng)絡(luò)中的相鄰兩節(jié)點(diǎn)的鏈路集合，如圖1 所示。

圖1 微納衛(wèi)星網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of micro-nano-satellite network

1.1 信任機(jī)制的建立

為解決微納衛(wèi)星網(wǎng)絡(luò)中節(jié)點(diǎn)的惡意攻擊行為，識(shí)別異常節(jié)點(diǎn)，提高網(wǎng)絡(luò)的安全性，通過節(jié)點(diǎn)的直接信任值、間接信任值和能量信任值構(gòu)成的整體信任值，建立節(jié)點(diǎn)信任機(jī)制。

1.1.1 直接信任值

直接信任值［14］是通過自身行為直接檢測(cè)計(jì)算得到的，包括攻擊行為信任值和轉(zhuǎn)發(fā)行為信任值。

攻擊行為信任值用來評(píng)估節(jié)點(diǎn)的惡意攻擊行為。當(dāng)檢測(cè)出節(jié)點(diǎn)有惡意攻擊行為時(shí)，減少該節(jié)點(diǎn)的信任值，使節(jié)點(diǎn)獲得較低的信任程度，其計(jì)算公式如式（1）所示：

其中：ψ為指數(shù)衰減程度；tc、tc-1分別為當(dāng)前、上一次檢測(cè)時(shí)間；為節(jié)點(diǎn)上一個(gè)攻擊行為的信任值；d(t)L為當(dāng)前行為評(píng)估后量化的值。

其中：r(t)L為節(jié)點(diǎn)當(dāng)前行為正常時(shí)的評(píng)估值；n(t)L為節(jié)點(diǎn)當(dāng)前行為異常時(shí)的評(píng)估值。

轉(zhuǎn)發(fā)行為信任值用來評(píng)估微納衛(wèi)星網(wǎng)絡(luò)中的自私攻擊行為。當(dāng)節(jié)點(diǎn)成功轉(zhuǎn)發(fā)的數(shù)據(jù)包數(shù)量增加時(shí)，該節(jié)點(diǎn)的轉(zhuǎn)發(fā)行為信任值增加；當(dāng)節(jié)點(diǎn)轉(zhuǎn)發(fā)失敗次數(shù)增加時(shí)，該節(jié)點(diǎn)的轉(zhuǎn)發(fā)行為信任值逐漸降低，其計(jì)算公式如式（3）所示：

其中：TS為節(jié)點(diǎn)成功轉(zhuǎn)發(fā)數(shù)據(jù)包的個(gè)數(shù)；TF為節(jié)點(diǎn)轉(zhuǎn)發(fā)失敗數(shù)據(jù)包的個(gè)數(shù)。

對(duì)節(jié)點(diǎn)的攻擊行為信任值和轉(zhuǎn)發(fā)行為信任值加權(quán)求和得到直接信任值TSE，如式（4）所示：

其中：ζ1、(1-ζ1)分別為轉(zhuǎn)發(fā)行為信任值和攻擊行為信任值的權(quán)重，取值范圍為［0，1］。

設(shè)定一個(gè)惡意節(jié)點(diǎn)門限閾值Tlower，在獲得某個(gè)節(jié)點(diǎn)的直接信任值后，一旦發(fā)現(xiàn)該節(jié)點(diǎn)的直接信任值低于門限閾值Tlower，則認(rèn)為該節(jié)點(diǎn)為惡意節(jié)點(diǎn)，將該節(jié)點(diǎn)隔離，門限閾值Tlower具體大小根據(jù)具體情況取值。

1.1.2 間接信任值

間接信任值［15］是根據(jù)第三方節(jié)點(diǎn)的信任值得到，其計(jì)算示意圖如圖2 所示。

圖2 間接信任值計(jì)算示意圖Fig.2 Schematic diagram of indirect trust value calculation

假設(shè)節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)mi連通域?yàn)閅S，YS中共有n個(gè)鄰居節(jié)點(diǎn)存儲(chǔ)有節(jié)點(diǎn)j的直接信任值，則可得到i對(duì)j的間接信任值TRS計(jì)算公式如下：

對(duì)節(jié)點(diǎn)的直接信任值和間接信任值加權(quán)求和得到綜合信任值TSS：

其中：ζ2、(1-ζ2)分別為直接信任值和間接信任值的權(quán)重，取值范圍為（0，1］。

1.1.3 能量信任值

由于微納衛(wèi)星的能量有限，如果不考慮節(jié)點(diǎn)剩余能量依舊使其頻繁工作，會(huì)導(dǎo)致綜合信任值較高的節(jié)點(diǎn)因耗能過快提前失效，退出網(wǎng)絡(luò)，因此在建立信任機(jī)制時(shí)還需要考慮節(jié)點(diǎn)的剩余能量。

節(jié)點(diǎn)在一次數(shù)據(jù)轉(zhuǎn)發(fā)的過程中所消耗的總能量Ecost，如式（7）所示：

其中：Eelec為節(jié)點(diǎn)在接收1 bit 數(shù)據(jù)所耗費(fèi)的能量；N為節(jié)點(diǎn)收發(fā)數(shù)據(jù)分組的總比特?cái)?shù)；Eamp為節(jié)點(diǎn)數(shù)據(jù)收發(fā)為滿足信噪比耗費(fèi)的能量；d為兩節(jié)點(diǎn)之間的距離。

微納衛(wèi)星節(jié)點(diǎn)完成傳輸后剩余能量Ecurrent，如式（8）所示：

其中：Einital為節(jié)點(diǎn)未參與數(shù)據(jù)傳輸時(shí)的剩余能量。

微納衛(wèi)星節(jié)點(diǎn)當(dāng)前剩余能量百分比Eper如下：

其中：Eentire為節(jié)點(diǎn)初始能量。

1.1.4 整體信任值

整體信任值TT是將綜合信任值和能量信任值進(jìn)行加權(quán)求和得到，其計(jì)算公式如式（10）所示。計(jì)算過程如圖3 所示。

圖3 整體信任值計(jì)算過程Fig.3 Calculation process of overall trust value

1.2 QoS 度量參數(shù)

假設(shè)p為一條從源節(jié)點(diǎn)o到目的節(jié)點(diǎn)r的路徑，ei，j為路徑p上的一條鏈路，s為路徑p上的節(jié)點(diǎn)，則表示整個(gè)路徑QoS 的指標(biāo)如下：

1）時(shí)延。路徑p處理時(shí)延delay(p)為該路徑上鏈路的傳輸時(shí)延delay(ei，j)與節(jié)點(diǎn)處理時(shí)延delay(si)之和：

2）出錯(cuò)率。路徑p的出錯(cuò)率loss(p)由該路徑上所有鏈路的出錯(cuò)率loss(ei，j)共同決定：

3）跳數(shù)。路徑p的跳數(shù)hops(p)為該路徑上所有節(jié)點(diǎn)的數(shù)量之和：

4）帶寬。路徑p的帶寬bandwidth(p)為該路徑上所有鏈路中帶寬最小的鏈路的帶寬值：

1.3 節(jié)點(diǎn)負(fù)載情況

為避免網(wǎng)絡(luò)中部分節(jié)點(diǎn)出現(xiàn)負(fù)載過高的問題，需要考慮節(jié)點(diǎn)的負(fù)載情況，定義節(jié)點(diǎn)i的負(fù)載為L(zhǎng)i，假設(shè)節(jié)點(diǎn)i的通信范圍內(nèi)共有n個(gè)節(jié)點(diǎn)，則Lave為節(jié)點(diǎn)i通信范圍內(nèi)的平均負(fù)載。

其中：q(x)為節(jié)點(diǎn)i在某時(shí)刻待發(fā)送的數(shù)據(jù)隊(duì)列長(zhǎng)度；m為節(jié)點(diǎn)i處共有m組數(shù)據(jù)包等待發(fā)送。

1.4 鏈路持續(xù)時(shí)間

由于微納衛(wèi)星具有一定的移動(dòng)性，會(huì)出現(xiàn)鏈路中斷的問題，因此在選擇從源節(jié)點(diǎn)到目的節(jié)點(diǎn)的路徑時(shí)，還需要考慮路徑中鏈路的可持續(xù)時(shí)間，盡量選取鏈路持續(xù)時(shí)間長(zhǎng)的路徑，減少因數(shù)據(jù)傳輸過程中出現(xiàn)鏈路中斷而造成數(shù)據(jù)丟失的現(xiàn)象。

在路徑p中存在相鄰的節(jié)點(diǎn)i和節(jié)點(diǎn)j，節(jié)點(diǎn)i的空間坐標(biāo)為(xi，yi，zi)，速度向 量vi=νix，νiy，νiz，節(jié) 點(diǎn)j的空間坐標(biāo)為(xj，yj，zj)，速度向量vj=νjx，νjy，νjz，則兩節(jié)點(diǎn)間距離d為：

設(shè)置節(jié)點(diǎn)間的最大通信范圍為R，當(dāng)兩節(jié)點(diǎn)之間的距離d≤R時(shí)，兩節(jié)點(diǎn)可以正常通信；當(dāng)節(jié)點(diǎn)間的距離d>R時(shí)，節(jié)點(diǎn)不在通信范圍內(nèi)，兩節(jié)點(diǎn)之間的鏈路發(fā)生斷裂。根據(jù)兩節(jié)點(diǎn)之間的坐標(biāo)位置和速度的移動(dòng)方向，計(jì)算出路徑p中鏈路ei，j的預(yù)計(jì)可存活時(shí)間t(ei，j)：

則依據(jù)該路徑p中最先斷裂的鏈路，本次路由過程中可使用的存活時(shí)間talive為：

2 Q 學(xué)習(xí)量子蟻群路由算法

本文綜合考慮路徑平均信任值和路徑費(fèi)用兩個(gè)優(yōu)化目標(biāo)，并將量子計(jì)算引入到蟻群算法的狀態(tài)轉(zhuǎn)移概率計(jì)算，同時(shí)將蟻群算法中的信息素映射成Q 學(xué)習(xí)中的Q值，以提高路由的整體性能。

2.1 多目標(biāo)函數(shù)的建立

為能夠同時(shí)保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)服務(wù)質(zhì)量，把路徑的平均信任值和路徑的費(fèi)用作為兩個(gè)優(yōu)化目標(biāo)，共同構(gòu)成最優(yōu)路徑的節(jié)點(diǎn)性能指標(biāo)。

路徑的平均信任值是反映數(shù)據(jù)傳輸安全性的情況，路徑的平均信任值越大，數(shù)據(jù)傳輸安全性越高。以路徑上節(jié)點(diǎn)的信任值計(jì)算出路徑平均信任值作為第一個(gè)目標(biāo)函數(shù)f1(p)，則具有hops 跳的路徑平均信任值如式（21）所示：

路徑的費(fèi)用函數(shù)是反映所建立的路徑對(duì)于各項(xiàng)QoS參數(shù)的滿足情況，費(fèi)用值越小，所建立路徑的QoS 指標(biāo)越好。在微納衛(wèi)星網(wǎng)絡(luò)中，多QoS 路由問題的設(shè)計(jì)目標(biāo)就是找到一條或多條滿足以下約束條件的路徑，使得路徑p的費(fèi)用值f(p)最小。本文以路徑的費(fèi)用作為第二個(gè)目標(biāo)函數(shù)f2(p)，為了保證計(jì)算時(shí)各參數(shù)單位的統(tǒng)一性，對(duì)各項(xiàng)QoS 參數(shù)進(jìn)行歸一化處理。

其中：delaymax為業(yè)務(wù)可以容忍的最大時(shí)延；lossmax為業(yè)務(wù)能接受的最大出錯(cuò)率；hopsmax為業(yè)務(wù)可以接受的最大跳數(shù)限制；bandwidthmin為業(yè)務(wù)可以承受的最小帶寬；delay(p)*、loss(p)*、hops(p)*分別為歸一化處理后的QoS 參數(shù)；ω1、ω2、ω3、ω4分別為時(shí)延、出錯(cuò)率、跳數(shù)、帶寬的加權(quán)因子。

2.2 量子計(jì)算

量子計(jì)算［16-17］基本原理為：量子態(tài)由若干基本狀態(tài)組成，這些基本狀態(tài)可以進(jìn)行疊加形成量子疊加態(tài)，當(dāng)量子疊加態(tài)的相對(duì)位置和概率幅度方式變化時(shí)，就會(huì)使基本狀態(tài)的出現(xiàn)概率也產(chǎn)生相應(yīng)的變化，從而使原本形成的疊加態(tài)也產(chǎn)生對(duì)應(yīng)的形態(tài)改變。量子計(jì)算具備疊加、并行和干涉的特性［18］。

2.2.1 量子比特

量子比特［19］是量子計(jì)算中存儲(chǔ)信息的基本單元，使用|0>和|1>來表示微觀粒子的兩種基本狀態(tài)，記號(hào)“| >”為Dirac 記號(hào)，在量子計(jì)算中抽象為形態(tài)。與經(jīng)典的比特不同，量子比特還可以形成疊加態(tài)，可以表示兩種狀態(tài)之間的中間態(tài)，即|φ>=α|0>+β|1>，其中α、β為復(fù)數(shù)，表示兩種狀態(tài)的概率幅，且滿足歸一化條件|α|2+|β|2=1，即量子態(tài)|φ>在測(cè)量時(shí)會(huì)以|α|2的概率轉(zhuǎn)換到|0>態(tài)或以|β|2的概率轉(zhuǎn)換到|1>態(tài)。

一個(gè)量子比特可以同時(shí)存儲(chǔ)|0>和|1>兩種狀態(tài)的概率幅，那么包含m個(gè)量子比特的個(gè)體pi能夠存儲(chǔ)2m種不同狀態(tài)，pi的概率幅度如式（25）所示：

2.2.2 量子旋轉(zhuǎn)門

在量子計(jì)算中使用量子旋轉(zhuǎn)門更新量子比特的概率幅，其更新方式如式（26）所示：

量子比特的旋轉(zhuǎn)角度θij如下：

其中：Δθij為旋轉(zhuǎn)角度的大小，表示量子比特從當(dāng)前狀態(tài)旋轉(zhuǎn)至目標(biāo)狀態(tài)所需要的步長(zhǎng)大??；s(αij，βij)為旋轉(zhuǎn)角的方向。旋轉(zhuǎn)角的大小和方向根據(jù)旋轉(zhuǎn)角選擇策略查詢，如表1 所示［20］。在表1 中，xij=1 表示從節(jié)點(diǎn)i到節(jié)點(diǎn)j存在一條解路徑，bestij表示記錄運(yùn)算過程中從節(jié)點(diǎn)i到節(jié)點(diǎn)j的最優(yōu)解，f（x）為適應(yīng)性函數(shù)，即建立路徑的費(fèi)用函數(shù)f2(p)。

表1 旋轉(zhuǎn)角選擇策略Table 1 Rotation angle selection strategy

2.3 改進(jìn)的蟻群路由算法

在傳統(tǒng)蟻群路由算法地基礎(chǔ)上，本文算法將量子計(jì)算引入到狀態(tài)轉(zhuǎn)移概率計(jì)算中，以避免陷入局部最優(yōu)解，而且把蟻群算法中的信息素映射成Q 學(xué)習(xí)中的Q值，加快算法的收斂速度。

2.3.1 狀態(tài)轉(zhuǎn)移規(guī)則

設(shè)共有m只螞蟻隨機(jī)的分布在不同的節(jié)點(diǎn)上，表示在t時(shí)刻螞蟻k（k=1，2，…，m）從節(jié)點(diǎn)i移動(dòng)到節(jié)點(diǎn)j的狀態(tài)轉(zhuǎn)移概率為：

其中：dij(t)為在t時(shí)刻節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的距離；為路徑（i，j）的平均信任值。

其中：|αij|2表示從節(jié)點(diǎn)i到節(jié)點(diǎn)j的路徑上量子位的量子態(tài)坍縮到|0>的概率。

2.3.2 信息素更新規(guī)則

在全部的螞蟻完成一次循環(huán)之后，螞蟻路過某路徑時(shí)信息素濃度會(huì)發(fā)生變化，路徑的信息素濃度越高則越有可能成為最優(yōu)路徑，同時(shí)信息素濃度會(huì)按照一定的系數(shù)揮發(fā)。

1）局部信息素更新規(guī)則

當(dāng)每只前向螞蟻構(gòu)建完一個(gè)可行路徑后，對(duì)所構(gòu)建可行路徑上的各段鏈路進(jìn)行各個(gè)目標(biāo)的局部信息素更新，其計(jì)算如下：

其中：n為第n個(gè)目標(biāo)函數(shù)（n=1，2）；1-ρ(0<ρ<1)為路徑上信息素的持久性因子，信息素通過揮發(fā)因子ρ持續(xù)揮發(fā)；Δnτij為第n個(gè)優(yōu)化目標(biāo)的信息素濃度增量。計(jì)算如式（34）、式（35）所示：

其中：κ為鏈路持續(xù)時(shí)間值的增強(qiáng)系數(shù)；talive為存活時(shí)間；f1(p)、f2(p)為目標(biāo)函數(shù)；Ej-per為節(jié)點(diǎn)j剩余能量；Lj為節(jié)點(diǎn)j的負(fù)載；Lave為節(jié)點(diǎn)i通信范圍內(nèi)的平均負(fù)載。

2）全局信息素更新規(guī)則

Q 學(xué)習(xí)是一種不基于狀態(tài)轉(zhuǎn)化模型，使用時(shí)序差分求解強(qiáng)化學(xué)習(xí)問題的方法［21-22］。本文引入Q 學(xué)習(xí)的思想，強(qiáng)化算法在動(dòng)態(tài)環(huán)境中的學(xué)習(xí)能力，Q值更新規(guī)則如式（36）所示：

其中：使用Q（s，a）為動(dòng)作a的累積回報(bào)值；χ∈（0，1）；δ為學(xué)習(xí)因子；rt+1為t+1 時(shí)刻根據(jù)環(huán)境狀態(tài)s選擇動(dòng)作a獲得的收益。

將蟻群算法的信息素濃度映射為Q 學(xué)習(xí)的Q值，則蟻群算法中信息素更新規(guī)則為：

其中：Q為釋放的信息素濃度；Bdk為后向螞蟻?zhàn)哌^的節(jié)點(diǎn)個(gè)數(shù)。

2.3.3 算法步驟

本文所提出的Q 學(xué)習(xí)量子蟻群路由算法流程如圖4 所示，具體步驟如下：

圖4 Q 學(xué)習(xí)量子蟻群路由算法流程Fig.4 Procedure of Q-learning quantum ant colony routing algorithm

步驟1初始化微納衛(wèi)星網(wǎng)絡(luò)，設(shè)置源節(jié)點(diǎn)o和目的節(jié)點(diǎn)r，設(shè)定蟻群的螞蟻數(shù)量m，算法的最大迭代次數(shù)tmax，并設(shè)置算法中的各項(xiàng)參數(shù)。

步驟2設(shè)置和初始化各前向螞蟻的禁忌表，各前向螞蟻的禁忌表中用于存儲(chǔ)當(dāng)前已經(jīng)訪問過的節(jié)點(diǎn)ID，令前向螞蟻標(biāo)記k=k+1。

步驟3各個(gè)前向螞蟻可訪問的節(jié)點(diǎn)范圍內(nèi)，根據(jù)狀態(tài)轉(zhuǎn)移概率的計(jì)算公式選擇下一跳鄰居節(jié)點(diǎn)j。

步驟4判斷選擇的鄰居節(jié)點(diǎn)j的直接信任值是否大于惡意節(jié)點(diǎn)門限閾值Tlower，若節(jié)點(diǎn)j的直接信任值小于惡意節(jié)點(diǎn)門限閾值Tlower，則廣播通知其他節(jié)點(diǎn)將節(jié)點(diǎn)j從微納衛(wèi)星網(wǎng)絡(luò)中隔離，并轉(zhuǎn)向步驟3 重新選擇鄰居節(jié)點(diǎn)，否則轉(zhuǎn)向步驟5。

步驟5判斷選擇下一跳節(jié)點(diǎn)j后所形成的鏈路是否滿足QoS 需求，若不滿足其中的某一項(xiàng)QoS 指標(biāo)則返回步驟3，否則轉(zhuǎn)向步驟6。

步驟6前向螞蟻根據(jù)狀態(tài)轉(zhuǎn)移規(guī)則選擇下一個(gè)移動(dòng)位置后，通過量子旋轉(zhuǎn)門完成自適應(yīng)的更新。

步驟7前向螞蟻k根據(jù)不同的目標(biāo)函數(shù)進(jìn)行相應(yīng)的局部信息素的更新，并把選擇的鄰居節(jié)點(diǎn)j放入到禁忌表中。

步驟8循環(huán)執(zhí)行步驟3～步驟7，直到所有的前向螞蟻到達(dá)目的節(jié)點(diǎn)并轉(zhuǎn)換為后向螞蟻。

步驟9后向螞蟻進(jìn)行全局的信息素更新，令迭代次數(shù)t=t+1。

步驟10判斷是否滿足結(jié)束條件t>tmax，若滿足則輸出最優(yōu)解，根據(jù)算法計(jì)算出的最優(yōu)路徑傳輸數(shù)據(jù)，否則轉(zhuǎn)向步驟2。

3 實(shí)驗(yàn)仿真與結(jié)果分析

本文用Matlab 仿真驗(yàn)證所提出QQARA 算法的性能。微納衛(wèi)星的初始拓?fù)洳捎勉炐切亲姆植挤绞?，即共?6 顆微納衛(wèi)星，6 條軌道，并且每個(gè)軌道都均勻分布11 顆微納衛(wèi)星，每顆衛(wèi)星與其他4 顆衛(wèi)星直接相連接，其仿真參數(shù)如表2 所示。

表2 仿真參數(shù)Table 2 Simulation parameters

為驗(yàn)證QQARA 算法能否滿足網(wǎng)絡(luò)各種不同業(yè)務(wù)QoS 需求，在網(wǎng)絡(luò)中分別設(shè)置對(duì)帶寬要求敏感的大文件傳輸業(yè)務(wù)，對(duì)時(shí)延要求敏感的實(shí)時(shí)傳輸業(yè)務(wù)和對(duì)丟包率要求敏感的下載業(yè)務(wù)，各種不同業(yè)務(wù)的QoS 參數(shù)約束條件如表3 所示。

表3 不同業(yè)務(wù)的QoS 約束條件Table 3 QoS constraints for different services

本文實(shí)驗(yàn)將QQARA 算法與常見的蟻群優(yōu)化（Ant Colony Optimization，ACO）算法、改進(jìn)的QoS（QoS aware Service Selection，QSS）算法［23］進(jìn)行對(duì)比分析，分別從路徑的費(fèi)用值、包投遞率、平均端到端時(shí)延、節(jié)點(diǎn)的平均能耗4 個(gè)性能指標(biāo)驗(yàn)證QQARA 算法的有效性。

1）路徑的費(fèi)用值

圖5 所示為不同算法隨著迭代次數(shù)增加時(shí)的路徑費(fèi)用變化趨勢(shì)。隨著迭代次數(shù)的不斷增加，3 種算法的路徑費(fèi)用值f2(p)都呈現(xiàn)出不斷下降的狀態(tài)。由于ACO 算法只考慮了尋找最短路徑而沒有QoS 參數(shù)的問題，因此下降速度最慢且數(shù)值最高，而QSS 算法和QQARA 算法在尋找最優(yōu)路徑時(shí)考慮了路徑的各項(xiàng)QoS 參數(shù)，因此這2 種算法路徑費(fèi)用值的下降速度和最小值都明顯優(yōu)于ACO 算法。由于QQARA算法結(jié)合了Q 學(xué)習(xí)的優(yōu)點(diǎn)，因此QQARA 算法的收斂速度最快。

圖5 迭代次數(shù)與路徑費(fèi)用的關(guān)系Fig.5 Relationship between iteration times and path cost

2）包投遞率

圖6 所示為在不同的節(jié)點(diǎn)移動(dòng)速度下3 種算法的包投遞率變化情況。隨著節(jié)點(diǎn)移動(dòng)速度的增大，3 種算法的包投遞率均出現(xiàn)了不同程度的下降趨勢(shì)。由于QQARA 算法加入了量子計(jì)算，能夠很好地跳出局部最優(yōu)解，具有更好的路徑尋優(yōu)能力，且在信息素濃度更新的過程中考慮了節(jié)點(diǎn)的狀態(tài)以及鏈路的持續(xù)時(shí)間，即使在節(jié)點(diǎn)具有一定移動(dòng)速度的情況下仍能保持一定程度的包投遞率，因此，所尋找的最優(yōu)路徑更加穩(wěn)定。

圖6 節(jié)點(diǎn)移動(dòng)速度與包投遞率的關(guān)系Fig.6 Relationship between node movement speed and packet delivery rate

3）平均端到端時(shí)延

圖7 所示為節(jié)點(diǎn)移動(dòng)速度與平均端到端時(shí)延的關(guān)系。由圖7 可知，隨著節(jié)點(diǎn)移動(dòng)速度的逐漸增加，3 種算法的平均端到端時(shí)延也呈現(xiàn)出了不同程度的上升趨勢(shì)。QSS 算法和QQARA 算法在選擇下一跳節(jié)點(diǎn)時(shí)考慮到了節(jié)點(diǎn)的狀態(tài)，減少了因節(jié)點(diǎn)失效而導(dǎo)致時(shí)延增加的問題。由于QQARA 算法加入了對(duì)鏈路持續(xù)時(shí)間的考慮，減少了因鏈路中斷和路由修復(fù)帶來的延遲，因此隨著節(jié)點(diǎn)移動(dòng)速度的不斷增加，QQARA 算法的平均端到端時(shí)延明顯優(yōu)于QSS 算法和ACO 算法。

圖7 節(jié)點(diǎn)移動(dòng)速度與平均端到端時(shí)延的關(guān)系Fig.7 Relationship between node moving speed and average end-to-end delay

4）節(jié)點(diǎn)平均能耗

圖8 所示為節(jié)點(diǎn)的移動(dòng)速度與節(jié)點(diǎn)平均能耗的關(guān)系。隨著節(jié)點(diǎn)移動(dòng)速度的增加，3 種算法的節(jié)點(diǎn)平均能耗均出現(xiàn)上升的趨勢(shì)。由于ACO 算法和QSS 算法在選取數(shù)據(jù)傳輸路徑時(shí)沒有考慮鏈路的持續(xù)時(shí)間，在節(jié)點(diǎn)移動(dòng)而導(dǎo)致鏈路斷開的情況下會(huì)產(chǎn)生大量的數(shù)據(jù)重傳，增大了節(jié)點(diǎn)的能量消耗，因此該算法的節(jié)點(diǎn)平均能耗隨著節(jié)點(diǎn)移動(dòng)速度上升而大幅增加。由于QQARA算法加入了對(duì)鏈路連接持續(xù)時(shí)間的考慮，能夠有效減少因鏈路中斷而造成數(shù)據(jù)重傳產(chǎn)生的能耗。同時(shí)，在選擇路徑時(shí)考慮到了節(jié)點(diǎn)的剩余能量問題，起到了能量均衡的作用。

圖8 節(jié)點(diǎn)移動(dòng)速度與節(jié)點(diǎn)平均能耗的關(guān)系Fig.8 Relationship between node moving speed and node average energy consumption

4 結(jié)束語

本文提出一種實(shí)現(xiàn)多目標(biāo)優(yōu)化的Q 學(xué)習(xí)量子蟻群路由算法。該算法考慮路徑平均信任值和路徑費(fèi)用，保證數(shù)據(jù)傳輸?shù)陌踩院途W(wǎng)絡(luò)業(yè)務(wù)服務(wù)質(zhì)量，通過加入量子計(jì)算避免陷入局部最優(yōu)解，將信息素映射成Q值，加快算法的收斂速度。仿真結(jié)果表明，該路由算法有效地改善了包投遞率、平均端到端時(shí)延和節(jié)點(diǎn)平均能耗等性能指標(biāo)。下一步將在優(yōu)化目標(biāo)中增加影響微納衛(wèi)星網(wǎng)絡(luò)傳輸因素，提高路由算法對(duì)不同場(chǎng)景的適用性。