農(nóng)漢琦，孫蘊琪，黃 潔，楊澤宇，吳雪雯，楊 科，歐陽鍵

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

0 引 言

認知無線網(wǎng)絡(luò)，就是在無線網(wǎng)絡(luò)的基礎(chǔ)上，加上了“認知”的功能，通信系統(tǒng)可以利用這種學習和認知能力，伺機尋找和使用空閑頻譜資源，提高頻譜資源的使用效率，緩解頻譜資源帶來的通信壓力。

無線通信的發(fā)展帶來了數(shù)據(jù)傳輸速率的逐步提升，與此同時，帶寬的需求也在成倍增長。以移動通信為例，傳輸速率從最早的不足10 kbps提高到即將迎來的第五代移動通信技術(shù)，可以提供10 Gbps的數(shù)據(jù)傳輸速率，可達到如今4G通信的十倍到百倍[1]。然而，即便調(diào)制編碼技術(shù)在不斷更新和改進，頻譜資源緊張問題仍然存在。由于國內(nèi)的頻譜資源統(tǒng)一授權(quán)使用，某一個通信系統(tǒng)獨立使用一個頻段，這種方法雖然有效地避免了系統(tǒng)間的干擾，但仍然會出現(xiàn)通信冗余的情況，即頻譜上會出現(xiàn)未被利用的冗余頻譜資源，稱為“頻譜空穴”(即暫未被授權(quán)用戶使用的頻譜資源)[2]。因此，如何更有效地利用頻譜資源成為了行業(yè)關(guān)注的焦點。為了解決上述問題，認知無線網(wǎng)絡(luò)應(yīng)運而生。

認知無線網(wǎng)絡(luò)除了具有感知能力和自適應(yīng)能力，更具有機器學習的能力。其應(yīng)用遍及人工智能的各個領(lǐng)域[3]。如今認知無線網(wǎng)絡(luò)在軍事和民用領(lǐng)域都得到了應(yīng)用。例如在軍事方面[4]，由于戰(zhàn)場形式瞬息萬變，固定分配帶寬容易貽誤戰(zhàn)機，借助CR能夠?qū)崿F(xiàn)快速地分配頻譜資源，避免了系統(tǒng)內(nèi)部或友軍間的電磁干擾；在民用領(lǐng)域，也具有巨大的發(fā)展?jié)摿颓熬啊?017年6月初，工信部確定了5G部署的初始頻段：3 300 MHz～3 600 MHz和4 800 MHz～5 000 MHz，共500 MHz帶寬[1]，而有限的頻譜資源必定會使得頻譜的供需矛盾日益突出，因此，在5G移動通信系統(tǒng)中，采用認知無線網(wǎng)絡(luò)對頻譜資源的管理將是有效緩解頻譜資源供需矛盾的重要手段。

而機器學習的應(yīng)用范圍廣泛,文獻[5]提出了一種基于遺傳算法的定位服務(wù)時延估計方案，可降低非直達徑環(huán)境帶來的不利影響，以提高定位服務(wù)響應(yīng)速度以及定位精度。在大數(shù)據(jù)等新技術(shù)產(chǎn)業(yè)和無線通信興起的大背景下，數(shù)以億計的接入點產(chǎn)生的大量數(shù)據(jù)信息給網(wǎng)絡(luò)空間帶來了巨大困難，機器學習算法為安全領(lǐng)域提供了一系列有效的分析決策工具，而在近年來迅速發(fā)展的智慧城市更是通過機器學習算法解決城市中諸多難題。除此之外，機器學習算法的蓬勃發(fā)展也使認知無線電的智能化成為了現(xiàn)實[6]。

1 認知無線網(wǎng)絡(luò)的國內(nèi)外研究現(xiàn)狀

目前，認知無線網(wǎng)絡(luò)在國內(nèi)外的通信領(lǐng)域都得到了廣泛的應(yīng)用，但主要的研究還是集中在地面無線通信系統(tǒng)中。認知無線網(wǎng)絡(luò)的核心技術(shù)有頻譜檢測以及認知路由技術(shù)。國內(nèi)外的學者提出了許多頻譜檢測的可行方案，例如能量檢測、匹配濾波檢測等，這些技術(shù)大多都用在了地面通信系統(tǒng)當中。

文獻[7]確定了構(gòu)成醫(yī)療保健無線通信的條件，提出了一種應(yīng)用于醫(yī)院場合的CR系統(tǒng)，從而避免電子醫(yī)療設(shè)備產(chǎn)生的電磁干擾，保證用戶的無線通信質(zhì)量。文獻[8]表明了應(yīng)用于公共安全網(wǎng)的認知無線網(wǎng)絡(luò)能夠很好地解決在城市公共安全網(wǎng)頻段擁擠，不同應(yīng)急部門設(shè)備不兼容等問題，為公共安全網(wǎng)提供了可靠的網(wǎng)絡(luò)服務(wù)。如今隨著5G技術(shù)的發(fā)展與日漸成熟，也可見認知無線網(wǎng)絡(luò)的重要性。在2017年6月初，工信部確定了5G部署的初始頻段共500 MHz帶寬[1]，而有限的頻譜資源使得頻譜的供需矛盾日益突出，因此，在5G移動通信系統(tǒng)中，采用了認知無線網(wǎng)絡(luò)來進行頻譜管理，提升了頻譜的利用率，有效緩解了頻譜資源緊張的壓力。除了在民用領(lǐng)域，同樣在軍事領(lǐng)域，認知無線網(wǎng)絡(luò)的應(yīng)用也帶來了較大的影響。文獻[9]研究指出，在軍事方面，由于戰(zhàn)場形式瞬息萬變，固定分配帶寬容易貽誤戰(zhàn)機，借助CR能夠?qū)崿F(xiàn)快速地分配頻譜資源，避免了系統(tǒng)內(nèi)部或友軍間的電磁干擾。

認知無線網(wǎng)絡(luò)在地面通信的應(yīng)用成果較為豐富，而對于衛(wèi)星通信而言，仍屬于起步階段。衛(wèi)星通信是典型的資源受限網(wǎng)絡(luò)，并且目前其智能化程度較低。認知無線網(wǎng)絡(luò)的應(yīng)用，在提高其智能化程度的同時，還可以解決其突增的業(yè)務(wù)量與有限的頻譜資源的矛盾，從而提高其頻譜利用率。文獻[10]提出了一種基于非正交多址接入技術(shù)的衛(wèi)星地面綜合網(wǎng)絡(luò)聯(lián)合優(yōu)化設(shè)計方法，從而最大化系統(tǒng)的和速率。文獻[11-12]研究了一種基于軟件定義體系結(jié)構(gòu)的認知衛(wèi)星地面網(wǎng)的安全通信以及功率傳輸問題，其中網(wǎng)關(guān)作為控制中心為無線系統(tǒng)提供資源分配。文獻[13]研究了5G蜂窩系統(tǒng)與衛(wèi)星網(wǎng)絡(luò)共存于毫米波頻段下的波束形成問題的魯棒性和安全性。文獻[14]研究了與蜂窩網(wǎng)絡(luò)共享下行頻譜資源的衛(wèi)星網(wǎng)絡(luò)的物理層安全問題。

認知無線網(wǎng)絡(luò)具有廣闊的應(yīng)用前景，無論是在地面無線通信網(wǎng)絡(luò)中，亦或是衛(wèi)星無線通信領(lǐng)域。它可以應(yīng)用于智能電網(wǎng)，寬帶蜂窩網(wǎng)，空閑的廣播電視頻段都能為這些新興的業(yè)務(wù)提供頻段。由于認知無線網(wǎng)絡(luò)在衛(wèi)星通信中的應(yīng)用研究的起步比較晚，還具有很大的發(fā)展空間。衛(wèi)星通信是軍事通信的重要手段，在一些發(fā)達國家，百分之八十的軍事信息傳遞交互通過衛(wèi)星通信來完成?；诂F(xiàn)有衛(wèi)星通信對環(huán)境掌控能力缺乏,智能化程度普及相對低的特點，認知無線網(wǎng)絡(luò)的應(yīng)用為未來的衛(wèi)星通信發(fā)展勢必會起到很好的鋪墊作用。

2 認知無線網(wǎng)絡(luò)中的機器學習算法

首先，具體來說，認知無線網(wǎng)絡(luò)利用人工智能技術(shù)，使通信系統(tǒng)具有一定的學習能力，在不影響授權(quán)頻段正常通信的基礎(chǔ)上，通過有目的地實時改變某些操作參數(shù)使其內(nèi)部狀態(tài)適應(yīng)接收到的無線信號的統(tǒng)計變化，從而接入到授權(quán)的頻段內(nèi)，動態(tài)地利用其頻譜。動態(tài)頻譜接入是指次級用戶(secondary user)動態(tài)的搜索“頻譜空穴”(spectrum holes)進行通信。這些次級用戶也具有認知功能，因此，次級用戶要在不對經(jīng)授權(quán)使用頻譜的主用戶(primary user)造成干擾的情況下，利用其認知能力，對當前空閑的頻譜進行感知，再“伺機”接入頻譜。與此同時，還必須保證主用戶仍具有最高的優(yōu)先級使用其授權(quán)頻譜。由此，當前頻譜低下的效率得到了極大的改善，而在這一過程中，機器學習起著關(guān)鍵的作用。

強化學習算法、遺傳算法以及隱馬爾科夫模型在認知無線網(wǎng)絡(luò)中得到了很大的應(yīng)用，它們的應(yīng)用分別使得認知無線網(wǎng)絡(luò)更好地完成了頻譜資源分配、提高頻譜的管理效率以及頻譜預(yù)測的工作。

在前人的工作中，文獻[15]指出認知無線網(wǎng)絡(luò)通過加入了學習引擎及知識庫等完成認知的功能，學習引擎可以通過對其經(jīng)驗學習進行知識庫積累，存入到知識庫中的知識，可以在需要的時候不斷使用。由于機器學習算法應(yīng)用廣泛，它們也被用作于認知無線網(wǎng)絡(luò)的學習引擎。由于傳統(tǒng)的能量檢測方法在陰影等情況下得到的結(jié)果并不可靠，因此文獻[16]提出了一種基于機器學習的模塊化頻譜感知系統(tǒng)，利用非線性門限來解決單節(jié)點單天線的頻譜感知問題。由于次級用戶的到達和離開使得信道存在著動態(tài)特性，不同于穩(wěn)定的信道，因此，為了更好地適應(yīng)信道變化這一特點來進行頻譜的分配，文獻[17]提出了一種基于強化學習自動化式的信道和功率分配算法，在強化學習的基礎(chǔ)上通過次用戶業(yè)務(wù)的到達與離開來學習最佳策略。目前,強化學習在國際上是十分活躍的研究領(lǐng)域，強化學習的應(yīng)用使得即使在復雜的控制系統(tǒng)中，學習控制仍為一種強有力的控制手段[18]，可以幫助認知無線電實現(xiàn)性能優(yōu)化。文獻[19]提到強化學習的主要特點是能夠準確、快速學習到最優(yōu)策略，模擬真實環(huán)境，自適應(yīng)性強，提高頻譜感知以及分配效率，從而最大化系統(tǒng)吞吐量，這些優(yōu)勢充分證明了強化學習將是認知領(lǐng)域里一種很有前景的技術(shù)。由于要提高頻譜的利用率，次級用戶需要通過“機會方式”接入頻譜，并且保證不對主用戶造成干擾，所以，空閑頻譜感知問題成為關(guān)鍵。由此，文獻[20]開發(fā)了一個基于部分感知馬爾可夫決策過程的機會式頻譜接入分析架構(gòu)，它可以很容易消除頻譜感知錯誤并降低與主用戶沖突的可能性。當檢測到空閑頻譜，如何高效公平地分配頻譜資源變得至關(guān)重要。文獻[21]以在遺傳過程中的控制干擾為目標，提出認知無線網(wǎng)絡(luò)頻譜分配算法，設(shè)計出染色體中的基因表達規(guī)則。依據(jù)基因表達規(guī)則標記顯性基因與隱性基因,在下一代染色體中表達顯性基因,抑制隱性基因,從而保證染色體的健康,提高算法效率。文獻[22]指出遺傳算法是模擬自然選擇和遺傳學機理的計算模型，借鑒了自然界的優(yōu)勝劣汰的進化規(guī)律，產(chǎn)生的最優(yōu)解像自然中更適應(yīng)環(huán)境的后代種群一樣，它的特點在于能夠自適應(yīng)地調(diào)整搜索的方向，具有很強的全局優(yōu)化能力，可以作為解決最優(yōu)化的搜索啟發(fā)式算法。

無線認知網(wǎng)絡(luò)的研究工作主要集中在：頻譜的感知、共享、決策、遷移。頻譜感知是所有工作的基礎(chǔ)。當前的頻譜感知方法有：能量檢測、匹配濾波器檢測，以及多分辨率頻譜感知，但在一些特定的情況下，因為是單節(jié)點檢測方法，結(jié)果并不可靠。另外，在信道分配上，傳統(tǒng)的無線網(wǎng)絡(luò)分配及功率效率低。加入了機器學習算法的認知無線網(wǎng)絡(luò)在實現(xiàn)了高效率的頻譜管理的同時，完成了動態(tài)的頻譜以及功率分配，減少了有限頻譜的資源浪費。

通過對國內(nèi)外涉及認知無線網(wǎng)絡(luò)文獻的學習、標引，文中梳理了認知無線網(wǎng)絡(luò)中機器學習的應(yīng)用。下面對一些主要的學習算法進行介紹：Q學習算法、遺傳算法和隱馬爾可夫模型。

2.1 Q學習算法

Q學習適用于解決動態(tài)環(huán)境中的決策問題，通過學習的強化訓練尋找到達目標的最優(yōu)動作。

在基本的Q學習算法中，環(huán)境由有限狀態(tài)的離散時間隨機系統(tǒng)組成。設(shè)全部的狀態(tài)為S={s1,s2,…,sn}，可能的行動為A={a1,a2,…,am}。進入環(huán)境之后，Agent處于某一狀態(tài)s∈S，并在此狀態(tài)下的可選動作中按某種策略(如貪心策略)選擇一個動作a∈A執(zhí)行。進入下一狀態(tài)后，Agent將得到一個反饋信號r(s,a)，可視為在狀態(tài)s下執(zhí)行動作a的即時獎勵值，用來更新Q(s,a)、策略π。定義Q(s,a)為：Agent在狀態(tài)s下執(zhí)行動作a的總體收益，包括即時獎勵和預(yù)期未來收益。Agent按照以上步驟不斷地學習探索，直到滿足一定的收斂條件，就停止更新Q(s,a)，結(jié)束學習。在做決策時，只需要跟蹤在當前狀態(tài)s下，到達目標狀態(tài)過程中執(zhí)行每個操作的Q值，來指導Agent移動。Q值已經(jīng)包含了未來收益，故無需再考慮狀態(tài)s的后續(xù)狀態(tài)?？傊?，Q學習的核心是采取能最大限度地提高總體收益的行動a，并不斷更新Q值組成的Q矩陣形成最優(yōu)決策。Q(s,a)值定義如下:

Q(s,a)=(1-α)Q(s,a)+α[r+γQ(s',a')]

(1)

其中，r為當前狀態(tài)s下執(zhí)行a動作的即時獎勵值;γ(0<γ<1)為折扣因子，決定未來獎勵對當前Q值的影響;α為學習率；Q(s')為s的下一狀態(tài)下的最大Q值。

在Agent選擇動作時，會遇到“探索-利用”困境：“利用”是指選擇Q值最大的動作以盡快增加收益，而“探索”是指隨機選擇一個動作探索其總體收益。文中采用ε-貪心策略，達到平衡“探索”和“利用”的目的。設(shè)學習起步階段的探索概率為ε，則以1-ε的概率選擇Q值最大的動作，以ε的概率隨機選擇其余動作中的一個動作，探索非最優(yōu)動作帶來的收益。ε-貪心策略在初始學習時，主動探索非最優(yōu)動作，能一定程度地避免“局部最優(yōu)”。隨著不斷的學習探索，Agent對環(huán)境的認知逐漸清晰準確，可以逐步減少不必要的探索，即減小ε值，以提高學習效率，從而加快Q值收斂。

使用Q學習算法管理CR的頻譜：認知無線網(wǎng)絡(luò)的特點在于實時變化：隨時有用戶到達和離開環(huán)境，業(yè)務(wù)處于動態(tài)變化中。系統(tǒng)需要自適應(yīng)地調(diào)整傳輸參數(shù)(包括發(fā)送功率、傳輸信道等)，以適應(yīng)環(huán)境中的通信條件和要求。新到達的用戶稱為次級用戶，其功率發(fā)射由基站控制，與基站的通信頻段選用無需授權(quán)的公共頻段，例如ISM頻段。Q學習算法適用于此類動態(tài)變化的環(huán)境，能幫助系統(tǒng)實現(xiàn)信道和功率的實時自適應(yīng)分配問題。

文中提出的Q學習算法實現(xiàn)動態(tài)頻譜接入的處理步驟如下：

Q函數(shù)的主要參數(shù)：學習者所處的狀態(tài)集合S，可選動作的集合A，動作的即時獎勵值r，以及動作選擇策略π:S→A。

(1)狀態(tài)：假設(shè)信道不隨時間變化，環(huán)境中的業(yè)務(wù)是動態(tài)變化的，用戶是時間離散的。新用戶到達會增加業(yè)務(wù)，觸發(fā)Agent選擇信道或分配功率，而用戶業(yè)務(wù)的離去不會產(chǎn)生新業(yè)務(wù)，即不觸發(fā)動作選擇。因此，狀態(tài)s由下式給出：

s=(新用戶的序號，當前接入的用戶序號，基站接收的各信道功率總和)

(2)

(2)動作：當新用戶到達時，基站需執(zhí)行兩個操作：分配合適的信道；分配適合的功率。這兩個動作由下式給定：

A=(P1,P2,…,PM)

(3)

其中，M是總信道數(shù)，Pm∈{p1,p2,…,pM}，m=1,2,…,M。由于新用戶接入時最多只需占用一個信道，因此向量A至多有一個非零元素。

(3)回報r：Agent的決策取決于學習過程中回報的累積值，即總體收益?；貓蟮亩x方式很多，此算法認為動作所實現(xiàn)的總體吞吐量越高，相應(yīng)的回報值越高，故定義回報值為當前業(yè)務(wù)用戶的服務(wù)速率之和，可通過下式計算：

r(s,a)=

(4)

其中，f(n),pn分別表示用戶n所占用的信道以及發(fā)射功率。若用戶j不發(fā)送信號，則pj為零。φ(n,j)由下式?jīng)Q定：

(5)

從式(5)可以看出，該算法考慮了新來用戶的發(fā)射功率對正在進行業(yè)務(wù)的用戶的干擾。

每當新來一個用戶，Agent(認知基站)就會發(fā)起一輪迭代(如圖1所示)，過程如下：

圖1 Q學習算法流程

(1)初始化：初始化折扣因子γ、學習率α以及探索概率ε，Q矩陣為全零。

(2)構(gòu)建狀態(tài)空間：新用戶到達后，基站需確認新用戶的序號和當前接入的用戶序號以及基站接收的各信道功率之和。新用戶序號由新用戶發(fā)給基站；其他信息可由基站自身獲取。構(gòu)建的狀態(tài)空間如式(2)所示。

(3)生成Q值：系統(tǒng)計算當前狀態(tài)下所有動作對應(yīng)的Q值，并存入Q矩陣：Qi(s)=(Q(s,a1),Q(s,a2),···,Q(s,am))，此即完成了一次Q值更新。更新須保存，以待下一輪迭代中繼續(xù)更新Q值。

(4)選擇和執(zhí)行動作：基站選擇動作時采用ε-貪心策略，然后基站通過公共控制信道告知用戶所選動作對應(yīng)的信道選擇和功率分配策略。用戶根據(jù)基站的要求，發(fā)射指定的功率。

(5)計算回報值：基站根據(jù)式(4)計算執(zhí)行動作后的即時回報并存儲其數(shù)值。

(6)更新相關(guān)參數(shù)：每輪迭代結(jié)束后，需要更新α,ε以加快Q值收斂。這里設(shè)定α,ε按負指數(shù)減小。算法收斂的標志為α,ε減為零或者迭代次數(shù)達到了預(yù)設(shè)的門限值。

2.2 遺傳算法

遺傳算法是一種模擬自然選擇過程的搜索算法，通常用于解決優(yōu)化和搜索問題。遺傳算法流程如圖2所示。

圖2 遺傳算法流程

算法從一組初始解開始，定義適應(yīng)度函數(shù)來評估初始解，根據(jù)某種選擇規(guī)則選擇某些解進行交叉、變異產(chǎn)生新解。若未得到最優(yōu)解就返回到第一步，將新生成的解作為新的初始解，一直循環(huán)迭代，直到獲得最優(yōu)解。使用不同的適應(yīng)度函數(shù)所得到的結(jié)果會有差別。

使用遺傳算法進行CR的頻譜管理：基于傳感器信息或次級用戶輸入的信息，系統(tǒng)可預(yù)定義次級用戶的服務(wù)質(zhì)量(quality of service，QoS)需求，選擇次級用戶參數(shù)，包括調(diào)制方案、帶寬、數(shù)據(jù)速率、功率利用率等。通過學習和優(yōu)化這些參數(shù)，次級用戶可以在不干擾主用戶的前提下訪問主用戶的頻譜空穴，從而提高頻譜利用率。文中以頻率、功率、帶寬和調(diào)制方案四個參數(shù)為例進行頻譜管理。每個參數(shù)稱為一個“基因”，四個參數(shù)的組合形成了“染色體”。

遺傳算法解決頻譜管理問題的步驟如下：

(1)基因組合。

(a)頻率基因：假設(shè)系統(tǒng)帶寬為800 MHz，頻帶范圍為50 MHz～850 MHz，信道帶寬為8 MHz，，即步長為8 MHz，共100個頻率基因，如表1所示。

表1 頻率基因

(b)功率基因：假設(shè)功率值范圍從-95 dBm到-46 dBm，步長為1 dBm，共50個功率基因，如表2所示。

表2 功率基因

(c)誤碼率基因：假設(shè)誤碼率(Bit Error Rate，BER)的變化范圍為10-1～10-8，步長為10-1,共8個誤碼率基因，如表3所示。

表3 誤碼率基因

(d)調(diào)制基因：文中只考慮針對特定頻譜管理應(yīng)用的四種調(diào)制方式，如表4所示。

表4 調(diào)制基因

(2)染色體。

四個基因結(jié)合形成一個染色體，或稱種群中的單一個體。染色體的結(jié)構(gòu)如表5所示。

表5 染色體結(jié)構(gòu)特征

初始化：隨機生成一個初始種群，包含50個初始個體，如表6所示。

表6 初始染色體結(jié)構(gòu)

(3)個體適應(yīng)度評估。

用加權(quán)和方法來計算種群中每個個體的適應(yīng)度值，從而評估個體適應(yīng)度。為了簡單起見，假設(shè)染色體上的每種基因的權(quán)重相同。設(shè)參數(shù)x1、x2、x3、x4分別為頻率基因、功率基因、誤碼率基因和調(diào)制基因。每個參數(shù)的適應(yīng)度函數(shù)fi由式(6)給出。

(6)

染色體的適應(yīng)度函數(shù)通過式(7)給出。

(7)

適應(yīng)度越低，遺傳算法的優(yōu)勢越明顯。若某個染色體的適應(yīng)度值滿足次級用戶的QoS要求，則將其作為可行解，若不滿足，則從初始群體中選擇適應(yīng)度值較低的染色體，利用變異、交叉[23]等遺傳算子生成下一個群體。重復進行這個過程，直到種群滿足某個特定條件(例如種群數(shù)量最大化或優(yōu)于當前最佳方案)為止。當終止條件滿足時，選擇適應(yīng)度值最高的個體，該個體包含了頻譜利用的最優(yōu)參數(shù)。

2.3 隱馬爾可夫模型

隱馬爾可夫模型(hidden Markov model，HMM)是一種有向圖模型，用于探究一個隱含有未知參數(shù)的馬爾可夫過程，描述一個馬爾可夫過程和背后隱藏狀態(tài)的關(guān)系[24]。模型如圖3所示。

圖3 隱馬爾可夫模型

在該模型中，系統(tǒng)被假定為未觀察(隱)狀態(tài)的馬爾可夫過程。模型有兩個變量序列，隱藏狀態(tài)序列S=[S1,S2,…,Sn]和觀察到的變量序列O=[O1,O2,…,On]。對于每個狀態(tài)，初始的概率πi可被定義為：

πi=P(Si=si)

(8)

其中Si是隱藏狀態(tài)集中的任意值。

模型的目標是給定一個觀測序列O，獲取可能的最佳狀態(tài)序列S，即最大化P(S|O)。

S*=argmaxs(P(S|O))

(9)

因此一個完全隱馬爾可夫模型可以表示為：

λ=(A,B,π)

(10)

其中，A是狀態(tài)轉(zhuǎn)移概率，即模型在各個狀態(tài)間轉(zhuǎn)換的概率；B是觀察狀態(tài)轉(zhuǎn)移概率，即模型根據(jù)當前狀態(tài)獲得各個觀測值的概率；π是初始狀態(tài)概率，即模型在初始時刻各個狀態(tài)出現(xiàn)的概率。

基于HMM的頻率信道預(yù)分配：

為了高效地利用頻譜，很多CR系統(tǒng)使用了靜默周期(靜默周期是指為了精確地感知頻譜，CR網(wǎng)絡(luò)停止所有的信道傳輸?shù)臓顟B(tài))，但即便如此，干擾仍可能產(chǎn)生。為了減少干擾，CR系統(tǒng)采用了頻率期望算法，但會降低CR系統(tǒng)吞吐量，因此對于每個期望周期，采用基于HMM的頻率信道預(yù)分配策略，從而既可以減少干擾時間，也能提高系統(tǒng)吞吐量[25]。

HMM頻率信道預(yù)分配步驟如下：

通道狀態(tài)(忙或閑)是觀察到的狀態(tài)，可以表示為O=[0,1]，其中0表示通道空閑，1表示通道忙碌，而隱藏狀態(tài)為分配給通道的一組頻率，表示為S=[F1,F2,…,FM]。

假設(shè)一個觀察序列[10101001…11]對應(yīng)的隱藏狀態(tài)序列為[S1,S2,…,Si,…,SN]，其中Si∈S。

所以,對于給定的觀測序列(O),轉(zhuǎn)移概率(A),發(fā)射概率(B)和初始概率(π)，基于信道狀態(tài)或觀測序列(O)可以得到最佳可能狀態(tài)序列或分配頻率S*，如式(11)所示，其中使用了馬爾可夫假設(shè)，即隱藏狀態(tài)只依賴于前一個狀態(tài)，與時間無關(guān)。

P(S|O)=P(S1|O)P(S2|S1,O)…

P(SN|SN-1,O)

(11)

利用貝葉斯定理計算方程(8)中的條件概率：

(12)

其中，P(O)可以忽略，因為它與S無關(guān)，且被視為常數(shù)。根據(jù)方程(9)，可以用馬爾可夫假設(shè)計算P(S)和P(O|S)，并假設(shè)當前觀測狀態(tài)只取決于當前隱藏狀態(tài)。即：

P(S)=P(S1)P(S1|S2)…P(SN|SN-1)

(13)

P(O|S)=P(O1|S1)P(O2|S2)…P(OM|SM)

(14)

根據(jù)式(12)、式(13)和式(14)，可以得到最終的輸出值S*，從而分配頻率設(shè)置對應(yīng)觀察組的通道狀態(tài)。

3 結(jié)束語

認知無線網(wǎng)絡(luò)的核心思想是人工智能技術(shù)，而機器學習是人工智能技術(shù)的核心，是動態(tài)管理頻譜資源的關(guān)鍵。Q學習利用認知無線網(wǎng)絡(luò)的動態(tài)特性實現(xiàn)了信道和功率分配的自主性；遺傳算法通過模擬自然選擇過程，在生成解中搜索最優(yōu)解，高效地管理頻譜資源；隱馬爾可夫模型能通過訓練數(shù)據(jù)解決認知無線網(wǎng)絡(luò)中頻率信道的預(yù)測和預(yù)分配問題。隨著機器學習技術(shù)的發(fā)展和完善，認知無線網(wǎng)絡(luò)將更好地利用頻譜資源，在通信、數(shù)據(jù)交互等領(lǐng)域有更加廣泛的應(yīng)用。