郭熠,張晨潔,郭濱,湯云琪
(長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院,長(zhǎng)春 130022)
隨著通信行業(yè)的發(fā)展和人們對(duì)網(wǎng)絡(luò)速度和質(zhì)量的要求越來(lái)越高,無(wú)線電頻譜資源愈加稀缺[1],各國(guó)根據(jù)無(wú)線電業(yè)務(wù)的技術(shù)特點(diǎn)、業(yè)務(wù)能力、寬帶需求等因素分配固定頻段給固定業(yè)務(wù)。使得頻譜利用率很低,即使是繁忙的頻段也有很多可利用的空閑頻譜。減少頻譜浪費(fèi),提高頻譜利用率成為了亟待解決的問(wèn)題[2],為此提出了認(rèn)知無(wú)線電技術(shù),以頻譜感知技術(shù)為核心,快速準(zhǔn)確地檢測(cè)頻譜空洞實(shí)現(xiàn)空閑頻譜利用。目前的頻譜感知算法在高信噪比下都能取得良好的識(shí)別效果,但在低信噪比下識(shí)別性能并不理想[3-5]。
從分類(lèi)角度看頻譜感知可以看作是一個(gè)二元分類(lèi)問(wèn)題,在高信噪比下可以看作線性分類(lèi)問(wèn)題,傳統(tǒng)頻譜感知算法通過(guò)設(shè)定一個(gè)線性閾值就可以很好地解決該問(wèn)題。在低信噪比的無(wú)線信道中,頻譜感知研究方向在于解決非線性閾值信號(hào)分類(lèi)問(wèn)題,正是機(jī)器學(xué)習(xí)算法研究的問(wèn)題[6]。在文獻(xiàn)[7]中,作者提出了基于機(jī)器學(xué)習(xí)的協(xié)同頻譜感知方法(包括有監(jiān)督和無(wú)監(jiān)督機(jī)器學(xué)習(xí)),雖然取得了較好的檢測(cè)性能,但是當(dāng)噪聲功率較大時(shí),能量作為特征輸入將嚴(yán)重影響?hù)敯粜詸z測(cè)。在文獻(xiàn)[8]中作者提出了一種基于人工神經(jīng)網(wǎng)絡(luò)(ANN)的頻譜傳感方法,以信號(hào)能量和周期平穩(wěn)特征作為輸入特征。對(duì)于大規(guī)模的訓(xùn)練數(shù)據(jù),ANN容易出現(xiàn)過(guò)擬合問(wèn)題,導(dǎo)致頻譜感知性能下降。現(xiàn)有的算法并不能很好地解決低信噪比下頻譜感知問(wèn)題。
針對(duì)低信噪比頻譜感知問(wèn)題,結(jié)構(gòu)相對(duì)簡(jiǎn)單的單隱含層神經(jīng)網(wǎng)絡(luò)能更快地解決復(fù)雜的非線性映射問(wèn)題,在頻譜感知上可以取得較好的效果。傳統(tǒng)的基于梯度學(xué)習(xí)的算法,如BP神經(jīng)網(wǎng)絡(luò)等算法在學(xué)習(xí)時(shí)速度慢,學(xué)習(xí)容易收斂到局部最小值。黃教授等人[9]提出了一種SLFN算法—極限學(xué)習(xí)機(jī)算法,該算法隨機(jī)產(chǎn)生權(quán)重和隱含層偏差,因此學(xué)習(xí)速度比傳統(tǒng)梯度下降算法快得多,可以獲得全局最優(yōu)解,并有著很好的泛化能力。雖然極限學(xué)習(xí)機(jī)具有較好的泛化能力,但是該算法通過(guò)隨機(jī)選擇輸入權(quán)重和隱含層偏差來(lái)加速訓(xùn)練過(guò)程,其隨機(jī)選擇可能導(dǎo)致選擇了更多的隱藏節(jié)點(diǎn)和不佳的權(quán)重,而不是最佳的網(wǎng)絡(luò)結(jié)構(gòu),增加了網(wǎng)絡(luò)的復(fù)雜性,文獻(xiàn)[10]表明了傳統(tǒng)的ELM算法僅基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化使算法相對(duì)容易過(guò)擬合,本文針對(duì)該問(wèn)題在模型建立時(shí)引入結(jié)構(gòu)風(fēng)險(xiǎn)最小化的思想進(jìn)行推導(dǎo),同時(shí)采用量子粒子群算法優(yōu)化極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù),并降低經(jīng)驗(yàn)風(fēng)險(xiǎn)從而提升算法的頻譜感知性能。
極限學(xué)習(xí)機(jī)算法是一種單隱含層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs),是一種高效的機(jī)器學(xué)習(xí)算法,通過(guò)求解線性方程的范數(shù)最小二乘解產(chǎn)生最優(yōu)解,訓(xùn)練過(guò)程速度快,泛化性能好。其數(shù)學(xué)模型如下:首先給定N個(gè)不同訓(xùn)練樣本有U=,輸入有n維可表示為,輸出有m維可表示為,可得到有L個(gè)隱含層神經(jīng)元的ELM模型的數(shù)學(xué)表達(dá)式為:
式中,i為訓(xùn)練樣本數(shù)量;為連接第i個(gè)隱含層神經(jīng)元與輸出層神經(jīng)元的權(quán)值向量;為連接第i個(gè)輸入節(jié)點(diǎn)和隱含層節(jié)點(diǎn)的輸入權(quán)值;bi為第i個(gè)神經(jīng)元的偏置;即隱含層神經(jīng)元的閾值;Ai?xj表示Ai與xj的內(nèi)積;g(?)為隱含層的激活函數(shù)。其中:
通過(guò)求解線性方程組Hβ=T的最小二乘解可得隱含層與輸出層之間的連接權(quán)重β,即:
式中,H?是H的廣義逆矩陣。由于不需要返向傳遞不斷調(diào)整權(quán)值,ELM算法的速度非常快,相比于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)要反向調(diào)整n×(L+1)+L×(m+1)個(gè)值,ELM算法僅需在給定Ai和bi的條件下確定一組權(quán)重β,使其誤差最小化。同時(shí)傳統(tǒng)的基于梯度下降的神經(jīng)網(wǎng)絡(luò)算法與ELM算法相比更容易陷入局部最優(yōu)和過(guò)擬合,所以結(jié)構(gòu)簡(jiǎn)單的ELM算法有著天然的優(yōu)勢(shì)和前景。
量子粒子群算法控制參數(shù)少,只有一個(gè),且收斂度快,具有良好的性能。對(duì)于標(biāo)準(zhǔn)粒子群算法,粒子的位置和速度共同決定了粒子的運(yùn)動(dòng)軌跡,在牛頓力學(xué)中粒子沿著確定的軌跡運(yùn)動(dòng)。在量子力學(xué)中,軌跡項(xiàng)是沒(méi)有意義的,因?yàn)榱W拥奈恢煤退俣雀鶕?jù)測(cè)不準(zhǔn)原理無(wú)法同時(shí)確定。因此QPSO中粒子的運(yùn)動(dòng)行為與PSO大相徑庭。在量子粒子群算法(QPSO)中,粒子是由薛定諤方程描述ψ(x,t),而不是標(biāo)準(zhǔn)粒子群算法的位置和速度。為保證算法的收斂需滿足公式(5),每一粒子要收斂于各自的p點(diǎn),對(duì)任意粒子i有是第i個(gè)粒子在第d維的值,其中φij(t)為0和1之間的隨機(jī)函數(shù)。
在粒子群的理論上引入一個(gè)中值最優(yōu)位置mb計(jì)算迭代的全局極值的平均值La,公式如下:
其中,Ms是粒子群的個(gè)數(shù);j為粒子的第j維其取值范圍為j∈[1,d]??傻萌謽O值的平均值La的計(jì)算公式為:
進(jìn)而可得到粒子的進(jìn)化方程為:
u和k是在[0,1]范圍產(chǎn)生的均勻隨機(jī)數(shù),其中α是收縮因子,是量子粒子群唯一的參數(shù),調(diào)節(jié)它的值能控制算法的收斂速度。因此量子粒子群算法具有調(diào)節(jié)參數(shù)少、收斂速度快的優(yōu)點(diǎn),對(duì)于優(yōu)化極限學(xué)習(xí)機(jī)算法有天然的優(yōu)勢(shì)。
頻譜感知是認(rèn)知無(wú)線電中的一項(xiàng)重要技術(shù),檢測(cè)主用戶(hù)是否在使用頻段,防止認(rèn)知用戶(hù)干擾到主用戶(hù)的使用,實(shí)際上是檢測(cè)主用戶(hù)是否存在的問(wèn)題,由此可將頻譜感知問(wèn)題建立為一個(gè)二元假設(shè)檢驗(yàn)問(wèn)題的模型,建立的模型如下:
式中,H0為假設(shè)條件下接收機(jī)只接收到噪聲,即此時(shí)主用戶(hù)信號(hào)不存在;H1為假設(shè)條件下接收機(jī)接收到的信號(hào)包含主用戶(hù)信號(hào)和噪聲,即此時(shí)主用戶(hù)信號(hào)存在;y(t)表示認(rèn)知用戶(hù)接收機(jī)收到的信號(hào);s(t)表示接收到的主用戶(hù)信號(hào);n(t)表示接收到的加性高斯白噪聲成分。
頻譜感知特征的選擇直接影響到算法的頻譜感知性能,本文選取α≠0下能量最大的循環(huán)譜特征和能量特征作為樣本的特征參數(shù)輸入,假設(shè)用戶(hù)接收到的信號(hào)為y(t),可得其自相關(guān)函數(shù)為:
式中,T0是信號(hào)的循環(huán)周期;α是信號(hào)的循環(huán)頻率。其中,由上式可得:
根據(jù)前面建立的頻譜感知的二元假設(shè)模型,可求得其自相關(guān)系數(shù)為:
式中,n*,y*表示其共軛。假設(shè)授權(quán)主用戶(hù)信號(hào)x(t)=cosωt在H1假設(shè)下可得到:
由于模型中噪聲為高斯白噪聲,所以在H0假設(shè)下有:
對(duì)于接受到的實(shí)際信號(hào),調(diào)制方式不同可能有多個(gè)循環(huán)頻率,此時(shí)取其能量最大的循環(huán)譜S(k),即:
可求得其能量En為:
對(duì)于高斯噪聲信號(hào)其峰值集中在α=0上,而在時(shí)其幅值為0,而在時(shí)信號(hào)與噪聲的區(qū)分度最大,以此提取信號(hào)的循環(huán)譜特征,表示為和能量特征En=[ξ1,ξ2,…,ξ3]T,組成其特征向量作為訓(xùn)練集。
在實(shí)際應(yīng)用中通信環(huán)境的噪聲是較為復(fù)雜的,只在訓(xùn)練樣本上取得較好的效果未必能在應(yīng)用中取得較好的效果,這就需要算法具有更強(qiáng)的泛化能力。雖然極限學(xué)習(xí)機(jī)具有較好的泛化能力,但是該算法通過(guò)隨機(jī)選擇輸入權(quán)重和隱含層偏差來(lái)加速訓(xùn)練過(guò)程,隨機(jī)選擇可能導(dǎo)致選擇了更多的隱藏節(jié)點(diǎn)和不佳的權(quán)重而不是最佳的網(wǎng)絡(luò)結(jié)構(gòu),增加了網(wǎng)絡(luò)的復(fù)雜性,文獻(xiàn)[5]表明了傳統(tǒng)的ELM算法僅基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化使算法相對(duì)容易過(guò)擬合,傳統(tǒng)的ELM算法目標(biāo)函數(shù)如下:
約束條件為:
其中,ε是樣本計(jì)算值與目標(biāo)值的差值,將之結(jié)合結(jié)構(gòu)風(fēng)險(xiǎn)的理念可得:
約束條件為:
其中,γ是一個(gè)在結(jié)構(gòu)性風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)之間進(jìn)行權(quán)衡的因素。因此,本文提出了一種新的基于QPSO優(yōu)化的極限學(xué)習(xí)機(jī)QPSO-ELM,以降低ELM的結(jié)構(gòu)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)。QPSO-ELM學(xué)習(xí)算法利用QPSO選擇最優(yōu)參數(shù)。首先對(duì)采集到的實(shí)際信號(hào)樣本集,按照建立模型進(jìn)行特征提取,歸一化標(biāo)準(zhǔn)化組成正負(fù)樣本的樣本集,并采用十折交叉驗(yàn)證法對(duì)模型進(jìn)行訓(xùn)練,具體步驟如下:
(1)由公式(2)初始化權(quán)值矩陣A和偏置矩陣B,其中:
隨機(jī)生成初始粒子群,每個(gè)粒子由一組輸入權(quán)值和隱含層偏差組成,初始化范圍縮小到-1到 1 之 間 。Pi=[a11,a12,…,a1L,…,aNL,b1,b2,…,L],i=1,2,…,Ns。其中Ns是粒子群大小,N是輸入層節(jié)點(diǎn)數(shù),L表示隱含層節(jié)點(diǎn)數(shù)有上式有每個(gè)粒子的長(zhǎng)度為NL=N×L+L
(2)對(duì)于每一組輸入權(quán)值和隱含層偏差,采用公式(4)計(jì)算相應(yīng)的輸出權(quán)值。然后計(jì)算每個(gè)粒子的適應(yīng)度,適應(yīng)度函數(shù)描述為:
其中,N為驗(yàn)證數(shù)據(jù)集的樣本數(shù)。為了避免過(guò)度擬合,節(jié)省訓(xùn)練時(shí)間,使用驗(yàn)證數(shù)據(jù)集代替整個(gè)訓(xùn)練數(shù)據(jù)集。
(3)ELM算法最優(yōu)分類(lèi)面問(wèn)題本質(zhì)上是求一組(NL,A,B),使得輸出權(quán)重二階范數(shù)最小,計(jì)算每個(gè)粒子的適應(yīng)度值,根據(jù)式(6)更新每個(gè)粒子的最佳個(gè)體位置,βPi,βpbi,βpg分別為第i個(gè)粒子當(dāng)前位置輸出權(quán)重,個(gè)體極值輸出權(quán)重,全局極值輸出權(quán)重。
(4)將全局最優(yōu)位置與第i個(gè)粒子的最優(yōu)個(gè)體位置進(jìn)行比較,并根據(jù)式(7)進(jìn)行更新。
(5)對(duì)于第i個(gè)粒子的每個(gè)維度,根據(jù)式(5)計(jì)算pij,根據(jù)式(6)和式(8)在[-1,1]間更新位置。
(6)判斷是否滿足迭代條件,否則按順序執(zhí)行步驟(2)-(5),否則輸出最優(yōu)參數(shù)。
圖1為整個(gè)訓(xùn)練過(guò)程流程圖。
基于循環(huán)譜相關(guān)函數(shù)可獲得不同調(diào)制類(lèi)型的主用戶(hù)信號(hào)的特征參數(shù),算法的具體實(shí)現(xiàn)步驟如下:
(1)需要解決的問(wèn)題為判斷主用戶(hù)存在(H1)和主用戶(hù)不存在(H0),按照2.1中的方法提取循環(huán)譜特征和能量特征,在H1條件下提取循環(huán)譜特征和能量特征構(gòu)成向量y1=(S1,En1)T,在H0條件下提取循環(huán)譜特征和能量特征構(gòu)成向量y0=(S0,En0)T。
(2)由步驟(1)中得到的特征向量構(gòu)成Q個(gè)特征向量的整體樣本集,包括Q1個(gè)正樣本特征向量和Q0個(gè)負(fù)樣本特征向量構(gòu)成。
(3)根據(jù)2.2節(jié)算法訓(xùn)練QPSO-ELM頻譜感知模型。
圖1 模型訓(xùn)練過(guò)程
圖2 本文算法頻譜感知總體實(shí)現(xiàn)流程
(4)用步驟(1)方法提取實(shí)際信號(hào),用步驟(3)中訓(xùn)練好的頻譜感知模型實(shí)現(xiàn)對(duì)主用戶(hù)信號(hào)的頻譜感知。
量子粒子群優(yōu)化的極限學(xué)習(xí)機(jī)頻譜感知算法的整體實(shí)現(xiàn)框圖如圖2所示。
為了驗(yàn)證本文算法在無(wú)線信道低信噪比環(huán)境的性能,采用基于802.11a協(xié)議下子載波為64的OFDM信號(hào)獲取4 000個(gè)訓(xùn)練測(cè)試數(shù)據(jù)集,進(jìn)行仿真驗(yàn)證本文算法的有效性。并與ELM、ANN和SVM三種機(jī)器學(xué)習(xí)方法進(jìn)行了比較,仿真信噪比范圍為-25~-5 dB,每個(gè)信噪比進(jìn)行獨(dú)立實(shí)驗(yàn)2 000次。
本文給出了OFDM信號(hào)在不同信噪比下檢測(cè)概率的比較曲線可知,本文提出的基于QPSOELM信號(hào)頻譜感知方法在不同信噪比條件下正確檢測(cè)概率均優(yōu)于ANN和SVM方法。在-25~-5 dB之間對(duì)于相同的信噪比下對(duì)于ELM、ANN和SVM三種機(jī)器學(xué)習(xí)算法采用相同的訓(xùn)練集和測(cè)試集,仿真結(jié)果表明本文算法在-10 dB時(shí)仍有高于70%的檢測(cè)概率,可見(jiàn)ELM在低信噪比條件下具有較好的檢測(cè)性能。而能量檢測(cè)法受噪聲的影響比較大,在“信噪比墻”的影響下當(dāng)信號(hào)的信噪比低于-10 dB時(shí)檢測(cè)性能急劇惡化。
圖3給出了OFDM信號(hào)在無(wú)線信道不同信噪比條件下本文算法與傳統(tǒng)能量檢測(cè)算法和包括ANN、ELM和SVM的機(jī)器學(xué)習(xí)算法檢測(cè)概率的對(duì)比圖,從圖中可以看出當(dāng)信噪比為-20 dB時(shí)本文的檢測(cè)概率為0.69,相比于對(duì)比算法提升最大,ELM、ANN、SVM算法檢測(cè)概率分別為0.6,0.53,0.41,傳統(tǒng)的能量檢測(cè)算法的概率近乎為0,本文算法檢測(cè)概率相比ELM、ANN、SVM算法檢測(cè)概率分別提高了9%、16%、28%。提出的算法檢測(cè)概率明顯高于對(duì)比算法。隨著信噪比降低,環(huán)境更惡劣,所以各算法的檢測(cè)準(zhǔn)確率均有所降低,但本算法檢測(cè)準(zhǔn)確率仍高于其他算法,這是由于本算法引入結(jié)構(gòu)風(fēng)險(xiǎn),降低經(jīng)驗(yàn)風(fēng)險(xiǎn),提高了算法的泛化性能,克服了傳統(tǒng)ANN算法容易陷入局部最優(yōu)解和SVM在低信噪比情況下容易過(guò)擬合而引起的分類(lèi)精度誤差較大的缺陷,提升了傳統(tǒng)ELM在頻譜感知中的檢測(cè)準(zhǔn)確率。
圖3 不同信噪比下各算法檢測(cè)概率對(duì)比
圖4為在不同信噪比下各算法的虛警概率性能對(duì)比曲線。幾種機(jī)器學(xué)習(xí)算法的虛警概率都在10-4數(shù)量級(jí),ANN算法和ELM算法的虛警概率相對(duì)較高,SVM算法與本文算法相對(duì)較低,這是因?yàn)榻?jīng)過(guò)量子粒子群的優(yōu)化和引入結(jié)構(gòu)風(fēng)險(xiǎn)使得算法能夠更有效的提取輸入特征,從而取得了較好的效果。
圖4 不同信噪比下各算法的虛警概率
圖5、圖6分別是在-15 dB下的ELM和QP?SO-ELM算法在不同隱含層神經(jīng)元個(gè)數(shù)下的頻譜感知檢測(cè)概率,圖3中采用的普通ELM算法只考慮經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化,而未考慮結(jié)構(gòu)風(fēng)險(xiǎn)最小化,容易造成過(guò)擬合,取神經(jīng)元數(shù)不同會(huì)造成檢測(cè)概率大幅度變化。
圖5 ELM隱含層神經(jīng)元個(gè)數(shù)與檢測(cè)概率的關(guān)系
圖6是信噪比為-15 dB下經(jīng)過(guò)QPSO優(yōu)化過(guò)后降低了經(jīng)驗(yàn)風(fēng)險(xiǎn)的ELM模型,可以看到隨隱含層神經(jīng)元個(gè)數(shù)的增加,檢測(cè)概率也逐漸增加,達(dá)到一定神經(jīng)元數(shù)目后檢測(cè)概率只在小范圍浮動(dòng),并取得了更高的檢測(cè)概率。相比ELM算法,在-15 dB環(huán)境下提升了6%的檢測(cè)概率。
圖6 本文算法隱含層神經(jīng)元個(gè)數(shù)與檢測(cè)概率的關(guān)系
表1 平均訓(xùn)練時(shí)間對(duì)比
表1為經(jīng)過(guò)104數(shù)量級(jí)的訓(xùn)練后得到的各算法平均訓(xùn)練時(shí)間,從表1可看出,ELM算法的收斂速度明顯快于SVM算法和ANN算法,這是由于ELM算法是單隱含層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),其結(jié)構(gòu)簡(jiǎn)單,且算法復(fù)雜度較低。采用量子粒子群優(yōu)化后,速度仍快于采用梯度下降法的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法,同時(shí)也無(wú)需反復(fù)的正向計(jì)算和反向的計(jì)算誤差并修正,使得學(xué)習(xí)效率大幅提升。從表1和圖3可看出,ELM-QPSO算法的辨識(shí)精度高于ANN、SVM和傳統(tǒng)ELM,訓(xùn)練時(shí)間QPSOELM相對(duì)加長(zhǎng)但仍快于ANN算法,與SVM算法時(shí)間近似,有效地避免了ANN神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)容易陷入局部極值和SVM在低信噪比下頻譜感知中過(guò)擬合的問(wèn)題。以上結(jié)果表明本文采用的QPSO-ELM方法隨著低信噪比的降低檢測(cè)概率仍高于其他3種方法,體現(xiàn)了本文算法在低信噪比的無(wú)線通信環(huán)境下的優(yōu)勢(shì)。
針對(duì)低信噪比下的頻譜感知問(wèn)題,本文提出一種QPSO-ELM頻譜感知算法,為了提高模型的精度,針對(duì)信號(hào)的循環(huán)譜特點(diǎn)提取信號(hào)的循環(huán)譜特征和能量特征組成特征向量,使用循環(huán)譜特征減少了輸入變量的維數(shù)和噪聲干擾,并以ELM算法為基礎(chǔ),采用QPSO優(yōu)化參數(shù)并引入結(jié)構(gòu)風(fēng)險(xiǎn)最小化避免模型過(guò)擬合和容易陷入局部最優(yōu)的缺點(diǎn),使得模型有著更高的精度。通過(guò)以三種機(jī)器學(xué)習(xí)方法做對(duì)比,對(duì)模型在低信噪比情況下OFDM信號(hào)檢測(cè)問(wèn)題的仿真,證明本文算法有效地避免了ANN神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)容易陷入局部極值和SVM在低信噪比下頻譜感知中過(guò)擬合的問(wèn)題,在-15 dB下也能達(dá)到80%的識(shí)別率,虛警概率在10-4數(shù)量級(jí),在低信噪比下也具有較高的準(zhǔn)確度和穩(wěn)定性。