孔 青,張建照,柳永祥

(國(guó)防科技大學(xué)第六十三研究所,南京 210007)

0 引 言

頻譜預(yù)測(cè)是一種從以往測(cè)量的頻譜數(shù)據(jù)推斷未來(lái)頻譜使用相關(guān)信息的方法,本質(zhì)上屬于時(shí)間序列預(yù)測(cè)問(wèn)題[1]。隨著機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展,長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)[2-7]等深度學(xué)習(xí)技術(shù)在頻譜預(yù)測(cè)領(lǐng)域取得了超過(guò)統(tǒng)計(jì)學(xué)模型[8-9]的良好性能,但深度學(xué)習(xí)模型本身缺乏可解釋性,這極大限制了用戶(hù)對(duì)頻譜預(yù)測(cè)結(jié)果的理解與信任,可解釋問(wèn)題因此成為智能頻譜預(yù)測(cè)實(shí)用化需要解決的一個(gè)關(guān)鍵問(wèn)題[10]。

顯著圖通過(guò)突出輸入數(shù)據(jù)中對(duì)預(yù)測(cè)結(jié)果產(chǎn)生重要影響的部分,從而產(chǎn)生易于用戶(hù)理解的可視化解釋效果,近年來(lái)在圖像分類(lèi)、自然語(yǔ)言處理和時(shí)間序列預(yù)測(cè)等領(lǐng)域得到了廣泛研究[11]。顯著圖的生成主要有基于梯度的解釋方法和基于擾動(dòng)的解釋方法。文獻(xiàn)[12]提出了綜合梯度方法,利用反向傳播計(jì)算每個(gè)輸入相對(duì)于基準(zhǔn)值的重要性分?jǐn)?shù),但其基準(zhǔn)值選擇會(huì)對(duì)解釋效果產(chǎn)生重要影響。文獻(xiàn)[13]提出了Input X Gradient方法,與文獻(xiàn)[12]不同的是,該方法通過(guò)將輸入乘以梯度值來(lái)計(jì)算輸入的重要性分?jǐn)?shù)。文獻(xiàn)[14]提出了Gradient Shap方法,通過(guò)對(duì)輸入序列進(jìn)行有目的的排列,來(lái)估計(jì)輸入部分的沙普利加和解釋值(Shapley Additive Explanations,SHAP),但其SHAP值估計(jì)時(shí)間和計(jì)算資源開(kāi)銷(xiāo)較大。與上述基于梯度計(jì)算的解釋方法不同,基于擾動(dòng)的解釋方法通過(guò)對(duì)輸入序列實(shí)施擾動(dòng),將輸出與基準(zhǔn)值比較以生成重要性分?jǐn)?shù)。文獻(xiàn)[15-16]分別提出了特征遮擋和特征置換方法,區(qū)別在于其對(duì)輸出序列的擾動(dòng)方式不同。文獻(xiàn)[17]提出了一個(gè)模型無(wú)關(guān)和可測(cè)試的通用解釋框架,分析了對(duì)圖像分類(lèi)問(wèn)題的解釋效果,其中可測(cè)試是指能夠通過(guò)替換圖像的重要性部分或者不重要性部分,以觀察模型性能的改變,從而生成對(duì)應(yīng)的輸出及解釋。這項(xiàng)工作在文獻(xiàn)[18]中得到了進(jìn)一步研究。文獻(xiàn)[18]首次提出了極值擾動(dòng)的概念,給定輸入序列的擾動(dòng)面積,對(duì)面積約束下所有可能的擾動(dòng)排列方式,對(duì)模型輸出影響最大的擾動(dòng)稱(chēng)為極值擾動(dòng)。

以上工作大都集中在圖像領(lǐng)域。圖像因其像素塊本身具有意義,解釋方法在圖像的定性解釋領(lǐng)域有其先天優(yōu)勢(shì)[19]。在時(shí)間序列預(yù)測(cè)領(lǐng)域,特別是頻譜預(yù)測(cè)領(lǐng)域,可解釋方法的應(yīng)用研究還未獲得重視,目前僅有文獻(xiàn)[6-7]對(duì)頻譜預(yù)測(cè)的可解釋性進(jìn)行了探討,但是也只是對(duì)相鄰頻段的相關(guān)性進(jìn)行了討論,其所提基于注意力機(jī)制的模型屬于內(nèi)在可解釋方法,無(wú)法應(yīng)用到更多的深度學(xué)習(xí)模型中。

與圖像領(lǐng)域不同的是,頻譜時(shí)序數(shù)據(jù)本身的含義并不明顯,同時(shí)頻譜數(shù)據(jù)具有相關(guān)性。如何解釋并體現(xiàn)頻譜預(yù)測(cè)中的相關(guān)性并生成有意義的解釋,是頻譜預(yù)測(cè)可解釋性研究需要解決的重點(diǎn)問(wèn)題。同時(shí),文獻(xiàn)[4-7]已經(jīng)驗(yàn)證了相鄰信道相關(guān)數(shù)據(jù)的輸入有助于提高頻譜預(yù)測(cè)的精度?？山忉岊l譜預(yù)測(cè)通過(guò)揭示輸入數(shù)據(jù)的相關(guān)性分布,對(duì)于提高用戶(hù)與預(yù)測(cè)模型的交互性以及幫助用戶(hù)調(diào)整預(yù)測(cè)模型的輸入維度,從而提升模型性能,具有實(shí)際應(yīng)用價(jià)值。

基于以上考慮,本文首先利用LSTM模型構(gòu)建頻譜預(yù)測(cè)的黑盒模型,然后結(jié)合掩碼和極值擾動(dòng)方法提出一種適用于頻譜數(shù)據(jù)的有意義擾動(dòng)方法,通過(guò)在優(yōu)化目標(biāo)中加入針對(duì)時(shí)間步跳躍的正則項(xiàng),從而在掩碼解釋中體現(xiàn)頻譜數(shù)據(jù)中的時(shí)間相關(guān)性?；趯?shí)測(cè)頻譜數(shù)據(jù)的測(cè)試結(jié)果表明,本文提出的解釋方法在定性實(shí)驗(yàn)中,不僅凸顯了中心頻點(diǎn)的相關(guān)性,也凸顯了相鄰頻點(diǎn)的相關(guān)性,且相關(guān)性在時(shí)間步上連續(xù)出現(xiàn);在性能變化實(shí)驗(yàn)中,平均絕對(duì)百分比誤差(Mean Absolute Percentage Error,MAPE)顯著優(yōu)于基線(xiàn)方法。

1 預(yù)測(cè)模型和掩碼解釋

1.1 頻譜預(yù)測(cè)黑盒模型

實(shí)測(cè)頻譜數(shù)據(jù)由頻譜分析儀測(cè)量獲得,通常以一定聚合方式和時(shí)頻分辨率存儲(chǔ)為數(shù)據(jù)矩陣D。將時(shí)間和頻率維度上的頻譜數(shù)據(jù)D按照時(shí)隙進(jìn)行劃分,獲得某一頻點(diǎn)f處T′個(gè)連續(xù)時(shí)間序列,即St={x1,f,x2,f,…,xt,f,…,xT′,f}。類(lèi)似地,用Sf={xt,1,xt,2,…,xt,f,…,xt,F′}表示t時(shí)刻在F′個(gè)連續(xù)頻點(diǎn)的頻譜狀態(tài)。大量測(cè)試已經(jīng)表明了頻譜數(shù)據(jù)在時(shí)-頻域存在較強(qiáng)相關(guān)性,并且這種相關(guān)性呈現(xiàn)聚集效應(yīng)[4-7,20]。

圖1 頻譜預(yù)測(cè)黑盒模型

1.2 掩碼解釋模型

顯著性方法是一種可視化解釋方法,用來(lái)突出時(shí)間序列中對(duì)模型輸出的重要部分。時(shí)間序列X的每個(gè)元素對(duì)應(yīng)一個(gè)解釋權(quán)重mij,就產(chǎn)生了與輸入頻譜序列X相同大小的掩碼矩陣M={mij}∈[0,1]T×F。解釋權(quán)重是非負(fù)的,因?yàn)槠浯笮》从沉藭r(shí)間序列中相關(guān)數(shù)據(jù)點(diǎn)的重要程度:mij=0時(shí)說(shuō)明該位置元素對(duì)模型輸出的重要性為0;相對(duì)地,mij=1時(shí)說(shuō)明該位置元素對(duì)模型輸出有重要影響。

(1)

提出極值掩碼方法的同時(shí),文獻(xiàn)[18]給出了三個(gè)局部擾動(dòng)算子π(M,X),當(dāng)利用高斯核作為擾動(dòng)時(shí),擾動(dòng)算子可用如下公式計(jì)算:

(2)

文獻(xiàn)[17]重新定義了解釋的內(nèi)涵,將解釋與有意義的規(guī)則聯(lián)系起來(lái)。有意義的解釋是通過(guò)輸入有意義的擾動(dòng),觀察黑盒模型的輸出后產(chǎn)生解釋。以圖像分類(lèi)為例,將圖像旋轉(zhuǎn)后并不影響其實(shí)際分類(lèi),此時(shí)圖像旋轉(zhuǎn)是有意義擾動(dòng)。由于黑盒模型只是近似的非線(xiàn)性擬合,有意義擾動(dòng)對(duì)應(yīng)的輸出也是近似的,因此存在擬合誤差,即L=E(1-ρQ(x;g))。其中,ρQ(x;g)表示對(duì)輸入x以及相應(yīng)的黑盒模型g應(yīng)用有意義擾動(dòng)規(guī)則Q,黑盒模型g做出正確分類(lèi)的概率,E(·)為統(tǒng)計(jì)算子。

有意義擾動(dòng)暗含輸入分布,從而可以從輸入分布中探求并設(shè)計(jì)有意義擾動(dòng),獲得對(duì)黑盒模型的有效解釋。

2 基于有意義擾動(dòng)掩碼的解釋方法

在頻譜序列預(yù)測(cè)中,時(shí)間序列的動(dòng)態(tài)特性更加豐富,每個(gè)頻點(diǎn)的狀態(tài)值都在更大范圍內(nèi)變化且相鄰元素存在相關(guān)性。在圖像領(lǐng)域,由于像素動(dòng)態(tài)范圍固定,高斯核擾動(dòng)能夠很容易地設(shè)定相應(yīng)參數(shù)。對(duì)頻譜序列預(yù)測(cè)模型的解釋而言,擾動(dòng)必須適應(yīng)時(shí)間序列中的動(dòng)態(tài)變化,并且體現(xiàn)出歷史頻譜數(shù)據(jù)中相關(guān)性的特點(diǎn)。為此,本文提出基于有意義擾動(dòng)掩碼的頻譜預(yù)測(cè)解釋方法。

2.1 有意義擾動(dòng)方法

有意義擾動(dòng)就是利用輸入中相關(guān)性分布的先驗(yàn)知識(shí),設(shè)計(jì)相應(yīng)的擾動(dòng)模式。對(duì)于本文的頻譜預(yù)測(cè)模型:X→y,由于是利用中心頻點(diǎn)和周?chē)噜忣l點(diǎn)的歷史數(shù)據(jù)X,預(yù)測(cè)中心頻點(diǎn)在下一時(shí)隙的頻譜狀態(tài)值y,由時(shí)間序列演化的先驗(yàn)知識(shí)能夠得知,模型輸出y與輸入X的中心頻點(diǎn)接近時(shí)刻的頻譜狀態(tài)相關(guān)性更高,距離越遠(yuǎn)的時(shí)隙相關(guān)性越小?；谖墨I(xiàn)[21]提出的序列值變化、時(shí)間扭曲和序列切片三種擾動(dòng)方式,本文提出頻譜預(yù)測(cè)中的有意義擾動(dòng)方法如下:

π2(M,X;t,f)=mt,f·xt,f+(1-mt,f)·ut,f。

(3)

圖2 有意義擾動(dòng)示意

2.2 掩碼的多目標(biāo)優(yōu)化

極值掩碼方法通過(guò)引入如下正則項(xiàng),實(shí)現(xiàn)了對(duì)掩碼元素的強(qiáng)制稀疏[18]:

(4)

同時(shí),為避免掩碼重要性部分在時(shí)間步上的頻繁改變,體現(xiàn)頻譜序列預(yù)測(cè)的時(shí)間相關(guān)性,即相鄰時(shí)間步的重要性應(yīng)該相似,增加類(lèi)似文獻(xiàn)[22]使用的時(shí)間步正則項(xiàng),以懲罰掩碼元素的時(shí)域跳躍:

(5)

綜上所述,掩碼方案的損失函數(shù)如下式:

Ψa(M)=Le(M)+μaLa(M)+μpLp(M)。

(6)

式中:μa與μp是相應(yīng)正則項(xiàng)的正則系數(shù)。該函數(shù)表示在給定掩碼面積a下,通過(guò)最小化損失函數(shù)Ψa(M)來(lái)獲得有意義的極值掩碼。

與其他基于擾動(dòng)的解釋方法一樣,掩碼方法的時(shí)間復(fù)雜度與黑盒模型的前向計(jì)算過(guò)程及迭代次數(shù)有關(guān),迭代次數(shù)的增加會(huì)大大增加解釋的時(shí)間開(kāi)銷(xiāo)[23]。算法偽代碼如下:

輸入:黑盒預(yù)測(cè)模型g(·),待解釋測(cè)試集Γ,SGD優(yōu)化器設(shè)置,擾動(dòng)方式設(shè)置,掩碼優(yōu)化最大輪數(shù)N,掩碼面積列表[a]。

輸出:預(yù)測(cè)精度指標(biāo)MAPE,解釋掩碼矩陣Mend。

1 對(duì)各個(gè)掩碼面積[a]遍歷

2 對(duì)所有集合Γ中的樣本X遍歷

3 按照式(3)進(jìn)行有意義擾動(dòng)獲得擾動(dòng)矩陣Xpert

4 初始化掩碼矩陣Mstart

5 進(jìn)行最大輪數(shù)N的迭代尋優(yōu)

6 按照式(6)進(jìn)行多目標(biāo)優(yōu)化

8 輸出樣本集在掩碼面積a下的解釋掩碼矩陣集合{Mend}和預(yù)測(cè)精度指標(biāo)MAPE

9 輸出樣本集在所有掩碼面積下的解釋掩碼矩陣集合{Mend;a}和預(yù)測(cè)精度指標(biāo){MAPE;a}

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

采用Electrosense網(wǎng)站的公開(kāi)頻譜數(shù)據(jù)集[24]測(cè)試所提方法的有效性。實(shí)測(cè)頻譜數(shù)據(jù)由位于西班牙馬德里一處室外場(chǎng)地部署的傳感器獲得,頻率范圍為802～810 MHz,頻率分辨率為200 kHz,時(shí)間分辨率為3 min,時(shí)間跨度從2021年8月6日至2021年8月16日,所采集的頻譜矩陣為4 800行40列,對(duì)應(yīng)4 800個(gè)時(shí)隙40個(gè)頻點(diǎn),每個(gè)頻點(diǎn)由信噪比(單位:dB)表征其功率水平。該頻帶為L(zhǎng)TE無(wú)線(xiàn)通信業(yè)務(wù)頻帶,圖3和圖4分別是頻譜數(shù)據(jù)的時(shí)頻圖和頻域的相關(guān)性圖?？梢钥闯鱿嚓P(guān)性不僅存在于時(shí)域,頻域也存在較強(qiáng)的相關(guān)性,并且相關(guān)性成塊狀分布。每一塊中的相關(guān)性聚集在中心頻點(diǎn)周?chē)?即中心頻點(diǎn)與相鄰頻點(diǎn)的演化規(guī)律呈現(xiàn)較強(qiáng)相關(guān)性,但是不同塊之間的相關(guān)性較弱。這是由于信號(hào)在傳輸過(guò)程中往往以固定中心頻率和傳輸帶寬進(jìn)行傳遞,而傳輸帶寬內(nèi)的信道會(huì)呈現(xiàn)高度的相關(guān)性。相鄰頻點(diǎn)的相關(guān)性已被驗(yàn)證能夠提升頻譜預(yù)測(cè)的精度[4-7]。

圖3 實(shí)測(cè)頻譜數(shù)據(jù)時(shí)頻圖

圖4 實(shí)測(cè)頻譜數(shù)據(jù)頻域相關(guān)性圖

3.2 實(shí)驗(yàn)設(shè)置與指標(biāo)

在測(cè)試集中選擇50個(gè)樣本,進(jìn)行掩碼解釋的定性實(shí)驗(yàn)和性能變化實(shí)驗(yàn)。掩碼解釋的對(duì)比方法選擇綜合梯度方法和沙普利值采樣方法[25]。性能變化實(shí)驗(yàn)中,評(píng)估指標(biāo)選擇MAPE值,其計(jì)算方法如下:

(7)

黑盒模型與解釋實(shí)驗(yàn)均由基于Python環(huán)境下的Pytorch庫(kù)實(shí)現(xiàn)。掩碼解釋的優(yōu)化器選擇SGD優(yōu)化器,單個(gè)樣本最大優(yōu)化輪數(shù)N為300次,有意義擾動(dòng)中K=M=5。

3.3 實(shí)驗(yàn)結(jié)果和討論

定性實(shí)驗(yàn)通過(guò)可視化掩碼圖像來(lái)分析輸入樣本的相關(guān)性分布。性能變化實(shí)驗(yàn)中分為性能惡化和性能恢復(fù)兩個(gè)部分,若解釋方法突出的部分輸入是重要性部分,則對(duì)重要性部分或者非重要性部分進(jìn)行替換將對(duì)黑盒模型輸出產(chǎn)生重要影響[26]。

圖5從左到右分別是沙普利值采樣方法和綜合梯度方法對(duì)測(cè)試集中某一樣本的解釋效果?？梢钥闯?由于沙普利值采樣方法只能關(guān)注到單一元素的重要性,其對(duì)頻譜預(yù)測(cè)的解釋效果并不好,重要性分布比較雜亂,用戶(hù)無(wú)法得知輸入數(shù)據(jù)的中心頻點(diǎn)和周?chē)l點(diǎn)重要性的分布情況。而綜合梯度方法標(biāo)注的樣本重要性分布,可以明顯看出中間頻點(diǎn)的相關(guān)性較強(qiáng),但是對(duì)中心頻點(diǎn)的相鄰頻點(diǎn)的相關(guān)性標(biāo)注較弱,且易讀性較差,難以識(shí)別中心頻點(diǎn)與相鄰頻點(diǎn)相關(guān)性的聚集效應(yīng)。

圖5 沙普利值采樣與綜合梯度的單一樣本解釋效果

圖6給出了掩碼方案對(duì)同一樣本進(jìn)行解釋的顯著圖,掩碼面積從0.1以0.05步長(zhǎng)變化至0.3,對(duì)應(yīng)產(chǎn)生5組顯著圖。掩碼方案由于將重要性分?jǐn)?shù)強(qiáng)制在0或1兩種指標(biāo),其更具有易讀性。掩碼面積為0.1時(shí),其重要性分?jǐn)?shù)集中在中心頻點(diǎn)處。隨著掩碼面積增加,之前識(shí)別出的重要性依然能夠被識(shí)別,增加的重要性掩碼主要聚集在相鄰頻點(diǎn)處,說(shuō)明歷史頻譜數(shù)據(jù)的中心頻點(diǎn)與周?chē)l點(diǎn)與待預(yù)測(cè)頻點(diǎn)之間具有相關(guān)性,且中心頻點(diǎn)的相關(guān)性更強(qiáng),相鄰頻點(diǎn)相關(guān)性向中心頻點(diǎn)聚集。

圖6 有意義擾動(dòng)掩碼的單一樣本解釋效果

通過(guò)不同解釋方法得到頻譜序列的重要性分布后,可以根據(jù)重要性權(quán)重M的重要性程度來(lái)干擾輸入序列的相應(yīng)部分,從而測(cè)量對(duì)頻譜預(yù)測(cè)準(zhǔn)確性的影響。同樣地,設(shè)定擾動(dòng)面積從0.1開(kāi)始選擇,以0.05為步長(zhǎng),一直到0.30,一共5種擾動(dòng)面積。對(duì)于綜合梯度方法和沙普利采樣方法,重要性權(quán)重按照大小排序后,根據(jù)擾動(dòng)面積a,將較大重要性權(quán)重量化為1,較小重要性權(quán)重量化為0,便于與掩碼方案進(jìn)行比較。性能惡化實(shí)驗(yàn)主要測(cè)試當(dāng)擾動(dòng)輸入序列的重要性部分,保留其余非重要性部分,觀察標(biāo)注的重要性部分被擾動(dòng)時(shí),對(duì)模型輸出精度的影響;反之性能恢復(fù)實(shí)驗(yàn)中,保留輸入序列的重要性部分,擾動(dòng)非重要性部分,測(cè)試對(duì)模型輸出精度的影響[26]。性能惡化和性能恢復(fù)實(shí)驗(yàn)都是為了測(cè)試解釋方法標(biāo)注的重要性部分的有效性。本文的擾動(dòng)值均選擇常值1,代表整個(gè)頻譜數(shù)據(jù)歸一化后的最大值。

如圖7和圖8所示,干擾重要性部分或者突出輸入序列中的重要性部分,均會(huì)對(duì)模型輸出精度產(chǎn)生顯著影響,并且本文掩碼方案識(shí)別的重要性部分對(duì)模型性能的改變更為明顯。在各個(gè)擾動(dòng)面積大小下,性能惡化實(shí)驗(yàn)中的模型輸出精度下降最多,MAPE平均分別比綜合梯度方法、沙普利值采樣和高斯擾動(dòng)掩碼方案高6.4%,26.2%和30.0%。同時(shí),性能恢復(fù)實(shí)驗(yàn)中的模型輸出精度改善最大,MAPE平均分別比三種對(duì)比方案低7.6%,32.2%和32.8%。

圖7 性能下降實(shí)驗(yàn)

圖8 性能恢復(fù)實(shí)驗(yàn)

上述測(cè)試結(jié)果表明,本文提出的方案能夠生成更顯著擾動(dòng),解釋效果更好,MAPE精度指標(biāo)有顯著變化。

4 結(jié)束語(yǔ)

本文將掩碼解釋方案應(yīng)用到頻譜狀態(tài)序列預(yù)測(cè)領(lǐng)域,通過(guò)生成顯著圖實(shí)現(xiàn)對(duì)單一樣本的可視化解釋效果,便于用戶(hù)直觀掌握輸入樣本的重要性部分在時(shí)間維與頻率維的分布情況。同時(shí),提出了一種適合頻譜序列預(yù)測(cè)的有意義的擾動(dòng)方式,并將時(shí)間相關(guān)性考慮在優(yōu)化問(wèn)題中。實(shí)驗(yàn)表明,帶有意義擾動(dòng)和時(shí)間懲罰項(xiàng)的掩碼方案能夠顯著提升針對(duì)頻譜預(yù)測(cè)樣本的解釋效果和性能。

下一步,將重點(diǎn)研究適用于更多頻譜預(yù)測(cè)模型的可解釋性方法,并分析其評(píng)估方法的有效性和一致性。