盧明飛 彭思愿 陳霸東*

①(西安交通大學人工智能與機器人研究所 西安 710049)

②(南洋理工大學電氣與電子工程學院 新加坡 639798)

1 引言

作為信息論學習領域的一種魯棒優(yōu)化準則，最大互相關熵[1,2](Maximum Correntropy Criterion,MCC)近年來在數(shù)據(jù)分類、圖像處理、自適應濾波等領域已經(jīng)成功得到廣泛應用[3–7]。與基于最小均方誤差準則(Minimum Mean Square Error, MMSE)的LMS (Least Mean Square), RLS(Recursive Least Mean)及其各類改進自適應濾波算法[8,9]相比，基于MCC準則的算法在對抗非高斯噪聲(特別是重尾噪聲)方面具有更好的魯棒性[10]。而諸如無線通信、語音處理等實際工程應用中，信號均受到不同程度的重尾噪聲污染[11]。因此，基于MCC準則設計自適應濾波器在相關領域是很好的選擇。

收斂速度與穩(wěn)態(tài)誤差之間的矛盾是自適應濾波算法中存在的固有問題，MCC濾波算法也不例外。在傳統(tǒng)基于MCC準則的自適應濾波算法中，步長和核寬參數(shù)的選擇決定了算法的收斂速度、穩(wěn)態(tài)誤差和收斂穩(wěn)定性。為此，研究人員進行了諸多改進工作，提出了諸如變步長MCC[12,13]、變核寬MCC[14,15]、多尺度核學習自適應濾波[16]、混合MCC[17]等，取得了一定的成果。

凸組合的方式能夠充分發(fā)揮被組合獨立濾波算法各自的性能優(yōu)勢，同時保證算法收斂的平滑，在一定程度上降低參數(shù)選擇的難度。這一思想在LMS系列算法上最先得到應用[18–20]。文獻[21]也提出了對不同步長參數(shù)的兩個MCC濾波算法進行凸組合的策略，成功將這一思想引入MCC自適應濾波。文獻[22]進一步提出了多凸組合LMS算法，取得了很好的效果。受此啟發(fā)，本文提出一種基于MCC準則的多凸組合自適應濾波算法，通過組合多個獨立MCC濾波算法，從而獲得濾波算法性能的提升。

本文對所提多凸組合MCC濾波算法進行了理論分析，得出了其均值收斂的條件，并證明了該算法穩(wěn)態(tài)均方誤差可逼近被組合算法中的最小值。對所提算法進行了仿真分析，結(jié)果表明，在面對高斯和非高斯噪聲以及噪聲環(huán)境突變時，所提算法均具有良好的收斂性能。

2 基于MCC準則的自適應濾波

2.1 MCC準則

互相關熵(correntropy)是兩個隨機變量X、Y之間相似性的一種度量，其定義為[1]

其中， E (·)代 表期望，κ (·,·)是核函數(shù)(通常為某種徑向基核函數(shù))，F(xiàn)XY(x,y)是 隨機變量( X,Y)的聯(lián)合分布函數(shù)。本文中核函數(shù)采用高斯核

其中， σ >0是核寬參數(shù)。在實際應用中，由于FXY(x,y)未知且采樣數(shù)據(jù)有限，可對互相關熵進行經(jīng)驗估計

針對自適應濾波應用場景，可以通過最大化期望信號和濾波器輸出之間的互相關熵(即相似度)來優(yōu)化算法參數(shù)，即采用最大互相關熵準則(MCC)[1]

其中，en為 第n時刻期望信號與濾波輸出之間的誤差。針對隨機梯度濾波算法，通常采用以下瞬態(tài)MCC準則

2.2 MCC準則自適應濾波

對于包含噪聲干擾的未知線性信道，輸入信號Xn經(jīng)信道傳輸后觀測到輸出信號為

其中，W?∈RN為信道權(quán)向量，vn為隨機加性噪聲?；谒矐B(tài)MCC準則，推導自適應濾波算法如下

其中，μ為步長，f (·,·), en計算如下

2.3 雙凸組合MCC準則濾波算法

文獻[21]提出雙凸組合MCC準則濾波算法

其中，{ Wi,n}(i=1,2)為按照式(7)進行獨立更新的兩個不同步長MCC準則濾波器權(quán)向量，凸組合參數(shù)?n計算如下

進一步，ξn也 按照瞬態(tài)MCC準則下梯度法優(yōu)化

3 多凸組合MCC自適應濾波

3.1 算法結(jié)構(gòu)

本文提出使用m(m≥2)個MCC準則濾波算法進行凸組合形成多凸組合MCC自適應濾波算法

其中， Wi,n(μi,σi)(i=1,2,···,m)表示按式(7)進行更新的獨立濾波器權(quán)向量。m個獨立濾波器的步長與核寬取滿足如下關系的不同值

組合參數(shù)計算如下

其中，f (·,·), ei,n參 照式(8)更新，en計算如下

顯然，式(14)定義的組合參數(shù)滿足以下條件

本文將上述多凸組合MCC準則自適應濾波算法簡稱為MC-MCC(Multiple Convex combination of adaptive filters under MCC)。

3.2 算法討論

對MC-MCC算法中獨立濾波算法的個數(shù)m、步長μ和核寬σ等參數(shù)進行不同配置，則其可形成步長凸組合MCC算法、核寬凸組合MCC算法等。

(1) 步長凸組合MCC準則自適應濾波算法

設置式(12)中m=2，且為兩個獨立自適應濾波算法選擇不同步長和相同核寬，此時本算法即退化為步長凸組合MCC準則自適應濾波算法(Convex combination of Step-sizes for two adaptive filters under MCC, CS-MCC[21])：(2) 核寬凸組合MCC準則自適應濾波算法

設置式(12)中m=2，且兩個獨立濾波算法選擇相同步長和不同核寬，此時本算法即為一種新型核寬凸組合MCC準則自適應濾波算法(Convex Combination of kernel-widths for two adaptive filters under MCC, CW-MCC)：

(3) 多凸組合MCC準則自適應濾波算法

在本文算法的一般形式下，通過選擇多個不同參數(shù)( μi,σi)的濾波算法進行凸組合，能夠充分發(fā)揮各獨立濾波算法的快收斂或低穩(wěn)態(tài)誤差優(yōu)勢，從而在很大程度上克服各獨立核自適應濾波算法單獨使用時收斂速度和穩(wěn)態(tài)精度之間的固有矛盾。

當m=2時，本算法是新的“步長+核寬”凸組合MCC準則自適應濾波算法。當然，(1)和(2)中獨立濾波算法個數(shù)大于2時，亦可以形成兩種新算法：步長多凸組合MCC、核寬多凸組合MCC濾波算法，此處不再展開描述。

4 理論分析

4.1 均值收斂性分析

定義信道估計誤差

結(jié)合式(12)和式(16)可得

此處，我們引入假設：

A-Ⅰ：輸入信號{ Xn}是零均值獨立同分布高斯隨機信號；

A-Ⅱ：噪聲信號{ vn}是零均值獨立同分布高斯隨機信號，且與{ Xn}相互獨立；

A-IV：{ f(σξ,en)} 與{ Xn}相互獨立；

A-V：E (f(σξ,en)) 存 在且有界，E (αi,n)存在。

依據(jù)A-III，對式(20)兩邊同時求期望可得

結(jié)合式(16)可得

根據(jù)文獻[2]，在A-Ⅰ～A-V假設下，μi選擇為

即可保證各獨立算法收斂于系統(tǒng)固有權(quán)向量滿足

結(jié)合式(22)和式(24)可得

綜上，只要滿足式(23)，MC-MCC算法估計的信道權(quán)向量將均值收斂于系統(tǒng)固有權(quán)向量。

4.2 穩(wěn)態(tài)均方誤差分析

采用超額均方誤差(Excess Mean-Square Error,EMSE)分析所提算法的穩(wěn)態(tài)性能。穩(wěn)態(tài)EMSE定義為

由式(14)可得

假設所選各獨立濾波算法全部滿足EMSE收斂條件，其穩(wěn)態(tài)EMSE有界且分別收斂至 Je,i。將所有獨立濾波算法編號作為一個集合：

據(jù)此，可將式(28)分兩種情況分析：

(1) 當i ∈A1時：

從而可得

結(jié)合式(28)，可知

其中γi=μξE(fξ,n)E(?i,∞)， 由于μξ>0, E (fξ,n)>0,E(?i,∞)<0， 則 γi<0。故上述過程成立的條件為

(2) 當i ∈A2時，與(1)同理可得

此時，γi=μξE(fξ,n)E(?i,∞)≥0，故上述過程成立的條件為

綜合式(35)和式(37)可得

進而結(jié)合式(27)可得

假設A2中 元素個數(shù)不為1，則? i?∈A2，使得

根據(jù)柯西不等式，可知 Je,i?>Je，這與情況2矛盾，故假設不成立，即A2中只有1個元素

綜上所述，可得

進而可得本算法穩(wěn)態(tài)EMSE滿足

由于本算法設置參數(shù)滿足式(13)，依據(jù)上述結(jié)論，則其穩(wěn)態(tài)E M S E 最終將趨近于獨立濾波算法1(i=1時，其穩(wěn)態(tài)EMSE最小)。關于單個MCC準則自適應濾波算法穩(wěn)態(tài)EMSE的理論分析可參考文獻[7]，此處不再贅述。

5 MC-MCC算法的工程化改進

由于高斯核函數(shù)的特殊性，當ξi,n絕對值較大時，αi,n的更新將趨于停滯。從實際工程應用角度考慮，可以適當限制αi,n和ξi,n為

設置 α+=0.99 ，ξ+按ξ+=0.5ln((m?1)α+/(1?α+))計算。

為了進一步提升算法的瞬態(tài)性能，考慮對偏離組合權(quán)向量較遠的獨立濾波器進行修正。當算法i同時滿足權(quán)重占比較小(αi,n<β) 和方向偏離較大(|angle(Wi,n,Wn)|>λ)兩個條件時，不再按照式(7)更新，替換為式(45)。

此處a ngle(Wi,n,Wn)可按式(46)計算

改進后的算法簡記為IMC-MCC。

6 仿真分析

本文使用NMSD (Normalized Mean Square Deviation) 評價算法收斂性能，其定義為[22]

6.1 MC-MCC算法性能仿真

實驗環(huán)境設置如下：

(1) 系統(tǒng)輸入與噪聲信號按高斯分布隨機生成，輸入信號符合N (0,1)，信噪比設置為10 dB；

(2) 系統(tǒng)信道維度設置為5×1，權(quán)向量按N(0,1)隨機生成；

(3) 獨立濾波算法個數(shù)為4，各獨立濾波算法及組合參數(shù)優(yōu)化算法的參數(shù)設置見表1；

(4) 組合參數(shù)優(yōu)化算法的參數(shù)( μξ,σξ)選擇應符合以下原則：須使由其決定的MCC準則自適應算法的收斂速度遠大于各獨立濾波算法中最快的。

各獨立濾波算法及多凸組合濾波算法的對比仿真結(jié)果如圖1，圖2所示。結(jié)果表明，MC-MCC自適應濾波算法具有以下特征：(1) 瞬態(tài)收斂速度始終能夠逼近當前時刻收斂速度最快的被組合濾波算法；(2) 穩(wěn)態(tài)NMSD趨于被組合濾波算法的最小值。這與理論分析結(jié)論一致。

6.2 IMC-MCC算法性能仿真分析

改進前后仿真對比如圖3，圖4所示，與原多凸組合算法相比，改進措施大大提高了各被組合算法的收斂速度，進而也使得改進后的多凸組合濾波算法加速收斂。其中( β,λ,θ)=(0.8,0.05,0.8)。

6.3 雙凸組合算法性能仿真

多凸組合算法的優(yōu)勢已經(jīng)得到驗證，本節(jié)進一步驗證算法退化為雙凸組合MCC準則自適應濾波算法時的N M S D 收斂性能。本實驗擬對兩組MCC濾波算法(步長及核寬參數(shù)選擇如表2)的多種組合進行仿真對比，驗證其收斂性能和穩(wěn)態(tài)精度。為了更加充分驗證本文所提算法的工程應用價值，本文選擇“高斯噪聲+非高斯噪聲”復合噪聲環(huán)境，并分別使用“混合高斯”和“α-Stable”兩種模型模擬實際工程中的非高斯噪聲。

表1 算法參數(shù)設置

圖1 算法收斂性能對比

圖2 算法凸組合參數(shù)收斂過程

圖3 改進前后算法收斂過程對比

(1) 混合高斯噪聲環(huán)境試驗

輸入信號、系統(tǒng)參數(shù)設置同6.1節(jié)，噪聲信號設置如式(48)。

其中，高斯噪聲為標準高斯分布N (0,1)，非高斯噪聲采用混合高斯，其分布函數(shù)為

表2所列參數(shù)自由組合的2種經(jīng)典MCC算法及其6種不同組合算法的對比仿真結(jié)果如圖5所示。結(jié)果表明，在只用2個獨立算法進行凸組合的情況下，本文提出的算法可獲得優(yōu)于算法式(17)，式(18)的NMSD收斂性能：在高斯噪聲和非高斯噪聲以及噪聲環(huán)境突變條件下，IMC-MCC算法均具有較快的收斂速度和較高的穩(wěn)態(tài)精度。

(2) α-Stable噪聲環(huán)境試驗

將式(48)中非高斯噪聲替換為α-Stable模型[23]

表2 算法參數(shù)設置

圖4 改進前后算法組合參數(shù)收斂過程對比

圖5 各種組合算法收斂性能對比1

其中，α ∈(0,2]是特征參數(shù)，代表噪聲的重尾程度，β ∈[?1,1]為 對稱參數(shù)，γ >0決定噪聲的離散程度，而? ∞<δ <∞是位置參數(shù)。本試驗中非高斯噪聲參數(shù)設置為 (α,β,γ,δ)=(1.2,0,0.1,0)，其余設置同本節(jié)試驗(1))。

仿真結(jié)果如圖6所示，在“高斯+α-Stable噪聲(重尾噪聲)”組合環(huán)境下，本文提出的多凸組合MCC算法(m=2時)在高斯噪聲段和非高斯噪聲段均可獲得較快收斂速度和較小穩(wěn)態(tài)NMSD。

圖6 各種組合算法收斂性能對比2

7 結(jié)論

本文提出了一類基于最大互相關熵準則的多凸組合自適應濾波算法，并根據(jù)工程應用需求提出了改進措施。通過理論分析，推導了算法的均值收斂條件和穩(wěn)態(tài)均方誤差。數(shù)字仿真實驗發(fā)現(xiàn)，相比于傳統(tǒng)MCC、混合核寬MCC、步長凸組合CS-MCC以及核寬凸組合CW-MCC等算法，本文提出的多凸組合MCC算法在對抗高斯和非高斯噪聲以及噪聲環(huán)境突變時，具有更靈活的適應能力和更好的信道估計收斂性能。因此，本算法在信道估計、系統(tǒng)辨識等領域具有較大的工程應用價值。