李浩 申偉 陳海軍

摘 ? 要：針對(duì)LMS算法訓(xùn)練非線性信號(hào)模型的缺陷，將輸入數(shù)據(jù)映射到高維的特征空間，通過(guò)核函數(shù)完成內(nèi)積運(yùn)算，由最小均方算法得到了經(jīng)典的核最小均方算法。分析收斂范圍，將算法的步長(zhǎng)變換為關(guān)于誤差的非線性函數(shù)，得到了VKLMS算法。結(jié)合DSP，采用指數(shù)函數(shù)來(lái)建立非線性關(guān)系式。設(shè)計(jì)VKLMS算法的CCS工程項(xiàng)目文件，對(duì)比LMS算法，VKLMS在DSP上訓(xùn)練非線性信號(hào)模型。測(cè)試結(jié)果表明：對(duì)于輸入輸出為高度非線性模型時(shí)，VKLMS具有傳統(tǒng)的LMS無(wú)法訓(xùn)練的能力。

關(guān)鍵詞：核自適應(yīng)濾波器 ?VKLMS ?DSP ?非線性信號(hào)處理

中圖分類號(hào)：TN911.7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1674-098X（2019）09（b）-0147-04

Abstract： Because of the flaws in the LMS algorithm training non linear signal model ，we map the input data of the LMS algorithm to the high-dimensional feature space， and perform the inner product operation using the kernel function to obtain the classical kernel least mean square algorithm . This paper analyzes the convergence， and adjusts the step size of LMS with a nonlinear function of the error. This gives the VKLMS algorithm. Combined DSP， an exponential function is used to establish a nonlinear relationship. We design the CCS project files of the VKLMS algorithm. Compared with the LMS algorithm， VKLMS trains the nonlinear signal model on the DSP. The test ?results show that VKLMS has the ability of traditional LMS to be unable to train when the input and output are highly nonlinear.

Key Words： Kernel adaptive filter; VKLMS; DSP; Nonlinear signal processing

線性自適應(yīng)濾波器能力有限，很難實(shí)現(xiàn)非線性函數(shù)建模，因此提出了非線性自適應(yīng)濾波器。線性濾波器的目標(biāo)是通過(guò)學(xué)習(xí)樣本來(lái)學(xué)習(xí)連續(xù)的任意輸入—輸出關(guān)系的映射，即[1]。設(shè)計(jì)非線性自適應(yīng)濾波器是困難的，一個(gè)簡(jiǎn)單地實(shí)現(xiàn)非線性自適應(yīng)濾波器的方法是通過(guò)線性濾波器的串聯(lián)實(shí)現(xiàn)，然而這種建模能力有限，模型無(wú)法獨(dú)立且訓(xùn)練過(guò)程中存在局部最小值。Gabor嘗試使用Volterra序列繞開(kāi)非線性濾波面臨的數(shù)學(xué)障礙，但Volterra序列計(jì)算復(fù)雜度隨著其建模能力的提高呈指數(shù)爆炸增長(zhǎng)。在后期不斷發(fā)展的過(guò)程中，Weifeng Liu等人提出了基于核方法的自適應(yīng)濾波器[1]，吸引了眾多學(xué)者學(xué)習(xí)和研究，其算法具有通用的逼近器、沒(méi)有局部最小值、并且計(jì)算復(fù)雜度適中等特點(diǎn)。核自適應(yīng)算法在非線性混沌時(shí)間序列的預(yù)測(cè)、非線性信道均衡等方面具有比傳統(tǒng)的自適應(yīng)算法更好的性能。

1 ?核自適應(yīng)濾波器

自適應(yīng)系統(tǒng)系統(tǒng)結(jié)構(gòu)如圖1所示[2]，x為輸入信號(hào)，w為可調(diào)權(quán)，y為輸出信號(hào)，輸入，對(duì)應(yīng)可調(diào)權(quán)，若w權(quán)值不變，則輸出是輸入分量的線性組合。

將圖1輸出可表示為輸入向量X與權(quán)向量W的線性乘積的形式：

（1）

由此引入誤差信號(hào)可表示為：

（2）

非線性自適應(yīng)濾波器應(yīng)用在信號(hào)預(yù)測(cè)、系統(tǒng)識(shí)別、信道均衡等[3]，其典型結(jié)構(gòu)如圖2，建模任意的輸入輸出映射，表示為：

（3）

其中fi表示迭代i次后估計(jì)的映射關(guān)系，Gain為一個(gè)函數(shù)關(guān)系式，e（i）即為通常的誤差函數(shù)。

實(shí)現(xiàn)非線性關(guān)系的學(xué)習(xí)模型是很困難的，現(xiàn)有很多方法，但其有計(jì)算復(fù)雜等問(wèn)題，因此引入了核方法，通過(guò)相對(duì)簡(jiǎn)單的核函數(shù)運(yùn)算，降低了高維特征空間內(nèi)積運(yùn)算的復(fù)雜度。核方法的核心思想是：將初始空間的輸入數(shù)據(jù)通過(guò)非線性函數(shù)變換到高維的再生核希爾伯特空間，通過(guò)核函數(shù)對(duì)高維空間做內(nèi)積轉(zhuǎn)換到初始空間的線性運(yùn)算[4-5]。

定義核函數(shù)為k，其基本形式為：

（4）

其中X、X'屬于初始空間U，是初始空間U到特征空間F的映射，表示內(nèi)積。

定義U為輸入的二維空間，即

，特征映射為：

（5）

則特征空間F的線性函數(shù)為：

（6）

由此可見(jiàn)，特征映射將輸入的二維空間映射到了高維的三維空間，將特征映射和內(nèi)積合成，得：

（7）

即為一個(gè)核函數(shù)。

通常使用的核有高斯核和多項(xiàng)式核，分別為：

（8）

（9）

根據(jù)Mercer定理[6]，任意可再生核可擴(kuò)展為：

（10）

其中為非負(fù)的特征值，為特征函數(shù)。

因此，映射的構(gòu)造形式為：

（11）

通過(guò)構(gòu)造，特征空間F的維度由正特征值的個(gè)數(shù)決定，如果采用高斯核，則維度無(wú)限。

2 ?核最小均方算法及改進(jìn)

再生希爾伯特空間（RKHS）最大的特點(diǎn)在于利用RKHS的線性結(jié)構(gòu)實(shí)現(xiàn)成熟的線性自適應(yīng)濾波算法，并可以在原始的輸入空間獲得一個(gè)非線性濾波器[7]。與神經(jīng)網(wǎng)絡(luò)相比，具有通用的逼近能力、凸優(yōu)化特性、合理的計(jì)算復(fù)雜度[8]。核最小均方算法（KLMS）是核自適應(yīng)算法里面比較簡(jiǎn)單的一種算法，通過(guò)最小均方算法直接映射到高維的RKHS，利用RKHS的再生特性和核評(píng)價(jià)函數(shù)完成計(jì)算而得到的。KLMS算法的本質(zhì)是生成一個(gè)生長(zhǎng)的徑向基函數(shù)網(wǎng)絡(luò)，學(xué)習(xí)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，并且通過(guò)訓(xùn)練數(shù)據(jù)來(lái)自適應(yīng)調(diào)整自由參數(shù)，通過(guò)使用之前的輸入數(shù)據(jù)和預(yù)測(cè)誤差逐步構(gòu)建濾波器的輸出，進(jìn)行在線操作[9，11]。

將LMS算法的輸入信號(hào)X（i）變換到高維特征空間F中的，由于對(duì)于X的維度更高，因此的模型比更為強(qiáng)大。LMS算法的基礎(chǔ)上可得：

（12）

由此經(jīng)過(guò)i次迭代，權(quán)重更新方程已經(jīng)改寫為輸入變換后的數(shù)據(jù)乘以誤差函數(shù)與步長(zhǎng)參數(shù)μ的求和的形式，由此得到了新的權(quán)重更新方程，計(jì)算新的輸入數(shù)據(jù)X'對(duì)應(yīng)的輸出形式。利用核技巧，將濾波器的輸出改寫為：

（13）

從公式（13）可以看出，濾波器的輸出形式已經(jīng)沒(méi)有權(quán)向量了，權(quán)向量由核函數(shù)取代了。因此所有的輸入數(shù)據(jù)僅僅需要通過(guò)核函數(shù)進(jìn)行內(nèi)積運(yùn)算，大大節(jié)省了計(jì)算時(shí)間。由此可得到核最小均方算法的形式。首先初始化步長(zhǎng)參數(shù)和選取核。由于高斯核可以生成RKHS且其具有通用的逼近能力，因此一般選擇高斯核。當(dāng)每獲得一個(gè)數(shù)據(jù)對(duì)，即輸入數(shù)據(jù)向量和期望信號(hào)，可得到如下學(xué)習(xí)規(guī)則：

（14）

其中核為，a為核參數(shù)，其中步長(zhǎng)參數(shù)的一個(gè)保守上限為：

（15）

不同的參數(shù)μ會(huì)對(duì)應(yīng)不同的迭代次數(shù)和不同的最小均方誤差。當(dāng)步長(zhǎng)因子μ在穩(wěn)定范圍內(nèi)取的值越大，算法能夠經(jīng)過(guò)更少的迭代次數(shù)來(lái)達(dá)到收斂。相反，當(dāng)步長(zhǎng)因子 在穩(wěn)定范圍內(nèi)取值小，則穩(wěn)定性好，但相應(yīng)的收斂速度也越慢，需要經(jīng)過(guò)更長(zhǎng)的迭代次數(shù)達(dá)到收斂。因此迭代初期誤差函數(shù)e（i）的值比較大，經(jīng)過(guò)不斷迭代，隨著誤差函數(shù)e（i）的減小，步長(zhǎng)也相應(yīng)地減小。因此可將固定步長(zhǎng)調(diào)整為關(guān)于誤差函數(shù)的關(guān)系式。

很多文獻(xiàn)針對(duì)此缺陷提出了解決辦法，在應(yīng)用中，這將大大減少算法自適應(yīng)時(shí)間來(lái)盡快地使算法達(dá)到收斂，結(jié)合DSP，將核最小均方算法中的u變換為關(guān)于誤差函數(shù)的非線性函數(shù)關(guān)系：

（16）

將μ（i）代入KLMS，即為VKLMS。

3 ?算法DSP實(shí)現(xiàn)流程

VKLMS算法與最小均方算法（LMS）原理相似，但在DSP上實(shí)現(xiàn)增加了一定的運(yùn)算量和存儲(chǔ)空間。從理論上來(lái)說(shuō)VKLMS比LMS在數(shù)據(jù)處理方面，性能大有提高，如果應(yīng)用到DSP中，可以彌補(bǔ)最小均方算法的缺陷。

DSP平臺(tái)采用的是TI的C2000系列芯片，DSP開(kāi)發(fā)流程如圖3所示。

VKLMS算法C語(yǔ)言設(shè)計(jì)可分為數(shù)據(jù)配置、核函數(shù)、VKLMS三個(gè)部分。VKLMS中核函數(shù)運(yùn)算時(shí)，每給一個(gè)輸入，就會(huì)新增加一個(gè)存儲(chǔ)空間，因此存儲(chǔ)空間會(huì)隨著新的輸入數(shù)據(jù)而不斷增長(zhǎng)。為此，采用C鏈表里面的動(dòng)態(tài)內(nèi)存分配函數(shù)節(jié)約數(shù)據(jù)存儲(chǔ)空間。VKLMS算法C語(yǔ)言設(shè)計(jì)如圖 4所示。

4 ?VKLMS算法應(yīng)用到DSP平臺(tái)仿真和測(cè)試

選取加入高斯噪聲的余弦信號(hào)作為訓(xùn)練數(shù)據(jù)源，VKLMS算法和KLMS算法通過(guò)均方誤差收斂曲線來(lái)比較性能。VKLMS算法意在提高收斂速度，仿真結(jié)果如圖5。VKLMS算法的收斂速度明顯快于KLMS算法，KLMS算法對(duì)比LMS算法具有較小的均方誤差。表明VKLMS算法比KLMS算法和LMS算法的性能更優(yōu)。

將性能更優(yōu)的VKLMS算法在DSP上進(jìn)行調(diào)試。首先以LMS作為參考，選取輸入信號(hào)為整數(shù)時(shí)間序列t（0、1、2、3、…），期望信號(hào)為，采用VKLMS與LMS訓(xùn)練t→T之間的函數(shù)關(guān)系，LMS訓(xùn)練仿真結(jié)果如圖 6，無(wú)法準(zhǔn)確訓(xùn)練輸出。

在DSP上，采用VKLMS算法訓(xùn)練，訓(xùn)練結(jié)果如圖 7所示，表明VKLMS算法可以準(zhǔn)確的訓(xùn)練高度非線性關(guān)系信號(hào)的函數(shù)模型。

5 ?VKLMS預(yù)測(cè)非線性混沌信號(hào)

搭建非線性混沌電路平臺(tái)，調(diào)試電路。產(chǎn)生混沌雙吸引子時(shí)，DSP平臺(tái)采集一組時(shí)域信號(hào)。采用LMS算法與VKLMS算法進(jìn)行訓(xùn)練。測(cè)試結(jié)果（如圖8和圖9）表明，VKLMS算法能夠很好的預(yù)測(cè)輸入輸出為高度非線性的映射關(guān)系，而LMS訓(xùn)練此類信號(hào)具有明顯的缺陷。

6 ?結(jié)語(yǔ)

隨著信息技術(shù)的不斷發(fā)展，傳統(tǒng)的自適應(yīng)信號(hào)處理方法缺陷日益增多。針對(duì)高度非線性信號(hào)模型，該文采用改進(jìn)的核最小均方算法應(yīng)用到DSP平臺(tái)，并對(duì)非線性映射關(guān)系的信號(hào)模型進(jìn)行了訓(xùn)練和預(yù)測(cè)。以最小均方算法為對(duì)比，DSP上試驗(yàn)結(jié)果表明改進(jìn)的核最小均方算法具有很好的訓(xùn)練高度非線性信號(hào)模型的能力。由于VKLMS算法具有較低的計(jì)算復(fù)雜度，可以應(yīng)用于非線性信號(hào)的處理。

參考文獻(xiàn)

[1] Liu W， Principe J C， Haykin S S. Kernel adaptive filtering[M]. New Jersey， USA： John Wiley & Sons， Inc， Publication， 2010.

[2] 西蒙·赫金. 自適應(yīng)濾波器原理[M].4版.北京：電子工業(yè)出版社， 2006.

[3] Mitra R， Bhatia V. The Diffusion-KLMS Algorithm[C]. International Conference on Information Technology. IEEE Computer Society， 2014：256-259.

[4] Liu W， Principe J C， Haykin S S. Kernel adaptive filtering[M]. New Jersey， USA： John Wiley & Sons， Inc， Publication， 2010.

[5] 趙知?jiǎng)牛?金明明. 基于塊自適應(yīng)濾波的核最小均方算法[J]. 計(jì)算機(jī)工程， 2017， 43（9）：162-166.

[6] Aronszajn A. Theory of reproducing kernels. Trans Am Math Soc [J]. Transactions of the American Mathematical Society， 1950， 68（3）： 337-404.

[7] Zhu P， Chen B， Pr?Ncipe J C. Learning Nonlinear Generative Models of Time Series With a Kalman Filter in RKHS[J]. IEEE Transactions on Signal Processing， 2013， 62（1）：141-155.

[8] Duttweiler D ， Kailath T . RKHS approach to detection and estimation problems--IV： Non-Gaussian detection[J]. IEEE Transactions on Information Theory， 1973， 19（1）：19-28.

[9] Liu W， Pokharel P P， Principe J C. The Kernel Least-Mean-Square Algorithm[J]. IEEE Transactions on Signal Processing， 2008， 56（2）：543-554.

[10]Li K ， Principe J C . Transfer Learning in Adaptive Filters： The Nearest Instance Centroid-Estimation Kernel Least-Mean-Square Algorithm[J]. IEEE Transactions on Signal Processing， 2017， 65（24）：6520-6535.

[11]伍松，周振華，李俞霖.基于一種新的S型函數(shù)快速凸組合最小均方算法[J].科學(xué)技術(shù)與工程，2017（31）：295-299.