張杰，劉輝，歐倫偉

湖南師范大學(xué)物理與信息科學(xué)學(xué)院，長(zhǎng)沙 410081

改進(jìn)的FastICA算法研究

張杰，劉輝，歐倫偉

湖南師范大學(xué)物理與信息科學(xué)學(xué)院，長(zhǎng)沙 410081

獨(dú)立分量分析是目前盲源分離算法中最常用的一種方法，其中快速獨(dú)立分量分析（FastICA）以其收斂速度快而被廣泛應(yīng)用，但FastICA對(duì)初始值的選擇比較敏感，而且在使用牛頓迭代法時(shí)，每迭代一步都需要計(jì)算一次函數(shù)值和一次導(dǎo)數(shù)值，當(dāng)函數(shù)比較復(fù)雜時(shí)，計(jì)算它的導(dǎo)數(shù)值往往不方便，用單點(diǎn)弦截法進(jìn)行迭代，將最速下降法與單點(diǎn)弦截法結(jié)合，在保證分離效果的同時(shí)使FastICA的迭代次數(shù)減少，同時(shí)使計(jì)算式更加簡(jiǎn)潔，而且減小了對(duì)初始值的敏感性，仿真實(shí)驗(yàn)驗(yàn)證了其有效性。

Fast獨(dú)立分量分析（ICA）；牛頓法；弦截法；最速下降法；負(fù)熵

1 獨(dú)立分量分析原理

獨(dú)立分量分析（Independent Component Analysis，ICA）[1]是為解決盲信號(hào)分離而逐漸發(fā)展起來(lái)的，近些年成為信號(hào)處理和數(shù)據(jù)分析的有力工具。ICA的數(shù)學(xué)表述為：在不考慮噪聲影響的情況下，假設(shè)觀測(cè)信號(hào)（混合信號(hào)）為x(t)，源信號(hào)為s(t)，觀測(cè)信號(hào)是由源信號(hào)線性瞬時(shí)混合得到，即

式中x(t)=[x1(t)，x2(t)，…，xm(t)]是m維的觀測(cè)信號(hào)，s(t)= [s1(t)，s2(t)，…，sm(t)]是m維源信號(hào)，A是混合矩陣，ICA是由在源信號(hào)和混合系統(tǒng)均未知的情況下，僅根據(jù)得到的觀測(cè)信號(hào)和對(duì)源信號(hào)的一些約束，通過(guò)源信號(hào)的統(tǒng)計(jì)特性[2-3]來(lái)估計(jì)出源信號(hào)。所得的估計(jì)信號(hào)包含了源信號(hào)最主要的信息。ICA的求解可以表述為：

式中G為全局傳輸矩陣，若通過(guò)學(xué)習(xí)使得G為單位矩陣，就可以得到y(tǒng)(t)=s(t)，從而得到源信號(hào)的估計(jì)信號(hào)。這里的y(t)就稱為源信號(hào)的估計(jì)信號(hào)。

2 FastICA算法原理

FastICA也稱為盲信號(hào)抽取固定點(diǎn)算法[2]，一般FastICA算法有基于四階累積量、基于似然最大、基于負(fù)熵最大等形式，本文采用負(fù)熵[3]作為目標(biāo)函數(shù)，負(fù)熵是一種可以度量隨機(jī)變量非高斯性的函數(shù)，任一隨機(jī)變量y的負(fù)熵定義為：

式中J表示負(fù)熵，H(y)表示隨機(jī)變量y的熵，H(ygauss)為與y具有相同方差的高斯隨機(jī)變量ygauss的熵，式（3）一般采用其近似方式，一種有用的近似是將高階矩加以廣義化[4]，同時(shí)通過(guò)化簡(jiǎn)可以得到：

上式為只使用一個(gè)非二次函數(shù)G的情況，v是零均值單位方差的高斯變量，所以EG(v)可以忽略不計(jì)，式（4）的最大化問(wèn)題轉(zhuǎn)化為求EG(y)的最優(yōu)化問(wèn)題，在約束條件E{(WTx)2}=||W||2=1下[5]，EG(y)的最優(yōu)值可以通過(guò)下式得到：

用牛頓法[5]求解式（5），可以得到近似解：

通過(guò)化簡(jiǎn)可以得到：

上式即為基于牛頓法的迭代式。

3 FastICA改進(jìn)算法

由式（6）可以知道牛頓法每迭代一次都要計(jì)算一次雅可比矩陣E{xg′(x)-β}，而計(jì)算雅克比矩陣需要求矩陣的導(dǎo)數(shù)，求導(dǎo)是計(jì)算式中最為復(fù)雜的部分，本文采用差商代替求導(dǎo)，即用弦截法迭代，弦截法迭代式為：

上式為雙點(diǎn)弦截法迭代式，弦截法需要兩個(gè)初始迭代點(diǎn)，雙點(diǎn)弦截法兩個(gè)初始迭代點(diǎn)在迭代中都變化，當(dāng)有一個(gè)初始迭代點(diǎn)在迭代過(guò)程中固定不變時(shí)稱為單點(diǎn)弦截法，單點(diǎn)弦截法迭代式為：

式中Wv為固定不變的起始迭代點(diǎn)，將式（5）代入上式并化簡(jiǎn)得：

上式即為基于單點(diǎn)弦截法的迭代式，由于弦截法要求有兩個(gè)起始迭代點(diǎn)，根據(jù)文獻(xiàn)[6]的結(jié)論，最速下降法可以減小對(duì)初始值選擇的敏感性，本文引入最速下降法[6-7]，用最速下降法求出一個(gè)起始迭代點(diǎn)，另外一個(gè)固定不變的起始迭代點(diǎn)Wv隨機(jī)產(chǎn)生。

最速下降法計(jì)算步驟為：

（1）選一初始化隨機(jī)正交陣W=[W1，W2，…，Wn]，同時(shí)令k=0，選取收斂判定值為critical=0.000 001。

（2）計(jì)算E{xg(WTx)}在W處的梯度值：

由于負(fù)梯度方向就是函數(shù)值下降最快方向，所以可將梯度值作為松弛因子代入下式：

（3）當(dāng)abs(wk+1-wk)&abs(wk+1+wk)≤critical時(shí)，收斂則W0=Wk+1，不收斂則k+1且Wk=Wk+1后返回式（11）繼續(xù)迭代。

改進(jìn)算法的實(shí)現(xiàn)步驟：

（1）對(duì)混合信號(hào)x進(jìn)行去均值和白化預(yù)處理。

（2）初始化權(quán)矢量W，通過(guò)最速下降法求出W0，起始迭代次數(shù)k=0，選取收斂判定值為critical=0.000 001。

（3）任意選取另外一個(gè)迭代點(diǎn)Wv，而Wv選取后不再改變，將Wv和W0代入式（10）求得Wk+1，用Wk+1= Wk+1/||Wk+1||去相關(guān)和歸一化[7]。

（4）判斷abs(wk+1-wk)&abs(wk+1+wk)≤critical是否成立，不成立則k+1后返回式（10）繼續(xù)迭代，成立則估計(jì)出一個(gè)分離矩陣分量。

（5）當(dāng)?shù)玫秸麄€(gè)分離矩陣后，由分離矩陣與觀測(cè)信號(hào)相乘得到源信號(hào)的估計(jì)信號(hào)，然后輸出源信號(hào)的估計(jì)信號(hào)。

4 仿真實(shí)驗(yàn)

實(shí)驗(yàn)采用Matlab進(jìn)行仿真，對(duì)4個(gè)源信號(hào)的混合信號(hào)進(jìn)行分離，源信號(hào)中的4個(gè)信號(hào)均為錄制的語(yǔ)音信號(hào)，采樣頻率均為8 kHz。混合矩陣A為由Matlab隨機(jī)產(chǎn)生的4階矩陣，本文為了方便對(duì)分離效果進(jìn)行分析，對(duì)每次實(shí)驗(yàn)的混合矩陣采用同一個(gè)隨機(jī)混合矩陣，由Matlab隨機(jī)產(chǎn)生的混合矩陣A的值為：

源信號(hào)（圖1）經(jīng)過(guò)混合矩陣混合后得到的混合信號(hào)如圖2，對(duì)混合信號(hào)采用牛頓迭代法及改進(jìn)算法進(jìn)行分離得到的信號(hào)如圖3和圖4。由Matlab仿真得到的信號(hào)圖形如圖1～圖4所示。從分離后的圖像可以看出，牛頓法和改進(jìn)算法均能分離4個(gè)混合信號(hào)，下面將定量分析兩種算法的性能。

圖1 源信號(hào)

圖2 混合信號(hào)

圖3 牛頓法分離得到的信號(hào)

圖4 改進(jìn)算法分離得到的信號(hào)

5 算法的性能分析

獨(dú)立分量分析的評(píng)價(jià)指標(biāo)有多種，本文將用信噪比[8-9]和迭代次數(shù)來(lái)說(shuō)明牛頓法和改進(jìn)算法對(duì)混合信號(hào)分離效果的比較。

5.1 信噪比

信噪比，即SNR，是指一個(gè)電子設(shè)備或者電子系統(tǒng)中信號(hào)與噪聲的比例。信噪比越大，說(shuō)明混在信號(hào)里的噪聲越小，語(yǔ)音信號(hào)的音質(zhì)量越高。

信噪比判定式為：

表1 不同算法信噪比的比較

表1為兩種算法分離所得信號(hào)的信噪比值以及它們的平均值，從表中可以看出，改進(jìn)算法分離所得信號(hào)的信噪比值比牛頓法分離所得信號(hào)的信噪比值稍大，改進(jìn)算法能夠保證牛頓法的分離效果。

5.2 迭代次數(shù)

通過(guò)對(duì)牛頓法和改進(jìn)算法取相同的初始值，然后看各需要進(jìn)行多少步迭代才能收斂，由于每次得到的數(shù)值有偏差，可以取10次數(shù)值然后取平均值，由實(shí)驗(yàn)得到的數(shù)據(jù)如表2所示。

表2 不同算法迭代次數(shù)比較

表2中10組數(shù)據(jù)取平均值得23.6和15.3，所以改進(jìn)的迭代算法對(duì)比原牛頓法在迭代次數(shù)上有所改進(jìn)，使其只進(jìn)行更少的迭代即可收斂。

6 結(jié)論

牛頓迭代法對(duì)初始值要求比較高，且每步迭代都要計(jì)算雅可比矩陣，本文通過(guò)采用改進(jìn)牛頓法即弦截法進(jìn)行迭代，同時(shí)結(jié)合最速下降法求迭代初始值，在保證牛頓法分離效果的同時(shí)，在計(jì)算復(fù)雜度和迭代次數(shù)上都有所改進(jìn)。

[1]Comon P.Indepent Component Analysis，a new concept?[J]. Signal Processing，1994，36：287-314.

[2]Hyvarinen A.A family of fixed-point algorithms for Independent Component Analysis[C]//IEEE Conf on Acoustics，Speech and Signal Processing，1997：3917-3920.

[3]馬建倉(cāng)，牛奕龍，陳海洋.盲信號(hào)處理[M].北京：國(guó)防工業(yè)出版社，2006.

[4]楊福生，洪波.獨(dú)立分量分析的原理與應(yīng)用[M].北京：清華大學(xué)出版社，2006.

[5]畢楊.基于快速獨(dú)立分量分析的盲源分離算法研究及應(yīng)用[D].西安：西安理工大學(xué)，2007.

[6]季策，胡祥楠，朱麗春，等.改進(jìn)的高階收斂FastICA算法[J].東北大學(xué)學(xué)報(bào)，2011（10）：10-13.

[7]Hyvarinen A，Karhunen J，Oja E.Independent component analysis[M].New York：John Wiley Press，2001：79-86.

[8]徐明彪，朱維彰.關(guān)于信號(hào)盲分離效果評(píng)判指標(biāo)的分析[J].杭州電子工業(yè)學(xué)院學(xué)報(bào)，2002，22（3）：63-66.

[9]Ye J M，Zhu X L，Zhang X D.Adaptive blind separation with an unknown number of sources[J].Neural Computation，2004，16（8）：1641-1660.

ZHANG Jie,LIU Hui,OU Lunwei

Institute of Physics and Information Science,Hunan Normal University,Changsha 410081,China

Independent Component Analysis（ICA）is the blind source separation algorithm which is one of the most commonly used methods.And the Fast Independent Component Analysis（FastICA）with its convergence speed is widely used. But FastICA is sensitive to the choice of initial value,and in the use of Newton iterative method,each iteration step is needed to calculate a function value and a derivative value.When the function is more complex,computing its derivatives is often not convenient.This paper uses the single point string section method to iterate.Combining the steepest descent method with the single point string section method,while ensuring the separation effect,it makes FastICA iterative times reduce.At the same time it makes the calculation type more concise,and reduces the sensitivity to the initial value.

Fast Independent Component Analysis（ICA）;Newton method;string section method;the steepest descent method;negative entropy

A

TN911.7

10.3778/j.issn.1002-8331.1205-0037

ZHANG Jie,LIU Hui,OU Lunwei.Research on improved FastICA algorithms.Computer Engineering and Applications,2014,50（6）：210-212.

湖南省科技廳項(xiàng)目（No.2012GK3121）。

張杰（1986—），男，碩士研究生，研究方向：信號(hào)處理；劉輝（1964—），女，副教授，碩士生導(dǎo)師；歐倫偉（1985—），男，碩士研究生，研究方向：數(shù)字信號(hào)處理。E-mail：liuhui1366@126.com

2012-05-14

2012-09-24

1002-8331（2014）06-0210-03

CNKI網(wǎng)絡(luò)優(yōu)先出版：2012-09-28，http://www.cnki.net/kcms/detail/11.2127.TP.20120928.1345.012.html