**

(東北電力大學(xué) 信息工程學(xué)院,吉林 132012)

?

改進(jìn)的參考獨(dú)立分量分析算法*

趙立權(quán)**，徐儷月

(東北電力大學(xué) 信息工程學(xué)院,吉林 132012)

針對(duì)參考獨(dú)立分量分析收斂速度較慢的問(wèn)題，提出了兩種基于改進(jìn)的快速收斂牛頓迭代方法的參考獨(dú)立分量分析方法。該方法首先對(duì)觀測(cè)信號(hào)進(jìn)行白化預(yù)處理，避免觀測(cè)信號(hào)矩陣求逆運(yùn)算，減少了算法的計(jì)算量；然后采用修正的具有三階收斂速度的牛頓迭代方法對(duì)參考獨(dú)立分量分析的代價(jià)函數(shù)進(jìn)行優(yōu)化，推導(dǎo)出快速收斂的參考獨(dú)立分量分析算法。仿真實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法是有效的，算法收斂速度相對(duì)原算法提高了1.7倍，相對(duì)現(xiàn)有算法提高了1倍，而且誤差更小。

盲源分離；參考獨(dú)立分量分析；牛頓迭代；代價(jià)函數(shù)；收斂速度

1 引 言

獨(dú)立分量分析(Independent Component Analysis，ICA)是近年來(lái)發(fā)展并成熟起來(lái)的一種新的盲源分離技術(shù)。它是指在信源信號(hào)、信道參數(shù)未知的情況下，僅利用源信號(hào)之間相互統(tǒng)計(jì)獨(dú)立的性質(zhì)來(lái)恢復(fù)出信源信號(hào)的各個(gè)相互獨(dú)立成分[1]。傳統(tǒng)的獨(dú)立分量分析通常先分離出所有的信源信號(hào)，然后根據(jù)實(shí)際需要人工選擇出感興趣的期望信號(hào)，隨著信源信號(hào)數(shù)量的增加，人工選擇信號(hào)的工作量也大幅度增加。在實(shí)際的盲源分離問(wèn)題中，真正感興趣的源信號(hào)相對(duì)很少，因此可以充分利用感興趣源信號(hào)的某些先驗(yàn)信息來(lái)提取感興趣的源信號(hào)，提高感興趣信號(hào)提取的效率。參考獨(dú)立分量分析(ICA with reference，ICA-R)正是在這樣的背景下提出的，它通過(guò)利用期望信號(hào)的先驗(yàn)信息來(lái)提取所需要的獨(dú)立分量，是經(jīng)典獨(dú)立分量分析方法的一個(gè)擴(kuò)展和發(fā)展方向[2-8]。目前，ICA-R已廣泛應(yīng)用于醫(yī)學(xué)圖像和模式識(shí)別等領(lǐng)域[9-11]。ICA-R采用牛頓迭代方法對(duì)代價(jià)函數(shù)進(jìn)行優(yōu)化，算法的收斂速度受牛頓迭代方法影響加大，為此，本文從優(yōu)化方法入手，采用具有三階收斂速度的改進(jìn)牛頓迭代方法優(yōu)化代價(jià)函數(shù)，進(jìn)而提高算法的收斂速度。

2 參考獨(dú)立分量分析

2.1傳統(tǒng)ICA算法

設(shè)x(t)=(x1(t),x2(t),…,xN(t))T為N維觀測(cè)信號(hào)，s(t)=(s1(t),s2(t),…,sM(t))T為M維未知的信源信號(hào)，A為N×M階滿秩混合矩陣(N≥M)，則ICA線性混合模型可表示如下[3]：

x(t)=As(t)

(1)

傳統(tǒng)ICA的目的就是尋求一個(gè)M×N維解混矩陣W，使得輸出的M維矢量的各分量盡可能相互統(tǒng)計(jì)獨(dú)立，即

y(t)=Wx(t)=WAs(t)=PDs(t)

(2)

式中,y(t)=(y1(t),y2(t),…,yM(t))T為源信號(hào)s(t)的估計(jì)信號(hào)，解混矩陣W為混合矩陣A的逆矩，P為M×M的置換矩陣，D為M×M的對(duì)角線矩陣。

2.2ICA-R算法

ICA-R算法的原理框圖如圖1所示[4]。圖中，x1(t),x2(t),…,xN(t)為N個(gè)輸入的混合信號(hào)；y1(t),y2(t),…,yL(t)為L(zhǎng)(L

圖1 ICA-R原理框圖Fig.1 Functional block diagram of ICA-R

ICA-R將先驗(yàn)信息作為約束條件融入到FastICA算法中，其代價(jià)函數(shù)為[2]

(3)

式中，y=wTx，J(y)為傳統(tǒng)ICA的負(fù)熵代價(jià)函數(shù)，ρ為一個(gè)正的常數(shù)，G()為非線性函數(shù)，v為零均值單位方差的高斯隨機(jī)變量，等式約束h(w)=0用來(lái)約束代價(jià)函數(shù)J(y)及權(quán)向量w有界，不等式約束g(w)=ε(y,r)-ξ≤0， 閾值ξ用來(lái)區(qū)別期望信號(hào)與其他信源信號(hào)。 通常ε(y,r)接近性度量可選：ε(y,r)=E{(y-r)2}為均方誤差度量或ε(y,r)=-E{yr}為瞬時(shí)相關(guān)度量。

(4)

(5)

(6)

(7)

μk+1=max{0,μk+γg(wk)}

(8)

λk+1=λk+γh(wk)

(9)

3 改進(jìn)的ICA-R算法

(10)

為了提高算法的收斂速度，采用修正后的牛頓迭代方法對(duì)式(10)進(jìn)行優(yōu)化。修正的牛頓迭代方法的具體表達(dá)式如下[12]：

(11)

采用式(11)對(duì)式(10)進(jìn)行優(yōu)化求解可得改進(jìn)的ICA-R算法Ⅰ：

(12)

(13)

(14)

采用式(14)求解式(10)可得改進(jìn)的ICA-R算法Ⅱ:

(15)

(16)

改進(jìn)的ICA-R算法迭代步驟如下：

(1)采用預(yù)處理方法對(duì)觀測(cè)信號(hào)進(jìn)行白化處理；

(2)設(shè)置分離向量以及拉格朗日乘子的初始值；

(3)根據(jù)公式(12)、(13)或者公式(15)、(16)更新分離向量；

(4)根據(jù)公式(8)更新拉格朗日乘子；

(5)歸一化分離向量；

(6)迭代直到分離向量變化量小于閾值或者最大迭代次數(shù)，否則返回步驟3繼續(xù)迭代。

4 仿真實(shí)驗(yàn)

為了驗(yàn)證本文所提出算法的有效性，選取5個(gè)信號(hào)作為信源信號(hào)，信源信號(hào)的波形圖如圖2所示。

圖2 源信號(hào)的波形圖Fig.2 Waveform of source signals

圖中，s1為頻率是50 Hz的工頻信號(hào)，s2為頻率是150 Hz的三次諧波信號(hào)，s3為頻率是250 Hz的五次諧波信號(hào)，s4、s5分別為兩路隨機(jī)信號(hào)模擬不同噪聲源產(chǎn)生的噪聲。為了客觀分析算法的有效性，隨機(jī)產(chǎn)生了混合矩陣A:

信源信號(hào)經(jīng)過(guò)混合矩陣混合得到的5路觀測(cè)信號(hào)如圖3所示。

圖3 混合信號(hào)的波形圖Fig.3 Waveform of mixed signals

本文通過(guò)ICA-R算法和兩種改進(jìn)的ICA-R算法進(jìn)行實(shí)驗(yàn)比較，驗(yàn)證了本文算法的可行性及正確性。對(duì)于ICA-R算法，選取一個(gè)合適的參考信號(hào)尤為重要，本文算法的參考信號(hào)取為對(duì)期望信號(hào)s1進(jìn)行符號(hào)運(yùn)算后得到的序列[6]。將ICA-R算法及改進(jìn)的兩種ICA-R算法分別利用參考信號(hào)對(duì)其相應(yīng)的期望信號(hào)s1進(jìn)行提取，輸出結(jié)果分別如圖4、圖5及圖6所示。從輸出波形可以看出,期望的基波信號(hào)和相應(yīng)的分離信號(hào)波形基本相同，驗(yàn)證了本文算法的有效性。

圖4 ICA-R原算法參考信號(hào)、期望信號(hào)和分離信號(hào)波形圖Fig.4 Waveform of reference signal,desired signal and estimated signal of the original ICA-R algorithm

圖5 改進(jìn)的ICA-R算法I參考信號(hào)、期望信號(hào)和分離信號(hào)波形圖Fig.5 Waveform of reference signal,desired signal and estimated signal of the improved ICA-R I algorithm

圖6 改進(jìn)的ICA-R算法II參考信號(hào)、期望信號(hào)和分離信號(hào)波形圖Fig.5 Waveform of reference signal,desired signal and estimated signal of the improved ICA-R II algorithm

為了定量比較算法的性能，選取兩個(gè)量化指標(biāo)來(lái)評(píng)價(jià)算法的分離性能。

(1)IPI(Individual Performance Index)

其中,pj表示全局向量p=wTA的第j個(gè)元素。該指標(biāo)越接近于0，說(shuō)明算法的分離性能越好。

(2)信噪比(SNR)

SNR(dB)=10lg(σ2/m)

其中，σ2表示期望信號(hào)的方差，m表示期望源信號(hào)與估計(jì)信號(hào)之間的均方誤差。該指標(biāo)值越大，說(shuō)明算法的分離性能越好，分離精度越高。

運(yùn)行ICA-R算法及兩種改進(jìn)的ICA-R算法提取基波信號(hào)，得到的平均IPI值和平均SNR值及平均運(yùn)行時(shí)間如表1所示。從表1可以看出，本文所提出的兩種改進(jìn)算法可以正確提取出基波信號(hào)，較低的IPI值和較高的SNR值說(shuō)明了本文的改進(jìn)算法要比原有的ICA-R算法和文獻(xiàn)[4]算法的分離性能更理想，并且改進(jìn)的算法Ⅰ相比改進(jìn)的算法Ⅱ要稍好些；另外，由于改進(jìn)的ICA-R算法是三階收斂的，從而降低了迭代次數(shù)，增加了收斂速度，減少了運(yùn)行時(shí)間。因此可以證明，改進(jìn)后的ICA-R算法誤差更小，收斂速度更快。

表1 平均IPI值、平均SNR值及平均運(yùn)行時(shí)間Table 1 Average of IPI，SNR and run time

5 結(jié) 論

本文針對(duì)ICA-R算法二階收斂的特點(diǎn)，提出了兩種改進(jìn)的ICA-R算法，使其滿足三階收斂，并且在相同的條件下，改進(jìn)算法Ⅰ稍好于改進(jìn)算法Ⅱ，兩種改進(jìn)算法相對(duì)原ICA-R算法，收斂時(shí)所需時(shí)間更短，收斂速度更快，誤差更小。參考信號(hào)的選取直接影響算法的分離性能，因此如何利用信源先驗(yàn)信息構(gòu)建合適的參考信號(hào)是下一步研究的方向。

[1] Hyvarinen A. Independent component analysis: recent advances[J]. Philosophical Transactions of the Royal Society, A：Mathematical Physical and Engineering Sciences,2013, 371(1984): 1-19.

[2] Lu W,Rajapakse J C.ICA with reference[C]//Proceedings of the 3rd International Conference on Independent Component Analysis and Blind Source Separation.San Diego,California:IEEE,2001:120-125.

[3] Lu W, Rajapakse J C.ICA with reference[J]. NeuroComputing，2006，69(16-18)：2244-2257.

[4] Lin Qiu-hua，Zheng Yong-rui，Yin Fu-liang，et al.A fast algorithm for one-unit ICA-R[J].Information Sciences，2007，177(5)：1265-1275 .

[5] Li Changli, Li Guisheng,Yuli S. An improved method for independent component analysis with reference [J]. Digital Signal Processing, 2010,20(2):575-580.

[6] Zhang Zhi-Lin.Morphologically constrained ICA for extracting weak temporally correlated signals[J]. NeuroComputing，2008,71(6):1669-1679.

[7] 霍政權(quán),李宏.參考獨(dú)立分量分析固定點(diǎn)算法[J].計(jì)算機(jī)應(yīng)用研究,2011,28(1):134-136 HUO Zheng-quan, LI Hong. Fixed-point algorithm for independent component analysis with reference [J].Application Research of Computers,2011, 28(1): 134-136. (in Chinese)

[8] 張守成, 劉永凱. 一種基于峭度的一單元ICA-R固定點(diǎn)算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2012, 48(2):130-134. ZHANG Shou-cheng, LIU Yong-kai. Fxied-point algorithm based on kurtosis for one-unit ICA-R[J]. Computer Engineering and Applications,2012,48(2):130-134. (in Chinese)

[9] Li S,Lu H C,Ruan X,et al. Human body segmentation based on independent component analysis with reference at two-scale superpixel[J]. Image Processing, 2012,6(6): 770-777.

[10] Breuer L, Axer M, Dammers J. A new constrained ICA approach for optimal signal decomposition in polarized light imaging[J]. Journal of Neuroscience Methods,2013,220(1):30-38.

[11] Sun Zhanli,Lam Kin-Man. Depth Estimation of Face Images Based on the Constrained ICA Model[J]. Information Forensics and Security,2011,6(2):360-370.

[12] 張榮, 薛國(guó)民. 修正的三次收斂的牛頓迭代法[J]. 大學(xué)數(shù)學(xué), 2005, 21(1): 80-82. ZHANG Rong, XUE Guo-min. Variants of Newton′s iteration method with third-order convergence[J]. College Mathematics, 2005, 21(1): 80-82.(in Chinese)

ZHAO Li-quan was born in Harbin, Heilongjiang Province, in 1982. He received the B.S. degree from Harbin University of Science and Technology and the Ph.D. degree from Harbin Engineering University in 2005 and 2009, respectively. He is now an associate professor and also the instructor of graduate students. His research concerns independent component analysis.

Email: zhao_liquan@163.com

徐儷月(1986—)，女，吉林省吉林市人，2009年于北華大學(xué)獲工學(xué)學(xué)士學(xué)位，現(xiàn)為東北電力大學(xué)碩士研究生，主要研究方向?yàn)閰⒖吉?dú)立分量分析。

XU Li-yue was born in Jilin, Jilin Province, in 1986. She received the B.S. degree from Beihua University in 2009. She is now a graduate student. Her research concerns independent component analysis with reference.

本刊加入“萬(wàn)方數(shù)據(jù)-數(shù)字化期刊群”等數(shù)據(jù)庫(kù)的聲明

為了適應(yīng)我國(guó)信息化建設(shè)的需要，擴(kuò)大作者學(xué)術(shù)交流渠道，實(shí)現(xiàn)科技期刊編輯、出版發(fā)行工作的電子化，推進(jìn)科技信息交流的網(wǎng)絡(luò)化進(jìn)程，本刊現(xiàn)已加入“萬(wàn)方數(shù)據(jù)-數(shù)字化期刊群”、“中國(guó)學(xué)術(shù)期刊(光盤版)”、“中國(guó)期刊全文數(shù)據(jù)庫(kù)”、“中文科技期刊數(shù)據(jù)庫(kù)”等本刊封底所列數(shù)據(jù)庫(kù)以及“中國(guó)期刊網(wǎng)”、“中國(guó)學(xué)術(shù)期刊網(wǎng)”、“中國(guó)科技論文在線”、“蜘蛛網(wǎng)”等網(wǎng)站，本刊錄用發(fā)表的論文，將由編輯部統(tǒng)一納入上述數(shù)據(jù)庫(kù)和網(wǎng)站，進(jìn)入因特網(wǎng)或光盤提供信息服務(wù)。本刊所付稿酬已包含著作權(quán)使用費(fèi)和刊物內(nèi)容上網(wǎng)服務(wù)報(bào)酬，不再另付。凡有不同意者，請(qǐng)事先聲明，本刊將作適當(dāng)處理。

本刊編輯部

The Scientific Research Fundation of the Education Department of Jilin Province(No.201101110);The Scientific Research Fundation of the Education Department of Jilin City (No.2013635009)

ImprovedIndependentComponentAnalysiswithReferenceAlgorithms

ZHAO Li-quan, XU Li-yue

(College of Information Engineering, Northeast Dianli University, Jilin 132012,China)

To overcome the problem that independent component analysis with reference(ICA-R) has slower convergence speed, two improved independent component analysis with reference algorithms with faster convergence speed are proposed. The new algorithms use the method of pre-whitening to process the observed signals to avoid inverse operation of the matrix, and decrease computational time. Secondly,two modified Newton iterative methods with third order convergence are adopted to optimize the cost function of independent component analysis with reference, and deduce the improved independent component analysis with reference. Simulation results prove the efficiency of this new algorithm, and compared with the original algorithm and the other improved algorithm, the convergence speed of the proposed algorithms raises by 1.7 times and 1 time respectively with smaller error.

blind source separation;independent component analysis with reference；Newton iterative method；cost function;convergence speed

10.3969/j.issn.1001-893x.2014.01.011

趙立權(quán)，徐儷月.改進(jìn)的參考獨(dú)立分量分析算法[J].電訊技術(shù)，2014,54(1):58-62.[ZHAO Li-quan, XU Li-yue. Improved Independent Component Analysis with Reference Algorithms[J].Telecommunication Engineering,2014,54(1):58-62.]

2013-10-10；

：2013-12-19 Received date:2013-10-10；Revised date：2013-12-19

吉林省科技發(fā)展計(jì)劃項(xiàng)目(201101110) ;吉林市科技發(fā)展項(xiàng)目(2013625009)

zhao_liquan@163.com Corresponding author：zhao_liquan@163.com

TN911.7

：A

：1001-893X(2014)01-0058-05

趙立權(quán)(1982—)，男，黑龍江哈爾濱人，2005年于哈爾濱理工大學(xué)獲工學(xué)學(xué)士學(xué)位，2009年于哈爾濱工程大學(xué)獲工學(xué)博士學(xué)位，現(xiàn)為副教授、碩士生導(dǎo)師，主要研究方向?yàn)楠?dú)立分量分析；

**< class="emphasis_bold">通訊作者：zhao_liquan@163.comCorrespondingauthor：zhao_liquan@163.com