梅鐵民,臧傳霞

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110159)

四階累積量的fastICA算法穩(wěn)定性分析

梅鐵民,臧傳霞

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110159)

為驗(yàn)證基于四階累積量的fastICA算法的穩(wěn)定性，根據(jù)源信號(hào)的統(tǒng)計(jì)特性，對(duì)該算法進(jìn)行理論分析，并利用仿真程序進(jìn)行驗(yàn)證。得出算法在源信號(hào)具有相同四階累積量的情況下，存在局部極值點(diǎn)，導(dǎo)致算法分離失敗。

ICA;四階累積量;fastICA;正交條件

獨(dú)立成分分析(independent component analysis，ICA)是一種信號(hào)處理的方法，要求從觀察到的信號(hào)中找到其內(nèi)在具有統(tǒng)計(jì)獨(dú)立和非高斯成分的一種盲分離方法，該方法以非高斯信號(hào)(或僅含有一個(gè)高斯信號(hào))的混合信號(hào)為研究對(duì)象，有時(shí)也被稱(chēng)作盲源分離。

20世紀(jì)90年代初期，法國(guó)學(xué)者Jutten等首次提出了ICA的概念[1]，當(dāng)時(shí)正是神經(jīng)網(wǎng)絡(luò)研究的高潮期，僅有一小部分學(xué)者在數(shù)據(jù)處理和壓縮上改進(jìn)了ICA算法。1994年Comon等擴(kuò)充ICA的概念[2]，描述和定義了盲源分離的基本假設(shè)。1995年，Bell等發(fā)表了ICA發(fā)展史上的里程碑式文獻(xiàn)，提出了一種基于神經(jīng)網(wǎng)絡(luò)方法的ICA算法[3]。ICA的極大似然估計(jì)法最先由Gaeta等提出[4]，并由Pearlmutter等改進(jìn)。同時(shí)利用自然梯度方法的盲源分離算法開(kāi)始形成[5]。Hyvarinen提出了基于隨機(jī)變量負(fù)熵最大化方法的ICA算法[6]，由于負(fù)熵不便于計(jì)算，Hyvarinen使用負(fù)熵的一種近似，并進(jìn)一步得到了ICA的一類(lèi)對(duì)比函數(shù)。Theis利用復(fù)數(shù)域上的Darmois-Skitovitch定理計(jì)算具有復(fù)數(shù)型隨機(jī)變量和系數(shù)ICA問(wèn)題中的不確定性[7]，研究了復(fù)值ICA問(wèn)題的唯一性和分離性。Tsai等人將一種隨機(jī)進(jìn)化算法—粒子群優(yōu)化應(yīng)用于約束的ICA模型[8]，結(jié)果表明ICA算法能夠有效地檢測(cè)液晶顯示器玻璃基板中紋理圖像的缺陷。Masnadi-Shirazi等針對(duì)信號(hào)的平穩(wěn)性，提出了一種基于狀態(tài)的ICA算法[9]，利用該算法處理語(yǔ)音信號(hào)可以取得非常好的效果。經(jīng)過(guò)二十多年的發(fā)展，有關(guān)ICA的理論框架和相關(guān)算法已基本完善，但仍存在著一些根本性的問(wèn)題沒(méi)有解決。

盲源分離是指僅從若干觀測(cè)到的混合信號(hào)中恢復(fù)出無(wú)法直接觀測(cè)的各個(gè)獨(dú)立原始信號(hào)的過(guò)程，是人工神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)信號(hào)處理及信息理論相結(jié)合而產(chǎn)生的方法。ICA是為解決盲源分離問(wèn)題而逐漸發(fā)展起來(lái)的，已經(jīng)發(fā)展成為信號(hào)處理和數(shù)據(jù)分析的有力工具。將ICA用于解決盲源分離問(wèn)題，能夠從觀測(cè)信號(hào)中恢復(fù)各源信號(hào)成分，所需僅僅是要求源信號(hào)相互統(tǒng)計(jì)獨(dú)立。

ICA實(shí)際上是一種尋優(yōu)過(guò)程，及如何使分離出的獨(dú)立成分最大限度地逼近各源信號(hào)。因此，ICA包括兩個(gè)主要方面：目標(biāo)函數(shù)和尋優(yōu)算法。進(jìn)行ICA處理時(shí)的目標(biāo)函數(shù)主要包括最小互信息法、最大熵法以及最大似然估計(jì)法，均是衡量各成分獨(dú)立性的判據(jù)。通常選取的優(yōu)化算法均是梯度法[10-11]。

基于梯度計(jì)算的一系列ICA算法的收斂速度較慢，而且取決于學(xué)習(xí)因子選擇是否得當(dāng)，如果學(xué)習(xí)速率選取的不合適，會(huì)破壞收斂。因此，盲源分離過(guò)程中，需要尋求更可靠的學(xué)習(xí)算法?；诟唠A統(tǒng)計(jì)量，快速獨(dú)立成分分析(fastICA)算法[12]，是基于非高斯性最大化原則，使用固定點(diǎn)迭代理論尋找輸出的非高斯性最大值，該算法采用牛頓迭代算法對(duì)觀測(cè)變量的大量采樣點(diǎn)進(jìn)行批處理。FastICA算法優(yōu)點(diǎn)是不存在學(xué)習(xí)因子的選擇，而且收斂速度快，可實(shí)現(xiàn)信號(hào)單一抽取。

本文主要對(duì)fastICA算法的穩(wěn)定性進(jìn)行理論分析，分析算法是否能收斂到真正的信號(hào)分離點(diǎn)，并仿真驗(yàn)證理論分析。

1 fastICA算法及其數(shù)學(xué)模型

圖1 fastICA原理框圖

觀測(cè)信號(hào)x(t)是由源信號(hào)s(t)=[s1(t),s2(t),…,sN(t)]T經(jīng)過(guò)混合矩陣A得到的：

x(t)=As(t)

(1)

對(duì)源信號(hào)s(t)有如下假設(shè)：

①s(t)中各成分是相互獨(dú)立的；

②s(t)是非高斯的；

③s(t)零均值，單位方差。

FastICA算法包含兩部分：預(yù)白化過(guò)程和分離過(guò)程輸出信號(hào)負(fù)熵絕對(duì)值最大化。預(yù)白化處理得到預(yù)白化信號(hào)z(t)=[z1(t),z2(t),…,zN(t)]T，與源信號(hào)的關(guān)系為

z(t)=Bx(t)=Qs(t)

(2)

式中B是白化矩陣，且Q=BA為一N×N未知正交矩陣，conv(z)=I。

W=[w1,w2,…,wN]為N×N分離矩陣，滿(mǎn)足正交約束條件,分離信號(hào)為

y(t)=WTz(t)

(3)

Hyvarinen利用四階累積量推導(dǎo)了fastICA算法[12]，多路信號(hào)抽取算法步驟：

(1)觀測(cè)信號(hào)預(yù)白化。

(2)初始化：k=0,W(0),且W(0)各列間正交歸一化。

(3)k=k+1，計(jì)算：

(4)對(duì)W(k)進(jìn)行列正交歸一化。

(5)如果WT(k)W(k-1)接近單位矩陣，則結(jié)束；否則，返回(3)。

2 fastICA算法穩(wěn)定性分析

選取雙路信號(hào)混合盲分離進(jìn)行算法穩(wěn)定性分析，分析混合模型與分離模型，由式(2)、式(3)知矩陣Q和W是二階正交矩陣，式(3)可寫(xiě)成如下形式：

y(t)=Vs(t)

(4)

式中V=[vij]=WTQ是正交矩陣。

根據(jù)源信號(hào)的統(tǒng)計(jì)特性及四階累積量的性質(zhì)，分離系統(tǒng)輸出信號(hào)的四階累積量為

(5)

式中ki(i=1,2)為源信號(hào)的四階統(tǒng)計(jì)量。

認(rèn)為源信號(hào)在同一時(shí)間被分離，fastICA算法等價(jià)于輸出信號(hào)累積量極值化，可描述為[13]

(6)

解方程組(6)得到第一路解(v11，v12)的八組解：

(7)

同樣得到第二路(v21，v22)的八組解為

(8)

式(7)與式(8)結(jié)果相同。

對(duì)存在的分離結(jié)果進(jìn)行分析，觀察式(7)、式(8)解的形式知，前四個(gè)解是真的信號(hào)分離點(diǎn)，最后四個(gè)解不是信號(hào)分離點(diǎn)。而且后四個(gè)解的存在依賴(lài)于源信號(hào)的統(tǒng)計(jì)特性。接下來(lái)，討論源信號(hào)的統(tǒng)計(jì)特性對(duì)后四個(gè)解的影響。

1)如果源信號(hào)分別為超高斯亞高斯信號(hào)時(shí)，存在k1<0或k2<0，故式(7)與式(8)中后四個(gè)解不存在?？紤]到正交條件v11v21+v12v22=0，每組前四個(gè)解對(duì)應(yīng)信號(hào)分離的八種情況：

(9)

源信號(hào)能夠成功得到分離，不存在局部極值點(diǎn)。

2)如果源信號(hào)同為超高斯或亞高斯信號(hào)，且k1≠k2時(shí)，式(7)、(8)后四個(gè)解存在，但不滿(mǎn)足v11v21+v12v22=0，所以后四個(gè)解不是方程組(5)的解，此種情況下信號(hào)分離仍對(duì)應(yīng)式(9)中的結(jié)果。

3)如果源信號(hào)同為超高斯或亞高斯信號(hào)，且k1=k2，即源信號(hào)具有相同的四階統(tǒng)計(jì)量。式(7)與式(8)中后四個(gè)解存在且滿(mǎn)足v11v21+v12v22=0，但不是信號(hào)分離的點(diǎn)。這種情況下，存在局部極值點(diǎn)。

綜上所述，在某些特殊條件下，fastICA算法是不穩(wěn)定的，分離過(guò)程中，不能收斂到正確的信號(hào)分離點(diǎn)。

3 仿真

以上是對(duì)現(xiàn)有的fastICA算法穩(wěn)定性的理論分析，現(xiàn)對(duì)算法的穩(wěn)定性進(jìn)行仿真，來(lái)驗(yàn)證理論分析的正確性。應(yīng)用到的全局矩陣誤差函數(shù)[14]：

EI=-10log10

式中vij是全局矩陣V的元素。

仿真環(huán)境：Matlab7.0軟件、Windows XP操作系統(tǒng)、處理器AMD、頻率792kHz、內(nèi)存2G。

3.1 兩個(gè)具有不同四階累積量的獨(dú)立源信號(hào)

選取兩路語(yǔ)音信號(hào)作為超高斯信號(hào)，進(jìn)行仿真。源信號(hào)s1、s2長(zhǎng)度為L(zhǎng)=24000，如圖2所示?；旌暇仃嘇，分離矩陣W賦有初值。

其中混合矩陣A條件數(shù)為1.3265，分離矩陣W條件數(shù)為3.0230，算法分離過(guò)程中的波形圖，如圖2所示。

3.2 兩個(gè)具有相同四階累積量的獨(dú)立源信號(hào)

選取語(yǔ)音信號(hào)s1，如圖2a所示。s2是s1分塊的不同順序的組合，兩者的四階累積量相同，如圖3所示。

圖2 分離過(guò)程中各處理階段使用的波形

圖3 分離過(guò)程中各處理階段使用的波形

4 結(jié)論

基于四階累積量的fastICA算法收斂后存在非信號(hào)分離點(diǎn)，雙路源信號(hào)的混合-分離仿真證明了理論分析的正確性，在源信號(hào)四階統(tǒng)計(jì)量相同的條件下，fastICA算法不能收斂到正確的分離點(diǎn)。以后的工作是如何避免fastICA收斂到非信號(hào)分離點(diǎn)。

[1]Jutten C,Herault J.Blind separation of sources,part I:an adaptive algorithm based on neuromimetic architecture[J].Signal Processing,1991,24(1):1-10.

[2]Comon P,Jutten C,Herault J.Blind separation of source,part II :Problems statement[J].Signal Processing,1991,24(1):11-20.

[3]Bell A J,Sejnowski T J.An information maximization approach to blind separation and blind deconvolution[J].Neural computation,1995,7(6):1004-1034.

[4]Gaeta M,Lacoume J L.Source separation without a priori knowledge:the maximum likelihood solution[C].Proceeding of EUSIPCO’90,1990:621-624.

[5]Amari S.Netural gradient works efficiently in learning[J].Neural Computation,1998,10(2):251-276.

[6]Hyvarinen A.A family of fixed point algorithms for independent compentent analysis[C].Proceedings of ICASSP’97,1997:3917-3920.

[7]Theis F J.Uniqueness of complex and multidimensional independent component analysis[J].Signal Processing,2004,84(5):951-956.

[8]Tsai D M,Tseng Y H,Chao S M,et al.Independent component analysis based filter design for defect detection in low-contrast images[C].Proceedings of the 18th International Conference on Pattern Recognition,2006:231-234.

[9]Masnadi-Shirazi A,Rao B.Independent vector analysis incorporating active and inactive states[C].Proceedings of the 2009 IEEE International Conference on Acoustics,Speech,and Signal Processing,2009:1837-1840.

[10]Cardoso J F.Estimating equations for source separation[C].Proceedings of ICASSP’97,1997:3449-3452.

[11]Cichocki A,Unbehauen R.Robust neural networks with online learning for blind identification and blind separation of sources[J].IEEE Transactions on Circuits and Systems,1996,43(11):894-906.

[12]Hyvarnen A.Fast and robust fixed-point algorithms for independent component analysis[J].IEEE Transactions on Neural Networks,1999,10(3):626-634.

[13]梅鐵民.盲源分離理論與算法[M].西安：西安電子科技大學(xué)出版社，2013.

[14]梅鐵民.盲源信號(hào)分離時(shí)域與頻域算法研究[D].大連：大連理工大學(xué)，2006.

[15]Chang C,Ding Z,Yau S F,et al.A matrix-pencil approach to blind separation of colored non-stationary signals[J].IEEE Trans.on Signals Processing,2000,48(3):900-907.

StabilityAnalysisontheAlgorithmfastICA

MEI Tiemin,ZANG Chuanxia

(Shenyang Ligong University,Shenyang 110159,China)

In practice,fastICA does not converge to the correct point for some special cases,so the stability of fastICA algorithm is analyzed.Theoretical analysis shows that local convergence points exist.Simulation results are given to prove the conclusion.

ICA;fourth-order statistics;fastICA;orthogonal condition

2013-10-16

梅鐵民(1964—)，男，教授，博士，研究方向：自適應(yīng)信號(hào)處理.

1003-1251(2014)04-0048-05

TP391

A

馬金發(fā))