趙立權(quán)，蔡幫貴

（東北電力大學信息工程學院，吉林 132012）

改進的擴展互信息分離算法?

趙立權(quán)??，蔡幫貴

（東北電力大學信息工程學院，吉林 132012）

擴展互信息分離算法采用單隱層神經(jīng)網(wǎng)絡(luò)近似算法代價函數(shù)中的非線性函數(shù)，可調(diào)節(jié)的參數(shù)有限，需要多次迭代才能收斂，從而導(dǎo)致收斂速度較慢。針對這一問題，采用雙隱層神經(jīng)網(wǎng)絡(luò)近似非線性函數(shù)，以分離結(jié)果的互信息最小化作為代價函數(shù)，采用梯度下降方法對代價函數(shù)進行優(yōu)化，增加了可調(diào)節(jié)參數(shù)數(shù)量。仿真實驗結(jié)果表明，改進后的算法相對原算法收斂速度更快，誤差更小。

非線性獨立分量分析；擴展互信息分離算法；多層感知機；雙隱層神經(jīng)網(wǎng)絡(luò)

1 引言

獨立分量分析（Independent Component Analysis，ICA）是在信源信號和信道參數(shù)未知的條件下，僅利用信源信號相互統(tǒng)計獨立的性質(zhì)，從觀測信號中分離出信源信號的一種新的信號處理方法。目前獨立分量分析的研究主要集中在線性獨立分量分析的研究［1－2］，但在實際的生活中遇到的更多是非線性問題，且這些問題的研究更具有實用性［3－4］，為此，部分學者針對該問題提出了針對非線性混合系統(tǒng)的獨立分量分析方法即非線性獨立分量分析，并涌現(xiàn)出一些優(yōu)秀的非線性獨立分量分析算法［3－10］，其中，以后置非線性獨立分量分析算法最為典型［7］，此后在此基礎(chǔ)上涌現(xiàn)出許多改進算法［8－10］。

互信息分離（Mutual Information Separation，MISEP）算法［8］是在后置非線性獨立分量分析算法的基礎(chǔ)上提出來的，該算法以分離信號的互信息量最小化為代價函數(shù)，實現(xiàn)從觀測信號中分離出信源信號。后來部分學者針對該算法中存在的問題提出了許多改進的算法［9－10］，其中，Sun在其基礎(chǔ)上給出了更符合實際的系統(tǒng)混合模型，并提出了擴展的互信息分離算法（Extended Mutual Information Separation，EMISEP）［9］。該算法仍然以分離信號的互信息最小為代價函數(shù)，采用單隱層神經(jīng)網(wǎng)絡(luò)對代價函數(shù)進行求解，分離出信源信號。由于單隱層神經(jīng)網(wǎng)絡(luò)可調(diào)節(jié)參數(shù)有限，收斂時所需迭代次數(shù)過多，導(dǎo)致收斂速度緩慢，針對該問題，本文提出了改進的EMISEP算法，該算法采用雙隱層神經(jīng)網(wǎng)絡(luò)近似非線性函數(shù)，增加了可調(diào)節(jié)參數(shù)數(shù)量，提高了算法的收斂速度，并且在相同條件下，本文算法的分離信號與信源信號的互相關(guān)系數(shù)更大，即誤差更小。

2 EM ISEP算法

EMISEP算法是在MISEP算法基礎(chǔ)上提出的一種改進的非線性ICA算法。EMISEP算法主要是對MISEP算法的混合模型進行改進。MISEP算法的混合模型是典型的后置非線性混合模型，而EMISEP算法的模型是后置非線性線性混合模型，該模型更接近于實際情況，其混合模型如圖1所示。

圖1 EMISEP算法系統(tǒng)混合模型Fig.1 System mixedmodel of EMISEP algorithm

圖中S＝［s1，s2，…，sn］T是信源信號，U是線性混合矩陣，F(xiàn)＝［F1，F(xiàn)2，…，F(xiàn)n］是可逆的非線性函數(shù)，V是線性混合矩陣，X＝［x1，x2，…，xn］T是混合信號即觀測信號，n是信源號數(shù)量，為了方便，一般假設(shè)觀測信號的數(shù)量和信源信號的數(shù)量相等。該模型的數(shù)學表達式如下：

EMISEP算法信號分離模型如圖2所示。

圖2 EMISEP算法信號分離模型Fig.2 Signal separationmodel of EMISEP algorithm

圖2中，C、g、D和ψ共同模塊構(gòu)成分離系統(tǒng)，C和D是線性解混矩陣，g是非線性解混函數(shù)，ψ是對分離系統(tǒng)起輔助作用的非線性函數(shù)，y＝［y1，y2，…，yn］T是分離系統(tǒng)對信源信號的估計，z＝［z1，z2，…，zn］T是分離信號經(jīng)過非線性函數(shù)ψ得到的輸出信號，EMISEP算法以輸出信號z的信息最大化為代價函數(shù)。

由于z是y的非線性變換，則z和y的信息量是相等的，即：

式中，I（）代表互信息量，H（）代表熵。當選取的非線性函數(shù)ψ等于y的累積概率函數(shù)時，Zi在［0，1］上服從均勻分布，此時H（zi）＝0，則上式簡化成如下公式：

當估計信號Y的各分量相互統(tǒng)計獨立時，此時互信息量I（y）最小，由式（3）可知此時H（z）最大，即此時z的信息量達到最大化，因此EMISEP以信息最大化為代價函數(shù)。

由圖2我們可以得出z的聯(lián)合概率密度為

式中，det（·）是計算矩陣的行列式，θi和φi分別是gi和ψi中的參數(shù)。因此，z的聯(lián)合熵為

采用梯度下降方法對其進行優(yōu)化，可得

EMSIEP算法采用兩組感知機來近似非線性函數(shù)gk（θk，uk）和ψk（φk，yk）。其中：

式中，Mk表示感知機隱層節(jié)點數(shù)目，ξk和ωk表示輸入層和輸出層的權(quán)值，σ（）表示激活函數(shù)。

式中，Nk表示感知機隱層節(jié)點數(shù)目，ak和βk表示輸入層和輸出層的權(quán)值，τ（）表示激活函數(shù)。

為了得到最大的輸出熵，由公式（5）可知代價函數(shù)可以改寫為

其中：

由于H（x）在學習過程中沒改變，所以在迭代過程中用IP（x，C，D，θ，δ）作為目標函數(shù)。用Ip從t到t＋1時刻的變化量Er作為迭代停止的判斷條件，如果Er比預(yù)先設(shè)置的門限?小那么就停止迭代。

3 改進的EM ISEP算法

改進算法是在原算法的基礎(chǔ)上增加一層隱含層，使優(yōu)化問題的可調(diào)節(jié)參數(shù)數(shù)量增加。除第二個隱含層增加了6個節(jié)點外，其他參數(shù)都與文獻［9］相同。改進算法的分離模型如圖3所示。

圖3 改進算法的分離模型Fig.3 Separationmodel of improved algorithm

相對圖2的解混系統(tǒng)，新算法在解混非線性模塊g＝［g1，g2…gn］T之后增加了一層隱含層f＝［f1，f2，…，fn］T。因此，z的聯(lián)合熵為

采用梯度下降方法對上式進行優(yōu)化，由于H（x）在分離系統(tǒng)中不包含任何參數(shù)，因此其梯度為零。其他參數(shù)的梯度表達式如下：

采用3組感知機來模擬非線性函數(shù)gk（θk，xk）、fk（hk，rk）和ψk（φk，yk），其中：

式中，Ok表示感知機隱層節(jié)點數(shù)目，pk和ek表示輸入層和輸出層的權(quán)值，λ（）表示激活函數(shù)。gk（θk，xk）和ψk（φk，yk）參數(shù)具體含義參見公式（10）和（11）。采用梯度下降方法對分離系統(tǒng)參數(shù)進行估計，即：

式中，k是迭代步長，θk＝（ξk，ωk，ηk），hk＝（lk，pk，ek），ψk＝（ak，βk，μk）。分離系統(tǒng)參數(shù)梯度計算公式如下：

由公式（13）可知，H（z）的最大化與H（x）無關(guān)，因此，最大化H（z）等效于最大化式（36），則改進的EMISEP算法流程如下：

（1）對參數(shù)C，D，θ，h，φ進行初始化；

（3）根據(jù)公式（20）～（35）調(diào)整分離系統(tǒng)參數(shù)；

（4）根據(jù)公式（36）計算I（x；C，D，θ，h，φ），如果｜I（x；C，D，θ，h，φ）（t＋1）－I（x；C，D，θ，h，φ）（t）｜的值小于預(yù)設(shè)誤差門限，則算法停止迭代，算法收斂，否則返回到第3步。

4 仿真實驗

為了驗證本文算法的有效性，采用兩個信號作為信源信號，其數(shù)學表達式如下：

圖1中線性混合矩陣為隨機產(chǎn)生的固定混合矩陣：

圖1中的非線性函數(shù)f為雙曲正切函數(shù)。圖1中的線性混合矩陣V為隨機產(chǎn)生的固定混合矩陣：

則混合信號為X＝V tanh（US）。

系統(tǒng)各部分波形仿真如圖4所示，其中，圖4（a）是信源信號，圖4（b）是經(jīng)過圖1的混合系統(tǒng)得到的混合信號即觀測信號，圖4（c）是本文算法從混合信號中分離出的信號，圖4（d）是EMISEP算法從混合信號中分離出的信號。從圖4（c）中可以看出，本文算法分離出的信號和信源信號的波形更接近，僅是幅值不同（這一點是ICA固有的問題，并不影響實際應(yīng)用），因此圖4（c）證明了本文算法是有效的。

圖4 系統(tǒng)各部分波形Fig.4 Signalwaveforms of the whole system

為了驗證本文算法的收斂速度，在相同條件下，對EMISEP算法和本文算法進行了仿真對比，對比結(jié)果如圖5所示。圖5的橫坐標是時間，單位是秒，縱坐標是分離信號與信源信號的互相關(guān)系數(shù)，互相關(guān)系數(shù)越大代表分離信號與信源信號的相似度高，意味著誤差越小，分離效果越好。從圖5中可以看出，本文算法在1.099 s時相關(guān)系數(shù)已經(jīng)趨于平穩(wěn)，而EMISEP算法在1.25 s時相關(guān)系數(shù)才趨于平穩(wěn)，因此證明了本文算法的收斂速度比較快，而且算法收斂時，本文算法的相關(guān)系數(shù)為0.964 9，EMISEP算法的相關(guān)系數(shù)為0.926 9，證明了本文算法的誤差更小，分離效果好于EMISEP算法。

圖5 算法性能對比Fig.5 Comparison of the algorithms performance

5 結(jié)論

本文針對EMISEP算法收斂速度慢的問題，提出了基于多隱層神經(jīng)網(wǎng)絡(luò)的改進的EMISEP算法。相對原算法，改進后的算法雖然增加了算法的復(fù)雜度，但在相同條件下，該算法收斂時需要的迭代次數(shù)更少，總體收斂時間更短，而且相對原EMISEP算法，改進后的算法收斂時的相關(guān)系數(shù)更大，也就是分離信號更接近信源信號，誤差更小。

［1］Hyvarinen A，Karhunen J.Independent component analysis［M］.New York：Wiley，2001.

［2］馬守科，何選森，許廣廷.基于擴展Infomax算法的變步長在線盲分離［J］.系統(tǒng)仿真學報，2007，19（19）：4513－4516. MA Shou-ke，HE Xuan-sen，XU Guang-ting.Variable step size extended Infomax Algorithm-based online blind separation［J］.Journal of System Simulation，2007，19（19）：4513－4516.（in Chinese）

［3］Tan Y，Jun W.Nonlinear Blind Source Separation Using a Radial Basis Function Network［J］.IEEE Transactions on Neural Networks，2001，12（1）：124－134.

［4］Xiaoren D，Ma Ye.Extracting post-nonlinear signalwith reference［J］.Computers and Electrical Engineering，2011，37（6）：1171－1181.

［5］方勇，王明祥.基于自組織映射的后非線性獨立分離分析的初始化方法［J］.電子學報，2005，5（33）：889－892.FANG Yong，WANGMing-xiang.Based on the self-organizing mapping nonlinear independent after separation analysis method for initialization［J］.Electronic Journal，2005，5（33）：889－892.（in Chinese）

［6］Chunhou Z，Deshuang H.MISEPMethod for Post-nonlinear blind source separation［J］.Neural Computation，2007，19（19）：2557－2578.

［7］Taleb A，Jutten C.Source Separation in Post-Non linearMixtures［J］.IEEE Transactions on Signal Processing，1999，47（10）：2807－2820.

［8］Almeida L B.MISEP-Linear and Nonlinear ICA Based on Mutual Information［J］.Journal of Machine Learning Research，2003，12（4）：1297－1318.

［9］lisun Z.An Extension of MISEP for Post-non linear-linear Mixture Separation［J］.IEEE Transactions on Circuits and Systems，2009，56（8）：654－658.

［10］Clemente RM，Mellado SH，Acha JI.MLP－based source separation for MLP－like nonlinearmixtures［C］//Proceedings of the 4th International Symposium on Independent Component Analysis and Blind Signal Separation.Nara，Japan：IEEE，2003：155－160.

趙立權(quán)（1982—），男，黑龍江哈爾濱人，2005年于哈爾濱理工大學獲工學學士學位，2009年于哈爾濱工程大學獲工學博士學位，現(xiàn)為副教授、碩士生導(dǎo)師，主要研究方向為獨立分量分析；

ZHAO Li-quan was born in Harbin，Heilongjiang Province，in 1982.He received the B.S. degree from Harbin University of Science and Technology and the Ph.D.degree from Harbin Engineering University in 2005 and 2009，respectively.He is now an associate professor and also the instructor of graduate students.His research concerns independent componentanalysis.

Email：zhao－liquan＠163.com

蔡幫貴（1987—），男，四川自貢人，2011年于海南師范大學獲工學學士學位，現(xiàn)為碩士研究生，主要研究方向為非線性獨立分量分析。

CAIBang-guiwasborn in Zigong，Sichuan Province，in 1987. He received the B.S.degree from Hainan Normal University in 2011.He is now a graduate student.His research concerns nonlinear independent component analysis.

Extended M utual Information Separation Algorithm s Based on M ulti-Hidden Layer

ZHAO Li-quan，CAIBang-gui
（College of Information Engineering，Northeast Dianli University，Jilin 132012，China）

Extendedmutual information separation（EMISEP）algorithm uses a single hidden layer neural network to approximate nonlinear function of cost function，so the adjustable parameter is limited and itneedsmore iteration times to converge，which leads to relatively slow convergence speed.To overcome this problem，this paper uses double hidden layer perceptions to approximate nonlinear function of cost function，and usesmutual informationminimum of separation signals as cost function，which is optimized by gradient descentmethod.This increases the number of adjustable parameters.The simulation results prove that the improved algorithm has faster convergence speed and smaller error comparingwith the original algorithm.

nonlinear independent component analysis；extendedmutual information separation algorithm；multilayer perception；double hidden layer neural network

TN911.7

A

1001－893X（2013）04－0402－06

10.3969/j.issn.1001－893x.2013.04.006

2012－10－05；

2013－01－28 Received date：2012－10－05；Revised date：2013－01－28

吉林省科技發(fā)展計劃項目（201101110）

Foundation Item：The Scientific Research Fundation of the Education Department of Jilin Province（No.201101110）

??通訊作者：zhao－liquan＠163.com Corresponding author：zhao－liquan＠163.com