摘 要：獨(dú)立分量分析是近年來(lái)興起的一種高效的信號(hào)處理方法，主要解決的問(wèn)題是從觀測(cè)到的混合信號(hào)中分離或提取各個(gè)源信號(hào)。簡(jiǎn)要介紹了獨(dú)立分量分析的模型、數(shù)學(xué)原理等基本問(wèn)題，詳細(xì)分析了解決獨(dú)立分量分析問(wèn)題的優(yōu)化準(zhǔn)則及對(duì)應(yīng)的算法，最后介紹了獨(dú)立分離分析的主要應(yīng)用領(lǐng)域，并對(duì)獨(dú)立分量分析問(wèn)題的研究方向進(jìn)行了展望。

關(guān)鍵詞：盲源分離；獨(dú)立分量分析；優(yōu)化準(zhǔn)則;高階統(tǒng)計(jì)；信息論

中圖分類號(hào)：TN911 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004373X(2008)0301704

Research on Independent Component Analysis and Its Application

LIANG Duandan，HAN Zheng，HAO Jiajia

(Xi′an Communication Institute，Xi′an，710106，China)

Abstract：Independent Component Analysis(ICA) is an efficient technology developed in resent years in signal processing field.This method can separate or extract unknown sources from their mixtures.In this paper，the fundamental model and mathematical principle are introduced，the optimized criteria and related algorithms for ICA are analyzed.Finally，the paper presents the application and future development of ICA.

Keywords：blind source separation;independent component analysis;optimized criteria;higher order statistics;information theoretic

1 引 言

盲源分離(Blind Source Separation，BSS)是在源信號(hào)和傳輸通道參數(shù)未知的情況下，根據(jù)輸入源信號(hào)的統(tǒng)計(jì)特性，僅由觀測(cè)信號(hào)恢復(fù)出源信號(hào)的過(guò)程。當(dāng)源信號(hào)各個(gè)成分具有獨(dú)立性時(shí)，此過(guò)程又稱為獨(dú)立分量分析(Inependent Component Analysis，ICA)。所謂的“盲”，是指源信號(hào)的特性及傳輸通道的特性都是未知的。

盲信號(hào)分離的概念最早提出20世紀(jì)80年代，隨后從90年代開(kāi)始，盲信號(hào)分離技術(shù)廣泛的應(yīng)用于無(wú)線通信、雷達(dá)、聲納、圖像、語(yǔ)音、醫(yī)學(xué)等領(lǐng)域，迅速成為國(guó)內(nèi)外信號(hào)處理研究的熱點(diǎn)。

2 ICA的基本理論概述

2.1 BSS與ICA的關(guān)系

BSS是指僅從觀測(cè)的混合信號(hào)中分離出各個(gè)原始信號(hào)，而ICA技術(shù)主要利用了源信號(hào)統(tǒng)計(jì)獨(dú)立等容易滿足的先驗(yàn)條件，為了解決BSS問(wèn)題而發(fā)展起來(lái)的。在源信號(hào)相互獨(dú)立時(shí)，BSS和ICA具有相同的模型，但實(shí)際情況下，兩者目標(biāo)上稍有不同。BSS的目標(biāo)是分離出源信號(hào)，即使他們并不完全互相獨(dú)立；而ICA的目標(biāo)則是尋找某種變換，使輸出的各信號(hào)之間盡可能的獨(dú)立。

ICA是BSS的一種方法，但是解決BSS問(wèn)題還有其他的理論方法，如非線性主分量分析、稀疏分量分析(SCA)等，不局限于ICA。

2.2 ICA的數(shù)學(xué)描述及模型

ICA的原理框圖如圖1所示。

基本的線性瞬時(shí)混合ICA模型可以描述為：

2.3 ICA的前提假設(shè)

由于源信號(hào)和混合矩陣的先驗(yàn)知識(shí)未知，只有觀測(cè)信號(hào)的信息可以利用，若無(wú)任何前提條件，盲分離問(wèn)題就會(huì)多解，故需要對(duì)源信號(hào)和混合矩陣附加一些基本的假設(shè)和約束條件[1]：

(1) 觀測(cè)信號(hào)數(shù)目M不小于源信號(hào)數(shù)目N，為了方便起見(jiàn)，取M=N，即混合矩陣A為滿秩。

(2) 源信號(hào)S的各個(gè)分量之間相互統(tǒng)計(jì)獨(dú)立。

(3) 源信號(hào)的各分量最多只允許有一個(gè)是高斯分布的，這是由于多個(gè)高斯信號(hào)的線性混合仍然服從高斯分布，不可分離。

2.4 ICA的不確定性

根據(jù)ICA的模型實(shí)現(xiàn)原理，若要源信號(hào)精確恢復(fù)，應(yīng)當(dāng)W=A－1，但在“盲”的范疇里，混合矩陣A不是完全辨識(shí)的，ICA算法求解的過(guò)程尋找的解混矩陣不是A的求逆過(guò)程，Y只是S的近似值，存在著一些不確定性，在文獻(xiàn)[2]中得到證明：

(1) 幅度：分離后的信號(hào)在幅度上與源信號(hào)存在一定的比例關(guān)系。

(2) 次序：分離信號(hào)與源信號(hào)的順序可能不一致。

在許多應(yīng)用背景下，信號(hào)的大多數(shù)信息都是包含在信號(hào)的波形上而不是信號(hào)的幅度和次序中。另外，雖然事先對(duì)源信號(hào)了解不多，但在有些情況下，分離出獨(dú)立的源信號(hào)之后可根據(jù)實(shí)際進(jìn)行判別，故ICA分離中這兩個(gè)不確定性是可以接受的。

3 ICA的基本算法

3.1 ICA算法的基本原理

從數(shù)學(xué)角度來(lái)分析隨機(jī)矢量的獨(dú)立性定義為假設(shè)原始信號(hào)是獨(dú)立同分布的非高斯信號(hào)，滿足下式：

即其聯(lián)合密度函數(shù)是各個(gè)分量概率密度函數(shù)之積，也可以采用他們的互信息量I(x)來(lái)表達(dá)：

當(dāng)且僅當(dāng)各個(gè)分量相互獨(dú)立時(shí)為零。

ICA算法的基木原理就是依據(jù)等獨(dú)立性度量的準(zhǔn)則來(lái)建立目標(biāo)函數(shù)，使分離出的獨(dú)立分量最大程度的逼近各個(gè)源信號(hào)。不同ICA的算法研究主要體現(xiàn)在獨(dú)立性度量準(zhǔn)則的選取和對(duì)目標(biāo)函數(shù)的優(yōu)化準(zhǔn)則的不同上。可把ICA算法表述為：

ICA算法=分離準(zhǔn)則+優(yōu)化算法

這兩方面構(gòu)成了ICA理論的核心，目標(biāo)函數(shù)決定算法的統(tǒng)計(jì)性質(zhì)，如漸進(jìn)方差、魯棒性和一致性；優(yōu)化算法決定算法的收斂速度和計(jì)算的穩(wěn)定性。

3.2 ICA的獨(dú)立性測(cè)度準(zhǔn)則及優(yōu)化算法

3.2.1 基于非高斯性的測(cè)度方法

由統(tǒng)計(jì)理論中的中心極限定律可知，多個(gè)獨(dú)立隨機(jī)變量的混合信號(hào)趨近于高斯分布。故在ICA模型中若干個(gè)獨(dú)立源信號(hào)的混合信號(hào)比任何一個(gè)源信號(hào)都應(yīng)該更接近高斯分布。當(dāng)所有分離出來(lái)的信號(hào)的非高斯性都達(dá)到最大時(shí)，每個(gè)分離出的信號(hào)也就越接近不同的單個(gè)源信號(hào)。

通常利用峰度和負(fù)熵作為非高斯性測(cè)度。

(1) 峰度(Kurtosis)

峰度是隨機(jī)變量的四階累積量，其定義如下：

對(duì)于一個(gè)高斯變量y，其四階累積量等于3E2[y2]，峰度為零。絕大多數(shù)非高斯信號(hào)的峰度為一個(gè)非零值，峰度的絕對(duì)值越大，說(shuō)明非高斯性越強(qiáng)。

對(duì)應(yīng)的目標(biāo)函數(shù)簡(jiǎn)化定義為：

對(duì)應(yīng)的優(yōu)化算法一般采用隨機(jī)梯度算法，對(duì)目標(biāo)函數(shù)最大化(對(duì)正峰度源)或者最小化(負(fù)峰度源)可求得分離矩陣W[WTBZ]。

(2) 負(fù)熵(Negentropy)

由信息論知識(shí)得：在方差相同的情況下，高斯變量具有最大熵。而負(fù)熵的定義為：

其中yGuass為與y具有相同的協(xié)方差矩陣的高斯隨機(jī)變量。負(fù)熵的值總是非負(fù)的，負(fù)熵越大，其非高斯性越強(qiáng)，當(dāng)且僅當(dāng)y為高斯變量時(shí)，其值為零。故可通過(guò)最大化負(fù)熵的方法尋找一種變換，使變換后y的各分量盡可能獨(dú)立。負(fù)熵的計(jì)算比較困難，在實(shí)際應(yīng)用中通常利用非線性函數(shù)G(#8226;)對(duì)負(fù)熵進(jìn)行近似，得到對(duì)應(yīng)的目標(biāo)函數(shù)為：

FastICA算法[3]就是一種基于負(fù)熵最大化的快速定點(diǎn)ICA算法，他具有計(jì)算簡(jiǎn)單、收斂速度快等優(yōu)點(diǎn)，在實(shí)際中得到成功應(yīng)用。

3.2.2 基于信息論的測(cè)度

(1) 信息最大化

用信息最大化原理進(jìn)行盲源分離就是最大化輸出熵，又稱最大熵(Maximum Entropy，ME)。

在信息論中，隨機(jī)變量熵就是給定觀察變量的信息度。對(duì)具有概率密度為p(y)的隨機(jī)向量y，他的微分熵定為：

當(dāng)y的各個(gè)分量之間相互獨(dú)立時(shí)，H(y)達(dá)到最大，故可以用輸出熵H(y)來(lái)衡量恢復(fù)信號(hào)y各分量之間的獨(dú)立性。為避免簡(jiǎn)單的最大化使H(y)發(fā)散至無(wú)窮，實(shí)際的Infomax算法中，通常是最大化分離信號(hào)y經(jīng)過(guò)非線性結(jié)點(diǎn)輸出r的熵。因此，目標(biāo)函數(shù)定義為：

對(duì)應(yīng)的優(yōu)化算法為Infomax算法[4]。

(2)互信息最小(Minimum Mutual Information，MMI)

隨機(jī)向量各分量之間的互信息定義為其邊緣熵之和與聯(lián)合熵之差，等價(jià)于聯(lián)合概率密度和各分量邊緣概率密度乘積之間的Kullback—Leibler散度。

當(dāng)恢復(fù)源信號(hào)y的各分量相互獨(dú)立時(shí)，有p(y)=py1(y1)py2(y2)…pyn(yn)，其中p(y)為y的聯(lián)合概率密度函數(shù)，pyi(yi)為yi分量的邊緣概率密度函數(shù)。Kullback—Leibler散度定義如下：

可得：

H(yi)，H(y)分別為邊緣熵和聯(lián)合熵。當(dāng)且僅當(dāng)y的各分量統(tǒng)計(jì)獨(dú)立的時(shí)候互信息I(y)為零。即互信息越小，各分量之間的獨(dú)立性越強(qiáng)。基于最小輸出互信息的目標(biāo)函數(shù)為：

對(duì)應(yīng)的優(yōu)化算法為MMI算法。

(3) 最大似然估計(jì)準(zhǔn)則(Maximum Likelihood Estimation，MLE)

MLE是用己獲得的觀測(cè)樣本x來(lái)估計(jì)樣本真實(shí)概率密度p(x)。給定參數(shù)向量θ，通過(guò)某種準(zhǔn)則獲得估計(jì)密度度(x，θ)充分逼近真實(shí)密度p(x)。以Kullback—Leibler散度作為優(yōu)化準(zhǔn)則來(lái)測(cè)度估計(jì)的概率密度(x，θ)與真實(shí)概率密度p(x)之間的距離。這一準(zhǔn)則可用對(duì)數(shù)形式的似然函數(shù)表示：

其中pi為未知獨(dú)立分量si的概率密度。

對(duì)應(yīng)的優(yōu)化算法MLE的目標(biāo)函數(shù)與Infomax算法有類似的形式，不同之處是MLE的目標(biāo)函數(shù)出發(fā)點(diǎn)是已知觀測(cè)樣本，他要求pi必須估計(jì)準(zhǔn)確。

上述的Infomax(ME)，MMI，MLE三種算法在本質(zhì)上沒(méi)有區(qū)別，Pearlmutter和Parra，Cardoso[5]己經(jīng)指出Infomax和MLE算法是等價(jià)的。

3.2.3 基于高階統(tǒng)計(jì)的方法

對(duì)于高斯信號(hào)，不相關(guān)和獨(dú)立是等價(jià)的，可在二階統(tǒng)計(jì)的基礎(chǔ)上進(jìn)行分析，但是對(duì)于非高斯信號(hào)來(lái)說(shuō)，獨(dú)立是比不相關(guān)更強(qiáng)的條件，要求在包含二階統(tǒng)計(jì)在內(nèi)的所有更高階統(tǒng)計(jì)上相互獨(dú)立，故本文試圖尋求高階統(tǒng)計(jì)的解決方案?；诟唠A統(tǒng)計(jì)的ICA算法，按照準(zhǔn)則函數(shù)或優(yōu)化算法中是否明確含有高階累積量，又可以分為顯累積量法和隱累積量法。

(1) 隱累積量算法[6]

較典型的是由Herault和Jutten較早提出的神經(jīng)網(wǎng)絡(luò)算法，通常稱為H—J算法。H—J算法沒(méi)有明確的誤差函數(shù)，使該誤差函數(shù)全局最小化就可以得到問(wèn)題的解。

(2) 顯累積量算法[6]

以簡(jiǎn)單的高階統(tǒng)計(jì)峰度作為代價(jià)函數(shù)，利用隨機(jī)梯度算法來(lái)得到分離陣W[WTBZ]的自適應(yīng)訓(xùn)練算法。

JADE[7]是一種顯累積量高階統(tǒng)計(jì)算法，他是一種數(shù)值穩(wěn)定的矩陣代數(shù)特征分解ICA方法。

4 ICA技術(shù)的應(yīng)用

ICA作為信息處理領(lǐng)域熱門(mén)課題之一，已經(jīng)在移動(dòng)通信、語(yǔ)音圖像處理、陣列處理、地震勘探、生物醫(yī)學(xué)工程等領(lǐng)域得到廣泛應(yīng)用。粗略的列舉幾方面如下[8]：

(1) 生物醫(yī)學(xué)信號(hào)處理領(lǐng)域

在生物醫(yī)學(xué)領(lǐng)域，ICA可以應(yīng)用于心電圖(ECG)腦電圖(EEG)信號(hào)分離、聽(tīng)覺(jué)信號(hào)分析、功能磁共振圖像(FMRI)分析等。如利用ICA算法抽取腦電信號(hào)和線性分解腦電信號(hào)的人為因素如噪聲、眨眼、心電噪聲等成分；研究FMRI數(shù)據(jù)的任務(wù)相關(guān)的人腦活動(dòng)；處理孕婦身上測(cè)到的心電信號(hào)，分別得到孕婦自己和胎兒的心電信號(hào)等。

(2) 陣列信號(hào)處理領(lǐng)域

在陣列傳感器中，各傳感器接收到混合信號(hào)，源信號(hào)和混合特性未知，是典型的盲分離應(yīng)用問(wèn)題。在移動(dòng)通信陣列天線處理、海洋聲納探測(cè)等方面的作用越來(lái)越重要。如軍事通信中，傳統(tǒng)的主動(dòng)雷達(dá)為探測(cè)目標(biāo)需發(fā)出電波信號(hào)，很容易暴露自己，而利用ICA的原理發(fā)展被動(dòng)“雷達(dá)”，只接收信號(hào)不發(fā)出任何信號(hào)即可探測(cè)到目標(biāo)，此應(yīng)用已得到各國(guó)的廣泛重視。

(3) 聲信號(hào)處理領(lǐng)域

聲信號(hào)盲分離是ICA的一個(gè)應(yīng)用的重要領(lǐng)域，對(duì)語(yǔ)音增強(qiáng)、語(yǔ)音識(shí)別等具有重要的意義。如在移動(dòng)通信中，ICA技術(shù)能夠有效地消除噪聲、抑制干擾、增強(qiáng)語(yǔ)音，提高通信質(zhì)量；通過(guò)ICA方法對(duì)車輛行駛時(shí)產(chǎn)生的聲音信號(hào)進(jìn)行分離，對(duì)車輛個(gè)數(shù)與行車方向進(jìn)行估計(jì)，實(shí)現(xiàn)車輛的簡(jiǎn)單分類；在工業(yè)領(lǐng)域，根據(jù)機(jī)械運(yùn)動(dòng)時(shí)發(fā)出一種固有的信號(hào)，攜帶機(jī)械本身的結(jié)構(gòu)信息和運(yùn)動(dòng)狀態(tài)信息，通過(guò)對(duì)此機(jī)械信號(hào)進(jìn)行分析，對(duì)設(shè)備的運(yùn)動(dòng)狀態(tài)及故障進(jìn)行在線監(jiān)測(cè)和預(yù)報(bào)等。

(4) 圖像處理領(lǐng)域

ICA可以用于二維數(shù)據(jù)，如圖像濾波、圖像特征提取、圖像增強(qiáng)、人臉監(jiān)測(cè)和識(shí)別、衛(wèi)星遙感圖像的恢復(fù)重建分類等。主要任務(wù)是從被污染的圖像中恢復(fù)出圖像原面目，有效地消除獲取圖片時(shí)由相機(jī)抖動(dòng)傳輸噪聲疊加等原因造成的圖像質(zhì)量問(wèn)題。

5 ICA技術(shù)的發(fā)展趨勢(shì)

雖然ICA技術(shù)及近年來(lái)已獲得極大發(fā)展，但仍有許多問(wèn)題有待進(jìn)一步的研究和解決[8，9]。

(1) 帶噪混合信號(hào)ICA問(wèn)題。實(shí)際環(huán)境中，混合聲信號(hào)不僅包括多個(gè)聲源的聲音，還要考慮環(huán)境噪聲的影響，盡管目前有一些算法在含噪情況下有良好的性能，但由于噪聲的種類繁多，包括非高斯、有色、乘性、脈沖等，在此情形下實(shí)現(xiàn)混合信號(hào)的分離，提取各源聲信號(hào)是困難的。

(2) 欠定(Under—Complete)ICA問(wèn)題。大多數(shù)的BSS，ICA研究都是假設(shè)傳感器數(shù)大于源信號(hào)數(shù)目的情況。而如何求解傳感器數(shù)目小于源信號(hào)數(shù)目的欠定問(wèn)題是比較困難的。在EEG處理中就存在此情況，且在工程實(shí)際中，源信號(hào)個(gè)數(shù)可能會(huì)隨時(shí)間動(dòng)態(tài)變化，此時(shí)如何確定源信號(hào)個(gè)數(shù)及如何估計(jì)源信號(hào)都是亟待解決的問(wèn)題。

(3) 全局收斂性問(wèn)題。由于聲信號(hào)分離是一個(gè)時(shí)空域上的問(wèn)題，因此存在著空間上的盲分離和時(shí)域上的反卷積雙重任務(wù)，使得算法在回響環(huán)境中很容易陷入局部最小值，導(dǎo)致算法性能下降。

(4) 混合系統(tǒng)是時(shí)變的。當(dāng)信源是運(yùn)動(dòng)狀態(tài)時(shí)，信號(hào)混合系統(tǒng)就是一個(gè)時(shí)變系統(tǒng)。而目前的算法是針對(duì)非時(shí)變系統(tǒng)設(shè)計(jì)，要得到實(shí)用的盲分離算法，必須設(shè)計(jì)出能夠跟蹤時(shí)變的自適應(yīng)算法。

6 結(jié)語(yǔ)

獨(dú)立分量分析在信息處理諸多領(lǐng)域都顯示出獨(dú)特的優(yōu)勢(shì)，展現(xiàn)出誘人的發(fā)展前景，值得我們對(duì)其理論和算法進(jìn)一步研究和完善。將理論上的突破與實(shí)際應(yīng)用相結(jié)合，會(huì)對(duì)信息處理以及神經(jīng)網(wǎng)絡(luò)的發(fā)展起到積極的促進(jìn)作用。

參考文獻(xiàn)

[1]Hyvarinen A，Karhunen J，Oja E.Independent Component Analysis[M].John Wiley Sons，Inc.，2001.

[2]Comom P.Independent Component Analysis:A New Concept[J].Signal Processing，1994，36(3):287—314.

[3]Hyvarinen A.A Fast Fixed—point Algorithm for Independent Component Analysis[J].Neural Computation，1997，7(9):1 482—1 483.

[4]Bell A J，Sejnowski T J.An Information —maximization Approach to Blind Separation and Blind Deconvolution [J].Neural Computation，1995，7(6):1 129—1 159.

[5]Cardoso J F.Infomax and Maximum Likelihood for Blind Source Separation[J].IEEE Signal Processing Letters，1997，4(4):112—114.

[6]Hyvarinen A，Oja E.Independent Component Analysis by General Nonlinear Hebbian—like Learning Rules[J].Signal Processing，1998，14(3):301—313.

[7]Cardoso J F，Souloumiac A.Blind Beamforming for Non—Gaussian Signals [J].IEE Proc.—F，1993，140(6):362—370.

[8]張賢達(dá)，保錚.盲信號(hào)分離[J].電子學(xué)報(bào)，2001.29(12A):1 766—1 771.

[9]馬建倉(cāng)，牛奕龍，陳海洋.盲信號(hào)處理[M].北京:國(guó)防工業(yè)出版社，2006.

作者簡(jiǎn)介 梁端丹 女，1982年出生，湖北大悟人，碩士研究生。主要研究方向?yàn)橹悄苄畔⑻幚怼?/p>

韓政男，1965年出生，河南安陽(yáng)人，副教授，研究生導(dǎo)師。主要研究方向?yàn)橥ㄐ排c信息系統(tǒng)、智能信息處理。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。