王 哲，張立毅,2，陳 雷,2,3+，李 鏘

1.天津大學(xué) 電子信息工程學(xué)院，天津 300072

2.天津商業(yè)大學(xué) 信息工程學(xué)院，天津 300134

3.天津大學(xué) 精密儀器與光電子工程學(xué)院，天津 300072

改進(jìn)粒子群優(yōu)化的分段在線盲信號(hào)分離算法*

王 哲1，張立毅1,2，陳 雷1,2,3+，李 鏘1

1.天津大學(xué) 電子信息工程學(xué)院，天津 300072

2.天津商業(yè)大學(xué) 信息工程學(xué)院，天津 300134

3.天津大學(xué) 精密儀器與光電子工程學(xué)院，天津 300072

盲源分離（blind source separation，BSS）是指在混合系數(shù)未知的情況下，從混合信號(hào)中恢復(fù)出源信號(hào)的過(guò)程。在實(shí)時(shí)盲源分離問(wèn)題中，學(xué)習(xí)速率的選擇對(duì)于算法的性能有著至關(guān)重要的作用。為了得到合適的學(xué)習(xí)速率，提出了如下盲源分離的步長(zhǎng)選擇算法：通過(guò)衡量當(dāng)前時(shí)刻輸出信號(hào)的依賴(lài)程度，將整個(gè)信號(hào)分離過(guò)程分為快速分離和精細(xì)分離兩個(gè)階段。在快速分離階段，應(yīng)用粒子群優(yōu)化算法確定學(xué)習(xí)速率，而在精細(xì)分離階段，采用分段函數(shù)來(lái)確定學(xué)習(xí)速率。仿真結(jié)果證實(shí)，新算法比使用固定或其他自適應(yīng)學(xué)習(xí)速率的算法有更快的收斂速度和更好的穩(wěn)態(tài)性能。

盲源分離（BSS）；學(xué)習(xí)速率；分階段學(xué)習(xí)；粒子群優(yōu)化

1 引言

盲信號(hào)分離是指僅根據(jù)觀測(cè)到的混合數(shù)據(jù)向量來(lái)恢復(fù)原始信號(hào)或信源，而在這一過(guò)程中混合矩陣未知。它在生物醫(yī)學(xué)信號(hào)處理[1]、圖像處理[2]與語(yǔ)音識(shí)別[3]等領(lǐng)域都有著廣闊的應(yīng)用前景。

盲信號(hào)的分離算法分為離線和在線兩種。其中離線方法[4]收斂快，穩(wěn)定性好，但是不適用于實(shí)時(shí)處理，因而在許多場(chǎng)合并不適用。而在線方法[5-9]雖然具體的形式不同，但是都屬于最小均方差（least mean square，LMS）算法，存在一個(gè)學(xué)習(xí)速率參數(shù)的優(yōu)選問(wèn)題。本文的主要研究?jī)?nèi)容是在線方法中學(xué)習(xí)速率參數(shù)的優(yōu)選問(wèn)題。

在LMS算法中，學(xué)習(xí)速率通常取常數(shù)，但這存在收斂速度與穩(wěn)態(tài)性能之間的矛盾。當(dāng)學(xué)習(xí)速率較大時(shí)，收斂速度較快，但是穩(wěn)態(tài)性能差；而當(dāng)學(xué)習(xí)速率較小時(shí)，穩(wěn)態(tài)性能相對(duì)較好，但是收斂速度較慢。解決上述矛盾最簡(jiǎn)單的方法是使學(xué)習(xí)速率隨時(shí)間而變化，如指數(shù)遞減等方法。但此類(lèi)方法涉及一些參數(shù)選擇的問(wèn)題，當(dāng)參數(shù)選擇不當(dāng)時(shí)，分離結(jié)果并不理想。

在上述方法中，學(xué)習(xí)速率是提前確定的，稱(chēng)之為非自適應(yīng)的學(xué)習(xí)速率。此外，還有另一類(lèi)方法稱(chēng)之為自適應(yīng)的學(xué)習(xí)速率。自適應(yīng)學(xué)習(xí)速率的思想最早由Amari[10]提出。隨后人們提出了各種適用于LMS算法的自適應(yīng)學(xué)習(xí)速率算法[11-12]。此外，由于BSS（blind source separation）的特殊性和重要性，人們又提出了一系列針對(duì)BSS的自適應(yīng)學(xué)習(xí)速率算法[13-14]。

除此之外，還有一些基于當(dāng)前分離狀態(tài)來(lái)確定學(xué)習(xí)速率的方法。Zhang等人[15]提出了分階段學(xué)習(xí)的方法。這種方法有著很好的穩(wěn)態(tài)性能，但是如果想要獲得很快的收斂速度，函數(shù)的選擇十分困難。Lou等人[16]用一個(gè)模糊系統(tǒng)去決定學(xué)習(xí)速率。這種方法可以達(dá)到較好的分離效果，但是需要建立隸屬函數(shù)和模糊推斷系統(tǒng)。Hsieh等人[17]利用改進(jìn)的粒子群優(yōu)化方法來(lái)確定學(xué)習(xí)速率。這種方法獲得了很快的收斂速度，但是在分離后期存在較大的波動(dòng)性。Ou等人[18]提出利用滑動(dòng)參數(shù)組合兩個(gè)不同步長(zhǎng)的分離系統(tǒng)。該方法在一定程度上緩解了系統(tǒng)收斂速度與穩(wěn)態(tài)性能的矛盾，然而在組合兩個(gè)分離系統(tǒng)的過(guò)程中，引入了一系列參數(shù)，這些參數(shù)的選擇需要一定的經(jīng)驗(yàn)，且在不同環(huán)境下的參數(shù)選擇不同。

為了進(jìn)一步加快算法的收斂速度并保持更好的穩(wěn)態(tài)性能，受分階段學(xué)習(xí)方法[15]和改進(jìn)粒子群優(yōu)化方法[17]的啟發(fā)，本文提出了一個(gè)更為高效的方法來(lái)兼顧收斂速度和穩(wěn)態(tài)性能。將整個(gè)信號(hào)分離過(guò)程分為兩個(gè)階段：快速分離階段和精細(xì)分離階段。快速分離階段希望通過(guò)盡可能少的數(shù)據(jù)來(lái)達(dá)到較好的分離結(jié)果。考慮到粒子群優(yōu)化方法有著很快的收斂速度，因而將粒子群優(yōu)化方法用于快速分離階段確定學(xué)習(xí)速率。而對(duì)于精細(xì)分離階段，希望選擇較小的學(xué)習(xí)速率來(lái)保證好的穩(wěn)態(tài)性能，因此選擇較為平緩的函數(shù)來(lái)確定學(xué)習(xí)速率。

本文組織結(jié)構(gòu)如下：第2章簡(jiǎn)要回顧了盲源分離和粒子群優(yōu)化的基本原理；第3章提出了改進(jìn)粒子群優(yōu)化的分段在線盲信號(hào)分離算法；第4章進(jìn)行仿真實(shí)驗(yàn)并分析實(shí)驗(yàn)結(jié)果；第5章總結(jié)全文。

2 基本理論

2.1 盲源分離問(wèn)題

盲源分離的混合模型可以表示如下：

式中，X(t)=[x1(t),x2(t),…,xm(t)]T是m路混合信號(hào)；S(t)= [s1(t),s2(t),…,sn(t)]T是n路源信號(hào)；A是m×n的未知混合矩陣。

盲源分離的目的是從混合信號(hào)x1(t),x2(t),…,xm(t)中恢復(fù)出源信號(hào)s1(t),s2(t),…,sn(t)，而在這一過(guò)程中，并不知道混合矩陣A的值。為了簡(jiǎn)化問(wèn)題，此處假設(shè)m=n，即源信號(hào)數(shù)目與混合信號(hào)數(shù)目相同。令分離矩陣為W，維數(shù)為n×m，則解混系統(tǒng)定義如下：

式中，Y(t)=[y1(t),y2(t),…,yn(t)]T，它是對(duì)源信號(hào)的估計(jì)。

根據(jù)文獻(xiàn)[19]，把互信息I(W)作為目標(biāo)函數(shù)，則有：

式中，Λ是非奇異對(duì)角陣；P是置換矩陣。典型ICA（independent component analysis）算法可以寫(xiě)為如下形式：

式中，η(t)表示學(xué)習(xí)速率，它的選擇直接影響系統(tǒng)的性能。針對(duì)不同的算法，F(xiàn)(Y(t))的選擇不同。

2.2 粒子群優(yōu)化

粒子群優(yōu)化（particle swarm optimization，PSO）算法最早是在1995年由Kennedy和Eberhart[20]提出的。粒子群優(yōu)化屬于智能優(yōu)化方法的一種，相比于傳統(tǒng)優(yōu)化方法，它具有更快的計(jì)算效率和尋找全局最優(yōu)的能力。

一個(gè)粒子群中包括許多粒子，每個(gè)粒子都是優(yōu)化問(wèn)題的一個(gè)潛在解。假設(shè)粒子數(shù)目為s，維數(shù)為D。針對(duì)單個(gè)粒子，一般有3個(gè)特征：當(dāng)前位置xi，當(dāng)前速度vi以及單個(gè)粒子的歷史最優(yōu)位置pbesti；而考慮整個(gè)粒子群，則還有另一個(gè)特征為所有粒子的歷史最優(yōu)位置gbest。每個(gè)粒子的移動(dòng)是根據(jù)以上特征確定的。每個(gè)粒子的速度更新公式如下：

式中，i∈1,2,…,s表示粒子的數(shù)目；j∈1,2,…,D表示粒子的維數(shù)；vi,j表示第i個(gè)粒子在第j維上的速度；c1、c2稱(chēng)為學(xué)習(xí)因子或加速系數(shù)，一般為正常數(shù)；ζ、ξ是在[0,1]上均勻分布的偽隨機(jī)數(shù)；k表示運(yùn)動(dòng)的代數(shù)。新的粒子位置計(jì)算如下：

在每一代變化后，需要考慮pbesti和gbest的更新問(wèn)題：

式中，f表示代價(jià)函數(shù)。

Shi等人[21]將慣性權(quán)重w引入到PSO，很好地平衡了全局搜索能力與局部搜索能力。新的速度更新公式如下：

式中，w可以是一個(gè)正常數(shù)或是隨時(shí)間變化的函數(shù)。

Hsieh等人[17]將反轉(zhuǎn)因子T引入到PSO，擴(kuò)大了粒子群的搜索空間。速度更新公式如下：

式中，T表示反轉(zhuǎn)因子。對(duì)于隨機(jī)選取一半粒子，T=1；而對(duì)于剩余粒子，T=-1。

3 基于改進(jìn)粒子群的分段在線盲信號(hào)分離

本文把粒子群算法用于分階段學(xué)習(xí)中，從而提出了一種有效的方法來(lái)選擇合適的學(xué)習(xí)速率η(t)。

3.1 分階段分離

將整個(gè)信號(hào)的分離過(guò)程分為兩個(gè)階段：快速分離階段和精細(xì)分離階段。

在快速分離階段，主要希望通過(guò)盡可能少的迭代次數(shù)來(lái)使分離結(jié)果達(dá)到一個(gè)可接受的程度。在信號(hào)的實(shí)時(shí)分離過(guò)程中，因?yàn)榇鎯?chǔ)量有限，無(wú)法對(duì)所有的信號(hào)進(jìn)行存儲(chǔ)，所以在訓(xùn)練過(guò)程中損失的數(shù)據(jù)就無(wú)法再得到恢復(fù)。因此在快速分離階段，收斂速度是衡量算法性能的一個(gè)關(guān)鍵因素。

在精細(xì)分離階段，已經(jīng)有了相對(duì)較好的分離結(jié)果，因此收斂速度在此時(shí)對(duì)整體性能影響并不大。而這一階段的主要任務(wù)有兩個(gè)：一是選擇合適的學(xué)習(xí)速率，進(jìn)一步提高分離精度；另一方面則是保證分離過(guò)程中較小的波動(dòng)。

接下來(lái)需要找到一個(gè)指標(biāo)將整個(gè)分離過(guò)程進(jìn)行分段。根據(jù)文獻(xiàn)[16]，知道yi(t)和yj(t)的依賴(lài)程度可以由它們的二階相關(guān)度與高階相關(guān)度來(lái)衡量。其中二階相關(guān)性rij(t)及高階相關(guān)性hrij(t)定義如下：

式中，i,j=1,2,…,m且i≠j；ρ(yi(t))為非線性函數(shù)。

為了實(shí)現(xiàn)實(shí)時(shí)盲信號(hào)分離，需要遞歸地計(jì)算rij(t)和hrij(t)。假設(shè)輸出信號(hào)是廣義平穩(wěn)的，則在任意時(shí)刻t，信號(hào)x(t)的均值計(jì)算如下：

式中，λ為遺忘因子，其取值在0到1之間。記Pij(t)=cov[ρ(yi(t)),yj(t)]，Rij(t)=cov[yi(t),yj(t)]，Qi(t)=cov[ρ(yi(t))]，則有如下遞歸公式：

通過(guò)遞歸計(jì)算得到Rij(t)、Pij(t)和Qi(t)后，根據(jù)式（11）、（12），可以得到rij(t)和hrij(t)。

為了進(jìn)一步衡量系統(tǒng)的總體分離狀態(tài)，又定義了如下函數(shù)[15]：

式中，Dij(t)表示第i路信號(hào)與第j路信號(hào)的依賴(lài)性。

式中，Di(t)表示第i路信號(hào)的分離程度。

式中，D(t)表示所有信號(hào)的整體分離程度。根據(jù)D(t)可以對(duì)整個(gè)分離過(guò)程進(jìn)行分段。當(dāng)D(t)＞0.25時(shí)，認(rèn)為分離過(guò)程處于快速分離階段；而當(dāng)D(t)≤0.25時(shí)，認(rèn)為分離過(guò)程處于精細(xì)分離階段。

3.2 改進(jìn)粒子群算法確定學(xué)習(xí)速率

對(duì)于快速分離階段，本文利用粒子群算法在每次迭代中選擇合適的步長(zhǎng)，在保證系統(tǒng)穩(wěn)定的前提下使得收斂速度盡可能快。

本文采用式（10）作為改進(jìn)粒子群算法速度的更新公式。代價(jià)函數(shù)是粒子群算法中另一個(gè)重要的成分。Di(t)表示第i路信號(hào)的分離程度，人們希望Di(t)在學(xué)習(xí)過(guò)程中快速減小。根據(jù)極小極大原理，定義粒子群的代價(jià)函數(shù)如下：

粒子群算法的計(jì)算量通常較大，如果把每個(gè)時(shí)刻視為相互獨(dú)立，并在每一時(shí)刻都使用一次粒子群算法來(lái)確定當(dāng)前時(shí)刻的學(xué)習(xí)速率，則很難滿足實(shí)時(shí)性要求。事實(shí)上，對(duì)于相鄰時(shí)刻而言，輸出信號(hào)的分離狀況是十分相似的。因此，不同時(shí)刻下的最優(yōu)學(xué)習(xí)速率也是緩慢變化的。為了在分離性能和計(jì)算量之間取得平衡，在整個(gè)分離過(guò)程中，利用改進(jìn)的粒子群優(yōu)化算法來(lái)確定學(xué)習(xí)速率，而在每個(gè)時(shí)刻粒子群僅僅移動(dòng)一代，并選擇當(dāng)前的全局最優(yōu)解作為當(dāng)前時(shí)刻的學(xué)習(xí)速率。相鄰時(shí)刻的最優(yōu)速率通常是相似的，因此將前一時(shí)刻的pbesti和gbest保留至下一時(shí)刻，用于影響新的時(shí)刻中粒子群的運(yùn)動(dòng)。

在文獻(xiàn)[17]中，為了保證在分離后期的學(xué)習(xí)速率維持穩(wěn)定，將上一時(shí)刻的所有粒子位置都直接傳遞到新的時(shí)刻。然而，這種方法很容易使得整個(gè)粒子群過(guò)早地收斂。如果聲源位置發(fā)生變化，很難快速找到新的最優(yōu)學(xué)習(xí)速率。由于僅僅將粒子群用于快速分離階段，而無(wú)須考慮分離后期的波動(dòng)程度，對(duì)于每個(gè)新的時(shí)刻，都對(duì)粒子群的粒子位置進(jìn)行重新初始化，只保留上一時(shí)刻的pbesti和gbest。通過(guò)在每個(gè)時(shí)刻最小化式（24）中的目標(biāo)函數(shù)f，即可實(shí)現(xiàn)在保證系統(tǒng)穩(wěn)定的前提下使得收斂速度盡可能快。

3.3 非線性函數(shù)確定多維學(xué)習(xí)速率

對(duì)于精細(xì)分離階段，人們希望學(xué)習(xí)速率的變化是平滑的。此外，在這一階段，可能有些信號(hào)已經(jīng)先分離出來(lái)，而還有一些信號(hào)分離結(jié)果并不好，此時(shí)，不同的輸出成分需要不同的學(xué)習(xí)速率。因此，用Λ(t)來(lái)代替η(t)，從而迭代公式（4）變?yōu)槿缦滦问剑?/p>

式中，Λ(t)=diag(η1(t),η2(t),…,ηm(t))。ηi(t)的取值取決于第i路信號(hào)的分離程度。當(dāng)?shù)趇路信號(hào)的分離效果較好時(shí)，ηi(t)的取值較小，從而保證波動(dòng)較小。而當(dāng)?shù)趇路信號(hào)的分離效果較差時(shí)，ηi(t)的取值較大，從而提高算法的分離精度。而第i路的分離效果可以由Di(t)來(lái)衡量，ηi(t)是關(guān)于Di(t)的非線性函數(shù)[15]：

這類(lèi)非線性函數(shù)保證了算法在精細(xì)分離階段有著較高的分離精度和很小的波動(dòng)。

4 實(shí)驗(yàn)分析

在本文的實(shí)驗(yàn)過(guò)程中，4路信號(hào)如下：

式中，noise(t)服從[-1,1]的均勻分布。用于衡量高階相關(guān)性的非線性函數(shù)為。粒子數(shù)目為10，w=0.24，c1=c2=0.5。在快速分離過(guò)程中，步長(zhǎng)為標(biāo)量，因此粒子群的維數(shù)為1。相比文獻(xiàn)[17]，本文粒子群的應(yīng)用中不需要考慮分離后期的波動(dòng)穩(wěn)定，因此為了得到更快的收斂速度，粒子位置的取值在0.01～0.04間。

為了證實(shí)本文算法的有效性，對(duì)所有算法采用相同的迭代公式[22]：

式中，η(t)是由本文算法所確定的學(xué)習(xí)速率，?(Y(t))=Y2(t)sign(Y(t))，ψ(Y(t))=3tanh(10Y(t))。

為了評(píng)價(jià)算法的性能，引入串音誤差[23]crosstalking error）來(lái)評(píng)價(jià)算法性能：

式中，P=(pij)=WA；W表示計(jì)算得到的分離矩陣；A表示源信號(hào)混合過(guò)程中真實(shí)的混合矩陣。

4.1 聲源位置固定的實(shí)時(shí)盲信號(hào)分離

當(dāng)聲源位置固定時(shí)，混合矩陣A是4×4的固定矩陣，即在混合過(guò)程中A不會(huì)發(fā)生變化。令A(yù)內(nèi)元素服從[-1,1]的均勻分布，每次實(shí)驗(yàn)中通過(guò)隨機(jī)確定混合矩陣A來(lái)得到混合信號(hào)。本文以10 kHz的速率對(duì)信號(hào)采樣，信號(hào)長(zhǎng)度為3 000采樣點(diǎn)。將本文算法與定步長(zhǎng)0.010、0.005、分階段算法[15]、改進(jìn)粒子群算法[17]、組合系統(tǒng)[18]進(jìn)行比較。

Fig.1 Cross-talking errors for fixed source locations圖1 聲源位置固定的串音誤差曲線

圖1表示了對(duì)于6種步長(zhǎng)選擇算法的30次獨(dú)立運(yùn)行得到的串音誤差均值的收斂曲線。從圖1中可以看出，在分離早期，本文算法具有較快的分離速度，從而保證了利用最少的數(shù)據(jù)集得到了較好的分離結(jié)果。同時(shí)，在分離后期，本文算法穩(wěn)態(tài)性能較好，保證了分離系統(tǒng)的高精度。

表1列出了對(duì)于5種步長(zhǎng)選擇算法的30次獨(dú)立運(yùn)行得到的均值和標(biāo)準(zhǔn)差的平均值。為了能公平地比較系統(tǒng)在平穩(wěn)階段的性能，取3 000個(gè)采樣點(diǎn)中最后100個(gè)點(diǎn)進(jìn)行計(jì)算。串音誤差均值越小，則說(shuō)明分離的精度越高。串音誤差標(biāo)準(zhǔn)差越小，則說(shuō)明平穩(wěn)階段的波動(dòng)越小。從表1中可以看出，相比其他算法，本文算法有著更高的精度和更小的波動(dòng)。

Table 1 Mean and standard deviation of cross-talking error for fixed source locations表1 聲源位置固定的串音誤差的均值和標(biāo)準(zhǔn)差

4.2 聲源位置可變的實(shí)時(shí)盲信號(hào)分離

在實(shí)際應(yīng)用中，通常無(wú)法保證聲源的位置在混合過(guò)程中始終固定不變。對(duì)于線下的盲信號(hào)分離算法，很難處理源信號(hào)位置發(fā)生變化的情況。而對(duì)于實(shí)時(shí)盲信號(hào)分離算法而言，通過(guò)選擇恰當(dāng)?shù)膶W(xué)習(xí)速率，可以處理源信號(hào)位置可變的情況。

在實(shí)驗(yàn)中，令A(yù)內(nèi)元素仍服從[-1,1]的均勻分布。但在每次實(shí)驗(yàn)過(guò)程中，在3 000采樣點(diǎn)時(shí)刻重新隨機(jī)選擇混合矩陣A的元素改變信號(hào)的混合方式，從而得到在混合過(guò)程中聲源位置發(fā)生變化的混合信號(hào)。信號(hào)的采樣頻率為10 kHz，信號(hào)長(zhǎng)度為6 000采樣點(diǎn)。圖2為4路源信號(hào)經(jīng)過(guò)兩種不同隨機(jī)混合方式后得到的混合信號(hào)。

圖3為對(duì)聲源位置發(fā)生變化的混合信號(hào)進(jìn)行處理得到的分離信號(hào)。從圖3中可以看出，本文算法在3 000點(diǎn)時(shí)刻混合方式發(fā)生變化后，在經(jīng)過(guò)大約500個(gè)采樣點(diǎn)后可以恢復(fù)較高的分離精度。

Fig.2 4 mixed signals for changed source locations圖2 聲源位置發(fā)生變化的4路混合信號(hào)

Fig.3 Separated signals from mixed signals for changed source locations圖3 從聲源位置發(fā)生變化的混合信號(hào)中得到的分離信號(hào)

圖4表示了對(duì)于6種步長(zhǎng)選擇算法在聲源位置發(fā)生變化時(shí)得到的串音誤差均值的收斂曲線。從圖4中可以看出，本文步長(zhǎng)選擇算法避免了改進(jìn)粒子群算法[17]中的最優(yōu)值過(guò)早收斂現(xiàn)象。在聲源位置發(fā)生變化后，保證了較快的分離速度和較高的分離精度。

5 總結(jié)

本文提出了一種高效的方法來(lái)選擇實(shí)時(shí)信號(hào)分離中的學(xué)習(xí)速率。將粒子群方法應(yīng)用于分階段學(xué)習(xí)的快速分離過(guò)程中，一方面充分利用了粒子群算法在學(xué)習(xí)過(guò)程早期的快速收斂性；另一方面也克服了它在后期的不穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，本文步長(zhǎng)選擇算法可以使在線實(shí)時(shí)分離具有更快的收斂速度與更高的分離精度。同時(shí)，此算法可以適用于混合過(guò)程發(fā)生變化的混合信號(hào)，在混合方式發(fā)生變化后，能在很短的時(shí)間內(nèi)恢復(fù)出較高精度的分離信號(hào)。

[1]Acharjee P,Kalogeropoulou D,Douvis J.Independent vector analysis for gradient artifact removal in concurrent EEG-fMRI data[J].IEEE Transactions on Biomedical Engineering, 2015,62(7):1750-1758.

[2]Minh H Q,Wiskott L.Multivariate slow feature analysis and decorrelation filtering for blind source separation[J].IEEE Transactions on Image Processing,2013,22(7):2737-2750.

[3]Jun S,Kim M,Oh M,et al.Robust speech recognition based on independent vector analysis using harmonic frequency dependency[J].Neural Computing&Applications,2013,22 (7/8):1321-1327.

[4]Marchetti F,Pampaloni G.Efficient variant of algorithm fastICA for independent component analysis attaining the Cramér-Rao lower bound[J].IEEE Transactions on Neural Networks,2006,17(5):1265-1277.

[5]Riccardo B,Hong P,Roychowdhury V P.Independent component analysis based on nonparametric density estimation [J].IEEE Transactions on Neural Networks,2004,15(1): 55-65.

[6]Vrins F,Verleysen M.On the entropy minimization of a linear mixture of variables for source separation[J].Signal Processing,2005,85(5):1029-1044.

[7]Pham D T.Blind separation of instantaneous mixture of sources via an independent component analysis[J].IEEE Transactions on Signal Processing,2015,44(11):2768-2779.

[8]Cheng Hao,Yu Na,Liu Jun.Improved natural gradient algorithms for multi-channel signal separation[J].Applied Mechanics and Materials,2014,651-653:2326-2330.

[9]Fu G S,Phlypo R,Anderson M,et al.Blind source separation by entropy rate minimization[J].IEEE Transactions on Signal Processing,2014,62(16):4245-4255.

[10]Amari S.A theory of adaptive pattern classifiers[J].IEEE Transactions on Electronic Computers,1967,EC-16(3):299-307.

[11]Lee H S,Kim S E,Lee J W,et al.A variable step-size diffusion LMS algorithm for distributed estimation[J].IEEE Transactions on Signal Processing,2015,63(7):1808-1820.

[12]Sang M J,Seo J H,Park P G.Efficient variable step-size diffusion normalised least-mean-square algorithm[J].Electronics Letters,2015,51(5):395-397.

[13]Chambers J A,Jafari M G,Mclaughlin S.Variable step-size EASI algorithm for sequential blind source separation[J]. Electronics Letters,2004,40(6):393-394.

[14]Xu Pengcheng,Yuan Zhigang,Jian Wei,et al.Variable stepsize method based on a reference separation system for source separation[J].Journal of Sensors,2015(5):1-7.

[15]Zhang Xianda,Zhu Xiaolong,Bao Zheng.Grading learning for blind source separation[J].Science in China,2003,46 (1):31-44.

[16]Lou Shuntian,Zhang xianda.Fuzzy-based learning rate determination for blind source separation[J].IEEE Transactions on Fuzzy Systems,2003,11(3):375-383.

[17]Hsieh S T,Sun T Y,Lin C L,et al.Effective learning rate adjustment of blind source separation based on an improved particle swarm optimizer[J].IEEE Transactions on Evolutionary Computation,2008,12(2):242-251.

[18]Ou Shifeng,Gao Ying,Zhao Xiaohui.Adaptive combination algorithm and modified scheme for blind source separation [J].Journal of Electronics and Information Technology,2011, 33(5):1243-1247.

[19]Comon P.Independent component analysis,a new concept[J]. Signal Processing,1994,36(3):287-314.

[20]Eberhart R,Kennedy J.A new optimizer using particle swarm theory[C]//Proceedings of the 6th International Symposium on Micro Machine and Human Science,Nogoya,Japan, Oct 4-6,1995.Piscataway,USA:IEEE,1995:39-43.

[21]Shi Y H,Eberhart R.A modified particle swarm optimizer [C]//Proceedings of the 1998 IEEE World Congress on Computational Intelligence Evolutionary Computation,Anchorage,USA,May 4-9,1998.Piscataway,USA:IEEE,1998: 69-73.

[22]Cichocki A,Rummert E,Unbehauen R,et al.A new on-line adaptive algorithm for blind separation of source signals [C]//Proceedings of the 1994 International Symposium on Artificial Neural Networks,Tainan,China,Oct 15-18,1994: 406-411.

[23]Yang H H,Amari S I,Cichocki A.Information-theoretic approach to blind separation of sources in non-linear mixture[J].Signal Processing,1998,64(3):291-300.

附中文參考文獻(xiàn)：

[18]歐世峰,高穎,趙曉暉.自適應(yīng)組合型盲源分離算法及其優(yōu)化方案[J].電子與信息學(xué)報(bào),2011,33(5):1243-1247.

WANG Zhe was born in 1992.He is an M.S.candidate at Tianjin University.His research interests include computational intelligence and blind source separation,etc.

王哲（1992—），男，山西太原人，天津大學(xué)人工智能實(shí)驗(yàn)室碩士研究生，主要研究領(lǐng)域?yàn)橹悄苡?jì)算，盲源分離等。

ZHANG Liyi was born in 1963.He received the Ph.D.degree from Beijing Institute of Technology in 2003.Now he is a professor at Tianjin University of Commerce and Ph.D.supervisor at Tianjin University.His research interests include signal detecting and processing,intelligence computation and information processing,etc.

張立毅（1963—），男，山西忻州人，2003年于北京理工大學(xué)獲得博士學(xué)位，現(xiàn)為天津商業(yè)大學(xué)教授，天津大學(xué)博士生導(dǎo)師，主要研究領(lǐng)域?yàn)樾盘?hào)檢測(cè)與處理，智能計(jì)算，信息處理等。

CHEN Lei was born in 1980.He received the Ph.D.degree from Tianjin University in 2011.Now he is an associate professor at Tianjin University of Commerce.His research interests include blind signal processing and hyper spectral imagery processing,etc.

陳雷（1980—），男，河北唐山人，2011年于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津商業(yè)大學(xué)副教授，主要研究領(lǐng)域?yàn)槊ば盘?hào)處理，高光譜圖像處理等。

LI Qiang was born in 1974.He received the Ph.D.degree in signal and information processing from Tianjin University in 2003.Now he is a professor and Ph.D.supervisor at Tianjin University.His research interests include intelligence information processing,filter design,digital system and micro-system design,etc.

李鏘（1974—），男，山西太原人，2003年于天津大學(xué)獲得博士學(xué)位，現(xiàn)為天津大學(xué)教授、博士生導(dǎo)師，主要研究領(lǐng)域?yàn)橹悄苄畔⑻幚?，濾波器設(shè)計(jì)，數(shù)字系統(tǒng)，微系統(tǒng)設(shè)計(jì)等。

Grading Learning Based on Improved Particle Swarm Optimization Blind Source Separation*

WANG Zhe1,ZHANG Liyi1,2,CHEN Lei1,2,3+,LI Qiang1
1.School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China
2.School of Information Engineering,Tianjin University of Commerce,Tianjin 300134,China
3.School of Precision Instrument and Opto-electronics Engineering,Tianjin University,Tianjin 300072,China
+Corresponding author:E-mail:chenleitjcu@126.com

The purpose of blind source separation(BSS)is to recover the unknown source signals from their linear mixtures without the knowledge of the mixing coefficients.For real-time BSS,the learning rate has an important influence on the algorithm performance.In order to select an appropriate learning rate,this paper proposes an efficient algorithm.According to the dependence between separating signals in current timeslot,the whole signal separation process is divided into two stages:the rapid separation stage and the precise separation stage.A particle swarm optimization method is applied to the rapid separation stage to determine the learning rate,and the learning rate in the precise separation stage is decided by a piecewise function.Simulation experiments demonstrate that significant improvements of convergence speed and stability are achieved by the proposed algorithm when compared to fixed or other adaptivelearning rate methods.

blind source separation(BSS);learning rate;grading learning;particle swarm optimization

10.3778/j.issn.1673-9418.1604055

A

：TN911.7

*The National Natural Science Foundation of China under Grant No.61401307(國(guó)家自然科學(xué)基金);the Postdoctoral Science Foundation of China under Grant No.2014M561184(國(guó)家博士后科學(xué)基金);the Application Infrastructure and Cutting-Edge Technology Research Projects of Tianjin under Grant No.15JCYBJC17100(天津市應(yīng)用基礎(chǔ)與尖端技術(shù)研究項(xiàng)目).

Received 2016-04,Accepted 2016-06.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-06-23,http://www.cnki.net/kcms/detail/11.5602.TP.20160623.1139.002.html

WANG Zhe,ZHANG Liyi,CHEN Lei,et al.Grading learning based on improved particle swarm optimization blind source separation.Journal of Frontiers of Computer Science and Technology,2017,11(3)：365-372.