趙立權(quán)，劉珊珊

(東北電力大學 信息工程學院，吉林 吉林 132012)

1 引言

盲源分離是指在信源信號以及傳輸信道參數(shù)均未知的情況下，僅通過對觀測信號進行處理實現(xiàn)信源信號的估計。由于其打破了傳統(tǒng)信號處理的特點，因此成為當今信號處理領(lǐng)域研究的熱點之一，并且在通信信號、語音識別、圖像處理、醫(yī)學信號處理、故障診斷等方面得到了廣泛的應(yīng)用［1－3］。盲源分離技術(shù)在實際應(yīng)用中經(jīng)常會出現(xiàn)信源信號個數(shù)大于傳感器個數(shù)的情況，即欠定的情況。針對該問題，2001年學者們提出了欠定條件下的盲源分離，即欠定盲源分離［4］。

欠定盲源分離是指在信源信號和信道參數(shù)未知且觀測信號個數(shù)小于信源信號個數(shù)的條件下，從觀測信號中恢復(fù)出信源信號的信號處理方法。欠定盲源分離過程主要分兩步:第一步估計出混合矩陣，第二步根據(jù)估計出的混合矩陣采用線性規(guī)劃等方法估計出信源信號。目前，欠定盲源分離的研究主要集中在對混合矩陣估計方法的研究和對混合矩陣估計后信源信號恢復(fù)方法的研究。本文主要研究混合矩陣的估計方法。

目前，混合矩陣估計的估計方法主要有基于態(tài)勢函數(shù)方法［4－5］、K－均值聚類算法［6－7］、基于張量分解方法［8］、基于支持向量機的方法［9］、基于模糊C均值聚類方法［10］、基于層次聚類方法［11］等。基于態(tài)勢函數(shù)的方法僅適用于觀測信號個數(shù)為2 的欠定系統(tǒng)，適用范圍受限;基于張量分解的方法系統(tǒng)較為復(fù)雜，計算量較大;基于聚類分析的混合矩陣估計方法的性能受聚類中心的選擇影響較大;基于支持向量機的方法克服了上述問題，但是支持向量機模型較為復(fù)雜，對抗奇異點性能較差。加權(quán)最小二乘支持向量機(Weighted Least Square Support Vector Machine，WLS－SVM)［12］相對支持向量機性能更好，因此，為了進一步提高基于支持向量機的欠定盲源分離方法［9］的性能，本文提出了基于加權(quán)最小二乘支持向量機的欠定盲源混合矩陣估計方法。

2 欠定盲源分離

欠定盲源分離數(shù)學模型可以描述為［4］

式中，s(t)=［s1(t)，s2(t)，…，sn(t)］T表示源信號在時刻t 的向量;x(t)=［x1(t)，x2(t)，…，xm(t)］T表示t 時刻的m 維觀測向量;r(t)為噪聲信號;A=(aij)為m×n 的混合矩陣(m ＜n)。

假設(shè)觀測到的語音信號個數(shù)為2，信源信號稀疏，且忽略噪聲的影響，則二元欠定盲源分離模型可以表示為

式中，x(t)為觀測信號，a(t)為混合矩陣，si(t)為第i 個信源信號。由于假設(shè)si(t)具有一定的稀疏性，且觀測信號經(jīng)過稀疏化，因此混合矩陣在t 時刻僅存在混合矩陣其中的一列。在極坐標中，t 時刻觀測信號的夾角(方向角度)為

根據(jù)式(3)得到的所有時刻點的方向角度進行等距離分類，分類的數(shù)目盡量大于觀測信號在極坐標圖中信號角度較集中的(某方向上的密集點數(shù)約為總點數(shù)的1/4)方向個數(shù)。將某個區(qū)間包含的信號點數(shù)與總信號點數(shù)的比值設(shè)為置信度，即若區(qū)間包含的樣本數(shù)為Mi，此區(qū)間的置信度可表示為

式中，T 代表總的采樣點數(shù)，Di為對應(yīng)區(qū)間的置信度。根據(jù)置信度的不同確定源信號數(shù)目，從而確定混合矩陣的列數(shù)。

3 加權(quán)最小二乘支持向量機

加權(quán)最小二乘支持向量機是在LS－SVM 的基礎(chǔ)上給誤差變量加一權(quán)值，從而得到更優(yōu)的分類函數(shù)。假設(shè)給定的輸入空間的訓練樣本為

式中，xi為樣本點在某空間的坐標，yi為樣本點所屬的類別。對此類樣本進行分類，則WLS－SVM 的函數(shù)估計問題可表示為［12］

約束條件為

式中，C 為正則化參數(shù)，ζi為樣本的誤差變化量，vi為誤差的加權(quán)系數(shù)，b 為最近點距分類平面的距離。將模型變換后得到的拉格朗日函數(shù)為

對式(8)中的參數(shù)求偏導(dǎo)并消除w 和ζ。得到新的KKT(Karush－Kuhn－Tucker)系統(tǒng)函數(shù)為

權(quán)值vi的大小通過式(11)確定:

式中，K (x，xi)采用高斯徑向基核函數(shù)。

4 改進的欠定盲源分離

為了提高基于支持向量機的欠定盲源分離算法的性能，本文采用WLS－SVM 對欠定盲源分離中的混合信號進行分類，提高算法的精度。由式(9)，根據(jù)加權(quán)最小二乘算法確定拉格朗日因子及平面所有點距平面的最短距離b。加權(quán)因子的大小是根據(jù)對應(yīng)樣本的誤差值確定的，誤差越大對應(yīng)的加權(quán)因子就越小，為此本文對利用WLS－SVM 方法得到的加權(quán)系數(shù)進行逐一更新。首先根據(jù)加權(quán)系數(shù)的排列順序，從大到小每次將一個樣本點作為測試樣本，對其余的樣本點按式(13)進行計算，根據(jù)計算結(jié)果更新測試樣本的誤差值，再根據(jù)式(11)計算相應(yīng)的權(quán)值，從而實現(xiàn)誤差變量及加權(quán)系數(shù)的更新。

設(shè)定正則化參數(shù)和所有點的加權(quán)系數(shù)。將樣本xj(j=1，2，…，n)作為檢驗樣本，剩下的 (n－1)個樣本作為訓練樣本，此時的求解方程變?yōu)?/p>

矩陣g 和I 也會去掉相應(yīng)的第j 行變?yōu)間*和I*。此時第j 個樣本的殘差值為=j*·α*+b*，j*為矩陣的第j 行向量。用代替原來的yj，再采用式(11)對相應(yīng)的加權(quán)系數(shù)進行更新，之后進行下一個樣本的更新計算。

改進的欠定盲源分離算法具體實現(xiàn)步驟如下:

(1)首先將得到的觀測信號通過窗函數(shù)及快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)進行稀疏化處理，使其具有明顯的稀疏性，再對樣值進行標準化處理，使其均值為零，方差為1，記為 x (t)，t=1，2，…，T;

(2)本文根據(jù)觀測信號采樣點在極坐標圖中密集度的不同，將所有采樣點進行初步分類，通過至少T 次試驗確定包含點數(shù)最多的前m 個(一般Di≥0.2)區(qū)間為相對最優(yōu)置信區(qū)間，此時信源的數(shù)目也可以確定為m。對于剩下的非最優(yōu)置信區(qū)間，根據(jù)置信度的值將樣本點很少且其角度與選取的最優(yōu)置信區(qū)間的角度相差很大的區(qū)間去掉，既可以減小計算量，又可以減小誤差。將剩下點定義為x1(t)，t=1，2，…，T;

(3)將最優(yōu)置信區(qū)間的樣本點作為訓練樣本，其余的為測試樣本，采用最小二乘算法得到樣本誤值，運用WLS－SVM 得到相應(yīng)樣本的加權(quán)因子;

(4)采用公式(13)進行權(quán)值的更新，確定最優(yōu)分類平面，從而進行測試樣本的分類;假設(shè)分類平面的法向量為Wi，最近點距最優(yōu)平面的距離為b，將x1(t)中的所有點進行分類，可依據(jù)式(14)劃分:

再以同樣的方法將上述中的(m－1)類取出一類與剩余的所有類進行劃分，得到平面的法向量Wj，再將上次分類中屬于第一類的信號點進行分類，多次運用支持向量機依次實現(xiàn)所有信號點的進一步分類;

(5)為了更精確地估計出混合矩陣，再將每類樣本(Pi)按角度分為若干類，并計算每類新樣本的置信度(Pij)及每個新樣本的均值 (Peij)為一列向量，將兩者進行加權(quán)，即可得到對應(yīng)的混合矩陣的某一列向量，從而估計出整個混合矩陣。

5 仿真實驗

為驗證上述方法的有效性，本文采用3 路具有一定稀疏性的語音信號作為信源信號，采用MATLAB 工具通過對混合信號分類實現(xiàn)混合矩陣的估計。設(shè)其混合矩陣為

圖1 是信源信號，圖2 是經(jīng)過混合矩陣得到的混合信號。采用傅里葉變換方法將語音信號變換到頻域，用加窗的方法，即在頻域波形中用以一定時間長度為寬度的窗函數(shù)進行平移，去掉頻域中重疊的信號部分，獲得頻域的離散圖。為了更精確地對不同時刻的信號進行區(qū)分，再將離散圖中信號點頻譜很集中的部分去掉，保留頻譜變化較大的信號點，從而實現(xiàn)信號的稀疏化。

圖1 信源信號Fig.1 Source signals

圖2 經(jīng)過混合矩陣得到的混合信號Fig.2 Mixed signals by mixed matrix

為說明本文算法的有效性，在相同條件下本文算法得到的混合矩陣為

采用K－均值方法［6］得到的混合矩陣為

采用SVM 方法［9］得到的混合矩陣為

對不同算法估計得到的矩陣，通過對比原矩陣與估計矩陣的相應(yīng)列的角度差值來衡量估計矩陣的偏差，相應(yīng)列的夾角表示為

式中，a 和b 為同維數(shù)的列向量。夾角差越小意味著估計矩陣與原矩陣對應(yīng)列之間的誤差越小，兩者越接近，當兩者完全相等的時候，夾角差為0，所以夾角差越小誤差越小。

表1 中的每列是相應(yīng)算法估計的矩陣與原矩陣每列的角度偏差值，該差值是算法運行100 次得到的平均值。從表1 中可以看出本文算法的角度誤差更小，證明本文算法具有更小的誤差。

表1 估計矩陣與原矩陣對應(yīng)列角度偏差的對比(圖1 信源信號)Table 1 Angular difference between estimated and original matrix(source signals in Fig.1)

為了進一步驗證本文提出的算法對真實語音信號的有效性，本實驗采用TIMIT 語音數(shù)據(jù)庫中的語音信號作為信源信號(圖3)，采樣速率為8 kHz，圖4為混合信號，圖5 為采用本文方法估計出混合矩陣后，采用最短距離方法恢復(fù)出來的信號。通過對圖3 信源信號和圖5 分離信號的數(shù)據(jù)的讀取，可以聽出分離信號的語音和信源信號的語音是一致的，分別是Her wardrobe consists…、Elderly people are…、Put the butcher…、Pizzerias are convenient，而且兩個圖的波形也基本一樣，證明了算法的有效性。

圖3 信源信號(TIMIT 語音數(shù)據(jù)庫中的語音信號)Fig.3 Source signals from TIMIT voice database

圖4 混合信號Fig.4 Mixed signals

圖5 分離信號Fig.5 Separated signals

表2 中的每列是相應(yīng)算法估計的矩陣與原矩陣每列的角度偏差值，該差值是算法運行100 次得到的平均值。從表2 中可以看出本文算法的角度誤差更小，證明本文算法具有更小的誤差。

表2 估計矩陣與原矩陣對應(yīng)列角度偏差的對比(圖3 信源信號)Table 2 Angular difference between estimated and original matrix(source signals in Fig.3)

6 結(jié)束語

本文針對欠定盲源分離中混合矩陣的估計問題，提出利用信號角度偏差進行基本分類，再以加權(quán)最小二乘支持向量機法為基礎(chǔ)，根據(jù)誤差值的變化逐步的對加權(quán)系數(shù)進行更新，從而獲得最優(yōu)的分類平面。通過恢復(fù)矩陣與原矩陣的角度偏差對比證明本文算法提高了混合矩陣估計準確度。本文算法的平均誤差是基于K－均值方法誤差的0.2 倍左右，是基于SVM 算法平均誤差的0.5 倍左右。下一步將引入蟻群優(yōu)化算法對支持向量機的參數(shù)進行參數(shù)優(yōu)化，進一步提高分類精度。

［1］NAIK G R，KUMAR D K.An Overview of Independent Component Analysis and Its Applications［J］.Informatica，2011，35(1):63－81.

［2］董江山，李成范，趙俊娟，等.基于變分貝葉斯ICA 的遙感圖像混合像元分析［J］.電訊技術(shù)，2013，53(10):1274－1277.DONG Jiangshan，LI Chengfan，ZHAO Junjuan，et al.Mixed Pixel Analysis of Remote Sensing Image Based on Variational Bayesian ICA Method［J］.Telecommunication Engineering，2013，53(10):1274－1277.(in Chinese)

［3］穆昌，姚俊良.一種改進的基于多用戶檢測的獨立分量分析算法［J］.電訊技術(shù)，2014，54(6):791－795.MU Chang，YAO Junliang.An Improved Independent Component Analysis Algorithm Based on Multiuser Detection［J］.Telecommunication Engineering，2014，54(6):791－795.(in Chinese)

［4］BOFILL P，ZIBU L M.Underdetermined blind source separation using sparse representations［J］.Signal Processing，2001，81(11):2353－2362.

［5］李麗娜，曾慶勛，甘曉曄，等.基于態(tài)勢函數(shù)與壓縮感知的欠定盲源分離［J］.計算機應(yīng)用，2014，34(3):658－662.LI Lina，ZENG Qingxun，GAN Xiaoye，et al.Under－determined blind source separation based on potential function and compressive sensing［J］.Journal of Computer Application，2014，34(3):658－662.(in Chinese)

［6］LI Y Q，CICHOCKI A，AMARI S.Analysis of sparse representation and blind source separation［J］.Neural Computation，2004，16(6):1193－1234.

［7］畢曉君，宮汝江.基于混合聚類和網(wǎng)格密度的欠定盲矩陣估計［J］.系統(tǒng)工程與電子技術(shù)，2012，34(3):614－618.BI Xiaojun，GONG Rujiang.Undetermined blind mixing matrix estimation algorithm based on mixing clustering and mesh density［J］.System Engineering and Electronics，2012，34(3):614－618.(in Chinese)

［8］張延良，樓順天，張偉濤.欠定盲源分離混合矩陣估計的張量分解方法［J］.系統(tǒng)工程與電子技術(shù)，2011，33(8):1073－1076.ZHANG Yanliang，LOU Shuntian，ZHANG Weitao.Estimation of undetermined mixture matrix in blind source separation based on tensor decomposition［J］.System Engineering and Electronics，2011，33(8):1073－1076.(in Chinese)

［9］李榮華，楊祖元，趙敏，等.基于支持向量機的欠定盲源分離［J］.電子與信息學報，2009，31(2):320－322.LI Ronghua，YANG Zuyuan，ZHAO Min，et al.SVM based Undetermined blind source separation［J］.Journal of Electronics ＆ Information Technology，2009，31(2):320－322.(in Chinese)

［10］ALSHABRAWY O S，AWAD W，HASSANIEN A E.Underdetermined blind source separation based on fuzzy C－ means and semi－ nonnegative matrix factorization［C］//Proceedings of 2012 Federated Conference on Computer Science and Information Systems.Worclaw，Poland:IEEE，2012:659－700.

［11］MOURAD N，REILLY J.Modified hierarchical clustering for sparse component analysis［C］//Proceedings of ICASSP2010.Dallas，TX:IEEE，2010:2674－2677.

［12］WEN W，HAO Z.A Heuristic weight－stetting strategy and iteratively updating algorithm for weighted least squares support vector regression［J］.Neurocomputing，2008，71(16－18):3096－3013.