代蕩蕩，王先培*，趙 宇，田 猛，龍嘉川，朱國(guó)威，張龍飛

1. 武漢大學(xué)電子信息學(xué)院，湖北 武漢 430072

2. 廣西電力科學(xué)研究院，廣西 南寧 530015

一種改進(jìn)的奇異值降噪階次選取方法用于紫外光譜信號(hào)去噪的研究

代蕩蕩1，王先培1*，趙 宇1，田 猛1，龍嘉川1，朱國(guó)威1，張龍飛2

1. 武漢大學(xué)電子信息學(xué)院，湖北 武漢 430072

2. 廣西電力科學(xué)研究院，廣西 南寧 530015

光譜去噪是光譜檢測(cè)的重要環(huán)節(jié)。針對(duì)光譜信號(hào)易受光譜儀熱噪聲、現(xiàn)場(chǎng)機(jī)械振動(dòng)以及隨機(jī)噪聲等因素影響，而在線監(jiān)測(cè)系統(tǒng)要求減少人為參數(shù)選擇對(duì)去噪效果的影響，提出利用奇異值分解(SVD)理論對(duì)光譜信號(hào)去噪。提出一種改進(jìn)的降噪階次選取方法： 指定奇異值差分譜最大峰值點(diǎn)θ1為所選階次下界； 利用奇異值、奇異值差分譜綜合信息選取階次上界θ2； 將區(qū)間θ1～θ2定義為模糊區(qū)域，通過(guò)模糊C均值聚類(lèi)求取隸屬度，賦予模糊區(qū)域內(nèi)奇異值相應(yīng)的權(quán)重系數(shù)。用所提方法對(duì)不同信噪比下SO2紫外光譜信號(hào)去噪，將信噪比、均方根誤差、波形相似系數(shù)、平滑度指標(biāo)用于去噪效果的評(píng)價(jià)。去噪結(jié)果表明： 所提方法完全基于數(shù)據(jù)驅(qū)動(dòng)，具有較好的去噪效果，能夠真實(shí)的恢復(fù)原始信號(hào)。

光譜去噪； 奇異值分解； 模糊C均值聚類(lèi)

引 言

光譜技術(shù)常用于痕量氣體的定性、定量檢測(cè)[1]。然而在現(xiàn)場(chǎng)運(yùn)用中，光譜信號(hào)不可避免的被某些噪聲所干擾。為提高定性、定量精度，光譜降噪顯得彌足關(guān)鍵。工程實(shí)踐中已有許多光譜信號(hào)降噪技術(shù)出現(xiàn)，如Savitzky-Golay濾波，小波變換(wavelet transform，WT)、小波包變換(wavelet packet transform，WPT)、經(jīng)驗(yàn)?zāi)B(tài)分解(empirical mode decomposition，EMD)等時(shí)-頻分析方法。Savitzky-Golay濾波是一種方便快捷的濾波方法，對(duì)高頻噪聲具有較好的抑制效果，但仍需人工選擇濾波器參數(shù)(窗口寬度、擬合次數(shù))，否則可能造成失真、影響定量精度[2]。小波變換和小波包變換的去噪性能則與最佳小波基、最佳分解層數(shù)以及小波閾值的選取密切相關(guān)[3]。經(jīng)驗(yàn)?zāi)B(tài)分解在模態(tài)函數(shù)篩選、端點(diǎn)效應(yīng)和冗余模態(tài)處理等問(wèn)題上還有待深入研究[4]。

作為一種自適應(yīng)的，數(shù)據(jù)驅(qū)動(dòng)式信號(hào)處理技術(shù)，奇異值分解理論(singular value decomposition, SVD)對(duì)信號(hào)的識(shí)別和描述采用時(shí)域性的頻域分析方式，具有強(qiáng)化周期信號(hào)的能力。它無(wú)需對(duì)信號(hào)和噪聲特性做出先驗(yàn)假設(shè)，對(duì)非線性、非平穩(wěn)信號(hào)也具有較好的去噪效果，已成功運(yùn)用于振動(dòng)信號(hào)的降噪處理[5-6]。筆者曾利用紫外光譜檢測(cè)系統(tǒng)監(jiān)測(cè)氣體絕緣組合電器設(shè)備(GIS)內(nèi)SO2氣體含量，達(dá)到了對(duì)設(shè)備局部放電故障的預(yù)警，相關(guān)研究見(jiàn)文獻(xiàn)[7]。針對(duì)紫外光譜信號(hào)會(huì)受光譜儀熱噪聲、現(xiàn)場(chǎng)機(jī)械振動(dòng)以及隨機(jī)噪聲等因素影響，提出利用Savitzky-Golay濾波對(duì)光譜信號(hào)降噪，取得了不錯(cuò)的去噪效果。然而，文獻(xiàn)[7]所述紫外光譜檢測(cè)系統(tǒng)將用于GIS局部放電故障的在線監(jiān)測(cè)，期望減少人工參數(shù)選擇對(duì)信號(hào)去噪效果的影響，因此，一種自適應(yīng)的、數(shù)據(jù)驅(qū)動(dòng)式去噪方法更符合要求。據(jù)此，本文提出將SVD運(yùn)用于紫外光譜信號(hào)的去噪。

SVD降噪階次(有效奇異值)的選擇是影響去噪效果的關(guān)鍵因素，文獻(xiàn)[8]提出選取奇異值差分譜最大峰值點(diǎn)作為降噪階次，文獻(xiàn)[9]從信息熵的角度出發(fā)，提出了奇異熵的概念，文獻(xiàn)[10]則從函數(shù)的凹凸性考慮，提出了奇異值曲率譜的想法。這些階次選取方法在某些情況下都具有不錯(cuò)的去噪效果，本質(zhì)上不同的階次選擇方法均是基于信號(hào)和噪聲奇異值的差異性。階次選取的難點(diǎn)在于，低信噪比下，信號(hào)和噪聲的邊界很難區(qū)分，上述方法均嚴(yán)格地將信號(hào)和噪聲分成兩類(lèi)。本文從模糊數(shù)學(xué)的角度[11]，將階次選取分為四個(gè)步驟： 第一步，選取信號(hào)和噪聲的嚴(yán)格分界點(diǎn)，即階次的下界θ1； 第二步，選取信號(hào)和噪聲的寬松分界點(diǎn)，即階次的上界θ2； 第三步，給定θ1～θ2之間的奇異值一定的權(quán)重系數(shù)； 第四步，保留區(qū)間1～θ1之間的奇異值和加權(quán)后θ1～θ2之間的奇異值，其他奇異值置0，進(jìn)行信號(hào)重構(gòu)。

因此，在已有的研究基礎(chǔ)上，本文提出將奇異值差分譜、奇異熵增量以及奇異值曲率譜組成一個(gè)三維奇異信息，通過(guò)模糊C均值(Fuzzy C-Mean，F(xiàn)CM)聚類(lèi)[12]，并依據(jù)聚類(lèi)結(jié)果(隸屬度)給定模糊區(qū)域奇異值相應(yīng)的權(quán)重系數(shù)。

本文將首先介紹SVD去噪和FCM聚類(lèi)的一般步驟，然后將FCM聚類(lèi)用于θ1～θ2區(qū)域奇異值權(quán)重系數(shù)的分配。最后以紫外光譜信號(hào)為例，通過(guò)混入不同信噪比高斯白噪聲，用所提方法去噪。信噪比(signal to noise ratio，SNR)、均方根誤差(root mean square error，RMSE)、波形相似系數(shù)(normalied correlation coefficient，NCC)、平滑度指標(biāo)(smoothness radio，SR)將用于去噪效果的評(píng)價(jià)。

1 奇異值分解去噪

假設(shè)存在矩陣A∈Rm×n，可以找到正交矩陣U∈Rm×m和正交矩陣V∈Rn×n，使得

A=USVT

(1)

式(1)中，矩陣U稱(chēng)為左奇異矩陣，矩陣V稱(chēng)為右奇異矩陣，矩陣S是奇異值矩陣，形式如下

若原始信號(hào)為s(n)，噪聲信號(hào)為ε(n)，含噪信號(hào)為

(2)

式(2)中，n為采樣數(shù)據(jù)長(zhǎng)度。

構(gòu)造含噪信號(hào)的Hankel矩陣

其中1

(1)對(duì)含噪信號(hào)的Hankel矩陣Am×n進(jìn)行SVD處理。

(2)保留矩陣S中的有效奇異值，將其他奇異值置0，得到新的矩陣S′。

(3)利用新的矩陣S′、原始左奇異矩陣V和右奇異矩陣重構(gòu)新的Hankel矩陣A′。

(4)利用A′恢復(fù)信號(hào)。

2 模糊C均值聚類(lèi)

傳統(tǒng)的聚類(lèi)算法是一種硬閥值聚類(lèi)方法，每個(gè)樣本嚴(yán)格的屬于某一類(lèi)。實(shí)際上，很多情況下樣本并沒(méi)有嚴(yán)格的類(lèi)別區(qū)分，特別在邊界區(qū)域。模糊C均值聚類(lèi)算法是用隸屬度確定每個(gè)元素屬于某個(gè)類(lèi)別程度的一種聚類(lèi)算法。本文中，在低信噪比條件下，很難區(qū)分邊界處某奇異值是信號(hào)還是噪聲所產(chǎn)生，因此通過(guò)隸屬度給定該區(qū)域奇異值一個(gè)權(quán)重系數(shù)符合奇異值分析的物理意義。模糊C均值聚類(lèi)是一種非監(jiān)督模式的聚類(lèi)算法，需要預(yù)先確定類(lèi)別個(gè)數(shù)。很明顯，本文需要區(qū)分兩類(lèi)，即信號(hào)奇異值和噪聲奇異值。模糊C均值聚類(lèi)的一般描述如下：

假設(shè)x是一個(gè)d維向量，樣本集X={x1，x2，…，xl}，其中l(wèi)為樣本個(gè)數(shù)。xi=(xi1，xi2，…，xid)，其中i為樣本序列號(hào)，1≤i≤l，d為樣本維度。FCM算法把l個(gè)數(shù)據(jù)向量xi分為c個(gè)模糊類(lèi)，并求每類(lèi)的聚類(lèi)中心，從而使模糊目標(biāo)函數(shù)最小，模糊目標(biāo)函數(shù)為

(3)

式(3)中，uij為樣本個(gè)體xi屬于第j類(lèi)的模糊隸屬度，uij∈[0，1]；r為模糊權(quán)重指數(shù)，r∈[1，∞]，經(jīng)驗(yàn)范圍[13]為[1.5，2.5]；vj為第j類(lèi)的聚類(lèi)中心；uij和vj的計(jì)算公式為

3 FCM用于奇異值權(quán)重系數(shù)分配

舍棄較小的奇異值來(lái)逼近原Hankel矩陣Am×n是信號(hào)去噪的基礎(chǔ)。從信號(hào)和噪聲奇異值變化、變化率的差異性以及信息增益的角度考慮，將奇異值差分譜、奇異熵增量和奇異值曲率譜表示為一個(gè)三維數(shù)據(jù)，作為FCM的輸入。需要指出的是，F(xiàn)CM聚類(lèi)是一種非監(jiān)督的聚類(lèi)算法，聚類(lèi)效果與所選數(shù)據(jù)特征密切相關(guān)，所選三個(gè)特征均對(duì)SNR表現(xiàn)敏感，測(cè)試結(jié)果表明這三個(gè)特征能夠合理的對(duì)樣本數(shù)據(jù)聚類(lèi)。算法具體步驟如下：

(1) 構(gòu)造混合信號(hào)的Hankel矩陣，計(jì)算其奇異差分譜、奇異熵增量、奇異值曲率譜。

(2) 將每個(gè)奇異差分譜、奇異熵增量和奇異值曲率譜組成一個(gè)三維數(shù)據(jù)作為一個(gè)樣本數(shù)據(jù)，樣本總個(gè)數(shù)等于非零奇異值個(gè)數(shù)。

(3) 設(shè)定聚類(lèi)個(gè)數(shù)c=2，權(quán)重系數(shù)r=2。

(4) 隨機(jī)給定uij，組成隸屬度矩陣U=[uij]。

(5) 計(jì)算聚類(lèi)中心vj。

(6) 計(jì)算新的uij。

(7) 計(jì)算兩次連續(xù)迭代的隸屬度矩陣差值D=‖Us-Us-1‖，若終止D≤10-4，否則返回(5)。

4 降噪階次的寬松選取

奇異值差分譜的最大峰值點(diǎn)表明此位置前后奇異值存在最大的性質(zhì)差異[8]，但是選取該點(diǎn)作為降噪階次太過(guò)苛刻。因此，選定最大峰值點(diǎn)為降噪階次的下界θ1，提出一種寬松的階次選取方法為降噪階次的上界θ2。步驟如下：

(1)計(jì)算奇異值譜{δi}和奇異值差分譜{d(δi)}，采用前向差分。

(2)找出{d(δi)}中所有的峰值點(diǎn)，并構(gòu)建集合R。隨后，找出R中大于{d(δave)}的點(diǎn)所對(duì)應(yīng)的奇異值，并構(gòu)建閾值候選集Φ，{d(δave)}指{d(δi)}的平均值。

(3)找出奇異值譜中大于δave的點(diǎn)所對(duì)應(yīng)的奇異值，并構(gòu)建集合Ω。隨后，選取集合Ω中的最小元素δmin作為信號(hào)、噪聲的近似邊界。這里δave指δi的平均值。

(4)若δmin∈Φ，則可直接將δmin確定為最終的去噪閾值δfinal； 否則，找出集合Φ中最接近δmin的元素并將其作為δfinal。

5 去噪流程

具體去噪流程如下：

(1)指定奇異值差分譜最大峰值點(diǎn)為θ1。

(2)選取θ2。

(3)通過(guò)FCM給出θ1～θ2之間奇異值權(quán)重系數(shù)。

(4)保留1～θ1之間的奇異值和θ1～θ2之間加權(quán)后的奇異值，對(duì)其它奇異值置0，進(jìn)行信號(hào)重構(gòu)。

6 SO2紫外光譜信號(hào)去噪

選取5 μL·L-1SO2在290～310 nm波段的差分吸收譜為無(wú)噪信號(hào)，混入高斯白噪聲, 信噪比為5 dB。光譜采樣間隔為0.13 nm，信號(hào)長(zhǎng)度為151。無(wú)噪信號(hào)譜圖、加噪信號(hào)譜圖分別如圖1和圖2所示。

圖1 無(wú)噪信號(hào)譜圖

構(gòu)造該含噪信號(hào)的Hankel矩陣，矩陣大小為77行75列，進(jìn)行SVD, 奇異值和奇異值差分譜如圖3所示。

圖3中，奇異值差分譜最大峰值出現(xiàn)在第二階次。采用前2個(gè)奇異值進(jìn)行去噪，去噪結(jié)果如圖4所示。

降噪后，譜圖得到了較好的平滑，在低波段出現(xiàn)輕微的峰谷偏移，整體信號(hào)略有丟失。結(jié)果表明，SVD理論可以用于紫外光譜信號(hào)的去噪，但是在階次選取時(shí)需要慎重。

指定第2階次為降噪階次下界，根據(jù)所提階次寬松選取方法，得到階次上界為5。根據(jù)FCM聚類(lèi)得到隸屬度U，通過(guò)隸屬度U給出θ1～θ2之間奇異值權(quán)重系數(shù)。

圖2 加噪信號(hào)譜圖

圖3 5 dB信噪比含噪信號(hào)奇異值及奇異值差分譜

圖4 采用前2個(gè)奇異值重構(gòu)信號(hào)結(jié)果

上述結(jié)果可以理解為： 前2個(gè)奇異值完全由信號(hào)產(chǎn)生，第2到第5個(gè)奇異值是一個(gè)模糊區(qū)域，通過(guò)U給定這3個(gè)奇異值相應(yīng)的權(quán)重系數(shù)，權(quán)重可以理解為這3個(gè)點(diǎn)屬于信號(hào)成分的比例，加權(quán)后與前2個(gè)奇異值一起重構(gòu)信號(hào)，去噪結(jié)果如圖5所示。

圖5 采用所提方法重構(gòu)信號(hào)結(jié)果

降噪后，譜圖得到了較好的平滑，也基本保持了原信號(hào)的特征信息。相比于選擇奇異值差分譜最大峰值所在階次，本方法的去噪效果更好，這種完全依賴(lài)數(shù)據(jù)分布的階次選擇方法很好地區(qū)分了信號(hào)和噪聲奇異信息的差異。

為驗(yàn)證在其他信噪比下所提聚類(lèi)方法有效，在原信號(hào)中混入15 dB高斯白噪聲。構(gòu)建新的Hankel矩陣，并進(jìn)行SVD，奇異值和奇異值差分譜如圖6所示。

圖6 15 dB信噪比含噪信號(hào)奇異值及奇異值差分譜

可以看到奇異值差分譜最大峰值點(diǎn)仍為第2階次。選取階次上界，仍為第5階次。FCM聚類(lèi)給定權(quán)重系數(shù)。去噪結(jié)果如圖7所示。

分別計(jì)算兩次去噪后，SNR，RMSE，NCC和SR。這里，SNR大小與去噪效果成正比，RMSE大小與去噪效果成反比。NCC反映去噪光譜與原始標(biāo)準(zhǔn)光譜的波形差異, 取值范圍為[-1, 1], -1表示去噪前后波形完全反向，0表示兩波形正交，1表示完全相同。SR的值越接近1, 去噪光譜平滑度越接近標(biāo)準(zhǔn)光譜的平滑度。結(jié)果如表1所示。

圖7 采用所提方法重構(gòu)信號(hào)結(jié)果

表1 去噪結(jié)果 Tabel 1 Results after denoising

去噪前SNR/dB去噪后SNR/dBRMSENCCSR512 72543 0967×10-50 97340 99851515 95702 134×10-50 98721 0325

結(jié)果顯示，無(wú)論在低信噪比還是高信噪比下，本文所提方法都有較好的去噪效果，能夠準(zhǔn)確的恢復(fù)原始光譜信號(hào)。特別指出的是，波形相似系數(shù)接近1對(duì)于定性分析具有重要意義。

7 結(jié) 論

SO2是GIS局部放電下穩(wěn)定的特征衍生物[14]，通過(guò)光譜檢測(cè)系統(tǒng)監(jiān)測(cè)其含量意義重大。本文引入奇異值分解理論對(duì)紫外光譜信號(hào)去噪，提出了一種改進(jìn)的去噪階次選取方法。指定奇異值差分譜最大峰值點(diǎn)為所選階次下界，利用奇異值、奇異值差分譜綜合信息選取階次上界，定義上界下界之間為模糊區(qū)域。將奇異值差分譜、奇異熵增量以及奇異值曲率譜組成一個(gè)三維奇異信息，利用FCM聚類(lèi)給定模糊區(qū)域奇異值權(quán)重系數(shù)，對(duì)模糊區(qū)域奇異值加權(quán)處理。仿真結(jié)果表明，本方法具有較好的去噪效果，特別是在低信噪比下，能夠較好的恢復(fù)原始光譜波形。與傳統(tǒng)的去噪方法相比，本方法具有較好的去噪效果[7]，且完全基于數(shù)據(jù)驅(qū)動(dòng)，不需要人工選擇參數(shù)，對(duì)于要求減少人工干預(yù)的在線測(cè)量系統(tǒng)具有重要意義。需要指出是，此處所給權(quán)重系數(shù)，完全依賴(lài)數(shù)據(jù)分布特性，是通過(guò)機(jī)器學(xué)習(xí)的方式給出。因此在特征選取時(shí)需要慎重。

[1] Xu C, Chen H, Yan Y, et al. Fuel, 2015，151(7): 73.

[2] Czarnecki M A. Applied Spectroscopy, 2015, 69(1): 67.

[3] LIU Zhi-gang, WANG Xiao-ru, QIAN Qing-quan(劉志剛, 王曉茹，錢(qián)清泉). Automation of Electric Power Systems(電力系統(tǒng)自動(dòng)化), 2003, 27(6): 73.

[4] DAI Wu-jiao, DING Xiao-li, ZHU Jian-jun, et al(戴吾蛟, 丁曉利，朱建軍，等). Acta Geodaetica et Cartographica Sinica(測(cè)繪學(xué)報(bào)), 2006, (4): 321.

[5] Elsner J B, Tsonic A A. Springer Berlin, 1996, 1283(4): 932.

[6] Oropeza V, Sacchi M. Geophysics, 2011, 76(3): 25.

[7] DAI Dang-dang, WANG Xian-pei, HU Hong-hong, et al(代蕩蕩, 王先培，胡紅紅，等). Spectroscopy and Spectral Analysis(光譜學(xué)與光譜分析), 2014, 34(12): 3312.

[8] ZHAO Xue-zhi, YE Bang-yan, CHEN Tong-jian(趙學(xué)智, 葉邦彥, 陳統(tǒng)堅(jiān)). Journal of Mechnical Engineering(機(jī)械工程學(xué)報(bào)), 2010, 46(1): 100.

[9] Yang W，Tse P W. NDT & E International, 2003, 36(6): 419.

[10] ZHAO Xue-zhi, YE Bang-yan, CHEN Tong-jian(趙學(xué)智, 葉邦彥, 陳統(tǒng)堅(jiān)). Journal of South China University of Technology(華南理工大學(xué)學(xué)報(bào)·自然科學(xué)版), 2010，38(6): 11.

[11] FU Yang, JIANG Yu-rong, CUI Chun-hong, et al(符 楊，江玉蓉，崔春洪，等). High Voltage Engineering(高電壓技術(shù)), 2008, 34(5): 1040.

[12] Tang J, Liu F, Meng Q H, et al. IEEE Transactions on Dielectrics and Electrical Insulation, 2012，12(1): 37.

[13] GAO Xin-bo, PEI Ji-hong, XIE Wei-xin(高新波, 裴繼紅，謝維信). Acta Electronic Sinica(電子學(xué)報(bào)), 2000, 28(4): 80.

[14] Tang J, Tang Ju, Zhang Xiaoxing, et al. IEEE Transactions on Dielectrics and Electrical Insulation, 2012，19(1): 29.

(Received Apr. 27, 2015; accepted Aug. 8, 2015)

*Corresponding author

Research on Denoising Ultraviolet Spectrum Signal with An Improved Effective Singular Value Selection Method

DAI Dang-dang1，WANG Xian-pei1*，ZHAO Yu1，TIAN Meng1，LONG Jia-chuan1，ZHU Guo-wei1，ZHANG Long-fei2

1. School of Electronic Information, Wuhan University, Wuhan 430072, China

2. Guangxi Grid Electric Power Research Institute, Nanning 530015, China

Spectrum denoising is an important part of spectrum detection. As we know, spectral signal is susceptible to thermal noise, mechanical vibration on site and random noise, etc. However, online monitoring systems require to reduce the impact of parameter selection caused by human operation on denoising, so a method based on singular value decomposition is proposed to denoise spectrum signal. An improved effective singular value selection method is also proposed. First, the author specify the maximum peak of the difference spectrum of singular value for the lower bound which namedθ1, using the integrated information of singular value and its difference spectrum to select the upper bound, which is calledθ2. The intervalθ1～θ2is defined as a fuzzy area. Then, the membership is obtained with Fuzzy C-means clusting and corresponding weight coefficients to the singular values in the fuzzy area are given. Finally, the proposed method is used to denoise UV spectrum signal with different signal to noise ratio. The signal to noise ratio, root mean square error, normalied correlation coefficient and smoothness radio are used to evaluate the result of denoising. The result shows that: based on data-driven, the proposed method has a good denoising effect, which can effectively restore the original signal.

Spectra denoising; Singular value decomposition; Fuzzy C-means clusting

2015-04-27，

2015-08-08

國(guó)家自然科學(xué)基金項(xiàng)目(50677047)，中國(guó)南方電網(wǎng)科技項(xiàng)目(K-GX2011-019)和湖北省科學(xué)條件專(zhuān)項(xiàng)基金項(xiàng)目(2013BEC010)資助

代蕩蕩，1991年生，武漢大學(xué)電子信息學(xué)院博士研究生 e-mail: daidangdang@whu.edu.cn *通訊聯(lián)系人 e-mail: xpwang@whu.edu.cn

O657.3

A

10.3964/j.issn.1000-0593(2016)07-2139-05