周思寒,胡新宇,湯 斌,3*,趙明富,李奉笑,汪仁杰,肖棋森,肖 渝
1. 重慶理工大學(xué)現(xiàn)代光電檢測(cè)技術(shù)與儀器重點(diǎn)實(shí)驗(yàn)室,重慶 400054 2. 重慶理工大學(xué)光纖傳感與光電檢測(cè)重慶市重點(diǎn)實(shí)驗(yàn)室,重慶 400054 3. 重慶大學(xué)光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室,重慶 400044
傳統(tǒng)的化學(xué)方法水質(zhì)檢測(cè)精度高,但檢測(cè)周期較長(zhǎng)、需專業(yè)人員操作、所使用化學(xué)試劑容易產(chǎn)生二次污染[1-2]。近年來(lái),紫外-可見光譜法廣泛應(yīng)用于水質(zhì)檢測(cè)中,其具有快速、無(wú)二次污染、指紋檢測(cè)、可污染溯源等優(yōu)點(diǎn),已成為水質(zhì)檢測(cè)領(lǐng)域的研究熱點(diǎn)[2]。在紫外-可見光譜法水質(zhì)檢測(cè)系統(tǒng)中,為了提高整個(gè)檢測(cè)系統(tǒng)的精度及穩(wěn)定性,對(duì)數(shù)據(jù)的光譜探測(cè)單元提出更高要求。不同儀器生產(chǎn)廠家制作工藝不同,同一廠家產(chǎn)品批次不同,以及檢測(cè)設(shè)備老化程度不同等影響因素,對(duì)同一樣本檢測(cè)結(jié)果會(huì)出現(xiàn)差異。在一臺(tái)儀器(稱源機(jī),Master)建立的模型,將無(wú)法適用于另一臺(tái)儀器(稱目標(biāo)機(jī),Slave)。引起該模型“失效”的原因主要是樣本與各儀器響應(yīng)函數(shù)不同所引起的量測(cè)信號(hào)不一致。因此,實(shí)際監(jiān)測(cè)環(huán)境需針對(duì)不同監(jiān)測(cè)點(diǎn)、不同光譜儀所測(cè)得的紫外-可見水質(zhì)光譜數(shù)據(jù)分別建模,會(huì)導(dǎo)致效率低下,模型維護(hù)成本增加,而模型傳遞能夠有效解決上述問題。
國(guó)內(nèi)外學(xué)者對(duì)拉曼光譜、高光譜、近紅外光譜中的模型傳遞問題有著廣泛深入的研究[3]。如結(jié)合標(biāo)準(zhǔn)正態(tài)變換,利用分段直接標(biāo)準(zhǔn)化實(shí)現(xiàn)拉曼光譜模型傳遞;有研究[4]實(shí)現(xiàn)被測(cè)物的拉曼光譜的預(yù)測(cè)模型在同類物種之間傳遞。陳奕云等[5]運(yùn)用直接標(biāo)準(zhǔn)化對(duì)濕土的高光譜進(jìn)行校正;翁海勇等[6]利用直接標(biāo)準(zhǔn)化算法進(jìn)行圖像校正,以此研究柑橘潰瘍病高光譜模型普適性差、預(yù)測(cè)精度低的問題。張曉羽等[7]提出基于穩(wěn)定競(jìng)爭(zhēng)自適應(yīng)重加權(quán)采樣的無(wú)標(biāo)模型傳遞方法,提高谷物脂肪含量與蛋白質(zhì)含量的近紅外光譜預(yù)測(cè)精度;徐惠榮等[8]采用直接標(biāo)準(zhǔn)化算法,基于平均光譜差值進(jìn)行模型轉(zhuǎn)換,降低了皇冠梨糖度的預(yù)測(cè)均方差根誤差;有報(bào)道[9]采用FIR算法實(shí)現(xiàn)土壤的近紅外模型在不同測(cè)試條件下的傳遞;Qin等[10]研究了煙葉總糖的均相粉末模型轉(zhuǎn)移和混合模型方法;有報(bào)道提出SSCW(screening stable and consistent wavelength)波長(zhǎng)優(yōu)化方法,篩選出對(duì)儀器而言光譜信號(hào)一致性好且穩(wěn)定的波長(zhǎng),以實(shí)現(xiàn)近紅外光譜模型的無(wú)標(biāo)樣傳遞;賈一飛等[11]提出斜率截距校正結(jié)合正交信號(hào)校正,實(shí)現(xiàn)近紅外定量模型傳遞。上述方法能夠較好地實(shí)現(xiàn)拉曼光譜、高光譜、近紅外光譜的模型傳遞,并提高了對(duì)應(yīng)的分析精度。
解決模型傳遞的有效方法是將儀器或數(shù)據(jù)標(biāo)準(zhǔn)化。針對(duì)現(xiàn)有的光譜標(biāo)準(zhǔn)化方法中,鮮有對(duì)紫外-可見吸收光譜的應(yīng)用研究,且在近紅外光譜標(biāo)準(zhǔn)化中,未考慮實(shí)驗(yàn)過程中產(chǎn)生的噪聲對(duì)特征峰偏移的影響,以及不同型號(hào)的儀器對(duì)相同樣本數(shù)據(jù)測(cè)得的量程制定范圍的不同。本工作對(duì)水質(zhì)檢測(cè)儀器的標(biāo)準(zhǔn)化工作開展研究,采用基于EWMA-PCA的歸一化算法處理水質(zhì)光譜數(shù)據(jù),對(duì)提高模型傳遞的利用率,提高水質(zhì)檢測(cè)精度,以及水質(zhì)檢測(cè)儀器的標(biāo)準(zhǔn)化工作具有十分重要的意義。
實(shí)驗(yàn)采用三種典型的應(yīng)用于水質(zhì)光譜檢測(cè)的光譜儀進(jìn)行樣品的檢測(cè),分別為:濱松C10082CAH光譜儀,海洋Maya2000Pro光譜儀以及奧譜天成ATP2000光譜儀,其中濱松C10082CAH光譜儀,測(cè)量波段200~800 nm,共測(cè)量2 048個(gè)點(diǎn);海洋Maya2000Pro光譜儀,測(cè)量波段200~1 100 nm,共測(cè)量2 068個(gè)點(diǎn);奧譜天成ATP2000光譜儀,測(cè)量波段200~1 100 nm,共測(cè)量2 048個(gè)點(diǎn)水質(zhì)檢測(cè)系統(tǒng)如圖1所示。為了驗(yàn)證算法的有效性,實(shí)驗(yàn)除光譜儀不同外,其余實(shí)驗(yàn)環(huán)境及試驗(yàn)設(shè)備均相同:采用相同的光源(型號(hào)為Ocean optics DH-2000-BAL),設(shè)計(jì)相同的光路(光學(xué)支架型號(hào)為Ocean optics ACH-CUV-VA R),光程為9.5 cm,采用海洋抗紫外光纖(型號(hào)為Ocean optics lnc S/N OOS-004354-05)。實(shí)驗(yàn)所用8組樣本溶液,均為用化學(xué)法配備的不同濃度的鄰苯二甲酸氫鉀溶液,并以其作為標(biāo)準(zhǔn)濃度的化學(xué)耗氧量(COD)溶液以供實(shí)驗(yàn)測(cè)量使用,其濃度分別為20,40,60,120,160,200,400和800 mg·L-1。
每個(gè)樣本經(jīng)光譜儀采集軟件多次測(cè)量后取平均。圖2(a)為濱松C10082CAH光譜儀所測(cè)光譜圖,在20~800 mg·L-1范圍內(nèi),第一個(gè)特征峰吸光度范圍在2.4~3.25之間,波段范圍在230~255 nm之間,第二個(gè)特征峰吸光度范圍在0.4~3.1之間,波段在280 nm附近;圖2(b)為海洋Maya2000Pro光譜儀所測(cè)光譜圖,在20~800 mg·L-1范圍內(nèi),第一個(gè)特征峰吸光度范圍在1.3~2.2之間,波段范圍在235~260 nm,第二個(gè)特征峰吸光度范圍在0.2~2之間,波段范圍在270~300 nm之間;圖2(c)為奧譜天成ATP2000光譜儀所測(cè)光譜圖,在20~800 mg·L-1范圍內(nèi),第一個(gè)特征峰吸光度范圍在1.3~2.4之間,波段范圍在230~255 nm之間,第二個(gè)特征峰吸光度范圍在0.3~2.3之間,波段范圍在275~300 nm之間。
圖1 紫外-可見光譜法水質(zhì)檢測(cè)系統(tǒng)框圖Fig.1 UV-Visible spectrum water quality detection system block diagram
圖2 三個(gè)光譜儀下測(cè)得的8個(gè)標(biāo)準(zhǔn)樣本溶液的光譜圖(a):濱松C10082CAH光譜儀;(b):海洋Maya200Pro光譜儀;(c):奧譜天成ATP2000光譜儀Fig.2 Spectra of 8 standard sample solutions measured under three spectrometers(a) Hamamatsu C10082CAH spectrometer;(b):Ocean Maya 200Pro spectrometer;(c):Optosky ATP2000 spectrometer
首先利用EWMA對(duì)樣本水質(zhì)光譜數(shù)據(jù)濾波,并對(duì)數(shù)據(jù)進(jìn)行降維提取主成分;再利用直接標(biāo)準(zhǔn)化算法對(duì)源機(jī)與目標(biāo)機(jī)兩組數(shù)據(jù)進(jìn)行矩陣變換,最后進(jìn)行Z-score標(biāo)準(zhǔn)化與歸一化數(shù)據(jù)處理。
EWMA(exponentially weighted moving-average)是一種指數(shù)加權(quán)平均移動(dòng)算法。該算法可平滑短期波動(dòng),保留波形長(zhǎng)期發(fā)展趨勢(shì),引入權(quán)重因子對(duì)數(shù)據(jù)進(jìn)行最大似然估計(jì),尋找以較高概率產(chǎn)生觀察紫外-可見水質(zhì)光譜數(shù)據(jù)的系統(tǒng)發(fā)生樹,最大概率情況復(fù)原理論紫外-可見水質(zhì)光譜數(shù)據(jù)。
EWMA(N)=λY(N)+(1-λ)EWMA(N-1)
i=1, 2, …,n
(1)
式(1)中,EWMA(N)為波段點(diǎn)N處的光譜數(shù)據(jù)估計(jì)值;Y(N)為波段點(diǎn)N處的光譜數(shù)據(jù)的測(cè)量值;λ為權(quán)重因子,0<λ<1,且隨著波長(zhǎng)點(diǎn)N的數(shù)目增加而指數(shù)遞減;n為所測(cè)量的波長(zhǎng)點(diǎn)N的個(gè)數(shù)總和。
考慮到實(shí)驗(yàn)所采取的光譜儀采樣點(diǎn)非同步設(shè)置,采用三次多項(xiàng)式插值以獲得相同波長(zhǎng)點(diǎn)的吸光度值。波長(zhǎng)范圍選用三臺(tái)光譜儀測(cè)量范圍的交集。設(shè)三臺(tái)光譜儀的測(cè)量波段范圍分別為L(zhǎng)1=[b1,b2],L2=[m1,m2],L3=[a1,a2]。比較范圍值,若b1
Am=AtF
(2)
(3)
(4)
(5)
實(shí)驗(yàn)中3個(gè)光譜儀測(cè)得的八組待測(cè)鄰苯二甲酸氫鉀溶液的水質(zhì)光譜數(shù)據(jù),圖3(a)對(duì)應(yīng)20 mg·L-1的樣本溶液,圖3(b)對(duì)應(yīng)40 mg·L-1的樣本溶液,圖3(c)對(duì)應(yīng)60 mg·L-1的樣本溶液,圖3(d)對(duì)應(yīng)120 mg·L-1的樣本溶液,圖3(e)對(duì)應(yīng)160 mg·L-1的樣本溶液,圖3(f)對(duì)應(yīng)200 mg·L-1的樣本溶液,圖3(g)對(duì)應(yīng)化學(xué)耗氧量COD 400 mg·L-1的樣本溶液, 圖3(h)對(duì)應(yīng)800 mg·L-1的樣本溶液。
從整體波形趨勢(shì)來(lái)看,對(duì)于8組樣本溶液,三種光譜儀測(cè)得的原始光譜數(shù)據(jù)在210~300 nm范圍內(nèi)吸光度比較高,且在此范圍內(nèi)波形變化趨勢(shì)明顯:對(duì)于濃度160 mg·L-1及其以下的樣本溶液中,可見兩個(gè)明顯的特征峰,波段在250與280 nm左右的范圍內(nèi),對(duì)于濃度在400 nm·L-1以上的樣本溶液,清晰可見,在300 nm處新增第三特征峰(對(duì)于濃度在200 mg·L-1的溶液,Maya2000Pro光譜儀與ATP2000光譜儀并無(wú)明顯吸收峰,分析原因可能是由于三臺(tái)光譜儀的儀器狀態(tài)如檢測(cè)精度不同等造成的);在315~430 nm范圍內(nèi)吸光度值變化幅度較小。對(duì)同一樣本溶液而言,三種光譜儀仍有不同:對(duì)于第一特征峰,C10082CAH光譜儀測(cè)得的吸光度值可達(dá)到2.4~3.25;但Maya2000Pro光譜儀與ATP2000光譜儀所測(cè)得的第一特征峰的吸光度值只在1.3~2.2與1.3~2.4,且對(duì)于同一樣本溶液吸光度值差異更明顯,如圖3(a) COD 20 mg·L-1的樣本溶液,C10082CAH光譜儀測(cè)得的吸光度可達(dá)到2.4,但Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值僅可達(dá)到1.3;對(duì)于第二特征峰,C10082CAH測(cè)得到的吸光度值可達(dá)到0.4~3.1,Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值分別在0.2~2與0.3~2.3,且對(duì)應(yīng)波段亦有不同。同時(shí)差異性對(duì)于同一樣本溶液吸光度值更明顯,如圖3(c) COD 60 mg·L-1,C10082CAH光譜儀測(cè)得的吸光度值遠(yuǎn)大于1.5,但Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值遠(yuǎn)小于1,且Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值也有差距。正是由于對(duì)于同一樣本溶液吸光度值差異較大,且出現(xiàn)波形趨勢(shì)不同的情況[如圖3(f) COD 200 mg·L-1],對(duì)于單一樣本數(shù)據(jù)的準(zhǔn)確度而言,需要對(duì)水質(zhì)光譜數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化及歸一化,從而實(shí)現(xiàn)對(duì)儀器標(biāo)準(zhǔn)化,才能為后續(xù)穩(wěn)定數(shù)據(jù)處理提供依據(jù),實(shí)現(xiàn)模型傳遞。
圖3 八組鄰苯二甲酸氫鉀溶液的水質(zhì)光譜數(shù)據(jù)(a):COD 20 mg·L-1;(b):COD 40 mg·L-1;(c):COD 60 mg·L-1;(d):COD120 mg·L-1;(e):COD 160 mg·L-1;(f):COD 200 mg·L-1;(g):COD 400 mg·L-1;(h):COD 800 mg·L-1Fig.3 Water quality spectral data of 8 groups of potassium hydrogen phthalate solution(a):COD 20 mg·L-1;(b):COD 40 mg·L-1;(c):COD 60 mg·L-1;(d):COD120 mg·L-1;(e):COD 160 mg·L-1;(f):COD 200 mg·L-1;(g):COD 400 mg·L-1;(h):COD 801 mg·L-1
標(biāo)準(zhǔn)化的評(píng)價(jià)指標(biāo)采用傳統(tǒng)意義上的相關(guān)系數(shù)與方差進(jìn)行比較。同時(shí),由于第一特征峰特征明顯,具有能夠代表此段待標(biāo)準(zhǔn)化的水質(zhì)吸收光譜數(shù)據(jù)的特性,因此提出第一特征峰偏移量的評(píng)價(jià)指標(biāo)(以下均稱波峰偏移量,Peak offset,Po),用以評(píng)價(jià)該方法的優(yōu)劣性。對(duì)于源機(jī)和目標(biāo)機(jī)所測(cè)得的同一水質(zhì)樣本溶液,由于實(shí)驗(yàn)過程中易產(chǎn)生噪聲,對(duì)于實(shí)驗(yàn)所測(cè)得的水質(zhì)光譜數(shù)據(jù)的第一特征峰的峰值對(duì)應(yīng)波段的判斷往往會(huì)存在一個(gè)區(qū)間值,即由于噪聲的干擾,極大波峰值不止一個(gè),而在去噪的過程中,有時(shí)候亦會(huì)去除真實(shí)的波峰值,而由其鄰近或較遠(yuǎn)的波段的吸光度的值代替,因此,在數(shù)據(jù)處理過程中,保證特征峰不偏移或偏移較小往往顯得很重要。
波峰偏移量Po定義如式(6)
(6)
實(shí)驗(yàn)結(jié)果分別如圖4所示,實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)如表1,表2和表3所示,其中圖4(a)對(duì)應(yīng)組1: 此組實(shí)驗(yàn)中,C10082CAH光譜儀為源機(jī),Maya2000Pro光譜儀為目標(biāo)機(jī);圖4(b)對(duì)應(yīng)組2: 此組實(shí)驗(yàn)中,C10082CAH光譜儀為源機(jī),ATP2000光譜儀為目標(biāo)機(jī);圖4(c)對(duì)應(yīng)組3: 此組實(shí)驗(yàn)中,Maya2000Pro光譜儀為源機(jī),ATP2000光譜儀為目標(biāo)機(jī)。
圖4 三組比對(duì)實(shí)驗(yàn)測(cè)得各濃度水質(zhì)吸收光譜標(biāo)準(zhǔn)化數(shù)據(jù)(a): 對(duì)應(yīng)組1;(b): 對(duì)應(yīng)組2;(c): 對(duì)應(yīng)組
為了更直觀展示實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果,將表1,2,3繪制成圖5。從表1,2,3可以看出,3組儀器對(duì)應(yīng)的八組樣本溶液的紫外-可見吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化指標(biāo)評(píng)價(jià)中,除表1中20 mg·L-1相關(guān)系數(shù)保持不變外,表2,表3濃度分布從20~800 mg·L-1,標(biāo)準(zhǔn)化數(shù)據(jù)的相關(guān)系數(shù)較原始數(shù)據(jù)的相關(guān)系數(shù)均增加,從圖5(a)中可明顯看出,標(biāo)準(zhǔn)化后的值高于標(biāo)準(zhǔn)化之前的值,即兩曲線的相關(guān)系數(shù)提高,即該算法標(biāo)準(zhǔn)化使得曲線的相似度提高;從方差指標(biāo)來(lái)看,濃度分布從20~800 mg·L-1,8組樣本溶液的水質(zhì)數(shù)據(jù),標(biāo)準(zhǔn)化后較標(biāo)準(zhǔn)化前方差大幅降低,從圖5(b)中可明顯看出,表明該算法標(biāo)準(zhǔn)化使得兩曲線間方差減小,則兩曲線對(duì)應(yīng)波段點(diǎn)數(shù)據(jù)波動(dòng)減小,即標(biāo)準(zhǔn)化效果越好;從波峰偏移量來(lái)分析,8組樣本溶液在三組對(duì)比實(shí)驗(yàn)中,波峰偏移量均約為1,從圖5(c)中可明顯看出,比對(duì)組實(shí)驗(yàn)1中,與1之間的誤差在0.002 8%~0.073 6%,比對(duì)組2,與1之間的誤差在0.000 5%~0.054%,比對(duì)組3,與1之間的誤差在0.004%~0.045%,誤差較小,說(shuō)明該標(biāo)準(zhǔn)化算法在進(jìn)行曲線標(biāo)準(zhǔn)化時(shí),未犧牲曲線特征。經(jīng)計(jì)算,采用基于EWMA-PCA的歸一化算法標(biāo)準(zhǔn)化后,相關(guān)系數(shù)可達(dá)到99.576 5%,方差可達(dá)到0.082 3%,波峰偏移量可降低至0.000 5%,以上三個(gè)數(shù)據(jù)均表明該算法在C10082CAH光譜儀與Maya2000Pro光譜儀、C10082CAH光譜儀與ATP2000光譜儀、Maya2000Pro光譜儀與ATP2000光譜儀三組儀器及數(shù)據(jù)標(biāo)準(zhǔn)化過程中呈良性發(fā)展,該標(biāo)準(zhǔn)化算法有效,且表現(xiàn)較好。
表1 C10082CAH光譜儀與Maya2000Pro光譜儀測(cè)得水質(zhì)吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化評(píng)價(jià)Table 1 Standardized evaluation of water absorption spectrum data measured by C10082CAH and Maya2000Pro spectrometer
表2 C10082CAH光譜儀與ATP2000光譜儀測(cè)得水質(zhì)吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化評(píng)價(jià)Table 2 Standardized evaluation of water absorption spectrum data measured by C10082CAH spectrometer and ATP2000 spectrometer
表3 Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得水質(zhì)吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化評(píng)價(jià)Table 3 Standardized evaluation of water absorption spectrum data measured by Maya2000Pro and ATP2000 spectrometer
圖5 三組比對(duì)實(shí)驗(yàn)測(cè)得各濃度水質(zhì)吸收光譜標(biāo)準(zhǔn)化評(píng)價(jià)(a):相關(guān)系數(shù);(b):方差;(c):峰的偏移量
通過八組溶液,3組光譜儀的對(duì)比實(shí)驗(yàn),探討了基于EWMA-PCA的歸一化算法在水質(zhì)光譜數(shù)據(jù)標(biāo)準(zhǔn)化中的應(yīng)用研究,并提出相關(guān)系數(shù)、方差、波峰偏移量等指標(biāo),用以評(píng)價(jià)標(biāo)準(zhǔn)化結(jié)果。研究的主要結(jié)論是:基于EWMA-PCA的歸一化算法在標(biāo)準(zhǔn)化過程中,控制波峰波段特征不變的同時(shí)很大程度上提高波形相似度,降低數(shù)據(jù)波動(dòng),減小兩波形間方差;且將該算法應(yīng)用于3臺(tái)不同的光譜儀中,效果顯著,證明該算法的有效性及適應(yīng)性。