戴佳樂(lè)，汪金花

(華北理工大學(xué) 礦業(yè)工程學(xué)院，河北 唐山 063210)

引言

高光譜檢測(cè)具有無(wú)損、快速、環(huán)保的特點(diǎn)，是物質(zhì)定性檢測(cè)的一種重要手段。高光譜檢測(cè)時(shí)，目標(biāo)光譜反射曲線是屬性識(shí)別的特性參量之一。

光譜數(shù)據(jù)的線性回歸分析可以反映光譜反射率與化合物質(zhì)量之間的線性關(guān)系，擬合方程的準(zhǔn)確性會(huì)直接影響化合物定性與定量的數(shù)據(jù)分析效果。在光譜數(shù)據(jù)采集的過(guò)程中，由于測(cè)量角度、光源、距離等干擾因素，導(dǎo)致測(cè)得的光譜反射率會(huì)存在粗差，影響擬合方程。一般在數(shù)據(jù)不存在粗差的情況下使用多最小二乘進(jìn)行數(shù)據(jù)處理。由于測(cè)量中多數(shù)存在粗差的影響，因此引入了穩(wěn)健估計(jì)對(duì)粗差進(jìn)行降權(quán)處理，最后得到擬合方程。穩(wěn)健估計(jì)中利用多種權(quán)函數(shù)進(jìn)行降權(quán)處理，以此改善數(shù)據(jù)處理結(jié)果。

近幾年，穩(wěn)健估計(jì)多應(yīng)用于沉降監(jiān)測(cè)、變形監(jiān)測(cè)以及高程擬合中，多位學(xué)者發(fā)現(xiàn)在處理變形監(jiān)測(cè)數(shù)據(jù)時(shí)，穩(wěn)健估計(jì)的抗差能力優(yōu)于最小二乘[1]；程開(kāi)端利用穩(wěn)健估計(jì)結(jié)合總體最小二乘的方法，對(duì)地鐵沉降監(jiān)測(cè)進(jìn)行多項(xiàng)式曲線擬合，并對(duì)實(shí)測(cè)數(shù)據(jù)進(jìn)行預(yù)測(cè)，結(jié)果顯示，穩(wěn)健估計(jì)結(jié)合總體最小二乘擬合法能較好地?cái)M合監(jiān)測(cè)數(shù)據(jù)，其預(yù)測(cè)結(jié)果比最小二乘擬合法絕對(duì)誤差和相對(duì)誤差小[2]。程帥[3]等人采用穩(wěn)健估計(jì)理論分析風(fēng)電塔筒垂直度，結(jié)合最小二乘法擬合塔筒截面測(cè)量值的圓心及半徑，通過(guò)Huber迭代權(quán)函數(shù)，逐步消除測(cè)量值序列存在的粗差、偶然誤差等異常測(cè)點(diǎn)的影響，結(jié)果表明，穩(wěn)健最小二乘法擬合風(fēng)電塔筒垂直度具有較強(qiáng)的抗差能力，可有效避免粗差、偶然誤差等異常測(cè)量值的影響。但是，在光譜數(shù)據(jù)處理中引入穩(wěn)健估計(jì)的研究較少，董元[4]等采用穩(wěn)健估計(jì)和最小二乘回歸分析的方法，分別對(duì)水泥的膠砂試塊光譜值進(jìn)行抗差能力分析，結(jié)果表明，在含有噪聲時(shí)，穩(wěn)健估計(jì)的抗差效果較好；劉暑明[5]等對(duì)硫酸鈣數(shù)據(jù)進(jìn)行處理，選取5個(gè)吸收峰的光譜值與質(zhì)量進(jìn)行回歸分析，在含有粗差的情況下穩(wěn)健估計(jì)因?yàn)榭共钅芰^強(qiáng)建立的預(yù)測(cè)方程更為可靠。從上述研究發(fā)現(xiàn)，穩(wěn)健估計(jì)的抗差能力優(yōu)于最小二乘，但是不同權(quán)函數(shù)的選擇尤為重要，因此本研究對(duì)比不同權(quán)函數(shù)的抗差效果。

該研究對(duì)氧化鋁質(zhì)量和光譜反射率建立擬合方程，選取10種質(zhì)量的氧化鋁，篩選相關(guān)性大的波長(zhǎng)，采用多元線性回歸和不同權(quán)函數(shù)下的穩(wěn)健估計(jì)構(gòu)建回歸模型并對(duì)比抗差能力。

1實(shí)驗(yàn)方案

1.1 材料準(zhǔn)備

實(shí)驗(yàn)原料是氧化鋁粉末，氧化鋁作為重要的催化劑物質(zhì)，在大量的礦物實(shí)驗(yàn)中需要使用其作為催化劑，因此氧化鋁的特性研究顯得尤為重要。

氧化鋁光譜數(shù)據(jù)采用美國(guó)ASD公司生產(chǎn)的ASD Field Spec4光譜儀進(jìn)行測(cè)量，該光譜儀光譜波段測(cè)量范圍為350～2 500 nm，光譜采樣間隔在350～1 000 nm波段范圍時(shí)為1.4 nm，1 000～2 500 nm波段范圍時(shí)為2 nm。

表1 氧化鋁的性質(zhì)

1.2 數(shù)據(jù)采集

首先將氧化鋁粉末稱重，選取不同質(zhì)量的氧化鋁測(cè)量其光譜曲線，分別選取3 g、6 g、9 g、12 g、15 g、18 g、21 g、24 g、27 g、30 g共10份不同質(zhì)量的10組數(shù)據(jù)進(jìn)行采集。將氧化鋁粉末樣品放置于光譜反射率極低的黑色實(shí)驗(yàn)盒中，為減少樣本表面凹凸不平產(chǎn)生的散射光對(duì)測(cè)量精度的影響，將粉末壓平。首先，需要將ASD光譜儀提前開(kāi)啟進(jìn)行預(yù)熱準(zhǔn)備，時(shí)間為30 min左右，在測(cè)量之前進(jìn)行白板校正。實(shí)驗(yàn)時(shí)，需要在黑暗的環(huán)境下進(jìn)行，并且使用探照燈模擬日照環(huán)境。礦物測(cè)量探頭應(yīng)與被測(cè)物體所在水平面的法線的夾角保持在±10°左右，準(zhǔn)備工作結(jié)束后，依次測(cè)量每個(gè)氧化鋁粉末樣本的光譜，各獲取5條樣本光譜曲線，以消除測(cè)量過(guò)程中的不穩(wěn)定性。利用View Spec Pro光譜處理軟件查看各樣本光譜并剔除異常光譜曲線，并對(duì)各樣本計(jì)算得到光譜反射率平均值，同時(shí)將其作為原始光譜反射率值。然后對(duì)其進(jìn)行斷點(diǎn)修復(fù)、平滑、求均值等預(yù)處理工作。最后進(jìn)行光譜分析，在ENVI軟件中進(jìn)行去包絡(luò)線得到實(shí)驗(yàn)數(shù)據(jù)。

1.3 數(shù)據(jù)預(yù)處理

將使用光譜儀采集的數(shù)據(jù)進(jìn)行光譜曲線數(shù)據(jù)預(yù)處理，再進(jìn)行去包絡(luò)線處理，得到如圖1所示去包絡(luò)線的光譜曲線。從下圖中看的，不同質(zhì)量的氧化鋁光譜曲線吸收位置基本一致，隨著質(zhì)量的增加反射率值也呈現(xiàn)規(guī)律的變化趨勢(shì)。

圖1 氧化鋁粉末去包絡(luò)線處理

2原理分析

1.1 相關(guān)性分析

(1)

其中，COV(X,Y)為X與Y的協(xié)方差，Var[X]為X的方差，Var[Y]為Y的方差。X為自變量本文是不同波段的反射率值，Y為因變量是質(zhì)量

相關(guān)性分析法是研究2個(gè)或2個(gè)以上處于同等地位的隨機(jī)變量間的相關(guān)關(guān)系的統(tǒng)計(jì)分析方法。相關(guān)關(guān)系是一種非確定性的關(guān)系，相關(guān)系數(shù)是研究變量之間線性相關(guān)程度的量。經(jīng)過(guò)相關(guān)性分析，選擇敏感波段進(jìn)行處理。

2.2 最小二乘原理

(2)

式中:V是觀測(cè)值的改正數(shù)，X是未知參數(shù)的近似值，B為觀測(cè)值構(gòu)成的系數(shù)矩陣，L是近似值和觀測(cè)值之差。解得參數(shù)X如下：

X=(BTPB)-1BTPL

(3)

2.3 穩(wěn)健估計(jì)的原理

穩(wěn)健估計(jì)有多種，分為M估計(jì)、R估計(jì)和L估計(jì)，該研究采用了穩(wěn)健估計(jì)法中的M估計(jì)的選權(quán)迭代法。

(4)

解得參數(shù)X如下：

(5)

2.4 穩(wěn)健估計(jì)權(quán)函數(shù)公式

實(shí)驗(yàn)中采用了Huber、Fair、Cauchy和Welsch等常用的穩(wěn)健估計(jì)方法的權(quán)函數(shù)進(jìn)行對(duì)比分析，在上述公式中，w(u)代表權(quán)函數(shù)，c為權(quán)函數(shù)權(quán)重閾值。穩(wěn)健估計(jì)達(dá)到目的的方法是剔除粗差或者達(dá)到減弱粗差的效果，想要達(dá)到這個(gè)效果與權(quán)重函數(shù)的選取及閾值的改變有著密切的聯(lián)系，權(quán)函數(shù)不同閾值的改變都會(huì)出現(xiàn)不同的穩(wěn)健估計(jì)效果。

(1) Huber函數(shù)

(6)

(2) Fair函數(shù)

(7)

(3) Andrews

(8)

(4)Welsch

(9)

(5)Cauchy

(10)

圖1為計(jì)算過(guò)程流程圖，最小二乘與穩(wěn)健估計(jì)的區(qū)別主要在于權(quán)函數(shù)上，穩(wěn)健估計(jì)多了使用權(quán)函數(shù)降權(quán)處理，因此有效減少粗差帶來(lái)的影響，從而有效建立回歸方程。穩(wěn)健估計(jì)中用多種權(quán)函數(shù)進(jìn)行降權(quán)處理，降權(quán)的效果不同，抗差能力也有所不同。

圖2 流程圖

3實(shí)驗(yàn)結(jié)果

3.1 相關(guān)性分析

圖3為經(jīng)過(guò)相關(guān)性分析從700多個(gè)波段中選擇5個(gè)敏感波段作為自變量，與氧化鋁粉末的質(zhì)量進(jìn)行方程擬合。

圖3 敏感波段選取

用ASD4測(cè)出光譜曲線，并進(jìn)行基本的預(yù)處理，去包絡(luò)線。由光譜曲線可以看出幾個(gè)較為明顯的吸收峰位置，這幾個(gè)波段是直接影響光譜曲線走勢(shì)的特定位置。首先對(duì)這幾個(gè)吸收峰位置進(jìn)行分析，計(jì)算其特征參量，包含對(duì)稱性參數(shù)D、SAI值、寬度以及深度，分析4個(gè)吸收峰的特征參量。

表2 光譜曲線特性

經(jīng)過(guò)對(duì)幾個(gè)吸收峰位置進(jìn)行相關(guān)性分析，從700個(gè)波段中篩選出較為敏感的5個(gè)波段，分別是531、1 802、1 395、1 940和2 221波段作為自變量，將質(zhì)量作為因變量進(jìn)行多元線性回歸分析以及穩(wěn)健估計(jì)，建立回歸方程。表3所示為篩選數(shù)據(jù)。

表3 篩選數(shù)據(jù)

對(duì)表3中數(shù)據(jù)進(jìn)行相關(guān)性分析，得出表4中每個(gè)變量對(duì)與質(zhì)量之間的相關(guān)性。由計(jì)算的相關(guān)系數(shù)可以知道，X1呈負(fù)相關(guān)，其它都是正相關(guān)，其中X3,、X4的相關(guān)性最大，但是與其它的相比相差不大，因此都用于建立回歸方程進(jìn)行計(jì)算。

表4 因變量相關(guān)性

3.2 殘差剔除

圖4 數(shù)據(jù)殘差圖

進(jìn)行多元回歸分析，首先在Matlab中繪制殘差圖，由圖4可知，數(shù)據(jù)中出現(xiàn)了2組粗差，因此將2組粗差進(jìn)行剔除。用于多元線性回歸以及穩(wěn)健估計(jì)數(shù)據(jù)計(jì)算。

3.3 數(shù)據(jù)結(jié)果對(duì)比分析

表5所示為不同權(quán)函數(shù)預(yù)測(cè)值及真值對(duì)比。

表5 不同權(quán)函數(shù)預(yù)測(cè)值及真值對(duì)比

用3組數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)，由表5可以看出，F(xiàn)air函數(shù)和Logistic函數(shù)的預(yù)測(cè)值較高，fair、logistic函數(shù)與真值相差在0.5之內(nèi)，最小二乘的預(yù)測(cè)值與真值也較為接近相差在1之內(nèi)；其中其它的預(yù)測(cè)數(shù)據(jù)值跟真值之間的差距較大，其中Talwar、Welsch、Bisquare函數(shù)與真值相差在1.5左右。結(jié)合預(yù)測(cè)值對(duì)比分析可知穩(wěn)健估計(jì)的預(yù)測(cè)準(zhǔn)確效果高于最小二乘。

表6 不同權(quán)函數(shù)中誤差對(duì)比

從表6可以看出不同權(quán)函數(shù)的中誤差是有區(qū)別的，但是中誤差的差別不是很明顯。其中最小二乘的中誤差是0.78，穩(wěn)健估計(jì)的Fair、Logistics函數(shù)是0.721和0.711，效果是優(yōu)與最小二乘的結(jié)果，與預(yù)測(cè)結(jié)果一致，穩(wěn)健估計(jì)的這兩種權(quán)函數(shù)在數(shù)據(jù)抗差能力明顯強(qiáng)于最小二乘。

3.4 方程擬合效果分析

將原始數(shù)據(jù)以及穩(wěn)健估計(jì)和最小二乘建立擬合方程圖，選擇效果較好的Fair函數(shù)和Logistics函數(shù)，可以看出穩(wěn)健估計(jì)的折線與最小二乘的幾乎重合，這是由于存在的粗差過(guò)小無(wú)法體現(xiàn)出穩(wěn)健估計(jì)的優(yōu)勢(shì)，但是與原始數(shù)據(jù)相比存在一些波動(dòng)。圖5所示為方程擬合圖，由圖5可知，不同權(quán)函數(shù)在方程擬合圖上，與最小二乘的效果接近，在圖像的表示上很難區(qū)分，只存在細(xì)微的差距，從計(jì)算的中誤差和真值可以判斷，穩(wěn)健估計(jì)部分權(quán)函數(shù)的擬合效果優(yōu)于最小二乘。

圖5 方程擬合圖

4結(jié)論

(1)本文通過(guò)實(shí)驗(yàn)及對(duì)比分析發(fā)現(xiàn)，當(dāng)光譜數(shù)據(jù)存在一定粗差的情況中穩(wěn)健估計(jì)的中誤差小于最小二乘，并且預(yù)測(cè)值更接近真值，其中穩(wěn)健估計(jì)的Fair、Logistics兩種權(quán)函數(shù)的數(shù)據(jù)處理能力更優(yōu)。

(2)穩(wěn)健估計(jì)能減弱粗差對(duì)高光譜數(shù)據(jù)的影響，同時(shí)可以反演出氧化鋁粉末的質(zhì)量。