李 斌， 張 烽， 殷 海， 鄒吉平， 歐陽愛國

華東交通大學(xué)智能機電裝備創(chuàng)新研究院， 江西 南昌 330013

引 言

高光譜成像技術(shù)雖然起源于遙感領(lǐng)域， 但憑借其圖譜合一的優(yōu)勢， 在水果品質(zhì)與安全檢測方面也發(fā)揮著至關(guān)重要的作用[3-5]。 Tan等[6]提取了蘋果損傷區(qū)域的光譜數(shù)據(jù)， 使用標準正態(tài)變量(SNV)對原始光譜數(shù)據(jù)進行預(yù)處理， 基于SPA和CARS篩選的特征波長建立了GS-SVM模型， 對四種損傷程度不同的蘋果判別正確率達到了95%。 吳龍國等[7]采集了碰傷、 蟲眼的靈武長棗高光譜圖像， 使用主成分分析(PCA)對圖像進行降維， 采用波段比算法對最優(yōu)主成分圖像進行識別， 對各類缺陷的判別率達到了86%以上。 Zhu等[8]利用高光譜成像對蘋果碰傷后時間進行分類， 首先采用光譜數(shù)據(jù)建立了極限學(xué)習機(ELM)、 偏最小二乘線性判別分析(PLS-DA)和分類回歸樹(CART)三種模型， 比較發(fā)現(xiàn)， ELM的分類能力最好， 正確率達到了95.97%， 然后利用最小噪聲分離(MNF)方法對蘋果損傷區(qū)域的圖像進行識別， 其總體分類精度達到了92.9%。 Li等[9]利用主成分分析(PCA)選擇碰傷桃子的特征波長圖像， 提出一種改進分水嶺算法對未碰傷桃子和碰傷桃子圖像進行識別， 其鑒別準確率分別為97.5%和96.5%。 黃鋒華等[10]采集油桃缺陷樣本的高光譜圖像， 結(jié)合油桃樣本的光譜變量和圖像紋理特征建立極限學(xué)習機(ELM)模型， 對油桃缺陷的識別率為91.67%。 劉燕德等[11]使用主成分分析(PCA)對黃桃碰傷圖像進行降維處理， 運用相關(guān)圖像處理技術(shù)對特征波長下的圖像進行碰傷和未碰傷黃桃的定性判別， 其判別準確率達到94.6%。 在上述研究中， 大部分都是單獨采用高光譜的光譜特征或者圖像特征建立水果碰傷的分類模型， 很少利用高光譜的光譜信息結(jié)合圖像信息建立黃桃碰傷程度的分類模型。 而且光譜反射率容易受到外界雜散光的影響， 會丟失一部分真實信息， 圖像包含的信息量較少， 僅僅只靠幾個特定波段的圖像很難精準識別[12]。

因此， 為了能夠精準識別黃桃在采摘、 包裝和運輸過程中的碰傷程度， 減小經(jīng)濟損失， 提出一種基于高光譜圖像的光譜信息和圖像特征對黃桃碰傷程度的分類檢測方法。 首先， 分別采集黃桃輕度、 中度和重度碰傷的高光譜圖像， 提取碰傷黃桃的光譜信息和圖像特征。 基于光譜信息、 圖像特征以及光譜信息結(jié)合圖像特征分別建立偏最小二乘判別(PLS-DA)模型， 將分類正確率作為評價模型優(yōu)劣的標準， 通過比較模型的分類效果， 選出最優(yōu)的分類模型用于黃桃碰傷程度的分類檢測。 通過對黃桃損傷程度的精準分類， 可根據(jù)黃桃的不同損傷程度制定不同的處理方式， 將經(jīng)濟損失降到最低， 同時對黃桃的采后處理提供了科學(xué)依據(jù)。

1 實驗部分

1.1 樣品

所有樣品均采用“碭山”黃桃， 這些黃桃在4 ℃的溫度下貯藏不到2周。 總共使用了180個新鮮、 無損、 形狀規(guī)則的黃桃， 為了減少黃桃質(zhì)量和曲率半徑對碰傷程度的影響， 所有黃桃樣品的平均質(zhì)量約為(248±5) g， 赤道直徑約為78 mm。 在進行碰撞實驗前， 對所有黃桃表面進行清洗、 編號并將其在室溫為20 ℃、 相對濕度為40%的條件下放置24 h， 以減小溫度對碰傷程度的影響。 所有樣本隨機分成三組， 每組60個黃桃， 利用單擺機構(gòu)進行碰傷實驗。 三組樣品分別從40°， 60°和80°的角度碰撞， 以獲得不同程度的沖擊損傷。 所有碰傷后的黃桃在室溫為20 ℃的環(huán)境下放置24 h， 使得損傷區(qū)域發(fā)生褐變。

1.2 碰撞裝置

水果碰撞裝置是基于單擺原理設(shè)計的， 其結(jié)構(gòu)如圖1所示。 該裝置由支撐架和底座構(gòu)成， 擺臂是由一根長度為80 cm且不可伸長的魚線制成， 水果夾具連接在魚線上。 魚線的質(zhì)量很小， 可以忽略不計。 因此， 擺臂產(chǎn)生的轉(zhuǎn)動慣量對黃桃碰撞過程的影響可以忽略。 每個黃桃撞擊后， 立即用手抓住， 以防止再次撞擊。

圖1 黃桃碰撞裝置Fig.1 Yellow peach collision device

1.3 高光譜圖像的采集與提取

黃桃經(jīng)碰撞后， 即用高光譜成像系統(tǒng)采集黃桃碰傷面的圖像。 高光譜成像采集系統(tǒng)如圖2所示， 該系統(tǒng)由一臺成像光譜儀， 一臺CCD攝像機， 四個鹵素大燈以及一個移動平臺組成。 光譜范圍在397.5～1 014 nm之間， 光譜分辨率為3.5 nm， 相機鏡頭與黃桃樣本的距離為48 cm； 相機曝光時間設(shè)置為6 ms； 載物臺的前進速度為3 cm·s-1。

圖2 高光譜成像系統(tǒng)Fig.2 Hyperspectral imaging system

在對采集的黃桃高光譜圖像進行數(shù)據(jù)處理和分析之前， 由于CCD攝像機中的暗電流和光照不均勻性， 需要對所有原始光譜圖像的反射率進行黑白校準。 通過攝像機采集白色校準板獲取白色參考圖像， 采集鏡頭被完全遮擋時的圖像作為黑色參考圖像。 使用采集的黑白圖像進行校準， 校準圖像由式(1)計算

(1)

式(1)中，Ir為原始高光譜圖像，Id為暗反射圖像，Iw為白色反射圖像。 所有圖像校準后， 即可進行下一步的數(shù)據(jù)處理。

在各位領(lǐng)導(dǎo)、嘉賓、代表的支持與配合下，大會在濟南取得圓滿成功，在此衷心感謝大家對中物聯(lián)托盤委工作的大力支持，托盤委也將一如既往為我國乃至全球托盤行業(yè)的發(fā)展而努力。在國家相關(guān)政策大力推動下，大家的支持與共同努力下，托盤行業(yè)一定會邁向更加美好的明天。

2 結(jié)果與討論

2.1 光譜信息的提取

使用ENVI4.5軟件提取黃桃碰傷區(qū)域的光譜信息， 在每個黃桃的受損區(qū)域選取100×100像素的區(qū)域作為感興趣區(qū)域， 并將感興趣區(qū)域的平均光譜作為黃桃的光譜特征[13]。 圖3(a)顯示了碰傷黃桃的原始光譜， 在704和995 nm處均出現(xiàn)了較明顯的波谷， 其中704 nm處的波谷是由于碳水化合物中的C—H鍵振動收縮引起的， 995 nm處的波谷是由于水分中的O—H鍵的振動收縮引起的[14]。

為了能更直觀的觀察不同碰傷程度黃桃光譜信息的差異， 計算每組黃桃光譜反射率的平均值， 得到不同損傷程度的平均光譜曲線， 如圖3(b)所示。 從平均光譜圖中可以看出， 損傷黃桃的光譜平均反射率明顯低于健康黃桃的光譜平均反射率， 這是由于碰傷黃桃的果肉細胞被破壞， 細胞壁發(fā)生破裂， 釋放一部分水分， 并且碰傷越嚴重， 釋放的水分也隨之增加。 此外， 不同損傷程度的黃桃樣本雖然具有相似的光譜曲線趨勢但是其光譜反射率在同一波段明顯存在差異。 這表明黃桃是否受損以及受損程度均可以從黃桃平均光譜曲線上反映出來。

圖3 黃桃光譜曲線(a)： 所有黃桃樣本的原始光譜曲線； (b)： 碰傷和未碰傷黃桃的平均光譜圖Fig.3 Spectra of yellow peach(a)： Original spectra curves of all yellow peach samples; (b)： Average spectra of damaged and undamaged yellow peach

2.2 圖像特征的提取

圖像特征主要包括顏色特征、 紋理特征、 形狀特征和空間關(guān)系特征[15]。 在本實驗中， 黃桃的碰傷部位會發(fā)生褐變， 故使用顏色特征來表征黃桃表面的變化。 又因為碰傷程度越大， 黃桃損傷區(qū)域也會越大， 灰度值小的像素點越多， 導(dǎo)致平均灰度值發(fā)生變化。 因此， 本研究將黃桃表面的平均灰度值作為圖像特征。

2.2.1 特征圖像的選取

本研究使用的高光譜成像系統(tǒng)的光譜范圍在397.5～1 014 nm之間， 共176個波段， 每個波段都對應(yīng)一張圖片。 因此需要采用相關(guān)算法對大量的圖像數(shù)據(jù)進行降維處理。 主成分分析(PCA)能夠有效消除高光譜圖像的冗余信息， 它是將各波段對應(yīng)的圖像經(jīng)過線性組合從而形成各主成分圖像， 前幾個主成分圖像就能夠包含高光譜圖像的大部分信息， 實現(xiàn)數(shù)據(jù)降維的目的[16-17]。

經(jīng)過主成分分析后， 獲得的前5個主成分圖像， 如圖4所示。 PC2和PC4完全沒有顯示出黃桃碰傷特征， PC5圖像的中心處與邊緣差異太大， PC3圖像雖然顯示了碰傷位置， 但碰傷區(qū)域顯示不均勻， PC1圖像保留了黃桃的大部分真實信息。 因此， 將PC1圖像作為提取信息的主成分圖像。

圖4 黃桃樣本的前5個主成分圖像Fig.4 Images of the first 5 principal components of yellow peach samples

根據(jù)PC1圖像繪制了輕度、 中度以及重度碰傷黃桃的權(quán)重系數(shù)圖， 如圖5(a)所示。 根據(jù)圖中各波長對應(yīng)的權(quán)重系數(shù)絕對值大小， 共選擇出6個特征波長對應(yīng)的高光譜圖像作為特征圖像， 6個波長分別為704， 782， 868， 889， 944和995 nm。 圖5(b)顯示了不同碰傷程度對應(yīng)的6個特征波長圖像。

圖5 特征波長的選取以及對應(yīng)特征圖像(a)： PC1圖像光譜權(quán)重系數(shù)圖； (b)： 不同碰傷程度的特征波長圖像Fig.5 Selection of characteristic wavelength and corresponding characteristic image(a)： PC1 image spectral weight coefficient diagram; (b)： Characteristic wavelength images of samples with different impact degrees

2.2.2 平均灰度值的求解

挑選出黃桃特征圖像后， 需要對特征圖像中黃桃區(qū)域進行平均灰度值的計算。 圖6為黃桃區(qū)域灰度直方圖的提取流程圖， 首先根據(jù)PC1圖像的權(quán)重系數(shù)圖挑選出特征圖像， 然后通過相關(guān)軟件對特征圖像進行二值化， 用得到的圖像對特征圖像進行掩膜， 掩膜后的圖像背景灰度值為0， 黃桃區(qū)域的灰度保持不變， 從而達到分離黃桃區(qū)域和背景區(qū)域的目的， 最后， 運用相關(guān)算法對黃桃區(qū)域進行灰度直方圖的提取。 得到灰度直方圖后， 統(tǒng)計黃桃區(qū)域的像素點數(shù)并且對黃桃區(qū)域的灰度值求和， 將總的灰度值除以黃桃區(qū)域總的像素點數(shù)即可得到黃桃區(qū)域的平均灰度值。

圖6 黃桃區(qū)域灰度直方圖提取流程Fig.6 Extraction process of regional gray histogram for yellow peach

2.3 偏最小二乘判別(PLS-DA)模型的建立

在建立模型之前， 用1， 2和3分別表示輕度、 中度和重度碰傷， 然后利用KS分類算法在每種碰傷程度中隨機挑選出40個黃桃， 共120個作為建模集， 剩下的60個黃桃作為預(yù)測集。 分別采用光譜數(shù)據(jù)、 圖像特征和圖譜融合數(shù)據(jù)建立PLS-DA模型， 用預(yù)測集的正確率作為評價模型的優(yōu)劣。

2.3.1 基于光譜數(shù)據(jù)的偏最小二乘判別(PLS-DA)模型的建立

圖7(a)為基于光譜數(shù)據(jù)建模的預(yù)測集結(jié)果圖， 預(yù)測閾值設(shè)為0.5， 當預(yù)測值在0.5～1.5之間判定為輕度碰傷， 預(yù)測值在1.5～2.5之間判定為中度碰傷， 預(yù)測值在2.5～3.5之間判定為重度碰傷。 由圖可知， 在輕度碰傷黃桃中， 共有5個黃桃被誤判， 其中3個黃桃被誤判為中度碰傷， 誤判率為25%。 中度碰傷黃桃中共出現(xiàn)5個被誤判， 1個被誤判成重度碰傷， 4個被誤判成輕度碰傷， 誤判率為25%。 重度碰傷黃桃中共有4個被誤判， 其中3個黃桃被誤判成中度碰傷， 誤判率為20%。 采用光譜數(shù)據(jù)建立的PLS-DA模型在預(yù)測輕度和中度碰傷黃桃時的誤判率較高。

2.3.2 基于圖像特征的偏最小二乘判別(PLS-DA)模型的建立

圖7(b)是基于圖像特征建模的結(jié)果圖， 預(yù)測閾值同樣設(shè)置為0.5。 從圖中可以看出， 三類碰傷程度的預(yù)測值分布均不集中在設(shè)定范圍內(nèi)， 表明預(yù)測效果不理想。 在輕度碰傷程度預(yù)測值中， 僅僅只有7個黃桃的預(yù)測值在0.5～1.5之間， 其余13個黃桃全部被誤判為中度碰傷， 誤判率高達65%。 對于中度碰傷程度的預(yù)測， 有一半的黃桃發(fā)生誤判， 其中7個黃桃被誤判為輕度損傷， 3個黃桃誤判為重度損傷。 重度碰傷程度的預(yù)測值誤判率為40%， 誤判為輕度碰傷的黃桃只有1個， 其余7個黃桃均被誤判為中度碰傷。

2.3.3 基于光譜和圖像特征融合的偏最小二乘判別(PLS-DA)模型的建立

圖7(c)顯示了基于光譜和圖像特征融合建模的結(jié)果圖。 為了減小因數(shù)據(jù)差異過大造成預(yù)測精度的降低， 將光譜數(shù)據(jù)與圖像特征歸一化后的數(shù)據(jù)建立模型。 與圖7(a)和圖7(b)相比， 三類碰傷程度的預(yù)測值分布均比較集中， 這表明該預(yù)測模型對于碰傷程度的預(yù)測效果較好。 其中， 輕度碰傷共有3個發(fā)生誤判， 2個被誤判為中度碰傷。 在中度碰傷預(yù)測中， 僅有2個黃桃被誤判成輕度碰傷， 誤判率僅為10%。 而重度碰傷的預(yù)測值全部在2.5～3.5之間， 沒有發(fā)生誤判。

圖7 基于不同數(shù)據(jù)建模散點圖(a)： 基于光譜數(shù)據(jù)建模； (b)： 基于圖像特征建模； (c)： 基于圖譜融合數(shù)據(jù)建模Fig.7 Modeling scatter diagram based on different data(a)： Spectral data； (b)： Image feature； (c)： Fusion data

為了能夠更直觀的比較基于不同數(shù)據(jù)建立PLS-DA模型的效果， 將各模型預(yù)測結(jié)果列于表中， 如表1所示。 基于光譜數(shù)據(jù)建立的PLS-DA模型的總體預(yù)測正確率達到了76.7%， 總體誤判個數(shù)為14個， 對各類碰傷程度的預(yù)測精度均在75%以上， 其中對重度碰傷黃桃的預(yù)測準確率最高。 基于圖像特征建立的PLS-DA模型對碰傷程度的預(yù)測精度很不理想， 其總體誤判個數(shù)高達31個， 總體準確率僅為48.3%， 其中對于輕度碰傷黃桃的識別率最低， 僅為35%。 經(jīng)分析， 可能的原因有兩點： 一是基于圖像特征建立模型時的輸入變量數(shù)太少， 僅僅只有6個， 導(dǎo)致所選取的特征圖像并不能包含碰傷黃桃的大部分信息； 二是碰傷區(qū)域顏色變化不明顯， 導(dǎo)致各碰傷程度的平均灰度值差別不明顯， 難以區(qū)分。 在今后的研究中可以通過尋找更多的顏色特征來提高基于圖像特征建立模型的識別率。 基于光譜結(jié)合圖像特征建立的PLS-DA模型的誤判數(shù)明顯低于純光譜數(shù)據(jù)和純圖像特征模型， 總體誤判個數(shù)僅為5個， 總體正確率高達91.7%， 預(yù)測精度得到大幅度提高， 其中對于重度碰傷黃桃的識別率為100%。 這說明基于圖譜融合數(shù)據(jù)建立的模型在識別黃桃碰傷程度方面具有較大優(yōu)勢。

表1 基于不同數(shù)據(jù)建立的PLS-DA模型預(yù)測結(jié)果Table 1 Prediction results of PLS-DA model based on different data

2.4 基于光譜和圖像特征融合模型的優(yōu)化

基于光譜和圖像特征建立PLS-DA模型的輸入變量數(shù)為182個， 雖然平均灰度值是經(jīng)過特征圖像計算得到的， 但光譜數(shù)據(jù)并沒有經(jīng)過篩選， 含有大量的冗余信息。 為了進一步提高模型的精確度和運行速度， 需對光譜信息進行篩選。 采用競爭性自適應(yīng)重加權(quán)算法(CARS)進行光譜變量的篩選。 圖8為CARS篩選光譜變量的過程， 其中采樣次數(shù)為42時， RMSECV值最小， 表明光譜中的冗余信息被剔除， 從第43次采樣之后RMSECV值逐漸變大， 這表明與碰傷程度相關(guān)的信息被剔除， 從而將第42次采樣獲得的變量定為特征波長，共包含34個波段。

圖8 基于CARS算法篩選變量過程Fig.8 Process of screening variables based on cars algorithm

將挑選出的光譜數(shù)據(jù)結(jié)合圖像特征建立PLS-DA模型， 優(yōu)化前與優(yōu)化后的模型預(yù)測結(jié)果如表2所示。 由表可知， 優(yōu)化后的PLS-DA模型對輕度碰傷的預(yù)測正確率由85%提高到95%， 中度碰傷的預(yù)測正確率保持不變， 重度碰傷的預(yù)測正確率由100%降低到95%。 但是優(yōu)化后的模型僅僅使用40個輸入變量， 將總體誤判個數(shù)由5個降低到4個， 正確率也由91.7%提高到93.3%。 表明， 優(yōu)化后的模型不僅降低了計算的復(fù)雜性而且還提高了整體的預(yù)測精度， 提高了檢測效率， 更加有利于實際應(yīng)用。

表2 優(yōu)化前與優(yōu)化后模型預(yù)測結(jié)果Table 2 Model prediction results before and after optimization

3 結(jié) 論

將高光譜的光譜信息結(jié)合圖像特征建立PLS-DA模型用于黃桃碰傷程度的分類檢測。 在碰傷位置選取100×100像素的區(qū)域提取光譜信息， 利用PCA算法挑選出最能表征碰傷黃桃信息的PC1圖像， 根據(jù)PC1圖像的權(quán)重系數(shù)選擇特征圖像， 并將黃桃表面的平均灰度值作為圖像特征。 分別利用光譜信息、 圖像特征、 光譜信息結(jié)合圖像特征建立黃桃碰傷的PLS-DA模型， 結(jié)果表明， 基于光譜信息結(jié)合圖像特征建立的PLS-DA模型效果最好， 對輕度碰傷、 中度碰傷和重度碰傷的分類準確率分別為85%， 90%和100%， 總體正確率達到91.7%。 為了能夠進一步提高PLS-DA模型的精確度和運行效率， 利用CARS算法對融合數(shù)據(jù)中的光譜數(shù)據(jù)進行特征波段的篩選。 利用特征波段結(jié)合圖像特征建立的模型分類預(yù)測效果最好， 對輕度碰傷、 中度碰傷和重度碰傷黃桃的預(yù)測正確率分別為95%， 90%和95%， 總體正確率達到了93.3%。 總之， 基于高光譜的光譜數(shù)據(jù)結(jié)合圖像特征建立PLS-DA模型檢測黃桃碰傷程度是可行的， 對黃桃采后分級具有一定的指導(dǎo)意義。