賈 敏,歐中華
(電子科技大學光電科學與工程學院, 四川 成都 610054)
近年來,食品安全問題備受關注,人們對果蔬品質與安全標準的要求也越來越高,已成為社會關注的熱點。通常,果蔬品質包括了形狀、顏色、大小和表面缺陷等外部品質與糖度、酸度、硬度、可溶性固形物含量、淀粉含量、水分和成熟度及其他營養(yǎng)元素的含量等內部品質,其品質好壞是其市場銷量的重要因素[1]。
傳統(tǒng)果蔬品質檢測方法如化學法、高效液相色譜法、質譜分析法等通常對待測物具有破壞性,且速度慢。機器視覺和光譜技術具有快速、無損、可靠等優(yōu)點,近年來廣泛用于果蔬品質檢測中。其中,機器視覺技術通過提取和分析果蔬形狀、大小、顏色及表面缺陷等空間信息進行外部品質檢測,而近紅外光譜技術主要對果蔬內部品質進行檢測[1,2]。
高光譜成像技術將圖像與光譜技術相結合,可同時獲取反映待測物內外部品質的光譜信息與空間信息,近幾年國內外對其在果蔬品質的無損檢測中進行了廣泛的研究。本文將從高光譜成像技術的基本原理與其在果蔬品質無損檢測中的研究與應用等方面,介紹其在該領域的最新研究進展。
高光譜系統(tǒng)中的每個像元均可獲取同一個光譜區(qū)間內幾十到幾百個連續(xù)的窄波段信息,并得到一條平滑而完整的光譜曲線,同時整個成像系統(tǒng)還可獲取被測物的空間信息,實現(xiàn)對待測物內部成分與外觀特征的同時檢測,具有光譜連續(xù)與分辨率高等特點。
典型的高光譜成像系統(tǒng)如圖1所示,主要包括光源、成像光譜儀、CCD(charge coupled device)相機、計算機與載物臺等。其中,光源為整個系統(tǒng)提供照明,一般由兩個鹵素燈組成。成像光譜儀中的光學元件把輸入的寬帶光分散成不同頻率的單色光,并將其投射到CCD相機上實現(xiàn)光譜成像。載物臺用于放置待測物品,整個系統(tǒng)由計算機進行控制。
圖1 高光譜成像系統(tǒng)結構圖Fig.1 Schematic of hyperspectral imaging system
圖2 高光譜三維立體圖像Fig.2 3D hyperspectral image
系統(tǒng)獲取的高光譜圖像可用一段連續(xù)波段的光學圖像組成的立體三維圖像來表示,如圖2所示。其中XY平面的二維圖像表示物體的空間信息,如形狀大小、缺陷等。由于物品外部變化會影響反射光譜,故形狀、顏色或缺陷在某一特定的波長下圖譜會有變化。λ坐標表示物體的光譜信息,將反映出待測物成分結構等內部品質。
目前,國內外對高光譜成像技術在果蔬內外部品質檢測的應用研究中,主要涉及了如蘋果、香蕉、桃子、梨、紅棗、臍橙、哈密瓜、馬鈴薯、菠菜及番茄等品種。
市場上人們對果蔬的直接感受就是其外部品質的好壞,即對顏色、新鮮度、大小、機械損傷、凍傷與腐爛等方面的判斷。傳統(tǒng)的機器視覺技術在果蔬外部品質的檢測中由于精度低、操作復雜,很難區(qū)分出機械損傷、凍傷、腐爛及新鮮度等方面外部特征。高光譜成像技術恰好克服了這一缺點,能夠實現(xiàn)全方位的無損檢測,而且精度高、易于操作,近年來逐步用于果蔬外部品質的檢測中。
新鮮度是反映果蔬品質的重要指標。剛采摘的果蔬通常需經過儲存、運輸,最終到達消費者,該過程將影響其新鮮度品質。一般而言,人們對果蔬新鮮度的主觀判斷是不準確的。吳瓊等[3]利用高光譜成像技術對蔬菜的新鮮度檢測進行了探索。分別在失水0、10、24、48小時狀態(tài)下,利用成像光譜儀采集了小白菜、菠菜、油菜、娃娃菜等四種蔬菜葉片的光譜圖像并進行對比分析。其中,小白菜葉片在不同失水時間下的高光譜圖像與機器視覺圖像的對比分析如圖3、4所示。從中可以看出,隨著時間的變化兩幅圖中的葉片狀態(tài)均有明顯變化,但機器視覺圖像只能看出失水狀態(tài),而高光譜圖像通過分析光譜信息的變化發(fā)現(xiàn),葉片在失水過程中其外觀形態(tài)及內部葉綠素均有變化,葉綠素相對含量(soil and plant analyzer development,SpAD)值預測模型的相關系數r=0.76,說明高光譜技術可以有效辨別蔬菜葉片的新鮮度。
圖3 小白菜葉片不同失水時間段下的高光譜成像圖Fig.3 Hyperspectral images of pakchoi cabbage under four different water loss status
圖4 小白菜葉片不同失水時間段下的機器視覺圖Fig.4 The machine vision images of pakchoi cabbage under four different water loss status
王巧男等[4,5]利用高光譜技術在可見/近紅外波段對菠菜新鮮度的快速識別進行了實驗研究。研究中分別建立了全譜偏最小二乘-判別分析(partial least squares-discrimination analysis,pLS-DA)、選擇性系數-偏最小二乘-判別分析(selectivity ratio-partial least squares - discrimination analysis,SR-pLS-DA)、選擇性系數-支持向量機(selectivity ratio-support vector machine,SR-SVM),選擇性系數-極限學習機(selectivity ratio-extreme learning machine,SR-ELM)、偏最小二乘(partial least squares,pLS)等預測模型,對 4 ℃和20 ℃環(huán)境下貯藏的菠菜樣本新鮮度進行分析預測,并與化學分析結果進行對比,獲得了近100%的預測準確度。Xie C Q等[6]采用高光譜技術分析香蕉顏色以推斷其新鮮度與成熟度。實驗中將剛采摘的綠色香蕉在實驗室里催熟,并采集其顏色數據隨時間的變化,利用偏最小二乘(pLS)模型預測新鮮度,在選擇的波長段里均勻色度空間L*、a*、b*表色系的三個值分別為0.795,0.972和0.773,數值越大,香蕉顏色越鮮艷,相應的剩余預測偏差(residual predictive deviation,RpD)值為2.234、6.098和2.119,表明該方法對新鮮度的預測結果非常好,實現(xiàn)了非接觸式的香蕉顏色及新鮮度無損檢測。
凍傷和機械損傷是果蔬在采摘、運輸及貯藏過程中不可避免的表面損傷,將直接影響果蔬的外部品質。李江波[7]以臍橙為研究對象,利用RGB成像技術、可見近紅外高光譜及熒光高光譜成像技術,詳細研究了臍橙表面11種類型常見缺陷。提出了掩膜法的背景分割理論,并開發(fā)了臍橙表面缺陷檢測聯(lián)立算法,同時結合雙波段比和主成分分析等缺陷果檢測算法,在近紅外光譜區(qū)域的6個特征波長構建臍橙表面缺陷檢測的多光譜成像系統(tǒng),實現(xiàn)了99%的表面缺陷識別。張然[8]利用高光譜成像技術對馬鈴薯外部凍傷、機械損傷、摔傷等損傷的識別進行了研究。首先對馬鈴薯在468-1 000 nm波段的原始高光譜圖像數據進行主成分分析,然后選擇區(qū)域特征明顯的主成分圖像與對主成分圖像貢獻率最高的波段進行遞推最小二乘法處理,并結合貝葉斯分類器模型進行識別分析,為馬鈴薯的分級分類提供了技術參考。馬艷[9]采用主成分分析(principal component analysis,pCA)方法對全波段的鮮杏高光譜數據進行降維,并分別在全波段和通過權重系數優(yōu)選出的495 nm、570 nm、729 nm和891 nm四個特征波段中采用支持向量機(support vector machine,SVM)、偏最小二乘、Bp(back propagation)神經網絡等三種方法進行表面缺陷識別,結果表明基于特征波段構建的支持向量機預測模型效果最佳,識別率達100%。Sun Y等[10]在油桃凍傷等級分類中采用高光譜技術,并通過人工神經網絡模型(artificial neural network,ANN)進行預測,實現(xiàn)了4個凍傷等級的分類與預測。Gamal E M等[11]利用高光譜技術和ANN預測模型對蘋果凍傷進行了研究,如圖5所示。實驗采用如圖6所示過程,在400-1 000 nm波段的凍傷蘋果高光譜圖像中選擇5個主成分波段(717,751,875,960和980 nm)進行ANN模型的建立,其訓練集、測試集和驗證集的相關系數分別為0.93,0.91和0.92,最終實現(xiàn)了98%以上的識別準確率。
腐爛是果蔬在貯藏、運輸過程中最常見的一種現(xiàn)象,不僅影響果蔬的內外部品質甚至會導致食品安全問題。Sun Y等[12]對桃子根霉菌進行了深入研究,采用如圖7所示的實驗裝置在400-1 000 nm波段采集桃子360°全方位的高光譜數據(如圖8所示),然后通過統(tǒng)計方法和圖像分割算法得到三個單波長圖像(709 nm,807 nm和874 nm),可以明顯區(qū)分出邊緣、健全和腐爛部位。實驗中將腐爛部位按照尺寸大小分為3級,在對健全部位、輕微腐爛、中等腐爛以及嚴重腐爛的建模預測中,輕微腐爛的預測準確率為66.29%,其他三個的預測準確率均在95%以上,而對健全和腐爛兩種級別的預測準確率為100%。該研究表明利用高光譜技術與圖像分割算法結合可對桃子進行腐爛程度的檢測。
圖5 提取水果光譜特征:(a)選擇550 nm波段處的圖像;(b)二值化處理;(c)掩膜處理;(d)得到水果光譜特征Fig.5 Extraction of the fruit spectral signature: (a) Selecting 550 nm imagine; (b) Binarization (defining the AOI); (c) Applying the mask; (d) Calculating the fruit spectral signature using only those at the white pixels in the mask
圖6 對全波段光譜進行數據降維和特征波段選取Fig.6 Layout of ANN model for data dimensionality reduction and optimal wavelength selection
圖7 高光譜成像測試平臺示意圖Fig.7 Schematic of hyperspectral imaging testbed
圖8 包含光譜和空間信息的高光譜圖像示意圖Fig.8 The conceptual view of a hyperspectral image with spectral and spatial domains
果蔬的內部品質通常是衡量其營養(yǎng)價值的重要依據,一般通過檢測果蔬的糖度、硬度、可溶性固形物含量(soluble solids content,SCC)、水分、成熟度、蛋白質和淀粉含量等指標對其進行判斷。其中,糖度和硬度是反映果蔬內部品質的兩個重要指標,糖度能體現(xiàn)出果蔬的口感度,硬度能間接體現(xiàn)果蔬的成熟度。李瑞等[13]利用近紅外光譜儀(900-1 700 nm)分別對490個藍莓的果柄側和花萼側進行光譜成像以測量果實的糖度和硬度。他們運用偏最小二乘回歸法(partial least squares regression,pLSR)分別對果柄側、花萼側和果實的平均光譜建立預測模型。為避免過擬合現(xiàn)象并保證預測結果真正反映模型的表現(xiàn),樣本隨機分為四份,三份用于建模,一份用于驗證,并采用留一法進行交叉驗證以確定預測模型的主成分數,最終得到藍莓硬度與糖度的分布圖如圖9所示。試驗結果表明,藍莓硬度呈雙峰分布,表明實際生產中有望分為2類;藍莓糖度呈正態(tài)分布。硬度的校正集和驗證集的相關系數分別為0.911和0.871,糖度的為0.891和0.774,結果表明高光譜技術對藍莓的硬度和糖度預測是可行的。
圖9 藍莓果實樣本的硬度和糖度的Brix值分布Fig.9 Distribution for firmness index and sugar content of blueberries
王丹等[14]對甜柿子的果實硬度建立了可見近紅外漫反射光譜無損檢測模型,采用果皮脆性、強度和果肉硬度作為果實硬度的評價指標。研究中,采用400-2 500 nm可見近紅外光譜區(qū)域,并收集了230個果實的光譜數據,其中170個為定標集,60個為驗證集。圖10為甜柿貯藏49天不同處理的原始吸收光譜。在果皮強度和脆性的預測中,分別采用最小偏二乘法(modified partial least squares,MpLS)、一階導數結合標準多元離散校正處理建立預測模型,獲得的預測標準誤差、預測相關系數和相對分析誤差分別為0.094、0.858、2.47和0.157、0.862、2.63;在果肉平均硬度預測中,采用MpLS、一階導數結合標準正常化及去散射處理建立預測模型,獲得的三個參數分別為0.063、0.82、2.35。研究表明可見近紅外漫反射高光譜成像技術是可對甜柿子強度與硬度進行快速無損檢測。Sun M J等[15]利用近紅外(900-1 700 nm)高光譜成像技術實現(xiàn)了對哈密瓜糖分的無損檢測。研究中利用相關儀器測得哈密瓜的糖分作為標準集,對獲得的高光譜數據采用偏最小二乘回歸算法(pLSR)建立預測模型,得到的決定系數為0.79,均方根誤差為1.17,實現(xiàn)了對哈密瓜糖分的預測。
圖10 甜柿貯藏49天不同處理的原始吸收光譜圖Fig.10 Original absorption spectrogram for different treatment of the sweet persimmon in 49 days
可溶性固形物含量(SSC)是指果蔬中所有溶解于水的化合物總稱,包括糖、酸、維生素、礦物質等。其含量可以衡量果蔬的成熟度,測量其含量在農業(yè)采摘方面非常重要。近年來,采用高光譜技術測量果蔬可溶性固形物含量已成熱點。Ma T等[16]將近紅外高光譜運用到蘋果可溶性固形物含量的檢測中。其對80個蘋果樣本分別采集4塊尺寸為2 cm×2 cm×1.5 cm區(qū)域中的高光譜圖像,利用偏最小二乘回歸法來估算可溶性固形物含量反射數據與近紅外光譜數據之間的關系,得到交叉驗證系數為0.89,均方根誤差0.55%,最后成功繪制出主要波段的高空間分辨率SSC圖像,如圖11所示。從圖中可以看出靠近蘋果邊緣部分相比于中心部分有著更高的SSC值。結果表明,可用近紅外高光譜成像技術測量蘋果的可溶性固形物含量。Gabriel A L V等[17]提出使用高光譜技術來預測藍莓的硬度和SSC,在500-1 000 nm波段范圍內采集了302個藍莓的莖端和花萼的高光譜圖像,通過軟件得到每個藍莓高光譜圖像中的平均光譜,采用基于交叉驗證方法的偏最小二乘模型來建立藍莓硬度和SSC的預測模型,得到硬度和SSC的相關系數分別為0.87和0.79,實驗還發(fā)現(xiàn)藍莓的莖端對硬度和SSC的預測影響不大。該實驗通過對SSC和硬度的研究為藍莓的在線分類提供了很好的技術途徑。
圖11 a:蘋果截面樣本;b:SSC含量分布圖, 蘋果的邊緣部分相比于中心部分有更高的SSC含量Fig.11 a: An apple sample; b: SSC mapping result, the apple parts near the peel have higher SSC values compared to the central parts
水分、成熟度、蛋白質以及淀粉含量也是果蔬內部品質的重要組成部分,其中果蔬中水分的流失與其新鮮度、成熟度均有著直接的關系,蛋白質與淀粉的含量關系到果蔬的營養(yǎng)價值和口感度,因此對這些內部品質的檢測也尤為重要。崔彬彬等[18]利用可見和近紅外高光譜技術(400-2 500 nm)對花生的品種分類以及水分和蛋白質含量進行了檢測。采用了7種模式識別分類器建立分類模型,對五種花生品種進行鑒定;其次利用從高光譜圖像中提取的光譜數據和通過直接干燥法測定的水分含量,結合pLSR技術與光譜預處理方法在400-1 000 nm波段內建立的校正模型,其預測集決定系數高達0.93,均方根標準誤差為0.054%,通過結合回歸系數法和連續(xù)投影法選擇主要波長,解決了共線性問題和信息冗余問題,能夠用于花生水分含量的檢測;當采用同一預測模型在長波波段(1 000-2 500 nm)可實現(xiàn)對花生蛋白質含量的無損檢測。Rajkumar p等[19]利用可見近紅外波段(400-1 000 nm)高光譜成像技術在不同溫度條件下對香蕉的水分含量、SSC和硬度進行檢測,研究中采用偏最小二乘分析法對光譜數據進行處理,利用主成分分析法獲取全波段中貢獻率最高的特征波段,并結合多重線性回歸法建立基于特征波段的預測模型,獲得的香蕉SSC、水分含量和硬度的相關系數分別為0.85、0.87和0.91,同時發(fā)現(xiàn)在不同溫度環(huán)境儲存下香蕉的SSC和硬度的變化與香蕉成熟度呈多項式關系,而水分的變化隨成熟度呈線性變化關系。
通過以上的研究表明,采用高光譜技術能夠對果蔬的內外部品質進行有效的檢測和判斷,具有廣闊的應用潛力和價值。
隨著生活水平的提升,人們對健康食品的品質要求越來越高。傳統(tǒng)的機器視覺技術和物理化學方法在測量果蔬品質方面操作復雜、破壞性強,難以滿足檢測需要。高光譜成像技術融合了機器視覺、光譜和圖像處理技術,產生的圖像是“圖譜結合”的三維數據立方體,不僅包含了待測物的空間信息特征,同時還包含了待測物的光譜信息,能夠準確、快速、無損的檢測出農產品的品質,并且操作簡單,近年來廣泛應用于果蔬品質的檢測中。但是高光譜成像技術在采集和處理圖像數據的過程中,受限于儀器性能和處理速度的影響,該技術現(xiàn)目前主要應用于基礎性研究,并未廣泛應用于工業(yè)的在線實時檢測中。針對這些問題,為了實現(xiàn)果蔬品質的商業(yè)化在線檢測,還需要做到如下兩點:一是改進并升級高光譜成像技術的相關設備比如成像光譜儀,提升其性能并降低其生產成本,利于高光譜成像技術在果蔬品質檢測中的推廣;二是針對全波段的、不同品種的果蔬高光譜圖像進行特征波長選取,以降低數據冗余量,減少高光譜圖像的獲取以及處理時間。盡管如此,隨著社會發(fā)展與科學進步,高光譜成像技術將不斷提升和改進,未來在農產品、食品安全領域將具有更加廣闊的發(fā)展空間和應用前景。
[1] 張保華, 李江波, 樊書祥, 等. 高光譜成像技術在果蔬品質與安全無損檢測中的原理及應用[J]. 光譜學與光譜分析, 2014, 34(10):2743-2751.
ZHANG Baohua, LI Jiangbo, FAN Shuxiang,etal. principles and applications of hyperspectral imaging technique in quality and safety inspection of fruits and vegetables[J]. Spectroscopy and Spectral Analysis, 2014, 34(10):2743-2751.
[2] 劉建學, 楊瑩, 韓四海, 等. 高光譜成像技術在食品品質無損檢測中的應用[J]. 食品工業(yè)科技, 2016, 37(03):389-393.
LIU Jianxue, YANG Ying, HAN Sihai,etal. Application of hyperspectral imaging technology in nondestructive detection of food quality[J]. Science and Technology of Food Industy, 2016, 37(03):389-393.
[3] 吳瓊, 朱大洲, 王成, 等. 基于高光譜成像的蔬菜新鮮度檢測初探[J]. 食品安全質量檢測學報, 2012, 3(6):685-689.
WU Qiong, ZHU Dazhou, WANG Cheng,etal. preliminary study on detection of vegetable freshness based on hyperspectral imaging[J]. Journal of Foof Safety and Quality, 2012, 3(6):685-689.
[4] 王巧男. 基于高光譜成像技術的蔬菜新鮮度快速檢測方法研究[D]. 浙江:浙江大學, 2015.
WANG Qiaonan. Rapid detection of vegetable freshness based on hyperspectral imaging technology[D]. Zhejiang:Zhejiang University, 2015.
[5] ZHANG C, WANG Q N, LIU F,etal. Rapid and non-destructive measurement of spinach pigments content during storage using hyperspectral imaging with chemometrics[J]. Measurement, 2017, 97:149-155.
[6] XIE C Q, CHU B Q, HE Y. prediction of banana color and firmness using a novel wavelengths selection method of hyperspectral imaging[J]. Food Chemistry, 2018, 245:132-140.
[7] 李江波. 臍橙表面缺陷的快速檢測方法研究[D]. 浙江:浙江大學, 2012.
LI Jiangbo. Study on rapid detection methods of defects on navel orange surface[D]. Zhejiang:Zhejiang University, 2012.
[8] 張然. 基于高光譜成像技術的馬鈴薯外部損傷識別研究[D]. 寧夏:寧夏大學, 2013.
ZHANG Ran. Research about potato external damage identification based on the hyperspectral image technology[D]. Ningxia:Ningxia University, 2013.
[9] 馬艷. 鮮杏表面缺陷的高光譜成像檢測研究[D]. 新疆:石河子大學, 2017.
MA Yan. Surface defects detection of apricot by hyperspectral imaging[D]. Xinjiang:Shihezi University, 2017.
[10] SUN Y, GU X Z, SUN K,etal. Hyperspectral reflectance imaging combined with chemometrics and successive projections algorithm for chilling injury classification in peaches[J]. LWT-Food Science and Technology, 2017, 75:557-564.
[11] GAMAL E M, WANG N, CLEMENT V. Detecting chilling injury in red delicious apple using hyperspectral imaging and neural networks[J]. postharvest Biology and Technology, 2009, 52(1):1-8.
[12] SUN Y, XIAO H, TU S C,etal. Detecting decayed peach using a rotating hyperspectral imaging testbeed[J]. LWT-Food Science and Technology, 2018, 87:326-332.
[13] 李瑞, 傅隆生. 基于高光譜圖像的藍莓糖度和硬度無損測量[J]. 農業(yè)工程學報, 2017, 33(增刊1):362-366.
LI Rui, FU Longsheng. Nondestructive measurement of firmness and sugar content of blueberries based on hyperspectral imaging[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(Supp. 1):362-366.
[14] 王丹, 魯曉翔, 張鵬, 等. 可見/近紅外漫反射光譜無損檢測甜柿果實硬度[J]. 食品與發(fā)酵工業(yè), 2013, 39(5):180-184.
WANG Dan, LU Xiaoxiang, ZHANG peng,etal. Nondestructive measurement of firmness of sweet persimmon using visible and near infrared diffuse reflection spectroscopy[J]. Food and Fermentation Industries, 2013, 39(5):180-184.
[15] SUN M J, ZHANG D, LIU L,etal. How to predict the sugariness and hardness of melons:a near-infrared hyperspectral imaging method[J]. Food Chemistry, 2017, 218:413-421.
[16] MA T, LI X Z, TETSUYA I,etal. Noncontact evaluation of soluble solids content in apples by near-infrared hyperspectral imaging[J]. Journal of Food Engineering, 2018, 224:53-61.
[17] GABRIEL A L V, LU R F, JOSE M A. prediction of firmness and soluble solids content of blueberries using hyperspectral reflectance imaging[J]. Journal of Food Engineering, 2013, 115(1):91-98.
[18] 崔彬彬. 基于高光譜成像技術的花生分類及水分和蛋白質含量檢測[D]. 河南:河南工業(yè)大學, 2015.
CUI Binbin. Classification of peanut and prediction of moisture and protein content in peanut using hyperspectral imaging[D]. Henan:Henan University of Technology, 2015.
[19] RAJKUMAR p, WANG N, EIMASRY G,etal. Studies on banana fruit quality and maturity stages using hyperspectral imaging[J]. Journal of Food Engineering, 2012, 108(1):194-200.