武錦龍，苗榮慧，黃鋒華，楊華

(山西農(nóng)業(yè)大學 信息科學與工程學院，山西 太谷 030801)

水果在采摘、運輸、銷售的過程中極易受到外力的影響形成機械損傷[1]。而輕微損傷在形成初期肉眼難以分辨，隨著時間推移，損傷部位會逐漸褐變甚至腐爛，這將嚴重影響水果的品質(zhì)和口感[2]。因此，在損傷形成初期對水果的損傷部位進行快速檢測和識別對提高水果品質(zhì)具有重要意義[3]。油桃具有極高的營養(yǎng)價值，除含有人體所必需的多種氨基酸外，油桃還可以補氣養(yǎng)血、提高免疫力，具有較高的藥用價值[4]。

目前，國內(nèi)外對于水果輕微損傷檢測的研究報道較多。黃文倩等[5]以阿克蘇蘋果為研究對象，檢測損傷發(fā)生僅為半小時的蘋果，重點研究輕微損傷檢測中有效波長的提取。汪成龍等[6]以馬鈴薯為研究對象，針對其表面凹凸不平、具有芽眼的特性，提出了一種基于流行學習算法的機械損傷檢測方法。試驗結(jié)果表明，采用PCA(Principal component analysis)-SVM(Support Vector Machine)方法對馬鈴薯機械損傷檢測效果最優(yōu)。趙杰文等[7]實現(xiàn)了對蘋果的輕微損傷檢測，在主成分分析的基礎(chǔ)上選取單波段波長圖像，結(jié)合高光譜成像技術(shù)和圖像分析技術(shù)實現(xiàn)了輕微損傷區(qū)域的提取。然而，傳統(tǒng)的水果損傷區(qū)域檢測算法主要包括特征提取與構(gòu)建分類器2部分內(nèi)容，該方法在特征提取與分類器構(gòu)建的選擇上具有一定的盲目性，沒有統(tǒng)一的標準，很難達到最優(yōu)結(jié)果[8]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)可以將特征提取與構(gòu)建分類器合二為一，直接根據(jù)原始圖像進行模式識別，已廣泛應(yīng)用于各個領(lǐng)域，尤其在作物種子識別[9]、蔬菜病蟲害檢測[10]、動物目標檢測[11]和身份識別[12]等方面具有較好的識別結(jié)果。

本研究以油桃高光譜圖像為研究對象，在圖像分塊的基礎(chǔ)上，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的損傷區(qū)域檢測算法。首先，針對原始圖像存在的復(fù)雜背景，采用基于顏色特征的圖像分割算法實現(xiàn)油桃與背景的分離。然后，采用分塊算法對圖像進行處理，將分塊的數(shù)據(jù)標記為正常、損傷和背景區(qū)域，并將獲取的數(shù)據(jù)分成訓(xùn)練集和測試集。最后，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，利用訓(xùn)練集設(shè)置模型參數(shù)，通過測試集進行識別驗證。圖1為油桃表面輕微損傷檢測流程圖。

圖1 油桃表面輕微損傷檢測流程Fig.1 Slight bruises detection procedure of nectarine

1 試驗材料與方法

1.1 樣品采集

試驗研究對象為“中油四號”油桃，樣本采集于山西省運城市萬榮縣，共采集200個表面無明顯缺陷、形狀相近、大小相似的油桃樣本，采用人工模擬方式[13]在油桃表面制造輕微損傷，放置數(shù)天。采用高光譜圖像采集儀對獲得的帶有輕微損傷的油桃樣本進行高光譜數(shù)據(jù)獲取，共采集了具有輕微損傷的油桃樣本圖像132幅。圖2為獲取的油桃樣本圖像。

圖2 油桃表面輕微損傷樣本圖像Fig.2 Sample image of nectarine with slight bruises

1.2 儀器設(shè)備

HyperSIS高光譜圖像采集系統(tǒng)(380～1 023 nm)如圖3所示。該系統(tǒng)主要包括：ImSpector V10E型光譜儀(Specim，F(xiàn)inland)和CCD面陣探測器，150 W光纖鹵素燈(IIumination，USA)，電控移動平臺，計算機和暗箱等設(shè)備。儀器設(shè)備的主要參數(shù)為：光譜分辨率為1.2 nm；CCD面陣探測器的大小為672×1297；入射光狹縫寬度為30 μm。樣本采集在暗箱中進行，獲取油桃樣本反射光譜數(shù)據(jù)。高光譜圖像是由一系列連續(xù)的波段圖像組成的三維圖像數(shù)據(jù)塊，可以同時獲取試驗?zāi)繕说墓庾V信息和圖像信息。

圖3 高光譜圖像采集系統(tǒng)Fig.3 Hyper-spectral image acquisition system 注：1.相機; 2.光譜儀; 3.鏡頭; 4.光源; 5.樣本; 6.傳送帶; 7.暗室; 8.步進電動機; 9.計算機。Note:1. Camera; 2.Spectrograph; 3.Camera lens; 4. Illuminant; 5. Sample; 6. Conveyor; 7. Darkroom; 8. Stepping motor; 9.Computer.

在采集油桃樣本高光譜圖像數(shù)據(jù)時，為了避免采集過程中出現(xiàn)過度飽和、成像失真等問題，需要設(shè)置電控移動平臺的移動速度和設(shè)備的曝光時間。針對油桃樣本，經(jīng)多次試驗確定最佳光譜數(shù)據(jù)采集參數(shù)為：電控移動平臺移動速度為2.0 mm·s-1曝光時間為15 ms。將油桃置于水平傳送帶上，采集每個油桃損傷部位的高光譜圖像。

1.3 高光譜圖像校正

為了消除光強變化和鏡頭中暗電流對成像造成的影響，以及計算掃描物體的相對反射光譜值，需在光譜采集前進行黑白板校正[14]。計算公式為：

(1)

式中：R—校正后的漫反射光譜圖像；IR—樣本原始的漫反射光譜圖像；ID—黑板校正圖像；IW—白板校正圖像。

將油桃置于水平傳送帶上，采集每個油桃損傷部位的高光譜圖像。

1.4 數(shù)據(jù)分析方法

采用ENVI 4.7(Research System Inc., USA)，Matlab 7.5(The MathWorks Inc., USA)軟件對獲取的油桃高光譜數(shù)據(jù)進行圖像和光譜數(shù)據(jù)分析。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的油桃表面損傷檢測

傳統(tǒng)的模式識別方法大多注重基于人工設(shè)計的特征提取方法的研究，這些方法一般基于圖像的低層特征進行學習且應(yīng)用領(lǐng)域較局限，不能夠較好地表達目標的高層語義信息，因此，其判別性能和泛化能力較弱[15]。與傳統(tǒng)的人工設(shè)計特征不同，卷積神經(jīng)網(wǎng)絡(luò)可以根據(jù)已有的圖像信息通過自學習從低層特征逐層獲得高層抽象語義信息，具有較強地的判別和泛化能力[16]。因此，本研究采用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)油桃損傷部位的檢測。

2.1 基于顏色特征的圖像分割

對油桃樣本圖像識別之前，需要對圖像進行圖像分割，實現(xiàn)油桃與背景的分離。由于油桃外表同時具有紅和綠兩種顏色，因此，本研究基于顏色特征對圖像進行分割。圖4為油桃樣本單波段RGB通道圖像的灰度直方圖，其中(a)(b)(c)分別為油桃樣本R紅色、G綠色、B藍色通道的灰度直方圖。通過分析，圖4(a)與其它兩圖相比，具有明顯的雙峰性質(zhì)，可以作為油桃圖像的分割依據(jù)。

圖4 油桃樣本RGB通道灰度直方圖Fig.4 RGB channel gray histogram of nectarine samples

圖5和圖6分別為采用自適應(yīng)閾值方式分割不同油桃樣本圖像的結(jié)果。圖5(a)、(b)、(c)和圖6(a)、(b)、(c)分別為紅色油桃樣本和綠色油桃樣本圖像對應(yīng)的RGB通道灰度圖，圖5(d)和6(d)為樣本圖像的分割結(jié)果。從圖5(d)和6(d)中可看出，該方法可較好地將油桃樣本從復(fù)雜背景中分離開。圖7為分別采用傳統(tǒng)的大津算法[17](OTSU)、迭代閾值法[18]、區(qū)域生長法[19]的分割結(jié)果，針對圖中兩樣本，OTSU算法分割的最佳閾值分別為53和92，迭代閾值法分割的最佳閾值為54和93。從圖中可看出，兩者分割結(jié)果相似，但都存在過分割現(xiàn)象，不能較好地實現(xiàn)油桃輪廓的分割。區(qū)域生長的基本思想是將具有相似性質(zhì)的像素集合起來構(gòu)成一個區(qū)域，實質(zhì)是將具有相似特性的像素元素連接成區(qū)域，圖6(d)中的生長點分別為[211,229]和[108,222]，在種子點處進行8鄰域擴充，從圖中可看出，該方法不適用于灰度值相差不大的圖像，其分割結(jié)果最差。因此，本研究采用基于顏色特征的分割結(jié)果進行后續(xù)試驗。

圖5 基于顏色特征的油桃樣本1分割結(jié)果Fig.5 Segmentation results of sample 1 based on color features

圖6 基于顏色特征的油桃樣本2分割結(jié)果Fig.6 Segmentation results of sample 2 based on color features

圖7 傳統(tǒng)方法的油桃圖像分割結(jié)果Fig.7 Image segmentation results of nectarine by traditional methods

2.2 圖像分塊

由于有輕微損傷的油桃樣本圖像中損傷部位一般占比較小，可將原始圖像采用分塊方法分成損傷部位、正常部位和背景區(qū)域。分塊過程為：將原始圖像進行歸一化處理，統(tǒng)一大小為256×256的圖像；將圖像分割成32×32、64×64尺寸的塊，分塊重疊率為50%，那么每幅圖像將被分成15×15(即225)塊、7×7(即49)塊。圖8為油桃圖像分塊過程。通過分析可知，64×64尺寸的圖像塊攜帶的信息量大，效果較好，因此，采用64×64的尺寸制作數(shù)據(jù)集。

圖8 油桃圖像分塊過程Fig.8 Block segmentation of nectarine images

為每個分塊圖像制作標簽，將圖像分為3類，即背景、正常油桃部位和損傷油桃部位，其中將白色背景標記為1，正常油桃部位標記為2，損傷油桃部位標記為3。在標簽制作的過程中，背景像素比例超過50%則標記該塊為背景，油桃像素超過50%則標記該塊為正常油桃，由于損傷部位一般都較小，損傷部位超過25%，則認為該塊為損傷部位，通過這種方式可以有效的增大損傷區(qū)域塊與背景區(qū)域塊之間的差異，便于神經(jīng)網(wǎng)絡(luò)模型的區(qū)分。

2.3 卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)造

采用典型的七層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[20]：輸入層、卷積層S1、下采樣層C1(即池化層)、卷積層S2、下采樣層C2、全連接層、輸出層。圖9為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

圖9 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.9 CNN structure

假設(shè)輸入圖像為X，卷積神經(jīng)網(wǎng)絡(luò)通過多層次的卷積層和下采樣層對輸入圖像進行特征提取和降維[21]。在網(wǎng)絡(luò)中，用i表示網(wǎng)絡(luò)層數(shù)，其中i=1，2，…，7，用Hi表示第i層的特征圖，如果第i層為卷積層，則Hi可表示為：

Hi=f(Wi?Hi-1+bi)

(2)

式中，Wi代表卷積神經(jīng)網(wǎng)絡(luò)中第i層卷積核的權(quán)值，Hi-1代表第i-1層的特征圖，bi為偏移向量，f(X)為激勵函數(shù)。Wi與Hi-1進行卷積運算，然后與當前層的偏移向量bi相加，最終經(jīng)過非線性函數(shù)f(X)的激勵，獲得當前層的特征圖Hi。

下采樣層的作用是針對特征圖進行降維，并保證特征的尺度不變性[22]，通過不同的下采樣方法(最大池化max-pooling、均值池化mean-pooling)針對特征圖進行操作，得到采樣后的特征Hi：

Hi=subsampling(Hi-1)

(3)

經(jīng)過上述操作，輸入圖像X經(jīng)過多層次的卷積層和下采樣層分別進行特征提取與降維，最后通過全連接層對變換后的特征進行分類達到識別目的：

Y(m)=P(L=lm|H0;(W,b))

(4)

式(4)中，m是針對標簽類別的索引，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程就是最小化網(wǎng)絡(luò)損失函數(shù)L(W,b)的過程。

3 結(jié)果與討論

原始圖像共132幅，通過圖像分塊操作將原始圖像分成6 468幅圖。由于損傷區(qū)域數(shù)據(jù)集規(guī)模相對較小，需采用適當?shù)臄?shù)據(jù)增強技術(shù)對數(shù)據(jù)集進行擴充。本文將圖像進行水平鏡像變換、垂直鏡像變換、旋轉(zhuǎn)變換(90°、180°和270°)，共構(gòu)造了38 808幅圖。經(jīng)篩選去除部分奇異樣本，剩余32 000圖像作為數(shù)據(jù)集，然后采用KS(kennard-Stone)方法將分塊圖像與其對應(yīng)的標簽按照3∶1的比例隨機分成訓(xùn)練集(24 000個)和測試集(8 000個)，輸入卷積神經(jīng)網(wǎng)絡(luò)模型中實現(xiàn)損傷檢測。

3.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計與訓(xùn)練

在卷積神經(jīng)網(wǎng)絡(luò)模型中，經(jīng)過多次試驗，模型參數(shù)設(shè)置如下：輸入層大小為64×64；卷積層S1的卷積核大小為5×5，卷積面?zhèn)€數(shù)為6；下采樣層C1和C2采用了非重疊的滑動窗口為2×2的下采樣區(qū)域，采用平均下采樣策略；卷積層S2的卷積核大小5×5，卷積面?zhèn)€數(shù)為12，最終各列網(wǎng)絡(luò)都通過全連接層輸出該網(wǎng)絡(luò)對于油桃損傷部位的判別結(jié)果。

表1為油桃損傷區(qū)域識別結(jié)果。在訓(xùn)練過程中設(shè)置不同學習率和訓(xùn)練塊，對比分析不同參數(shù)的識別率。從表1中可看出，在數(shù)據(jù)集相同的情況下，學習率為0.1，訓(xùn)練塊大小為50，其識別正確率最高為88.2%，卷積神經(jīng)網(wǎng)絡(luò)對油桃訓(xùn)練數(shù)據(jù)完成了480輪梯度下降(batch gradient descent)訓(xùn)練。表2為對應(yīng)3種區(qū)域的識別結(jié)果。從表2中可看出，背景、損傷區(qū)域和正常區(qū)域的識別正確率分別為92.7%，82.8%和85.7%，其中背景的識別率最高，損傷部位識別最低；背景的錯分數(shù)目大多被分成正常區(qū)域，損傷區(qū)域的錯誤數(shù)目大多被分成正常區(qū)域，而正常區(qū)域的錯分數(shù)目大多被分成背景，這是因為背景與正常區(qū)域和損傷區(qū)域差異性較大，損傷部位與正常區(qū)域本身存在相似性。

表1 油桃損傷區(qū)域識別結(jié)果Table 1 Bruises identification results of nectarines

表2 油桃三種區(qū)域識別結(jié)果Table 2 Three area identification results of nectarine

3.2 卷積面和特征圖分析

圖10為卷積層(S1)6個卷積面的權(quán)值參數(shù)可視化結(jié)果。圖10為卷積層S1部分輸出結(jié)果。試驗結(jié)果表明，原始圖像可以通過不同的卷積面作用得到不同的卷積結(jié)果圖。從圖11中可看出，這些圖可以顯示原始圖像的輪廓信息、邊緣信息和顏色信息，能夠很好的提取不同特征。

4 結(jié)論

以“中油四號”油桃為研究對象，在圖像分割、圖像分塊的基礎(chǔ)上，采用卷積神經(jīng)網(wǎng)絡(luò)方法實現(xiàn)油桃損傷部位的檢測。

圖10 卷積層(S1)6個卷積面的權(quán)值參數(shù)可視化Fig.10 Weight visualization results of six convolution planes (S1)

圖11 卷積層(S1)部分輸出結(jié)果Fig.11 Convolution layer (S1) partial output results

(1)利用本文方法對油桃損傷區(qū)域進行識別，準確率為88.2%，比傳統(tǒng)特征提取方法識別準確率高。

(2)與傳統(tǒng)的人工設(shè)計特征相比，卷積神經(jīng)網(wǎng)絡(luò)的遷移學習特征方法在模式識別領(lǐng)域中具有更好的判別和泛化性能。

(3)由于油桃外表同時具有紅和綠2種顏色，其表面的輕微損傷較難檢測，本文采用基于顏色特征的分割方法將油桃從復(fù)雜背景中分離，具有較好地適應(yīng)性。后續(xù)可進一步對油桃的自然缺陷損傷進行研究，提高算法的識別范圍和能力。