王廣來，王恩鳳，王聰聰，劉大洋

東北林業(yè)大學(xué)機(jī)電工程學(xué)院, 黑龍江 哈爾濱 150000

引 言

梨在儲(chǔ)藏、 包裝和運(yùn)輸?shù)冗^程中均可能發(fā)生不同程度的機(jī)械損傷，若不及時(shí)剔除損傷梨，隨著時(shí)間的推移，損傷會(huì)逐漸加重而演變成腐爛，造成巨大的經(jīng)濟(jì)損失[1]。由于梨的果皮顏色較暗，輕度皮下?lián)p傷依靠肉眼難以識(shí)別，實(shí)現(xiàn)梨損傷的自動(dòng)化識(shí)別可以有效減小經(jīng)濟(jì)損失。此外，對(duì)梨損傷時(shí)間的評(píng)估有助于采用不同手段對(duì)梨進(jìn)行加工處理，同時(shí)可以根據(jù)損傷時(shí)間對(duì)梨在儲(chǔ)藏、 包裝和運(yùn)輸?shù)纫讚p傷環(huán)節(jié)進(jìn)行監(jiān)控及改善，從而減少不必要的浪費(fèi)和經(jīng)濟(jì)損失[2]。因此，建立一種梨早期損傷檢測(cè)及損傷時(shí)間評(píng)估的快速、 無損檢測(cè)方法對(duì)梨產(chǎn)業(yè)的健康發(fā)展具有重要意義。

高光譜圖像融合了圖像與光譜信息，可以同時(shí)采集果品的內(nèi)外部品質(zhì)信息，已經(jīng)廣泛地應(yīng)用于蘋果[2]、 藍(lán)莓[3]、 棗[4]和梨[5-6]等果品的機(jī)械損傷檢測(cè)中。近年來，深度學(xué)習(xí)在大數(shù)據(jù)處理方面獲得了快速發(fā)展，通過對(duì)模型的預(yù)訓(xùn)練，特征的自動(dòng)提取與優(yōu)化，可以快速批量處理數(shù)據(jù)，目前已越來越多地應(yīng)用于果品檢測(cè)領(lǐng)域[7]。其中，Zhang等結(jié)合全卷積網(wǎng)絡(luò)與光譜透射圖像，對(duì)機(jī)械損傷后30 min的藍(lán)莓及其花萼部分進(jìn)行分割，測(cè)試集準(zhǔn)確率達(dá)到81.2%[8]。Wang等將高光譜圖像與深度學(xué)習(xí)相結(jié)合，使用AlexNet和ResNet兩種模型對(duì)藍(lán)莓機(jī)械損傷進(jìn)行識(shí)別，兩個(gè)模型的精度分別為88.44%和89.52%[9]。Azizah等結(jié)合RGB圖像和卷積神經(jīng)網(wǎng)絡(luò)，使用卷積神經(jīng)網(wǎng)絡(luò)模型和4-折交叉驗(yàn)證實(shí)現(xiàn)二值分類，對(duì)山竹表面缺陷識(shí)別準(zhǔn)確率達(dá)到97.5%[10]。Bai等將光譜指紋特征與深度學(xué)習(xí)和多元回歸分析相結(jié)合，建立多產(chǎn)地蘋果的糖度預(yù)測(cè)模型，測(cè)試集的相關(guān)系數(shù)和均方根誤差分別為0.990和0.274，均優(yōu)于單產(chǎn)地模型[11]。以上研究說明，深度學(xué)習(xí)算法在高光譜圖像等大數(shù)據(jù)處理方面有較大的應(yīng)用前景。

在對(duì)梨損傷檢測(cè)的研究中，針對(duì)損傷時(shí)間進(jìn)行檢測(cè)的研究較少；另外，現(xiàn)有的關(guān)于果品損傷識(shí)別研究大多使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法，這些方法在處理高光譜圖像數(shù)據(jù)時(shí)存在計(jì)算耗時(shí)長(zhǎng)、 準(zhǔn)確率低等問題，基于深度學(xué)習(xí)的遷移學(xué)習(xí)模型可以對(duì)小數(shù)據(jù)集實(shí)現(xiàn)精確的遷移學(xué)習(xí)，同時(shí)保證識(shí)別準(zhǔn)確率和識(shí)別效率，目前尚未有將基于深度學(xué)習(xí)的遷移學(xué)習(xí)模型應(yīng)用到高光譜技術(shù)檢測(cè)果品損傷的研究中。

水晶梨的抗旱、 抗寒能力強(qiáng)，果樹易種植，果實(shí)耐儲(chǔ)存，且價(jià)格相對(duì)實(shí)惠，受眾面廣，因此選用水晶梨作為研究對(duì)象。本研究的主要目的是應(yīng)用高光譜圖像結(jié)合基于深度學(xué)習(xí)的遷移學(xué)習(xí)模型無損檢測(cè)不同損傷時(shí)間的水晶梨，具體過程如下：(1)使用主成分分析法對(duì)高光譜圖像降維，提取檢測(cè)損傷的主成分圖像；(2)將提取的主成分圖像拼接后進(jìn)行數(shù)據(jù)擴(kuò)充，分別采用傳統(tǒng)機(jī)器學(xué)習(xí)算法和基于ResNet50網(wǎng)絡(luò)的遷移學(xué)習(xí)模型檢測(cè)不同損傷時(shí)間的水晶梨；(3)綜合比較各模型的識(shí)別準(zhǔn)確率，得到水晶梨損傷時(shí)間檢測(cè)的最優(yōu)模型。

1 實(shí)驗(yàn)部分

1.1 儀器

高光譜采集系統(tǒng)如圖1所示，主要包括芬蘭Specim公司FX10系列的圖像光譜儀(SPECIM, Spectral Imaging Ltd, Finland)、 電動(dòng)控制移動(dòng)平臺(tái)、 6盞50 W鹵素?zé)艉陀?jì)算機(jī)等，在波長(zhǎng)范圍400～1 000 nm內(nèi)每隔2.62 nm采集一次圖像，共224幅圖像，一次采集六個(gè)樣本的高光譜圖像信息，像素大小為1 198×512，通過軟件ENVI 5.1(The Environment for Visualizing Images)對(duì)原圖像進(jìn)行裁剪，一幅圖像保留一個(gè)樣本的高光譜信息，圖片的尺寸和光譜波段數(shù)為340×220×224。程序處理使用集成開發(fā)工具Pycharm 2019.3.3專業(yè)版，Python 3.7.1，開源深度學(xué)習(xí)框架Pytorch，版本1.6.0。

圖1 高光譜圖像采集系統(tǒng)示意圖Fig.1 Schematic diagram of hyperspectralimage acquisition system

1.2 材料與樣本

于黑龍江省哈爾濱市的家樂福超市購買水晶梨樣本160個(gè)，從中挑選形狀規(guī)整、 大小均勻、 表面無明顯劃痕、 無腐爛的樣本80個(gè)。買回后置于實(shí)驗(yàn)室(22～25 ℃)中24 h，使樣本溫度達(dá)到室溫，用毛巾擦去梨表面的污漬與灰塵，排除溫度、 水等其他因素的干擾。用萬能試驗(yàn)機(jī)以5 mm·min-1的速度緩慢擠壓使每個(gè)樣本發(fā)生5 mm形變，損傷形成前后的樣本如圖2所示。采集高光譜圖像時(shí)先采集無損傷樣本的高光譜圖像，在形成損傷后24和48 h各采集一次高光譜圖像。

圖2 水晶梨擠壓前(a)和擠壓損傷后(b)圖像Fig.2 Images of crystal pear before (a) and after (b) crushing

1.3 高光譜圖像校正

為獲取清晰且不失真的高光譜圖像，設(shè)定平臺(tái)移動(dòng)速度5.5 mm·s-1，移動(dòng)平臺(tái)與鏡頭之間的距離為40 cm。通過橡膠圈將樣本固定在移動(dòng)平臺(tái)上，使標(biāo)記損傷部位與鏡頭垂直。

高光譜圖像系統(tǒng)獲取的是未經(jīng)黑白校正的原始高光譜圖像，為排除光線以及暗電流等因素的干擾，需要對(duì)原始高光譜圖像進(jìn)行黑白校正，校正公式如式(1)

(1)

式(1)中，I是校正后的圖像，Iraw是原始圖像，Iwhite是標(biāo)準(zhǔn)白板的校正圖像，Idark是反射率接近0的暗光譜校正圖像。

1.4 數(shù)據(jù)處理

1.4.1 主成分分析

原始光譜提供了豐富的信息，但各波長(zhǎng)之間存在一定的相關(guān)性，可能會(huì)有重疊冗余的信息，常使用主成分分析(principal component analysis, PCA)減少各波長(zhǎng)之間的線性相關(guān)影響，保留下來的特征信息之間沒有重復(fù)或冗余。

1.4.2 支持向量機(jī)

支持向量機(jī)(support vector machine, SVM)是基于統(tǒng)計(jì)學(xué)習(xí)方法提出的一種機(jī)器學(xué)習(xí)方法，其核心思想是通過核函數(shù)將輸入向量映射到一個(gè)更高維的空間，在這個(gè)空間中尋找一個(gè)超平面，使得超平面與各數(shù)據(jù)點(diǎn)之間的距離最大。SVM適用于高維度、 小樣本、 非線性等問題，本研究中數(shù)據(jù)量少，樣本分布不明確，所以使用SVM識(shí)別梨的早期損傷及損傷時(shí)間[12]。

1.4.3 k-近鄰算法

k近鄰(k-nearest neighbor, k-NN)算法是一種簡(jiǎn)單、 有效的算法，主要思想是在確定已知類別的樣本后，計(jì)算特征空間中未知樣本與最近k個(gè)已知類別樣本的距離來確定未知樣本的屬類[4]。

1.4.4 ResNet50網(wǎng)絡(luò)與遷移學(xué)習(xí)

深度學(xué)習(xí)在應(yīng)用過程中，大多使用RGB圖像，而果實(shí)的內(nèi)部缺陷等信息并不能直觀的由RGB圖像顯示，需要通過高光譜圖像反映，但高光譜圖像所包含的數(shù)據(jù)信息較大，大數(shù)據(jù)集的建立較難，處理相比于RGB圖像更加復(fù)雜，導(dǎo)致訓(xùn)練出來的模型精度不夠。遷移學(xué)習(xí)是一種新的學(xué)習(xí)范式，可以大大縮短訓(xùn)練時(shí)間，并且對(duì)小數(shù)據(jù)集也能實(shí)現(xiàn)較高的精度[13]。

RestNet50網(wǎng)絡(luò)由16個(gè)殘差塊堆疊而成，網(wǎng)絡(luò)深度達(dá)到50層，有較強(qiáng)的特征提取能力，并且能夠解決網(wǎng)絡(luò)深度帶來的網(wǎng)絡(luò)退化和梯度消失等問題，使得網(wǎng)絡(luò)的性能不會(huì)因?yàn)榫W(wǎng)絡(luò)深度增加而下降，而且殘差塊中的跳躍連接沒有引入新參數(shù)，也沒有增加模型計(jì)算量[14-15]。使用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練ResNet50網(wǎng)絡(luò)，把預(yù)訓(xùn)練好的權(quán)重作為初始化權(quán)值遷移到水晶梨損傷數(shù)據(jù)集上進(jìn)行訓(xùn)練與微調(diào)，最終得到基于ResNet50網(wǎng)絡(luò)遷移學(xué)習(xí)的水晶梨損傷時(shí)間檢測(cè)模型。

2 結(jié)果與討論

2.1 高光譜圖像預(yù)處理及主成分分析

為了選擇合適的特征圖像，保留更多損傷信息，對(duì)原始圖像先使用PCA降維，前8個(gè)主成分包含了原圖像99%的信息，如圖3所示。由圖3可見，PC4、 PC5和PC6中均清晰地顯示了梨的損傷區(qū)域，將這3個(gè)主成分作為檢測(cè)水晶梨壓傷的特征圖像，然后用掩模圖像與特征圖像相乘，減少計(jì)算量并消除背景的影響，得到去除背景后的光譜圖像。

圖3 基于輕微損傷樣本全波段PCA的前8個(gè)主成分圖像Fig.3 The first 8 PC images based on full-band PCA of slightly bruised samples

2.2 圖像擴(kuò)充及樣本劃分

為了增加樣本數(shù)量，對(duì)拼接后的水晶梨特征圖像隨機(jī)進(jìn)行上下翻轉(zhuǎn)、 左右翻轉(zhuǎn)，最終得到無損傷、 擠壓損傷24 h和擠壓損傷48 h的特征圖像各160張，然后按照9∶1比例隨機(jī)劃分樣本的訓(xùn)練集和測(cè)試集。為使輸入的圖像數(shù)據(jù)符合基于ResNet50網(wǎng)絡(luò)遷移學(xué)習(xí)的要求，把圖像尺寸縮放成224×224×3；對(duì)于k-NN和SVM，因?yàn)橛?jì)算時(shí)參數(shù)過多需要花費(fèi)的時(shí)間過長(zhǎng)，將圖像縮放為64×64×3后輸入2種模型。

2.3 判別模型建立

SVM模型采用徑向基核函數(shù)(RBF)，通過網(wǎng)格搜索確定懲罰因子C=4，回歸誤差權(quán)重γ設(shè)置為樣本特征數(shù)的倒數(shù)。k-NN模型的性能與k值、 權(quán)重值(weights)以及距離計(jì)算公式緊密相關(guān)。權(quán)重有兩個(gè)取值，一個(gè)是uniform，每個(gè)相鄰點(diǎn)與觀測(cè)點(diǎn)距離的權(quán)重都是相同的，另一個(gè)取值為distance，權(quán)重值為鄰近點(diǎn)到該點(diǎn)距離的倒數(shù)，距查詢點(diǎn)近的近鄰比遠(yuǎn)處的近鄰具有更大的影響力。通過網(wǎng)格搜索確定模型參數(shù)k=8，權(quán)重選用distance，距離計(jì)算公式為曼哈頓距離。相比于原來的ResNet50網(wǎng)絡(luò)，基于ResNet50網(wǎng)絡(luò)的遷移學(xué)習(xí)模型更改了全連接層模塊結(jié)構(gòu)，在分類器中添加dropout操作。加入一個(gè)線性函數(shù)，把最后一個(gè)全連接層的輸入連接到有256個(gè)輸出單元的線性層，接著連接Relu層和dropout層，設(shè)置dropout=0.4，訓(xùn)練時(shí)隨機(jī)舍棄全連接層40%的神經(jīng)元個(gè)數(shù)用于防止過擬合，最后是256×3的線性層，輸出為3通道的softmax層。各模型對(duì)梨損傷的識(shí)別結(jié)果如表1所示。

從表1可見，基于ResNet50網(wǎng)絡(luò)的遷移學(xué)習(xí)模型預(yù)測(cè)識(shí)別率為93.75%，優(yōu)于SVM的83.33%和k-NN的85.42%。另外，SVM和k-NN模型的訓(xùn)練集精度遠(yuǎn)高于測(cè)試集，出現(xiàn)了過擬合現(xiàn)象?？傮w上，基于ResNet50網(wǎng)絡(luò)的遷移學(xué)習(xí)模型預(yù)測(cè)效果最好，SVM模型的預(yù)測(cè)效果最差。

表1 SVM，k-NN和ResNet50網(wǎng)絡(luò)遷移學(xué)習(xí)判別模型識(shí)別結(jié)果

各模型對(duì)擠壓損傷識(shí)別的混淆矩陣如圖4所示，從圖中可見，對(duì)于無損傷樣本3個(gè)模型均能正確識(shí)別，SVM將31%損傷24 h的樣本誤判為損傷48 h，將16%損傷48 h的樣本誤判為無損傷樣本，將5%損傷48 h的樣本誤判為損傷24 h；k-NN分別將7%損傷24 h和7%損傷48 h的樣本誤判為無損傷樣本，7%損傷24 h的樣本誤判為損傷48 h，27%損傷48 h的樣本誤判為損傷24 h；ResNet50網(wǎng)絡(luò)遷移學(xué)習(xí)模型將17%損傷24 h的樣本誤判為損傷48 h，將5%損傷48 h的樣本誤判為損傷24 h。結(jié)果表明，ResNet50網(wǎng)絡(luò)遷移學(xué)習(xí)模型對(duì)擠壓損傷24 h和擠壓損傷48 h樣本均具有較高的識(shí)別準(zhǔn)確率。

與本研究相似的還有陳欣欣等[5]2017年利用高光譜成像技術(shù)對(duì)庫爾勒梨早期損傷進(jìn)行快速識(shí)別檢測(cè)，采集了無損傷樣本和損傷后1～7 d樣本的高光譜圖像，建立支持向量機(jī)判別模型，識(shí)別準(zhǔn)確率達(dá)到93.75%；林思寒等[16]2018年以翠冠梨表面機(jī)械碰壓損傷為研究對(duì)象，分別采集了無損傷樣本、 損傷后1～7，11和14 d的翠冠梨高光譜圖像數(shù)據(jù)，建立偏最小二乘線性判別分析模型，整體識(shí)別率為84%，去除第一天的損傷數(shù)據(jù)識(shí)別準(zhǔn)確率達(dá)到92.22%- 損傷24 h內(nèi)的樣本識(shí)別難度較大。

圖4 各模型對(duì)擠壓損傷時(shí)間預(yù)測(cè)識(shí)別的混淆矩陣Fig.4 Confusion matrix of each model for the identification of crush bruise time

3 結(jié) 論

采用高光譜圖像技術(shù)建立了無損傷、 擠壓損傷24 h和擠壓損傷48 h的水晶梨樣品識(shí)別模型，對(duì)高光譜圖像進(jìn)行主成分分析及數(shù)據(jù)擴(kuò)充后，分別建立了SVM、 k-NN和基于ResNet50網(wǎng)絡(luò)的遷移學(xué)習(xí)識(shí)別模型，并綜合比較了各模型的識(shí)別效果。結(jié)果表明，主成分分析能夠快速、 有效地提取特征圖像、 減少模型輸入變量；基于ResNet50網(wǎng)絡(luò)的遷移學(xué)習(xí)模型識(shí)別效果最佳，其對(duì)測(cè)試集無損傷、 擠壓損傷24 h和擠壓損傷48 h的水晶梨正確識(shí)別率分別達(dá)到100%，83%和95%；表明，高光譜圖像技術(shù)結(jié)合基于ResNet50網(wǎng)絡(luò)的遷移學(xué)習(xí)方法可以快速、 無損地預(yù)測(cè)水晶梨的損傷時(shí)間。