張 曉 莊子龍 劉 英 王 旭

(1.南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，南京 210037；2.農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所，南京 210014)

0 引言

青梅對(duì)心血管、泌尿、消化系統(tǒng)疾病有明顯的預(yù)防作用和療效[1-2]。青梅需經(jīng)加工后方可食用，不同青梅精深加工產(chǎn)品對(duì)原料果的成分特點(diǎn)要求不同，其中糖度低的青梅果主要用于加工糖制青梅、青梅干、話梅等，糖度高的青梅果主要用于加工梅汁類飲品[3]。青梅深加工時(shí)主要依據(jù)青梅缺陷、糖度等進(jìn)行原果分類，常規(guī)人工分選不僅分級(jí)效率較低，且受個(gè)人主觀因素影響難以實(shí)現(xiàn)標(biāo)準(zhǔn)化作業(yè)，不能滿足市場(chǎng)需求。檢測(cè)水果糖度時(shí)，通常用測(cè)定原果中可溶性固形物含量(Soluble solids content，SSC)來表示其糖度，但傳統(tǒng)理化檢測(cè)方法具有破壞性，且效率低下，無法滿足實(shí)際檢測(cè)要求[4-5]。

利用光譜成像技術(shù)進(jìn)行原果分選的研究和應(yīng)用越來越多，外觀分類方面，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)已無法適應(yīng)越來越龐大且復(fù)雜的數(shù)據(jù)量[6-7]。近年來深度學(xué)習(xí)在食品檢測(cè)領(lǐng)域取得了較多成果[8]，文獻(xiàn)[9]將改進(jìn)的Faster R-CNN(區(qū)域卷積神經(jīng)網(wǎng)絡(luò))應(yīng)用于蘋果、芒果、橙子的識(shí)別，平均識(shí)別率達(dá)到91.21%。文獻(xiàn)[10]將ResNet網(wǎng)絡(luò)應(yīng)用于番茄外表缺陷的識(shí)別，識(shí)別率達(dá)到94.65%。文獻(xiàn)[11]對(duì)AlexNet網(wǎng)絡(luò)進(jìn)行優(yōu)化，油茶籽完整性識(shí)別準(zhǔn)確率達(dá)到98.05%。

內(nèi)部品質(zhì)檢測(cè)方面，文獻(xiàn)[12]利用高光譜成像技術(shù)對(duì)柑橘葡萄糖、果糖和蔗糖含量進(jìn)行檢測(cè)，建立了偏最小二乘回歸模型，模型預(yù)測(cè)相關(guān)系數(shù)RP分別為0.880 2、0.902 8和0.833 5。文獻(xiàn)[13]利用PLSR(偏最小二乘)模型實(shí)現(xiàn)小麥蛋白質(zhì)含量的預(yù)測(cè)，預(yù)測(cè)模型相關(guān)系數(shù)RP為0.798 1，均方根誤差為0.009 4。文獻(xiàn)[14-15]分別采用結(jié)合競(jìng)爭(zhēng)性自適應(yīng)權(quán)重算法和多元線性回歸模型、偏最小二乘回歸模型建立了肥城桃、庫勒爾香梨的SSC預(yù)測(cè)模型，模型預(yù)測(cè)集相關(guān)系數(shù)分別為0.843 9、0.915。但高光譜圖像數(shù)據(jù)量龐大、冗余度高，采用傳統(tǒng)的線性方法數(shù)據(jù)分析時(shí)，耗時(shí)較長(zhǎng)且效果不理想，還需對(duì)高光譜圖像進(jìn)行去噪處理[16-17]，而深度學(xué)習(xí)能夠有效地提取復(fù)雜任務(wù)的高階非線性特征來彌補(bǔ)其不足[18-19]。

因此本文以青梅為研究對(duì)象，以深度學(xué)習(xí)技術(shù)為基礎(chǔ)，將Vision Transformer網(wǎng)絡(luò)模型應(yīng)用到機(jī)器視覺系統(tǒng)中，實(shí)現(xiàn)青梅表面的多類(腐爛、裂紋、疤痕、雨斑、完好5類)檢測(cè)分選；結(jié)合低秩張量恢復(fù)(Low-rank tensor recovery，LRTR)的去噪優(yōu)勢(shì)和堆疊卷積自動(dòng)編碼器(Stack convolution auto encoder，SCAE)的降維優(yōu)勢(shì)，構(gòu)建LRTR-SCAE-PLSR青梅糖度預(yù)測(cè)模型；設(shè)計(jì)并搭建青梅內(nèi)外品質(zhì)智能分選裝備，以期為青梅加工自動(dòng)化提供技術(shù)支持。

1 整體結(jié)構(gòu)與工作原理

青梅品質(zhì)智能分選裝備主要由外表缺陷檢測(cè)模塊、內(nèi)部品質(zhì)檢測(cè)模塊、傳送臺(tái)、裝備底座、分選機(jī)構(gòu)、驅(qū)動(dòng)電機(jī)、控制系統(tǒng)等組成。其結(jié)構(gòu)如圖1所示，整機(jī)參數(shù)如下：外形尺寸為 3 600 mm×650 mm×1 390 mm，電機(jī)總功率為600 W，傳動(dòng)形式為鏈傳動(dòng)，青梅外表缺陷分選效率不小于1 800顆/h，青梅內(nèi)部品質(zhì)分選效率不小于600顆/h。

圖1 青梅品質(zhì)智能分選裝備

工作流程如圖2所示。首先，青梅進(jìn)入傳送臺(tái)后由光電傳感器觸發(fā)外表缺陷檢測(cè)模塊，采集青梅外表圖像信息；隨后，青梅向前運(yùn)動(dòng)至內(nèi)部品質(zhì)檢測(cè)模塊，采集青梅內(nèi)部光譜信息；然后，分選系統(tǒng)完成圖譜信息處理與分析，對(duì)青梅等級(jí)作出判斷；最終，上位機(jī)與西門子PLC s7-200通信，將等級(jí)信息傳遞給分選模塊，并啟動(dòng)氣嘴將青梅吹入相應(yīng)等級(jí)的分選箱。

圖2 青梅智能分選系統(tǒng)工作流程圖

2 關(guān)鍵部件設(shè)計(jì)

2.1 外表缺陷檢測(cè)模塊

缺陷檢測(cè)模塊由彩色相機(jī)、環(huán)形光源、暗箱、傳送臺(tái)等組成。其中工業(yè)相機(jī)鏡頭選用日本Computar 公司的 M1620-MP2型(焦距16 mm、最小物距20 cm)，工業(yè)相機(jī)選用北京大恒圖像技術(shù)公司的MER-531-20GC-型工業(yè)相機(jī)，相機(jī)采用安森美PYTHON5000型CMOS傳感器芯片，光源采用LED環(huán)形光源。具體結(jié)構(gòu)如圖3所示。檢測(cè)時(shí)，單顆青梅樣品隨傳送臺(tái)進(jìn)入缺陷檢測(cè)模塊后，光電傳感器觸發(fā)彩色相機(jī)采集青梅外表圖像信息，并傳送至上位機(jī)圖像處理系統(tǒng)，完成圖像預(yù)處理、背景分割、特征提取、缺陷分選等工作。

圖3 缺陷檢測(cè)模塊結(jié)構(gòu)圖

2.2 內(nèi)部品質(zhì)檢測(cè)模塊

內(nèi)部品質(zhì)檢測(cè)模塊主要由光譜相機(jī)、光譜檢測(cè)光源、暗箱、支架、傳送臺(tái)等組成。具體結(jié)構(gòu)如圖4所示。其中光譜相機(jī)為四川雙利合普公司GaiaField-V10E型可見近紅外高光譜相機(jī)，光譜成像范圍為400～1 000 nm，光譜分辨率為2.8 nm；檢測(cè)光源為PHILIPS Essential光管燈，功率50 W。為了提高分選效率，將順序進(jìn)入內(nèi)部品質(zhì)檢測(cè)模塊的4顆青梅樣品作為一組(青梅體積較小)，由光電傳感器觸發(fā)相機(jī)進(jìn)行高光譜圖像數(shù)據(jù)采集，上位機(jī)圖像處理系統(tǒng)對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理、建模、分析等。

圖4 內(nèi)部品質(zhì)檢測(cè)模塊結(jié)構(gòu)圖

2.3 控制系統(tǒng)

控制系統(tǒng)主要由上位機(jī)、PLC控制器、光電傳感器、電機(jī)、串口模塊等組成。硬件構(gòu)成如圖5所示，主要實(shí)現(xiàn)青梅智能分選系統(tǒng)的啟動(dòng)和關(guān)閉、圖像采集與處理、傳送機(jī)構(gòu)運(yùn)行、檢測(cè)觸發(fā)、自動(dòng)分選等，整機(jī)的通訊接口采用RS485標(biāo)準(zhǔn)方式傳輸。上位機(jī)圖像處理系統(tǒng)對(duì)青梅圖像信息進(jìn)行處理與分析后，通過RS485串口通訊將青梅分級(jí)信號(hào)傳輸給PLC移位寄存器中，PLC控制器保證青梅分選信息與其位置一致，確保青梅品質(zhì)智能分選系統(tǒng)能夠?qū)崟r(shí)檢測(cè)、準(zhǔn)確分選。

圖5 控制硬件構(gòu)成圖

2.4 傳送及分選機(jī)構(gòu)

傳送及分選機(jī)構(gòu)主要由傳送臺(tái)、步進(jìn)電機(jī)、氣動(dòng)噴嘴、分選箱、氣泵等組成，如圖6所示。青梅經(jīng)傳送臺(tái)進(jìn)入分選機(jī)構(gòu)后，PLC控制器依據(jù)分選信息啟動(dòng)相應(yīng)的氣動(dòng)噴嘴將青梅吹入對(duì)應(yīng)的分選箱內(nèi)，完成青梅的分選工作。

圖6 青梅傳送及分選機(jī)構(gòu)

3 智能分選算法

3.1 基于Vision Transformer的青梅外表缺陷分類模型

在圖像分類領(lǐng)域，常見的卷積神經(jīng)網(wǎng)絡(luò)(CNN)利用不斷地堆積卷積層運(yùn)算提取局部特征，在提取全局特征方面存在一定的局限性。而Vision Transformer(ViT)模型作為一種基于Self-Attention機(jī)制的編碼器-解碼器架構(gòu)，不采用RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))順序結(jié)構(gòu)，并行化訓(xùn)練，能夠反映復(fù)雜的空間變換和長(zhǎng)距離特征依賴性，通過Softmax函數(shù)減少梯度[20-21]；Multihead self-attention基于多頭注意力機(jī)制聯(lián)合不同學(xué)習(xí)得到的信息，增加多組獨(dú)立權(quán)重、參數(shù)量，以提升表達(dá)能力，其全局特征表示能力更強(qiáng)、遷移效果更好[22]。

3.1.1圖像預(yù)處理與數(shù)據(jù)集制作

2021年5月由云南省網(wǎng)購(gòu)1 200個(gè)青梅樣本，由于單顆青梅表面缺陷具有多樣性，采集并篩選了具有典型外觀缺陷RGB圖像1 250幅，結(jié)合青梅分選需求，按嚴(yán)重程度將青梅分為5類：腐爛(嚴(yán)重程度最高)、裂紋、疤痕、雨斑、完好，如圖7所示。以比例8∶2隨機(jī)抽取劃分訓(xùn)練集和驗(yàn)證集，并將訓(xùn)練集和測(cè)試集的數(shù)據(jù)分別通過鏡像、以每45°旋轉(zhuǎn)角度來擴(kuò)展數(shù)據(jù)集，獲得10倍增量，獲得訓(xùn)練集樣本10 000個(gè)，驗(yàn)證集樣本2 500個(gè)。

圖7 青梅樣本分類

原始青梅RGB圖像預(yù)處理既可以減少背景對(duì)缺陷識(shí)別的影響，又可以提升網(wǎng)絡(luò)分析、處理的速度。具體過程如下：利用11×11卷積核進(jìn)行高斯濾波轉(zhuǎn)化成灰度圖，采用自適應(yīng)閾值二值化、Laplacian濾波、Canny算子邊緣提取，最終獲得224像素×224像素的青梅圖像。

研究軟硬件為：系統(tǒng)Windows 10、處理器Inter I9-9900K 3.60 GHz、顯卡 Nvidia GeForce RTX 2080 Ti(11GB)、環(huán)境配置 PyCharm+Pytorch 1.7.1+Python 3.7.7 Cuda 10.0+cudnn 7.6.5+tensorboardX 2.1。

3.1.2青梅分類算法

ViT模型由3個(gè)模塊組成：Linear projection of flattened patches(Embedding層)、Transformer encoder、MLP head。首先通過Embedding層進(jìn)行數(shù)據(jù)變換，輸入圖像(224像素×224像素)按照16×16尺寸劃分成196個(gè)Patches，使用卷積核大小為16×16、步距為16、個(gè)數(shù)為768的卷積來實(shí)現(xiàn)，采用將Position embedding和Patch embedding相加的方式能夠更好地反映全圖信息；其次數(shù)據(jù)進(jìn)入Transformer encoder層，重復(fù)堆疊Encoder blockL次，Transformer encoder后輸出的Shape與輸入的Shape一致；最后通過MLP head中Linear得到青梅分類結(jié)果。青梅算法框架圖如圖8所示。

圖8 缺陷分類算法框架圖

其中Encoder第1層輸入

(E∈R(P2C)×D；Epos∈R(N+1)×D)

(1)

E——Patch embedding矩陣

Epos——Position embedding矩陣

xclass——輸入分類值

P——Patch尺寸

C——通道數(shù)

N——D維向量的個(gè)數(shù)

Encoder第l層，輸入記為Zl-1，輸出記為Zl，公式為

(2)

(3)

式中MSA——多頭注意力機(jī)制參數(shù)

MLP——多層感知器參數(shù)

LN——圖層歸一化參數(shù)

3.2 基于LRTR-SCAE-PLSR的青梅內(nèi)部品質(zhì)預(yù)測(cè)模型

3.2.1高光譜圖像采集及預(yù)處理

利用理化檢測(cè)方法(便攜式糖度計(jì)等儀器設(shè)備)獲取不同青梅樣本的糖度(SSC)。采集1 000個(gè)不同成熟度青梅樣本高光譜數(shù)據(jù)，按照3∶1比例劃分為訓(xùn)練集和測(cè)試集。對(duì)得到的高光譜數(shù)據(jù)進(jìn)行黑白校準(zhǔn)。

利用高光譜成像系統(tǒng)采集青梅圖像，每顆青梅采集119幀光譜圖像，利用ENVI 5.3軟件確定圖像的感興趣區(qū)域ROI(Region of interest)，并提取青梅樣本在ROI的平均光譜作為該樣本的原始光譜數(shù)據(jù)。利用PyCharm 2019軟件對(duì)青梅光譜數(shù)據(jù)進(jìn)行預(yù)處理、建模、分析等。圖9為所有青梅樣本的原始光譜反射率曲線。

圖9 青梅樣品原始光譜反射率曲線

3.2.2低秩張量恢復(fù)

高光譜成像具有潛在的低秩張量性質(zhì)和稀疏性，利用張量模型進(jìn)行降噪處理能夠比較充分地利用其在3個(gè)維度空間的互補(bǔ)信息[23]。LRTR基于低秩表示與張量分解的高光譜降噪算法研究將 LRMR(低秩矩陣恢復(fù))模型擴(kuò)展到張量模型之中，提升了降噪性能[24]。本文基于低秩張量恢復(fù)LRTR對(duì)青梅高光譜圖像進(jìn)行降維去噪處理，利用核范數(shù)作為秩函數(shù)的凸代理函數(shù)，應(yīng)用于張量的不同展開。

將原始含噪的高光譜數(shù)據(jù)Y∈Rn×b分解成低秩矩陣Xn∈RI1×I2×I3和稀疏噪聲矩陣Sn∈RI1×I2×I3(n=1,2,3)。最小化問題可以轉(zhuǎn)換為

‖Y(n)-(Xn)n-(Sn)n‖F(xiàn)≤δ

(4)

式中 (Xn)(n)——張量Xn的模n展開矩陣

‖X‖2,1——矩陣X中每行L2范數(shù)之和

‖·‖F(xiàn)——Frobenius范數(shù)，即矩陣元素絕對(duì)值的平方和再開平方

Y——原始含噪的高光譜數(shù)據(jù)矩陣

Ymin——優(yōu)化后最小化高光譜數(shù)據(jù)矩陣

λ——正則化參數(shù)，用于平衡張量秩函數(shù)與范數(shù)

δ——常數(shù)，與高斯分布噪聲標(biāo)準(zhǔn)差相關(guān)

使用IALM(不精確拉格朗日乘子法)解決最優(yōu)化問題，求解公式為

(5)

其中Λn=Tn/βTn∈TI1×I2×I3

式中β——懲罰參數(shù)

Tn——拉格朗日乘子

Dτ(·)為奇異值閾值算子，其定義為

Dτ(X)=USτ(Σ)VT

(6)

X=UΣVT

Sτ[x]=sgn(x)max(|x|-τ,0)

其中

τ=λ/β

式中X——初始輸入低秩矩陣

U、V——正交矩陣Σ——對(duì)角矩陣

Sτ——收縮算子

更新(Sn)(n)，可以求解表達(dá)式

(7)

上述優(yōu)化問題通過向量軟閾值函數(shù)求解，公式為

(8)

3.2.3堆疊卷積自動(dòng)編碼器模型

堆疊卷積自動(dòng)編碼器網(wǎng)絡(luò)由多個(gè)卷積自動(dòng)編碼器(Convolutional auto-encoders，CAE)堆疊而成[25]，將編碼層和解碼層分別建模成深度卷積神經(jīng)網(wǎng)絡(luò)。利用卷積神經(jīng)網(wǎng)絡(luò)的卷積和池化操作，實(shí)現(xiàn)特征不變性提取的無監(jiān)督提取。為盡可能減小自編碼器輸入與輸出數(shù)據(jù)之間的差異，自編碼器損失函數(shù)為

(9)

式中W——權(quán)重bJ——偏置

n——輸入樣本個(gè)數(shù)

xi、yi——第i個(gè)樣本的輸入和輸出值

誤差計(jì)算公式為

(10)

式中h——編碼后的隱含層特征參數(shù)

y——確定參數(shù)wh、bh、by后的輸出數(shù)據(jù)

x——輸入數(shù)據(jù)

3.2.4LRTR-SCAE-PLSR青梅糖度預(yù)測(cè)模型

本文結(jié)合低秩張量恢復(fù)的去噪優(yōu)勢(shì)和堆疊卷積自動(dòng)編碼器的降維優(yōu)勢(shì)，構(gòu)建了LRTR-SCAE-PLSR模型對(duì)不同青梅樣本的糖度進(jìn)行預(yù)測(cè)。選用相關(guān)系數(shù)R和均方根誤差(RMSE)作為模型性能評(píng)價(jià)指標(biāo)：訓(xùn)練集相關(guān)系數(shù)RC、均方根誤差(RMSEC)；預(yù)測(cè)集相關(guān)系數(shù)RP、均方根誤差(RMSEP)。RMSEC和RMSEP越小且R越大的情況下，模型性能和預(yù)測(cè)效果越好。輸入為119維的青梅高光譜特征曲線。具體模型預(yù)測(cè)流程如圖10所示。

圖10 青梅糖度預(yù)測(cè)流程圖

基于LRTR-SCAE-PLSR青梅糖度預(yù)測(cè)模型主要步驟如下：

(1)利用低秩張量恢復(fù)方法對(duì)青梅樣本ROI光譜數(shù)據(jù)進(jìn)行求解尋優(yōu)，對(duì)正則化參數(shù)λ、懲罰參數(shù)β、拉格朗日乘子Tn等參數(shù)尋優(yōu)，得到低秩矩陣Xn和稀疏噪聲矩陣Sn。

(2)低秩矩陣Xn作為SCAE網(wǎng)絡(luò)輸入，激活函數(shù)為Sigmoid函數(shù)，學(xué)習(xí)率設(shè)置為0.2。利用SCAE網(wǎng)絡(luò)中權(quán)重參數(shù)w、b，對(duì)隱含網(wǎng)絡(luò)層數(shù)m、隱含層神經(jīng)元個(gè)數(shù)j進(jìn)行調(diào)參尋優(yōu)。

(3)構(gòu)建SAE-PLSR預(yù)測(cè)模型，將輸出結(jié)果與理化檢測(cè)數(shù)據(jù)進(jìn)行對(duì)比，計(jì)算誤差并反向傳播，訓(xùn)練網(wǎng)絡(luò)尋優(yōu)，直至輸出青梅樣本SSC預(yù)測(cè)。

4 試驗(yàn)與結(jié)果分析

4.1 青梅缺陷分類結(jié)果與分析

青梅缺陷分類網(wǎng)絡(luò)代碼采用Python編寫，利用深度學(xué)習(xí)框架PyTorch定義網(wǎng)絡(luò)計(jì)算圖，在遷移學(xué)習(xí)策略基礎(chǔ)上對(duì)其進(jìn)行優(yōu)化，加速訓(xùn)練學(xué)習(xí)速度。將測(cè)試集青梅數(shù)據(jù)導(dǎo)入訓(xùn)練好的青梅缺陷檢測(cè)網(wǎng)絡(luò)模型，得出測(cè)試結(jié)果，如圖11所示。

圖11 青梅缺陷判別準(zhǔn)確率曲線

基于ViT模型青梅缺陷分類網(wǎng)絡(luò)的訓(xùn)練集平均判別準(zhǔn)確率達(dá)到99.53%，驗(yàn)證集平均判別準(zhǔn)確率達(dá)到99.16%。由圖12可知，280個(gè)疤痕缺陷青梅圖像、800個(gè)腐爛缺陷青梅圖像、460個(gè)完好青梅圖像、160個(gè)裂紋缺陷青梅圖像均被正確識(shí)別，其準(zhǔn)確率達(dá)到100%。但800個(gè)雨斑缺陷青梅中有779個(gè)被正確識(shí)別，21個(gè)被誤識(shí)為完好青梅，占比2.6%。根據(jù)截圖識(shí)別結(jié)果分析，如圖13所示部分測(cè)試結(jié)果，紅色框選為識(shí)別錯(cuò)誤的圖像，該圖像上雨斑的位置較偏、雨斑點(diǎn)數(shù)較淺，雨斑未被識(shí)別，所以識(shí)別錯(cuò)誤。

圖12 青梅缺陷分類測(cè)試混淆矩陣圖

圖13 青梅測(cè)試結(jié)果截圖

將ViT網(wǎng)絡(luò)與VGG網(wǎng)絡(luò)、ResNet-18網(wǎng)絡(luò)進(jìn)行模型性能對(duì)比，以各類判別準(zhǔn)確率、平均判別準(zhǔn)確率、每組平均測(cè)試時(shí)間(每32幅圖像為一組)作為評(píng)價(jià)指標(biāo)。將3個(gè)網(wǎng)絡(luò)模型充分訓(xùn)練，在訓(xùn)練集上交叉熵?fù)p失均小于0.005時(shí)得到3種模型，將模型在同一未知樣品數(shù)據(jù)集上進(jìn)行測(cè)試，得到最終準(zhǔn)確率，結(jié)果如表1所示?？芍猇iT網(wǎng)絡(luò)平均判別準(zhǔn)確率達(dá)到99.16%，其中腐爛、疤痕、裂紋以及完好青梅圖像的各類判別準(zhǔn)確率達(dá)到100%，雨斑達(dá)到97.38%，均明顯優(yōu)于其他網(wǎng)絡(luò)，但其每組平均測(cè)試時(shí)間為100.59 ms，稍大于其他兩組網(wǎng)絡(luò)。ViT網(wǎng)絡(luò)以其獨(dú)有的多頭注意力機(jī)制，增加多組獨(dú)立權(quán)重，全局特征表示能力更強(qiáng)、遷移效果更好，驗(yàn)證了其在缺陷分類性能上的優(yōu)越性；但參數(shù)量增加，致使其運(yùn)算時(shí)間加長(zhǎng)。

表1 與其他網(wǎng)絡(luò)的青梅缺陷測(cè)試結(jié)果對(duì)比

4.2 青梅糖度預(yù)測(cè)結(jié)果與分析

采用低秩張量恢復(fù)和堆疊卷積自動(dòng)編碼器對(duì)青梅樣本高光譜數(shù)據(jù)進(jìn)行去噪和降維處理，提取低維特征。試驗(yàn)可知，SCAE網(wǎng)絡(luò)隱含層數(shù)m、隱含層神經(jīng)元個(gè)數(shù)j是影響模型預(yù)測(cè)結(jié)果的重要因素，3種不同模型規(guī)模的青梅糖度預(yù)測(cè)結(jié)果如圖14，不同網(wǎng)絡(luò)層數(shù)及隱含層神經(jīng)元個(gè)數(shù)對(duì)應(yīng)的預(yù)測(cè)結(jié)果如表2所示。

圖14 不同網(wǎng)絡(luò)規(guī)模青梅糖度預(yù)測(cè)結(jié)果

表2 基于LRTR-SCAE-PLSR青梅糖度預(yù)測(cè)結(jié)果

由表2可知，當(dāng)隱含層數(shù)為3，網(wǎng)絡(luò)規(guī)模為 119-90-55-36時(shí)，LRTR-SCAE-PLSR模型最終預(yù)測(cè)集相關(guān)系數(shù)RP最大，為0.965 4，RMSEP最小，為0.582 7%；特征數(shù)為36，降維效果明顯。網(wǎng)絡(luò)規(guī)模為119-90-55-36-27時(shí)，RP為0.906 1，RMSEP為0.732 3%，隨著網(wǎng)絡(luò)層數(shù)增加，網(wǎng)絡(luò)訓(xùn)練成本加大，預(yù)測(cè)集相關(guān)系數(shù)RP并未進(jìn)一步提高，可能是網(wǎng)絡(luò)層數(shù)增加導(dǎo)致訓(xùn)練誤差變大的原因。

與其他回歸模型預(yù)測(cè)結(jié)果的對(duì)比如表3所示。由結(jié)果可知，對(duì)于PLSR回歸模型，經(jīng)過SCAE降維后，原高光譜數(shù)據(jù)降至47維，RC為0.945 1，RP為0.930 8，而LRTR-SCAE處理后，數(shù)據(jù)維度降至36，RC為0.978 3，RP為0.965 4，不僅維度更低，預(yù)測(cè)集相關(guān)系數(shù)也明顯提高，驗(yàn)證了LRTR-SCAE模型的降維去噪優(yōu)勢(shì)，有效提取了原光譜的有效特征，優(yōu)化了模型規(guī)模。對(duì)于BP、SVR、PLSR這3種不同回歸模型，在模型規(guī)模、訓(xùn)練集相關(guān)系數(shù)RC和預(yù)測(cè)集相關(guān)系數(shù)RP方面，PLSR回歸模型表現(xiàn)均明顯優(yōu)于其他模型，故青梅糖度預(yù)測(cè)最終確定選用LRTR-

表3 各模型預(yù)測(cè)結(jié)果對(duì)比

SCAE-PLSR模型。

5 青梅分選人機(jī)交互系統(tǒng)

青梅品質(zhì)分選系統(tǒng)主要完成對(duì)采集的青梅圖像信息和光譜信息進(jìn)行處理、分析、判定等，并在界面顯示功能及預(yù)測(cè)結(jié)果等，具體如圖15所示。交互系統(tǒng)軟件主要是基于Windows平臺(tái)利用PyQt5進(jìn)行設(shè)計(jì)搭建。依據(jù)青梅深加工對(duì)品質(zhì)的實(shí)際需求，綜合考慮青梅表面缺陷以及糖度(SSC)預(yù)測(cè)結(jié)果，將青梅分為4個(gè)品級(jí)。具體如下：根據(jù)外表缺陷，一等品為完好，二等品為雨斑，三等品為裂紋、疤痕，四等品為腐爛；根據(jù)內(nèi)部品質(zhì)(糖度)，SSC為6%以上時(shí)是一等品，為4%～6%時(shí)是二等品，為2%～4%時(shí)是三等品；為2%以下時(shí)是四等品。當(dāng)缺陷、SSC屬于同一品級(jí)時(shí)，青梅將被分為該品級(jí)，當(dāng)缺陷、SSC不屬于同一品級(jí)時(shí)，將根據(jù)較低品級(jí)進(jìn)行判定。

圖15 計(jì)算機(jī)軟件界面

6 結(jié)論

(1)青梅外表缺陷分類方面，結(jié)合青梅分選需求，以ViT網(wǎng)絡(luò)模型為基礎(chǔ)，通過softmax函數(shù)減少梯度，引入多頭注意力機(jī)制，其全局特征表示能力更強(qiáng)、遷移效果更好。平均判別準(zhǔn)確率達(dá)到99.16%，其中腐爛、疤痕、裂紋以及完好青梅圖像的判別準(zhǔn)確率達(dá)到100%、雨斑達(dá)到97.38%。ViT網(wǎng)絡(luò)的平均判別準(zhǔn)確率、各類判別準(zhǔn)確率均明顯優(yōu)于VGG網(wǎng)絡(luò)、ResNet-18網(wǎng)絡(luò)。但其每組平均測(cè)試時(shí)間為100.59 ms，略高于VGG網(wǎng)絡(luò)、ResNet-18網(wǎng)絡(luò)的86.56、81.69 ms，主要是參數(shù)量增加，致使其運(yùn)算時(shí)間加長(zhǎng)。

(2)青梅內(nèi)部品質(zhì)(SSC)預(yù)測(cè)方面，基于高光譜成像技術(shù)，結(jié)合低秩張量恢復(fù)的去噪優(yōu)勢(shì)和堆疊卷積自動(dòng)編碼器的降維優(yōu)勢(shì)，構(gòu)建了LRTR-SCAE-PLSR青梅糖度預(yù)測(cè)模型。網(wǎng)絡(luò)規(guī)模為119-90-55-36時(shí)，模型預(yù)測(cè)集相關(guān)系數(shù)為0.965 4，均方根誤差為0.582 7%，表現(xiàn)最佳；但隨著網(wǎng)絡(luò)層數(shù)增加，RP并未進(jìn)一步提高，可能是網(wǎng)絡(luò)層數(shù)增加導(dǎo)致訓(xùn)練誤差變大。通過與BP、SVR回歸模型比對(duì)，在模型規(guī)模、訓(xùn)練集相關(guān)系數(shù)RC和預(yù)測(cè)集相關(guān)系數(shù)RP方面，LRTR-SCAE-PLSR模型表現(xiàn)最優(yōu)。通過SCAE、LRTR-SCAE兩種降維模型比對(duì)，LRTR-SCAE模型不僅維度更低，預(yù)測(cè)集相關(guān)系數(shù)也明顯提高，驗(yàn)證了LRTR-SCAE模型的降維去噪優(yōu)勢(shì)。

(3)基于上述外表缺陷分類及內(nèi)部品質(zhì)預(yù)測(cè)模型，設(shè)計(jì)并搭建了可用于青梅內(nèi)外品質(zhì)無損分選的智能裝備，主要由外表缺陷檢測(cè)模塊、內(nèi)部品質(zhì)檢測(cè)模塊、傳送機(jī)構(gòu)、分選機(jī)構(gòu)、控制系統(tǒng)、人機(jī)交互系統(tǒng)等組成。該裝備整機(jī)尺寸小，結(jié)構(gòu)簡(jiǎn)單，分選結(jié)果滿足青梅深加工需求，對(duì)提高青梅產(chǎn)品附加值具有重要意義。