李善軍 宋竹平 梁千月 孟 亮 余勇華 陳耀暉

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院， 武漢 430070； 2.農(nóng)業(yè)農(nóng)村部長江中下游農(nóng)業(yè)裝備重點實驗室， 武漢 430070)

0 引言

實蠅是全球植物檢疫性有害生物，也是我國很多柑橘產(chǎn)區(qū)危害最嚴(yán)重的害蟲[1]，每年造成的損失占我國柑橘產(chǎn)業(yè)總產(chǎn)值的10%～20%，嚴(yán)重時可達50%[2]，在柑橘采后早期分選階段準(zhǔn)確地識別實蠅侵染柑橘是降低貯藏風(fēng)險的關(guān)鍵。傳統(tǒng)的實蠅侵染柑橘檢測方法為有損操作，需要人工將柑橘剖開后進行判斷[3]，過程繁瑣且耗時較長，檢測結(jié)果的準(zhǔn)確性也難以保證。無損檢測技術(shù)是指在無損狀態(tài)下，通過檢測與水果品質(zhì)相關(guān)性較高的理化指標(biāo)，對水果的病變[4]、風(fēng)味[5]等內(nèi)部特性進行篩選與分級。同時，現(xiàn)代柑橘商品化處理生產(chǎn)線將柑橘鮮果的防腐、清洗、打蠟、分級等環(huán)節(jié)集成到了一條自動化流水線中，與傳統(tǒng)的人工處理相比，大幅度降低了人力成本并提高了生產(chǎn)效率，是全球柑橘產(chǎn)業(yè)采后處理的發(fā)展趨勢[6]。所以，研發(fā)適配于柑橘生產(chǎn)線的實蠅侵染果在線無損檢測方法，對于增強柑橘生產(chǎn)的自動化程度、提高鮮果的品質(zhì)等級以及降低產(chǎn)業(yè)的經(jīng)濟風(fēng)險有重要意義。

針對實蠅侵染柑橘，國內(nèi)外學(xué)者已經(jīng)嘗試了多種無損檢測技術(shù)進行檢測。實蠅侵染柑橘的過程可以大致分為兩個階段：在侵染早期，蟲卵被實蠅產(chǎn)入柑橘內(nèi)部后逐漸孵化；而在侵染晚期，幼蟲會破壞柑橘表皮形成明顯的病斑。利用機器視覺技術(shù)，研究者們開發(fā)了基于顏色特征的機器學(xué)習(xí)算法[7]、基于灰度閾值的蟲害部位分割策略[8]以及基于大數(shù)據(jù)的深度學(xué)習(xí)方法[9]，對侵染晚期的柑橘實現(xiàn)了較高的檢測精度。但是，由于侵染早期柑橘的表皮在可見光下沒有明顯特征，圖像技術(shù)不再適用。文獻[10-11]開發(fā)了基于金屬氧化物傳感器的電子鼻，能夠?qū)嵪壡秩靖涕籴尫诺臍怏w產(chǎn)生差別較明顯的電信號，然而該方法采樣效率較低，難以實現(xiàn)快速檢測。近紅外光譜[12]和高光譜[13]技術(shù)因其較高的檢測效率，已經(jīng)被廣泛應(yīng)用于蔬果品質(zhì)在線無損檢測中。文獻[14-15]分別對基于近紅外光譜和高光譜的蟲害侵染水果檢測研究進行了總結(jié)，發(fā)現(xiàn)這些方法的檢測準(zhǔn)確率往往不高，其原因是光譜技術(shù)通常只會提取水果某一部分的光譜信息，而對蟲害侵染果的準(zhǔn)確篩查需要檢測水果的全部內(nèi)部結(jié)構(gòu)?；赬-ray的DR(Digital radiography)成像技術(shù)和CT(Computed tomography)成像技術(shù)可以完全穿透柑橘類水果，為蟲害侵染水果檢測提供新的方案。文獻[16]探討了DR成像用于水果檢測的可能性，發(fā)現(xiàn)X-ray在穿透水果的過程中會發(fā)生衰減，因此衰減形成的對比度差異反映了水果內(nèi)部結(jié)構(gòu)特征，同時該技術(shù)的采樣與成像速度均較快。但是，DR技術(shù)的圖像精度較低，且每幅圖像采集的信息量比較有限，因此準(zhǔn)確識別水果內(nèi)部的微小蟲害侵染部位非常困難。文獻[17-18]分別研究了不同蟲齡米象侵染粒內(nèi)微觀結(jié)構(gòu)變化過程、儲糧米象生長階段檢測。文獻[19]基于濾波反投影法等算法將2D-X-ray圖像重建為3D-CT圖像，精度可達 2.60 μm， 能夠?qū)崿F(xiàn)更精準(zhǔn)的蟲害侵染水果檢測。文獻[20]利用CT技術(shù)可視化了蟲害侵染水果的過程，但該技術(shù)的重建過程耗時較長，難以應(yīng)用于柑橘生產(chǎn)線中進行在線檢測。

上述蟲害侵染水果檢測研究中，研究者們僅使用單模態(tài)數(shù)據(jù)對水果進行無損檢測，無法同時保障高采樣效率與高檢測精度。實蠅侵染柑橘的內(nèi)部、外部病變特征復(fù)雜，具有高采樣效率的單源數(shù)據(jù)難以準(zhǔn)確描述其侵染部位特征信息，極易導(dǎo)致檢測模型漏檢誤檢。多模態(tài)數(shù)據(jù)融合方法可將不同模態(tài)的數(shù)據(jù)按照某特定標(biāo)準(zhǔn)處理，充分挖掘更多的數(shù)據(jù)信息，且該方法目前已廣泛應(yīng)用于農(nóng)產(chǎn)品檢測領(lǐng)域[21]，可使識別率總體提高2%～5%[22]。因此，本文提出一種基于RGB和X-ray序列多模態(tài)數(shù)據(jù)融合的實蠅侵染柑橘檢測策略，模擬柑橘生產(chǎn)線檢測的實際情況，融合多角度實蠅侵染柑橘的內(nèi)外部信息并結(jié)合深度學(xué)習(xí)技術(shù)，在保障高采樣效率的同時，實現(xiàn)對處于不同侵染時期柑橘的高精度無損檢測。

1 材料與方法

1.1 試驗材料及設(shè)備

研究中使用的試驗材料為受實蠅侵染的溫州蜜柑，如圖1所示，采于湖北省宜昌市夷陵區(qū)溫州蜜柑產(chǎn)區(qū)，采摘后的柑橘樣本運送至華中農(nóng)業(yè)大學(xué)柑橘X射線成像實驗室。

圖1 樣本和X-ray系統(tǒng)組成示意圖Fig.1 Citrus sample and schematic of X-ray system1.實蠅侵染柑橘X-ray圖像 2.X-ray射線源 3.旋轉(zhuǎn)臺 4.探測器

1.2 總體思路

在實際柑橘采后分選過程中，如圖2所示，柑橘被放置在傳送帶上運輸，傳送帶上的旋轉(zhuǎn)滾輪與柑橘果實摩擦帶動柑橘果實發(fā)生旋轉(zhuǎn)，無損檢測裝置的圖像采集單元可對不同旋轉(zhuǎn)角度的柑橘進行數(shù)據(jù)采集，數(shù)據(jù)處理單元綜合考慮不同角度的柑橘特征信息對柑橘是否有侵染缺陷進行判斷，由分選機構(gòu)在生產(chǎn)線末端對實蠅侵染柑橘剔除。以實蠅侵染柑橘為研究對象，模擬柑橘商品化生產(chǎn)線上搭載農(nóng)業(yè)X光機的檢測柑橘過程，構(gòu)建滿足柑橘生產(chǎn)線實際要求的在線無損檢測方法，柑橘滾動通過農(nóng)業(yè)X光機時會旋轉(zhuǎn)360°，在此過程中采得6幅實蠅侵染柑橘的DR和RGB時序圖像。

圖2 柑橘生產(chǎn)線無損檢測數(shù)據(jù)采樣過程Fig.2 Non-destructive data sampling process for citrus production line1.X光射線源 2、4.CCD相機 3.射線源 5.蟲眼界面 6.探測器 7.傳送帶 8.健康界面

1.3 數(shù)據(jù)采集及預(yù)處理

1.3.1數(shù)據(jù)集采集

柑橘X射線成像實驗室的室內(nèi)溫度為26℃、相對濕度為50%，成像前2 h送入室內(nèi)以平衡外部環(huán)境對樣本的干擾。將實蠅侵染柑橘放置在載物臺處的低密度聚苯乙烯泡沫支架上，支架在掃描過程起

到穩(wěn)定作用，使柑橘果軸大致與旋轉(zhuǎn)軸重合，防止柑橘旋轉(zhuǎn)過程中轉(zhuǎn)出成像區(qū)域引起圖像缺失。實蠅侵染柑橘X-ray數(shù)據(jù)由微焦點計算機斷層掃描儀(Nano Voxe2000型，天津三英公司)采得，RGB數(shù)據(jù)由網(wǎng)絡(luò)攝像頭(GuceeHD98型，谷客公司)采得，在X-ray射線源曝光的同時進行CCD相機曝光，同時使用20 W的環(huán)形LED燈在數(shù)據(jù)采集空間內(nèi)增強和平衡照明條件。圖3展示了數(shù)據(jù)采集過程。對于每個樣本，掃描的角度步長為60°，樣品繞旋轉(zhuǎn)臺中心軸定軸旋轉(zhuǎn)360°，可獲得6幅沿射線源發(fā)射方向的X-ray DR和RGB時序圖像。

圖3 數(shù)據(jù)采集過程Fig.3 Data collection process1.RGB相機 2.X-ray射線源 3.旋轉(zhuǎn)臺 4.柑橘樣本

每個柑橘的真實感染程度由3位接受過培訓(xùn)的人員分別在顯微鏡(VHX-6000型，日本基恩士公司)下剖開觀察后進行判斷?；陲@微鏡觀察結(jié)果，將未發(fā)現(xiàn)任何內(nèi)部結(jié)構(gòu)損傷的柑橘標(biāo)記為健康柑橘，存在幼蟲對內(nèi)部結(jié)構(gòu)破壞但外表皮完整的柑橘標(biāo)記為侵染早期感染，果皮外表面已經(jīng)有明顯損害的柑橘標(biāo)記為侵染晚期柑橘，從大量樣本中篩得健康柑橘300個，早期侵染柑橘321個，晚期侵染柑橘283個。圖4展示了健康和實蠅侵染柑橘RGB和X-ray圖像。按照6∶2∶2的比例將這些柑橘的X-ray DR和RGB時序圖像劃分為訓(xùn)練集、驗證集與測試集。

圖4 實蠅侵染柑橘RGB和X-ray圖像Fig.4 Citrus infested by Bactrocera dorsalis RGB and X-ray image

1.3.2數(shù)據(jù)集預(yù)處理

在實際生產(chǎn)線檢測過程中，柑橘在生產(chǎn)線承載果杯上旋轉(zhuǎn)，圖像采集受光線、角度等因素影響。為擴增數(shù)據(jù)集的樣本量提高網(wǎng)絡(luò)模型的魯棒性和泛化性，本研究使用旋轉(zhuǎn)、錯切、移位、亮度、銳度5種數(shù)據(jù)增強操作，對訓(xùn)練集中的時序圖像進行增強，數(shù)據(jù)增強效果如圖5所示。

圖5 數(shù)據(jù)增強效果Fig.5 Effects of data augmentation

1.4 多模態(tài)數(shù)據(jù)融合

1.4.1多模態(tài)融合策略

針對實蠅侵染柑橘，RGB圖像可從外部描述其表皮病變特征，X-ray圖像可從內(nèi)部描述其橘瓣缺失特征，采用內(nèi)外結(jié)合的多模態(tài)數(shù)據(jù)融合策略，可有效彌補單模態(tài)數(shù)據(jù)特征信息不足的缺陷。早期實蠅侵染柑橘表皮上蟲孔不明顯，判別結(jié)果易受到其它病灶點和污漬影響，如炭疽病、黃斑病等，同時X-ray圖像中的內(nèi)部結(jié)構(gòu)損傷也比較輕微，兩種數(shù)據(jù)相互補充可以獲得更加完整的實蠅侵染特征表達；晚期實蠅侵染柑橘表皮蟲孔處已表現(xiàn)出較為明顯的水漬斑，在X-ray圖像上也呈現(xiàn)出因橘瓣結(jié)構(gòu)性破壞而產(chǎn)生的異變區(qū)域，兩種數(shù)據(jù)互相驗證能夠獲得更高精度的檢測效果。另外，RGB圖像上蟲孔的位置和X-ray圖像上的啃噬區(qū)域呈高度相關(guān)性，多模態(tài)數(shù)據(jù)融合策略可將實蠅侵染柑橘的RGB和X-ray數(shù)據(jù)信息進行互補重構(gòu)，利用不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)性挖掘更復(fù)雜更精確的特征信息。選擇早期融合中的圖像融合和特征融合方法開展基于多模態(tài)數(shù)據(jù)融合的實蠅侵染柑橘檢測方法研究。

1.4.2圖像融合方法

對CNN網(wǎng)絡(luò)進行修改，使網(wǎng)絡(luò)可以同時接受6通道的多模態(tài)實蠅侵染柑橘序列圖像，如圖6所示。CNN-LSTM(Convolutional neural networks-long short-term memory)網(wǎng)絡(luò)可按照特定編號形式，同時輸入尺寸為224×224×3且角度配準(zhǔn)后的RGB和X-ray時序圖像，經(jīng)由CNN對同一角度的實蠅侵染柑橘RGB圖像和X-ray圖像同時進行特征提取，由LSTM單元綜合運算所有角度的深度特征信息并輸出檢測結(jié)果。試驗時將預(yù)訓(xùn)練參數(shù)導(dǎo)入改進后的模型，并將RGB通道參數(shù)進行加權(quán)處理賦予X-ray 通道，可提升網(wǎng)絡(luò)收斂速度，避免陷入局部最小值。

圖6 圖像融合Fig.6 Image fusion

1.4.3特征融合方法

改進后的特征融合網(wǎng)絡(luò)仍用CNN作為特征提取網(wǎng)絡(luò)，將尺寸為224×224×3且成像角度相同的RGB和X-ray圖像作為輸入，并分別分配一個CNN網(wǎng)絡(luò)以提取RGB圖像特征和X-ray圖像特征，提取后的深度特征在最后一層卷積層上并聯(lián)以實現(xiàn)特征融合，如圖7所示。融合后的特征圖將被送入該角度對應(yīng)的LSTM單元進行運算，上一角度LSTM單元也會將運算結(jié)果傳入本單元，以實現(xiàn)實蠅侵染柑橘的全面無損檢測。

1.5 檢測模型與評價指標(biāo)

1.5.1實蠅侵染柑橘檢測模型

本研究構(gòu)建的CNN-LSTM模型結(jié)構(gòu)如圖8所示。CNN對輸入的圖像序列進行特征提取，以CNN提取的特征作為LSTM的輸入，構(gòu)建CNN-LSTM模型。該方法以6幅X-ray和RGB圖像為輸入，每幅圖像間隔60°，相當(dāng)于柑橘滾動60°拍攝一幅圖像，對于每幅圖像都會分配一個CNN模型進行特征提取，ResNet18最后一層輸出的1 000個深度特征，最終獲取6×1 000的二維矩陣信息。隨后6×1 000的矩陣將被同時送入LSTM模型中，LSTM模型先對0°圖像特征進行計算，隨后將0°圖像過濾后的特征傳入下一個LSTM單元，此時60°圖像特征將會結(jié)合0°圖像特征信息進行LSTM單元運算，輸出信息繼續(xù)送往下一個LSTM單元，最終LSTM將會考慮 0°～360° 之間的6幅圖像信息輸出分類結(jié)果。以序列圖像作為模型的輸入可以解決由于柑橘本身厚度引起的X射線衰減而導(dǎo)致的圖像差異和單幅實蠅侵染柑橘RGB圖像的侵染特征遺漏問題。即某一幀圖像中出現(xiàn)蟲孔特征和實蠅啃噬特征，CNN-LSTM模型將會識別出該特征，從而實現(xiàn)整個柑橘的實蠅侵染檢測。

圖8 實蠅侵染柑橘檢測模型Fig.8 Detection model of citrus infested by Bactrocera dorsalis

1.5.2損失函數(shù)

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，為了獲得最優(yōu)的模型輸出結(jié)果，應(yīng)使得網(wǎng)絡(luò)輸出的預(yù)測值不斷逼近真實值，交叉熵用于衡量預(yù)測值和真實值概率分布之間的距離，該距離可被當(dāng)作網(wǎng)絡(luò)模型的損失函數(shù)。本研究模型訓(xùn)練時所使用的損失函數(shù)為交叉熵?fù)p失函數(shù)[23](CrossEntropy loss function)，該損失函數(shù)常被用于神經(jīng)網(wǎng)絡(luò)分類問題[24-26]。

1.5.3評價指標(biāo)

本研究采用準(zhǔn)確率作為模型檢測精度的評價指標(biāo)。準(zhǔn)確率被定義為

(1)

式中n——柑橘樣本數(shù)據(jù)集數(shù)量

I——模型檢測精度

x——輸入的柑橘X-ray圖像

f(xi)——檢測模型輸出的柑橘類別

yi——柑橘果實序列中的真實類別

柑橘果實序列x為輸入經(jīng)過的視覺模型預(yù)測結(jié)果f(xi)，將f(xi)與真實類別yi進行對比，如果相同記為1，不同記為0，最后對n個樣本求平均得到檢測準(zhǔn)確率。

1.5.4模型訓(xùn)練

初始學(xué)習(xí)率設(shè)置為1×10-5，batch_size設(shè)置為4，lstm_hidden_size設(shè)置為128，lstm_layers設(shè)置為2，dropout_rate設(shè)置為0.2，循環(huán)次數(shù)(Epoch)設(shè)置為200。訓(xùn)練過程中，優(yōu)化器使用Adam算法。

1.5.5試驗平臺

本研究試驗基于Windows 10操作系統(tǒng)，GPU為GeForce RTX 3080Ti(8 GB顯存)，處理器為AMD Ryzen 7 5800H CPU 3.20 GHz，運行內(nèi)存為32 GB。模型的搭建與訓(xùn)練驗證通過Python語言實現(xiàn)，基于PyTorch深度學(xué)習(xí)框架，并行計算框架使用CUDA 11.0。

2 結(jié)果與分析

由于實時檢測中對檢測效率的要求較高，本研究選擇ResNet、GoogleNet、SqueezeNet、MobileNet輕量化卷積神經(jīng)網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，構(gòu)建CNN-LSTM實蠅侵染柑橘檢測模型。為驗證本文提出的實蠅侵染柑橘檢測模型性能和多模態(tài)數(shù)據(jù)融合方法的有效性，不同的網(wǎng)絡(luò)在相同數(shù)據(jù)集和試驗環(huán)境下進行測試，根據(jù)檢測后的結(jié)果對模型的準(zhǔn)確率、參數(shù)量、浮點運算量和檢測時間進行計算，試驗結(jié)果如表1所示。

從表1可知，針對每個CNN特征提取網(wǎng)絡(luò)，多模態(tài)數(shù)據(jù)融合模型的檢測準(zhǔn)確率高于單模態(tài)X-ray和RGB數(shù)據(jù)模型的檢測準(zhǔn)確率，在實蠅侵染柑橘序列數(shù)據(jù)集上的檢測準(zhǔn)確率均在90%以上?；趫D像融合方法構(gòu)建的檢測模型中，ResNet18-LSTM的檢測準(zhǔn)確率、模型參數(shù)量和浮點運算量均高于其它3種模型，該模型具有更大的參數(shù)量和模型復(fù)雜度，使其具有更優(yōu)異的特征提取能力，準(zhǔn)確率達到97.3%，檢測時間為2.662 s。相較于單模態(tài)檢測方法，圖像融合方法在第1個卷積層對通道疊加后的蟲橘圖像做卷積處理，在第1個卷積層上添加了另一模態(tài)的三通道參數(shù)，該操作導(dǎo)致了模型參數(shù)量和浮點運算量的提升，輸入共12幅X-ray和RGB時序圖像數(shù)據(jù)導(dǎo)致了網(wǎng)絡(luò)模型的檢測時間延長。基于特征融合構(gòu)建的檢測模型中，各模型檢測準(zhǔn)確率同樣優(yōu)于單模態(tài)檢測方法，但是低于圖像融合檢測方法，同時需要花費更多的檢測時間，GoogleNet-LSTM檢測時間達到4.187 s。這是由于特征融合方法中對RGB圖像和X-ray圖像分別分配一個CNN網(wǎng)絡(luò)以提取圖像特征，使模型的浮點運算量提升至單模態(tài)方法的兩倍，需要更多GPU存儲空間和算力，同時雙CNN的結(jié)構(gòu)易使得網(wǎng)絡(luò)在訓(xùn)練過程中過擬合而導(dǎo)致檢測準(zhǔn)確率下降。在針對單模態(tài)方法的消融試驗中，分別以6幅224×224×3實蠅侵染X-ray序列圖像和6幅RGB序列圖像作為輸入進行對比。不同輸入的單模態(tài)方法模型參數(shù)量和浮點運算量相同，檢測時間也均在0.797～0.887 s 之間。因此，相較于僅使用單模態(tài)X-ray和RGB數(shù)據(jù)的方法，本研究所提的多模態(tài)數(shù)據(jù)融合的實蠅侵染柑橘檢測方法在檢測準(zhǔn)確率方面有明顯提升，同時由于檢測模型參數(shù)量與浮點運算量更大，需要更多的運算時間。

表1 不同卷積神經(jīng)網(wǎng)絡(luò)模型性能對比Tab.1 Performance comparison of different convolutional neural network models

為了進一步驗證多模態(tài)方法對特征的提取與結(jié)合的合理性，本研究采用Grad-CAM(Class activation mapping，CAM)對網(wǎng)絡(luò)模型進行可視化分析。以檢測精度最高的ResNet18-LSTM網(wǎng)絡(luò)為例，將ResNet18特征提取網(wǎng)絡(luò)最后一次卷積后提取到的特征進行可視化，更加直觀地展示多模態(tài)數(shù)據(jù)融合方法的關(guān)鍵判別特征。圖9所示熱力圖反映了不同位置像素點對輸出結(jié)果的影響程度，橙紅色的高亮區(qū)域表示該區(qū)域的像素點對最終分類結(jié)果影響更大，在網(wǎng)絡(luò)的決策分類中占有更高權(quán)重。從實蠅侵染柑橘RGB和X-ray圖像的熱力圖中可以看出，檢測模型可以憑借實蠅侵染關(guān)鍵特征識別柑橘受否侵染。實蠅侵染柑橘RGB類激活可視化熱力圖上高亮區(qū)域主要集中在蟲孔附近位置，這表明網(wǎng)絡(luò)更加關(guān)注蟲孔附近的區(qū)域，蟲孔是網(wǎng)絡(luò)檢測的關(guān)鍵特征；實蠅侵染柑橘X-ray類激活可視化熱力圖上高亮區(qū)域主要集中在內(nèi)部實蠅啃噬區(qū)域，這表明實蠅啃噬區(qū)域在網(wǎng)絡(luò)分類決策時占有較高權(quán)重，網(wǎng)絡(luò)也關(guān)注到了實蠅啃噬區(qū)域這一關(guān)鍵特征。因此，實蠅侵染柑橘RGB上呈現(xiàn)出的蟲孔和X-ray上呈現(xiàn)出的實蠅侵染區(qū)域可作為網(wǎng)絡(luò)模型檢測的關(guān)鍵判別特征，多模態(tài)數(shù)據(jù)融合策略可將實蠅侵染柑橘的RGB和X-ray數(shù)據(jù)信息進行互補，利用不同模態(tài)數(shù)據(jù)的關(guān)聯(lián)性挖掘更復(fù)雜更精確的特征信息，有效提升網(wǎng)絡(luò)模型的檢測性能。

圖9 實蠅侵染柑橘類激活可視化分析Fig.9 Class activation heatmaps of citrus infestation by Bactrocera dorsalis

在本研究中多模態(tài)數(shù)據(jù)融合方法使得網(wǎng)絡(luò)模型的檢測準(zhǔn)確率提升8個百分點，該方法融合了12幅實蠅侵染柑橘RGB和X-ray序列圖像，綜合了實蠅侵染柑橘全角度的內(nèi)外部特征信息對柑橘進行侵染診斷，但多幅圖像的輸入導(dǎo)致多模態(tài)融合后的檢測時間增加，使得模型有更高的GPU存儲空間和算力要求。針對該問題，本課題組擬在后續(xù)的研究中進行進一步的探索，在侵染檢測計算方面，設(shè)置并行計算模式提高運算單元硬件配置，以滿足同時檢測多個柑橘樣本的運算需求。從農(nóng)業(yè)X光機無損檢測裝備方面進行結(jié)構(gòu)優(yōu)化，設(shè)置多通道的柑橘傳輸軌道，增大RGB相機和X-ray射線源照射角，延長數(shù)據(jù)采集時的曝光距離，使得單幅圖像中能包含更多的柑橘樣本圖像，如圖10所示。

圖10 檢測裝置布置示意圖Fig.10 Schematic layout of detection device

3 結(jié)論

(1)構(gòu)建CNN-LSTM實蠅侵染柑橘檢測模型，以實蠅侵染柑橘RGB和X-ray序列圖像作為檢測模型的輸入，可模擬柑橘在生產(chǎn)線檢測的條件下對實蠅侵染柑橘進行全面準(zhǔn)確識別。

(2)提出的多模態(tài)數(shù)據(jù)融合實蠅侵染柑橘方法比單模態(tài)檢測方法檢測性能更加優(yōu)異，準(zhǔn)確率提升8個百分點，表明利用多模態(tài)信息之間的互補性可獲取更全面的特征表達，彌補了單模態(tài)特征信息不足的問題，使檢測模型能提取到足量的實蠅侵染關(guān)鍵判別特征，提升實蠅侵染柑橘檢測模型的檢測能力，對全面篩查實蠅侵染問題數(shù)據(jù)融合很有必要。ResNet18-LSTM檢測準(zhǔn)確率最高，多模態(tài)的圖像融合和特征融合方法檢測準(zhǔn)確率分別達到97.3%和95.7%，但模型復(fù)雜度高；而MobileNetV2-LSTM的檢測準(zhǔn)確率為95.4%，其參數(shù)量和浮點運算量約為ResNet18-LSTM的1/3、1/6，有望應(yīng)用在存儲量、運算能力不足的終端檢測設(shè)備上，為柑橘生產(chǎn)線檢測系統(tǒng)搭建提供了可能性。

(3)深度學(xué)習(xí)方法進行實蠅侵染柑橘檢測是可行的，通過可視化進一步驗證了RGB圖像上的實蠅侵染孔部位，以及X-ray圖像上像素點灰度較低的特征區(qū)域是模型檢測實蠅侵染的關(guān)鍵判別特征。

(4)傳統(tǒng)的檢測實蠅侵染主要依賴人工檢測，不僅檢測效率低下、無法重復(fù)且屬于有損檢測方式。本研究使用實蠅侵染柑橘X-ray和RGB圖像判別可實現(xiàn)實蠅侵染柑橘快速無損檢測。