夏紅梅，趙楷東，江林桓，劉園杰，甄文斌

（華南農(nóng)業(yè)大學(xué)工程學(xué)院，廣州 510642）

0 引 言

設(shè)施環(huán)境下培育的水培芥藍(lán)無農(nóng)藥污染，生長周期短，可多茬口周年生產(chǎn)，經(jīng)濟(jì)效益高。水培芥藍(lán)應(yīng)在成熟期及時(shí)采收，未成熟的芥藍(lán)尺寸和質(zhì)量小，過成熟的芥藍(lán)不耐儲(chǔ)運(yùn)，口感和品質(zhì)差。準(zhǔn)確判斷水培芥藍(lán)成熟程度，對(duì)實(shí)現(xiàn)適時(shí)采收、保障菜農(nóng)收益具有重要意義?，F(xiàn)有水培芥藍(lán)成熟程度檢測采用人工方式，缺乏客觀、精準(zhǔn)的自動(dòng)檢測方法。按等級(jí)規(guī)格行業(yè)標(biāo)準(zhǔn)[1-2],芥藍(lán)花蕾的數(shù)量、大小和開放程度是評(píng)估其成熟度的關(guān)鍵。未成熟芥藍(lán)花蕾數(shù)量較少、體積較小、呈閉合狀態(tài)；成熟適于采收的芥藍(lán)花蕾數(shù)量多、體積大、呈待開又未開狀態(tài)；過成熟芥藍(lán)的部分花蕾綻放開出白花。因此，提取辨識(shí)水培芥藍(lán)花蕾生長特征是檢測其成熟等級(jí)的有效途徑。

近年來，國內(nèi)外學(xué)者對(duì)自然生長環(huán)境下果蔬檢測識(shí)別問題進(jìn)行了廣泛研究，主要采用了圖像處理、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)[3]方法。圖像處理方法利用果蔬形狀、顏色及紋理等特征差異進(jìn)行檢測識(shí)別。如周文靜等[4]采用圓形Hough 變換識(shí)別葡萄果粒，依據(jù)葡萄果粒色調(diào)H 值將葡萄果穗分為4 個(gè)成熟度等級(jí)。Tan 等[5]結(jié)合L*a*b*顏色空間的a*和b*顏色分量與紋理特征識(shí)別了3 種不同成長階段的藍(lán)莓。圖像處理方法易受光照條件、遮擋、背景干擾等影響，檢測識(shí)別精度較低。

機(jī)器學(xué)習(xí)方法先由人工提取目標(biāo)特征再利用分類器進(jìn)行分類。常用特征提取算法有方向梯度直方圖HOG（Histogram of Oriented Gradient）、尺度不變特征變換SIFT（Scale-Invariant Feature Transform）、局部二值模式LBP（Local Binary Patterns）等；常用分類器有K-均值聚類、貝葉斯分類器、K-最近鄰聚類 KNN（K-Nears Neighbor）及支持向量機(jī)SVM（Support Vector Machine）等[6]。如張靖祺[7]利用K-均值聚類提取青熟、半熟和成熟番茄的顏色特征，輸入SVM 進(jìn)行訓(xùn)練，識(shí)別準(zhǔn)確率超過92%。Behera 等[8]將LBP 特征、HOG 特征和灰度共生矩陣3 組特征與貝葉斯、KNN 和SVM 3 類分類器進(jìn)行組合對(duì)比分析，發(fā)現(xiàn)具有HOG 特征的加權(quán)KNN 分類器對(duì)不同成熟度下木瓜的識(shí)別效果最優(yōu)。機(jī)器學(xué)習(xí)方法受限于分類器的學(xué)習(xí)能力，通常應(yīng)用于小規(guī)模數(shù)據(jù)集，對(duì)異類數(shù)據(jù)敏感，魯棒性較差，對(duì)復(fù)雜目標(biāo)檢測精度和實(shí)時(shí)性較低。

基于深度學(xué)習(xí)的目標(biāo)檢測方法利用已有數(shù)據(jù)進(jìn)行自主學(xué)習(xí)和分類，主要有單階段和兩階段兩種方法[9]。

YOLO（You Only Look Once）[10]、SSD（Single Shot MultiBox Detector）[11]等單階段方法將目標(biāo)檢測視為回歸問題，直接通過卷積神經(jīng)網(wǎng)絡(luò)CNN（Convolutional Neural Network）對(duì)目標(biāo)類別和位置進(jìn)行預(yù)測，檢測速度較高，但會(huì)損失一定的檢測精度。RefineNet[12]、Faster R-CNN[13]等兩階段算法基于區(qū)域生成思想，先生成目標(biāo)建議框，再通過CNN 對(duì)建議框進(jìn)行分類和位置回歸，檢測速度較低，但能獲得更高的檢測精度。如Tian 等[14]提出一種由DenseNet 方法處理的YOLOV3 網(wǎng)絡(luò)用于檢測3 個(gè)生長階段的蘋果，實(shí)現(xiàn)了特征重用并有效增強(qiáng)了特征傳播，平均識(shí)別精度達(dá)81.7%。閆建偉等[15]采用基于VGG16 的Faster R-CNN 檢測不同成熟度和不同遮擋程度的刺梨果實(shí)，對(duì)刺梨果實(shí)11 種形態(tài)的識(shí)別準(zhǔn)確率最高為95.53%，最低為85.63%。

由于水培芥藍(lán)成熟度判別對(duì)準(zhǔn)確性要求較實(shí)時(shí)性更高，本研究采用深度學(xué)習(xí)方法，選取Faster R-CNN 作為水培芥藍(lán)花蕾特征檢測框架。不同品種、生長環(huán)境與成熟度的水培芥藍(lán)花蕾在形態(tài)、尺度上存在較大差異，花蕾與葉片同為綠色，花蕾綻放的白花與栽培槽顏色相近，因此花蕾檢測識(shí)別需要解決背景干擾和花蕾尺寸跨度大等問題。采用Faster R-CNN 的主干網(wǎng)絡(luò)提取目標(biāo)特征存在抗環(huán)境噪聲干擾能力低，深度卷積操作易丟失空間細(xì)節(jié)信息，僅利用最后一層融合特征圖進(jìn)行預(yù)測易導(dǎo)致小尺度花蕾漏檢率高等問題。為此，提出一種注意力與多尺度特征融合的Faster R-CNN 水培芥藍(lán)花蕾檢測模型，基于InceptionV3 設(shè)計(jì)多尺度花蕾特征提取主干網(wǎng)絡(luò)，引入SENet 注意力集中機(jī)制[16]和FPN 特征金字塔網(wǎng)絡(luò)[17]以提高模型的抗干擾能力及對(duì)小尺度花蕾的識(shí)別成功率，并通過試驗(yàn)對(duì)模型檢測效果進(jìn)行驗(yàn)證，以實(shí)現(xiàn)自然環(huán)境下水培芥藍(lán)花蕾成熟度等級(jí)的高精度檢測。

1 材料與方法

1.1 材料

試驗(yàn)選取綠寶芥藍(lán)和香港白花芥藍(lán)兩個(gè)品種，圖像于2020 年11 月至2021 年7 月在華南農(nóng)業(yè)大學(xué)農(nóng)事訓(xùn)練中心水培基地拍攝。攝像頭選用尼康（Nikon）D90 單反相機(jī)，搭載CMOS 傳感器及VR 2 代鏡頭，鏡頭焦距為18～55 mm，圖像分辨率為4 000×3 000?；卮笈飪?nèi)栽培架距地面高度范圍為600～900 mm，相鄰管槽間距為25 mm，攝像頭固定在升降范圍為800～1 900 mm 和伸縮范圍為230～350 mm 的支架上。由人工移動(dòng)支架使拍攝區(qū)域覆蓋大棚內(nèi)各方位，在自然光條件下調(diào)整鏡頭距管道栽培架上部500～700 mm 處多角度俯拍。拍攝時(shí)間為芥藍(lán)種苗移植到栽培管后35～45 d 期間，每天在9:00－11:30 和14:00－16:30 時(shí)間段分別采樣一次。剔除模糊不清晰圖像，保留綠寶芥藍(lán)原始圖像462 幅，香港白花芥藍(lán)原始圖像420 幅。

為提升模型的識(shí)別精度并避免過擬合，對(duì)原始圖像進(jìn)行隨機(jī)水平鏡像翻轉(zhuǎn)、豎直鏡像翻轉(zhuǎn)、水平豎直翻轉(zhuǎn)等幾何變換，以增加不同方向芥藍(lán)花蕾圖像；對(duì)原始圖像進(jìn)行隨機(jī)亮度調(diào)整等灰度變換，以增加不同光照條件下的芥藍(lán)花蕾圖像。經(jīng)過數(shù)據(jù)增強(qiáng)，共獲得綠寶芥藍(lán)圖像1 255 幅，香港白花芥藍(lán)圖像1 319 幅。將圖像按品種劃分為綠寶芥藍(lán)數(shù)據(jù)集、香港白花芥藍(lán)數(shù)據(jù)集及兩個(gè)品種混合數(shù)據(jù)集。3 組數(shù)據(jù)集均按7∶2∶1 的比例分劃分訓(xùn)練集、驗(yàn)證集和測試集。為縮短訓(xùn)練時(shí)間，將每張圖像縮小為1 500×1 000（像素）。

依據(jù)芥藍(lán)生長成熟分級(jí)標(biāo)準(zhǔn)，將芥藍(lán)按薹莖主軸頂端花蕾生長特征不同分為未成熟、成熟和過成熟3 種成熟度等級(jí)，如圖1 所示。采用labelImg 圖像標(biāo)注工具對(duì)芥藍(lán)花蕾圖像進(jìn)行標(biāo)記，并依照PASCALVOC 數(shù)據(jù)集格式進(jìn)行位置和類別注釋，綠寶芥藍(lán)和香港白花芥藍(lán)標(biāo)注實(shí)例如圖2 所示。

1.2 試驗(yàn)平臺(tái)

試驗(yàn)選用Intel? Xeon CPU E5-2620 v3 處理器和GTX1080Ti 顯卡，內(nèi)存32G，硬盤200G。應(yīng)用Windows 10 64 位專業(yè)版系統(tǒng)，選用 Python3.6 編寫程序，Pytorch1.6.0 框架搭建網(wǎng)絡(luò)模型。

1.3 方 法

1.3.1 基礎(chǔ)特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)寬度和深度是影響目標(biāo)檢測效果的關(guān)鍵因素[18-19]。Inception 網(wǎng)絡(luò)在工程圖像分類中表現(xiàn)優(yōu)異，各階段模塊由多個(gè)不同尺度的卷積模塊構(gòu)成，每一分支均優(yōu)先使用一個(gè)1×1 的卷積進(jìn)行降維，同時(shí)將大卷積拆解為多個(gè)小卷積，如用2 個(gè)3×3 卷積代替5×5 的卷積，用1×7 和7×1 的兩個(gè)非對(duì)稱卷積代替7×7 卷積，以減小計(jì)算負(fù)擔(dān)并增加網(wǎng)絡(luò)深度。通過若干組大小不同的卷積并行提取多個(gè)尺度特征，增加網(wǎng)絡(luò)寬度來深入挖掘圖像空間局部相關(guān)性，減少計(jì)算量，充分融合不同感受野下的多種局部特征，實(shí)現(xiàn)淺層網(wǎng)絡(luò)豐富細(xì)節(jié)特征信息提取[20]。

不同成熟度水培芥藍(lán)花蕾的特征區(qū)別主要體現(xiàn)在局部細(xì)節(jié)結(jié)構(gòu)。經(jīng)典InceptionV3 網(wǎng)絡(luò)利用復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)來獲取更多抽象語義特征，共有47 層，包含3 種Inception模塊及下采樣的ReductionA 和ReductionB，最后2 個(gè)Inception 模塊為擴(kuò)展濾波器組。由于需要檢測分辨的花蕾類別只有3 種，過大的網(wǎng)絡(luò)深度和寬度均易導(dǎo)致過擬合，因此去掉最后2 個(gè)擴(kuò)展濾波器組模塊和ReductionB，利用InceptionV3 前37 層網(wǎng)絡(luò)，將輸出特征由2048 維降至768 維，以增加網(wǎng)絡(luò)泛化能力。

1.3.2 SENet 注意力機(jī)制

基礎(chǔ)特征提取網(wǎng)絡(luò)采用直接拼接的特征融合方式，各尺度特征權(quán)重相同，融合的特征信息中也包含了背景噪聲等干擾，隨著網(wǎng)絡(luò)層數(shù)的增加會(huì)給模型帶來負(fù)面影響，降低模型的檢測精確度[21]。為此，引入通道注意力機(jī)制SENet（Squeeze and Excitation Networks）模塊。SENet 模塊并不改變輸入特征圖現(xiàn)有結(jié)構(gòu)，只改變特征通道之間的權(quán)重差異，增大包含有效信息的通道權(quán)重，減小包含無效信息的通道權(quán)重。

SENet 模塊的結(jié)構(gòu)如圖3 所示，將輸入特征經(jīng)全局平均池化（Global Average Pooling）壓縮為一個(gè)c維向量，該向量得到每個(gè)通道所有元素的反饋。采用兩層全連接層從向量中提取通道權(quán)重，第一層將維度降為原來的1/16，通過Relu 函數(shù)激活，第二層用于恢復(fù)原始維度，采用Sigmoid 函數(shù)得到c個(gè)通道權(quán)重。兩層全連接層能增強(qiáng)非線性以更好擬合通道間的關(guān)系，同時(shí)也能減少計(jì)算量。最后將獲得的權(quán)重與輸入特征相乘，實(shí)現(xiàn)各通道關(guān)注度的調(diào)整。SENet 模塊通過自主學(xué)習(xí)各特征通道的權(quán)重來調(diào)整各通道的重要程度，提高網(wǎng)絡(luò)對(duì)重要特征的注意力，減少背景等無關(guān)特征對(duì)檢測結(jié)果的影響。

1.3.3 特征金字塔網(wǎng)絡(luò)

網(wǎng)絡(luò)頂層特征在持續(xù)下采樣過程中易丟失小目標(biāo)的部分信息，若只用頂層特征圖檢測目標(biāo)，易造成未成熟花蕾漏檢。特征金字塔網(wǎng)絡(luò)FPN（Feature Pyramid Network）可將任意大小的輸入圖像通過卷積的方式輸出多個(gè)不同尺度的特征映射，并將這些不同大小、深度的特征進(jìn)行融合，以增加特征圖對(duì)淺層網(wǎng)絡(luò)信息的表達(dá)。為提高模型對(duì)小目標(biāo)花蕾的檢測精度，采用FPN 融合不同階段特征，其結(jié)構(gòu)如圖4 所示。將基礎(chǔ)特征提取網(wǎng)絡(luò)第2 組至第4 組卷積得到的特征圖{C2，C3，C4}通過FPN 層分別進(jìn)行疊加融合，得到多尺度的特征圖金字塔結(jié)構(gòu){P2，P3，P4}。特征圖C2、C3、C4大小分別為 371×246×192、185×122×288、92×60×768，高維特征圖C4的感受野最大，包含圖像的全局信息。各特征圖在進(jìn)行特征融合前均經(jīng)1×1 的卷積降至192 維，高維特征通過上采樣以保證融合的特征圖在維度上的一致性，并通過逐元素相加引導(dǎo)特征自頂向下還原淺層細(xì)節(jié)信息。特征融合后，預(yù)測特征圖的語義信息和位置信息都得到了增強(qiáng)。由于高維特征中仍包含低維特征信息，融合過程中將造成特征冗余，故在融合后通過3×3 的卷積消除混疊效應(yīng)，具體計(jì)算方法如公式（1）～（3）所示。

1.3.4 RPN 錨點(diǎn)尺度設(shè)計(jì)

RPN 與主干網(wǎng)絡(luò)共享圖像的卷積特征，對(duì)錨點(diǎn)生成的候選區(qū)域進(jìn)行前背景的判斷及位置回歸。Faster R-CNN采用{128×128，256×256，512×512}三種尺度以及{2∶1，1∶1，1∶2}三種長寬比的錨點(diǎn)進(jìn)行候選區(qū)域提取。為明確錨點(diǎn)是否適應(yīng)水培芥藍(lán)花蕾檢測，對(duì)混合數(shù)據(jù)集內(nèi)的各花蕾目標(biāo)框尺寸進(jìn)行統(tǒng)計(jì)，結(jié)果如圖5 所示。

圖5 表明，水培芥藍(lán)花蕾目標(biāo)的尺度差異跨度較大，多數(shù)花蕾尺度集中在256×256（像素）以內(nèi)，故將錨點(diǎn)尺度擴(kuò)充至{16×16，32×32，64×64，128×128，256×256，512×512}，長寬比保持不變，共生成18 種不同的錨點(diǎn)，以保證覆蓋到不同尺寸的花蕾。

1.3.5 注意力與多尺度特征融合的檢測模型

為減小深度學(xué)習(xí)過程中下采樣對(duì)淺層網(wǎng)絡(luò)重要特征的抑制作用，提高小尺度目標(biāo)的檢測精度，設(shè)計(jì)注意力與多尺度特征融合的Faster R-CNN 水培芥藍(lán)花蕾檢測模型如圖6 所示?；贗nceptionV3 設(shè)計(jì)基礎(chǔ)特征提取網(wǎng)絡(luò)并引入FPN 網(wǎng)絡(luò)，融合網(wǎng)絡(luò)中第2 組至第4 組卷積生成的3 個(gè)不同尺度的特征圖，將高層特征與淺層特征拼接融合，以更好地保留小尺度目標(biāo)的語義信息。在基礎(chǔ)特征提取網(wǎng)絡(luò)的InceptionA、ReductionA 和InceptionB 模塊后分別嵌入SENet 模塊，篩選各模塊層對(duì)目標(biāo)識(shí)別有利的特征通道，以減少背景噪聲對(duì)不同尺度特征圖的干擾，并減輕過擬合。FPN 網(wǎng)絡(luò)生成的三個(gè)不同尺度的融合特征圖P2、P3、P4被輸出到RPN 網(wǎng)絡(luò)和ROIHead 中分別進(jìn)行預(yù)測。

RPN 網(wǎng)絡(luò)依據(jù)數(shù)據(jù)集中花蕾目標(biāo)的邊框統(tǒng)計(jì)和特征圖金字塔結(jié)構(gòu)為每個(gè)特征圖生成具有相應(yīng)尺度和長寬比的錨框，被測花蕾可依據(jù)錨框的大小選取合適的特征圖進(jìn)行預(yù)測，使得網(wǎng)絡(luò)對(duì)不同尺度的花蕾有更好的檢測效果。使用分類網(wǎng)絡(luò)對(duì)錨框進(jìn)行前背景分類，并對(duì)前景錨框使用回歸網(wǎng)絡(luò)修正錨框位置，生成感興趣區(qū)域ROI（Region of Interesting）。ROI 子網(wǎng)通過池化方法把不同尺度的ROI 固定為7×7 大小的特征；再將特征分別傳入類別預(yù)測模塊和邊框回歸模塊，采用類別預(yù)測模塊對(duì)目標(biāo)進(jìn)行分類預(yù)測并計(jì)算置信度，利用邊框回歸模塊確定花蕾邊框范圍。

1.4 模型評(píng)價(jià)指標(biāo)

為驗(yàn)證模型檢測效果，采用準(zhǔn)確率Pi(Precision rate)、召回率Ri(Recall rate)、平均準(zhǔn)確率 AP(i)（Average Precision）和平均準(zhǔn)確率均值 mAP（mean Average Precision）評(píng)價(jià)模型對(duì)不同成熟度水培芥藍(lán)花蕾的檢測性能，各指標(biāo)計(jì)算如公式（4）～（7）所示。

2 結(jié)果與分析

2.1 模型訓(xùn)練結(jié)果

式中i代表不同成熟度級(jí)別；N為成熟度級(jí)別總數(shù)，本研究中N取值為3；TP（True Positives）表示模型正確識(shí)別某一成熟度級(jí)別目標(biāo)的個(gè)數(shù)；FP（False Positives）表示將背景識(shí)別為某一成熟度級(jí)別目標(biāo)而誤識(shí)別的個(gè)數(shù)；FN（False Negatives）表示將某一成熟度級(jí)別目標(biāo)識(shí)別為背景而漏識(shí)別的個(gè)數(shù)；AP(i)為某一成熟度級(jí)別P-R曲線的面積，反映了模型對(duì)某一成熟度級(jí)別目標(biāo)的檢測性能；mAP反映模型對(duì)不同成熟度級(jí)別目標(biāo)的整體檢測性能。

選擇隨機(jī)梯度下降法以近似聯(lián)合訓(xùn)練方式對(duì)模型進(jìn)行端到端訓(xùn)練，利用InceptionV3 網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重初始化改進(jìn)主干網(wǎng)絡(luò)，改進(jìn)部分使用標(biāo)準(zhǔn)差為0.001 的高斯分布進(jìn)行初始化，以提升模型的訓(xùn)練收斂速度[22-23]。綜合考慮硬件設(shè)備性能和訓(xùn)練效果，批大小設(shè)置為8，動(dòng)量和權(quán)重衰減系數(shù)分別為0.9 和0.000 5，學(xué)習(xí)率設(shè)為0.005，每迭代5 次衰減為原來的1/3，訓(xùn)練的總迭代數(shù)為50。

對(duì)3 種不同數(shù)據(jù)集進(jìn)行模型的訓(xùn)練和驗(yàn)證，訓(xùn)練和驗(yàn)證的綜合損失值和平均精度均值變化如圖7 所示。3 種數(shù)據(jù)集在訓(xùn)練和驗(yàn)證迭代過程中的綜合損失值整體呈下降趨勢，均在迭代10 次后達(dá)到收斂；平均精度均值隨著迭代次數(shù)的增加而逐步上升，在迭代10 次后達(dá)到峰值。損失和精度曲線表明本研究提出的模型具有較強(qiáng)的擬合和泛化能力。

3 種不同數(shù)據(jù)集的花蕾成熟等級(jí)檢測結(jié)果如表1 所示。綠寶芥藍(lán)數(shù)據(jù)集的平均精度均值mAP 為96.5%，香港白花芥藍(lán)數(shù)據(jù)集的mAP 為95.9%，混合數(shù)據(jù)集的mAP為96.1%。3 種數(shù)據(jù)集的mAP 均超過95%，且最高與最低值間差異僅為0.6%。圖8 為模型對(duì)綠寶芥藍(lán)和香港白花芥藍(lán)的檢測效果實(shí)例，出現(xiàn)少量花蕾檢測失敗主要原因在于花蕾被葉片遮擋導(dǎo)致漏識(shí)別。表明模型對(duì)不同品種水培芥藍(lán)花蕾具有較好的泛化能力，檢測判別率均較高。

表1 不同品種數(shù)據(jù)集的識(shí)別結(jié)果Table 1 Influence of different dataset on detection results

2.2 消融試驗(yàn)

為明確水培芥藍(lán)花蕾檢測模型中各模塊對(duì)特征提取網(wǎng)絡(luò)性能影響，驗(yàn)證各模塊結(jié)構(gòu)的有效性，設(shè)計(jì)消融實(shí)驗(yàn)，采用混合數(shù)據(jù)集進(jìn)行訓(xùn)練，測試結(jié)果如表2 所示。僅采用基礎(chǔ)特征提取網(wǎng)絡(luò)對(duì)未成熟花蕾檢測的平均準(zhǔn)確率最低為84.9%，對(duì)成熟和過成熟花蕾檢測的平均準(zhǔn)確率分別為93.5%和93.7%，表明基礎(chǔ)特征提取網(wǎng)絡(luò)對(duì)尺度較大的成熟和過成熟花蕾檢測識(shí)別性能較好，但對(duì)尺度較小的未成熟花蕾檢測性能較低。

表2 不同模塊配置對(duì)檢測結(jié)果的影響Table 2 Influence of different structure on detection results

采用基礎(chǔ)特征提取網(wǎng)絡(luò)+SENet 模型結(jié)構(gòu)或基礎(chǔ)特征提取網(wǎng)絡(luò)+FPN 的模型結(jié)構(gòu)對(duì)不同成熟度的花蕾檢測效果均具有明顯提升。未成熟花蕾上的花苞數(shù)量少，花蕾尺寸小，采用基礎(chǔ)特征提取網(wǎng)絡(luò)+SENet 模型檢測的平均準(zhǔn)確率為89.1%，基礎(chǔ)特征提取網(wǎng)絡(luò)+FPN 模型檢測的平均準(zhǔn)確率為90.8%?；A(chǔ)特征提取網(wǎng)絡(luò)+SENet 模型對(duì)過成熟花蕾檢測的平均準(zhǔn)確率最高為97.8%，表明引入SENet 模塊學(xué)習(xí)標(biāo)定各特征通道的重要程度，對(duì)開出了白花、特征差異更明顯的過成熟花蕾檢測效果最好?；A(chǔ)特征提取網(wǎng)絡(luò)+FPN 模型對(duì)成熟花蕾檢測的平均準(zhǔn)確率最高為97.3%，表明采用多層特征信息融合更利于完整提取尺度跨度大的花蕾特征信息。

基礎(chǔ)特征提取網(wǎng)絡(luò)+SENet+FPN 模型對(duì)不同成熟度花蕾檢測的平均準(zhǔn)確率均為最高，未成熟花蕾檢測的平均準(zhǔn)確率92.3%，成熟花蕾檢測的平均準(zhǔn)確率98.2%，過成熟花蕾檢測的平均準(zhǔn)確率97.9%，平均準(zhǔn)確率均值最高為96.1%，表明模型設(shè)計(jì)具有合理性，能充分發(fā)揮各模塊的優(yōu)勢，達(dá)到綜合更好的檢測效果。

2.3 不同主干網(wǎng)絡(luò)對(duì)比分析

為驗(yàn)證不同主干網(wǎng)絡(luò)對(duì)水培芥藍(lán)花蕾的檢測效果，對(duì)比VGG16、ResNet50、ResNet101、InceptionV3 及本文提出的主干網(wǎng)絡(luò)，利用混合數(shù)據(jù)集進(jìn)行訓(xùn)練，測試結(jié)果如表3 所示。VGG16、ResNet50 和ResNet101 網(wǎng)絡(luò)的平均精度均值分別為85.3%、87.8%和89.2%，表明深層網(wǎng)絡(luò)模型對(duì)花蕾檢測效果優(yōu)于淺層網(wǎng)絡(luò)。但對(duì)于未成熟花蕾，ResNet101 網(wǎng)絡(luò)的平均準(zhǔn)確率最低為82.3%，低于VGG16 的平均準(zhǔn)確率82.5%及ResNet50 的平均準(zhǔn)確率85.8%，表明網(wǎng)絡(luò)層數(shù)過大反而會(huì)降低小尺度未成熟花蕾檢測的準(zhǔn)確率。對(duì)比表2 中的基礎(chǔ)特征提取網(wǎng)絡(luò)和表3中的InceptionV3 檢測結(jié)果，InceptionV3 網(wǎng)絡(luò)對(duì)不同成熟度花蕾檢測平均準(zhǔn)確率均值最低為83.4%，基礎(chǔ)特征提取網(wǎng)絡(luò)去掉InceptionV3 的2 個(gè)擴(kuò)展濾波器組和ReductionB模塊后對(duì)不同成熟度花蕾檢測的平均準(zhǔn)確率均有明顯提升，表明InceptionV3 網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)復(fù)雜反而會(huì)降低其泛化能力。表2 中的基礎(chǔ)特征提取網(wǎng)絡(luò)相較表3 中的ResNet101 平均精度均值提升1.5 個(gè)百分點(diǎn)，但對(duì)于小尺度未成熟花蕾的檢測（平均準(zhǔn)確率為84.9%），低于ResNet50 網(wǎng)絡(luò)的85.8%。本文提出的主干網(wǎng)絡(luò)模型對(duì)不同成熟度花蕾檢測的平均準(zhǔn)確率相較 VGG16、ResNet50、ResNet10 和InceptionV3 網(wǎng)絡(luò)均為最高，其平均準(zhǔn)確率均值分別提高了10.8、8.3、6.9 和12.7 個(gè)百分點(diǎn)，表明引入注意力機(jī)制和特征金字塔模塊對(duì)不同成熟度花蕾檢測效果提升明顯。

表3 不同特征提取網(wǎng)絡(luò)的檢測效果Table 3 Detection results of different feature extraction network

圖9 為采用不同特征提取網(wǎng)絡(luò)對(duì)花蕾檢測的P-R（Precision-Recall）曲線。隨著召回率的增加，各特征提取網(wǎng)絡(luò)對(duì)不同成熟度花蕾檢測的準(zhǔn)確率呈下降趨勢。對(duì)于檢測未成熟的花蕾，當(dāng)召回率為80%時(shí)，本文提出的檢測模型的準(zhǔn)確率保持在90%以上；對(duì)于檢測成熟和過成熟花蕾，當(dāng)召回率為90%時(shí)，本文提出的檢測模型的準(zhǔn)確率保持在90%以上。P-R 曲線表明本文提出的檢測模型具有較強(qiáng)的魯棒性，對(duì)于不同成熟度花蕾檢測無需以較大的精度損失來提高召回率。

3 結(jié) 論

1）依據(jù)花蕾特征信息準(zhǔn)確辨識(shí)其成熟度情況是保障水培芥藍(lán)適時(shí)采收的關(guān)鍵基礎(chǔ)。針對(duì)自然環(huán)境下水培芥藍(lán)花蕾尺度特征跨度大，受背景信息干擾等問題，提出一種注意力與多尺度特征融合的Faster R-CNN 水培芥藍(lán)花蕾檢測模型。對(duì)綠寶芥藍(lán)數(shù)據(jù)集、香港白花芥藍(lán)數(shù)據(jù)集和兩個(gè)品種的混合數(shù)據(jù)集測試結(jié)果表明，三種數(shù)據(jù)集的平均準(zhǔn)確率均值（mAP）均超過95%，最高mAP 為96.5%，最低mAP 為95.9%，模型能實(shí)現(xiàn)不同品種水培芥藍(lán)高準(zhǔn)確率檢測。

2）模型消融試驗(yàn)結(jié)果表明，基礎(chǔ)特征提取網(wǎng)絡(luò)增加SENet 模塊或FPN 模塊對(duì)檢測未成熟花蕾的平均準(zhǔn)確率提升分別為4.2%和5.9%。基礎(chǔ)特征提取網(wǎng)絡(luò)引入SENet模塊對(duì)過成熟花蕾檢測的平均準(zhǔn)確率最高為97.8%，基礎(chǔ)特征提取網(wǎng)絡(luò)引入FPN 模塊對(duì)成熟花蕾檢測的平均準(zhǔn)確率最高為97.3%?；A(chǔ)特征提取網(wǎng)絡(luò)融合SENet 模塊和FPN 模塊對(duì)不同成熟度的花蕾檢測的平均準(zhǔn)確率均為最高，未成熟花蕾檢測的平均準(zhǔn)確率92.3%，成熟花蕾檢測的平均準(zhǔn)確率98.2%，過成熟花蕾檢測的平均準(zhǔn)確率97.9%，平均準(zhǔn)確率均值為96.1%，表明本研究模型設(shè)計(jì)合理，能充分發(fā)揮各模塊的優(yōu)勢。

3）相比VGG16、ResNet50、ResNet101 和InceptionV3網(wǎng)絡(luò)，本研究模型對(duì)不同成熟度水培芥藍(lán)花蕾檢測的平均準(zhǔn)確率均值分別提高了10.8、8.3、6.9 和12.7 個(gè)百分點(diǎn)，檢測效果具有較大提升。在召回率為80%時(shí)，對(duì)不同成熟度水培芥藍(lán)花蕾檢測的準(zhǔn)確率均能保持在90%以上，具有較高的魯棒性。

針對(duì)影響識(shí)別準(zhǔn)確率的葉片遮擋和背景干擾等問題，本研究模型仍有需要提升的空間。后續(xù)考慮應(yīng)用圖像預(yù)處理技術(shù)，進(jìn)一步優(yōu)化和改進(jìn)模型結(jié)構(gòu)，以準(zhǔn)確獲取花蕾生長狀態(tài)數(shù)據(jù)，為水培芥藍(lán)采收提供可靠依據(jù)。