黃成龍 ，華向東 ，黃詩(shī)豪 ，盧智浩 ，董佳樂(lè) ，張 俊 ，楊萬(wàn)能

（1. 華中農(nóng)業(yè)大學(xué)工學(xué)院，武漢 430070；2. 農(nóng)業(yè)農(nóng)村部長(zhǎng)江中下游農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，武漢 430070；3. 華中農(nóng)業(yè)大學(xué)作物遺傳改良全國(guó)重點(diǎn)實(shí)驗(yàn)室，武漢 430070）

0 引 言

中國(guó)是世界上最大的稻米生產(chǎn)和消費(fèi)國(guó)，水稻生產(chǎn)直接關(guān)系國(guó)內(nèi)糧食安全和農(nóng)業(yè)的可持續(xù)發(fā)展[1-2]。再生稻是采用一定栽培措施，使頭季水稻收割后稻樁上休眠芽萌發(fā)生長(zhǎng)成穗的水稻品種[3]。再生稻具有一種兩收、省時(shí)省工、經(jīng)濟(jì)效益高的優(yōu)勢(shì)，對(duì)保障中國(guó)糧食安全意義重大。再生稻再生季產(chǎn)量由再生季的單位面積有效穗數(shù)決定，而有效穗數(shù)由再生芽萌發(fā)能力決定[4-6]。因此再生芽萌發(fā)的數(shù)量和再生稻再生能力有著直接關(guān)系。

傳統(tǒng)再生力鑒定方法主要通過(guò)人工計(jì)算水稻再生季有效穗數(shù)與頭季有效穗數(shù)之比實(shí)現(xiàn)，徐富賢等[7]將再生芽出鞘率作為再生稻前期再生力的鑒定指標(biāo)。且再生芽傳統(tǒng)統(tǒng)計(jì)方法同樣依靠人工檢測(cè)，需要?jiǎng)冸x水稻莖稈外部葉鞘和表皮進(jìn)行再生芽計(jì)數(shù)，人工方法存在接觸損傷、主觀低效、重復(fù)性差等缺點(diǎn)。因此提出一種水稻再生芽無(wú)損檢測(cè)方法具有重要的意義[8]。X 射線計(jì)算機(jī)斷層掃描(computed tomography，CT)是一種廣泛應(yīng)用于醫(yī)學(xué)、工業(yè)實(shí)踐、分子成像和植物等領(lǐng)域的三維透射成像技術(shù)[9]，可以無(wú)損獲取植物組織和器官的內(nèi)部三維結(jié)構(gòu)[10]。吳迪等[11]采用基于X 射線和濾波反投影算法對(duì)小麥莖稈進(jìn)行斷層重建，實(shí)現(xiàn)小麥分蘗數(shù)、分蘗角度和壁厚參數(shù)的提取。YANG 等[12]利用Micro-CT 成像技術(shù)實(shí)現(xiàn)水稻分蘗數(shù)的高通量無(wú)損檢測(cè)系統(tǒng)。許智隼等[13]通過(guò)X-CT 掃描表層結(jié)皮土樣和圖像分析方法獲取了土樣的三維孔隙結(jié)構(gòu)和不同土層的滲透率。銀學(xué)波等[14]利用CT 成像和圖像處理完成對(duì)玉米籽粒的三維結(jié)構(gòu)重建，并計(jì)算了不同粒位下籽粒的8 種胚部組織表型參數(shù)。因此Micro-CT 作為一種高分辨透射式三維成像技術(shù)，可以為水稻莖稈內(nèi)部的再生芽信息的無(wú)損獲取提供一種有效途徑。

隨著深度學(xué)習(xí)技術(shù)和計(jì)算機(jī)硬件的快速發(fā)展，針對(duì)2D、3D 圖像的目標(biāo)檢測(cè)、追蹤算法得到長(zhǎng)足發(fā)展[15]，農(nóng)業(yè)作物追蹤計(jì)數(shù)、產(chǎn)量統(tǒng)計(jì)方法也得到了進(jìn)一步的提高。高芳芳等[16]基于YOLOv4-tiny、卡爾曼濾波和改進(jìn)的匈牙利算法實(shí)現(xiàn)對(duì)蘋(píng)果的追蹤計(jì)數(shù)；黃成龍等[17]基于VFNet，加入了融合多尺度訓(xùn)練和動(dòng)態(tài)卷積進(jìn)行優(yōu)化，完成患病棉花葉片檢測(cè)，并通過(guò)DeepSORT 算法融合撞線匹配機(jī)制完成患病棉花葉片的追蹤，最后通過(guò)追蹤結(jié)果進(jìn)行特征提取和棉花患病葉片分級(jí)；OSMAN 等[18]基于YOLOv3 和以ResNet 為特征提取的DeepSORT 對(duì)不同水果作物的田間產(chǎn)量進(jìn)行統(tǒng)計(jì)。HE 等[19]利用YOLOv3對(duì)水果進(jìn)行檢測(cè)，通過(guò)加入級(jí)聯(lián)特征匹配將水果檢測(cè)結(jié)果和軌跡進(jìn)行匹配完成對(duì)水果的追蹤計(jì)數(shù)。HAO 等[20]基于CenterNet 對(duì)棉花幼苗進(jìn)行anchor-free 檢測(cè)，并將棉苗的位置和識(shí)別信息融合入DeepSORT 算法，完成了棉苗數(shù)量的追蹤計(jì)算。將上述目標(biāo)檢測(cè)、追蹤算法應(yīng)用于再生稻CT 圖像，對(duì)水稻莖稈內(nèi)的再生芽進(jìn)行目標(biāo)追蹤，可以為再生芽的精準(zhǔn)計(jì)數(shù)提供一種新的途徑。

本研究提出開(kāi)展基于Micro-CT 成像和改進(jìn)DeepSORT的再生稻再生芽追蹤計(jì)數(shù)與再生力評(píng)價(jià)研究。采用Micro-CT 透射成像技術(shù)，無(wú)損獲取水稻莖稈再生芽信息；提出基于斷層圖像視頻流和改進(jìn)DeepSORT 的再生芽多目標(biāo)追蹤方法。計(jì)算有效芽和莖稈數(shù)之比得到水稻早期再生力，實(shí)現(xiàn)再生季產(chǎn)量預(yù)測(cè)，擬為早期解析水稻再生力加速再生稻品種選育、克服環(huán)境影響提供一種技術(shù)方案。

1 材料和圖像采集

1.1 技術(shù)路線

再生稻頭季收獲后，休眠芽會(huì)從殘留莖稈內(nèi)部不同節(jié)位處再次萌發(fā)，因此一個(gè)莖稈內(nèi)可能會(huì)萌發(fā)多個(gè)再生芽。為實(shí)現(xiàn)對(duì)莖稈內(nèi)所有再生芽的準(zhǔn)確計(jì)數(shù)及水稻再生力評(píng)價(jià)，提出基于Micro-CT 成像和改進(jìn)DeepSORT 的再生芽追蹤計(jì)數(shù)和再生力測(cè)量方法，研究技術(shù)路線如圖1所示。首先對(duì)頭季收獲后水稻莖稈進(jìn)行Micro-CT 掃描重建；然后進(jìn)行水稻莖稈斷層圖像進(jìn)行視頻流和數(shù)據(jù)集制作；再基于YOLOv5s 網(wǎng)絡(luò)完成再生芽和水稻莖稈目標(biāo)檢測(cè)；接著基于改進(jìn)DeepSORT 算法實(shí)現(xiàn)再生芽的追蹤計(jì)數(shù)，追蹤計(jì)數(shù)過(guò)程如圖2 所示；最后基于莖稈數(shù)量和有效芽數(shù)量對(duì)再生稻早期的再生力進(jìn)行評(píng)價(jià)，并實(shí)現(xiàn)與產(chǎn)量的相關(guān)性分析。

圖1 再生芽追蹤計(jì)數(shù)和再生力評(píng)估技術(shù)路線圖Fig.1 Technology roadmap for regenerated bud tracking count and regenerative ability evaluation

圖2 水稻再生芽追蹤示意圖Fig.2 Schematic diagram of rice regenerated buds tracking

1.2 試驗(yàn)材料

本試驗(yàn)材料來(lái)源于華中農(nóng)業(yè)大學(xué)作物遺傳改良全國(guó)重點(diǎn)實(shí)驗(yàn)室，再生稻品種包括豐兩優(yōu)香1 號(hào)（FLYX）和黃華占（HHZ）。每個(gè)品種分別進(jìn)行了使用促芽肥（Nbud）和不使用促芽肥（No）、飽和含水（S）和70%土壤相對(duì)含水（D）不同處理，共計(jì)8 種不同處理的再生稻，每盆中種植3 株完全相同處理的再生稻，總計(jì)104 盆再生稻。試驗(yàn)材料如表1 所示。水稻頭季收獲3～4 d 后是出葉、分蘗的旺盛時(shí)期，研究表明頭季收獲第5 天再生芽出鞘率與水稻再生力密切相關(guān)[6]，因此本研究CT 掃描拍攝時(shí)間為再生稻頭季收割后第5 天。

表1 再生稻試驗(yàn)材料Table 1 Experimental material of ratooning rice

1.3 再生稻CT 數(shù)據(jù)采集

本試驗(yàn)所使用的X 射線CT 掃描成像裝置為依科視朗FF35CT（德國(guó)），Micro-CT 成像裝置如圖3a 所示。在進(jìn)行X 射線掃描前，需將再生稻盆栽放置設(shè)備旋轉(zhuǎn)臺(tái)正中心，并通過(guò)射線源的投影圖進(jìn)行位置矯正如圖3b 所示，使再生稻整體均處于成像視野范圍。CT 成像示意圖如圖3c 所示，射線源到旋轉(zhuǎn)中心距離為850 mm，射線源到探測(cè)器距離1 181 mm，探測(cè)器有效檢測(cè)面積432 mm×432 mm。

圖3 再生稻CT 成像裝置及掃描示意圖Fig.3 CT imaging device for ratooning rice and scanning schematic

再生稻Micro-CT 成像掃描參數(shù)如表2 所示。根據(jù)預(yù)試驗(yàn)效果，進(jìn)行CT 掃描時(shí)采用的電流為200 μA、電壓為60 kV，以0.25°的步進(jìn)角度對(duì)每個(gè)樣本進(jìn)行 360°旋轉(zhuǎn)采集，共 1 080 張投影圖像，掃描幀率為 6 幀/s。在再生稻掃描完后，通過(guò)系統(tǒng)自帶的 3D 重建軟件CERA 進(jìn)行再生稻三維重建，重建時(shí)間為11 min。每個(gè)樣品重建結(jié)果保存成 2 880 像素×2 880 像素×2 880 像素大小，空間像素分辨率為0.107 9 mm。然后通過(guò)VGStudio MAX 3.0 軟件進(jìn)行再生稻3D 圖像預(yù)處理，將空氣等不必要的背景進(jìn)行去除，通過(guò)感興趣區(qū)域提取，保留再生稻斷層圖像尺寸為1 800 像素×1 800 像素。最后沿著水稻生長(zhǎng)方向，提取莖稈斷層圖像，保存為jpg 格式。

表2 再生稻Micro-CT 掃描裝置參數(shù)Table 2 Micro-CT parameters for scanning ratooning rice

1.4 再生稻數(shù)據(jù)集和視頻流制作

數(shù)據(jù)集標(biāo)注采用LabelImg 軟件進(jìn)行人工標(biāo)注，再生芽和莖稈標(biāo)注圖像如圖4 所示。

圖4 LabelImg 軟件斷層圖再生芽和莖稈標(biāo)注Fig.4 Regenerated bud and stem labeling by software LabelImg in CT image

每個(gè)重建后的再生稻有2 880 張斷層圖像，標(biāo)注時(shí)對(duì)不同盆栽、不同高度斷層圖進(jìn)行隨機(jī)挑選，總計(jì)抽取了1 730 張斷層圖用于再生芽和莖稈目標(biāo)檢測(cè)，其中訓(xùn)練集與測(cè)試集比例為8∶2，1 384 張圖像集為訓(xùn)練集，346 張圖像集為測(cè)試集。由于DeepSORT算法導(dǎo)入的為視頻流格式，本研究采用VGStudio MAX 3.0 沿著水稻生長(zhǎng)方向提取莖稈斷層圖像，并將其轉(zhuǎn)為視頻流格式，視頻幀率為30 幀/s。

2 水稻再生芽追蹤計(jì)數(shù)與再生力評(píng)價(jià)

2.1 基于YOLOv5s 的莖稈和再生芽檢測(cè)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法發(fā)展迅速，自R-CNN[21]被提出后，又不斷出現(xiàn)了Fast R-CNN[22]、Faster R-CNN[23]、SSD[24]、SPPNet[25]和YOLO[26]等一系列目標(biāo)檢測(cè)算法，而其中YOLOv5 相比于其他幾種具有速度快、精度高和體積小等優(yōu)點(diǎn)。本研究采用YOLOv5s 進(jìn)行莖稈和再生芽目標(biāo)檢測(cè)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示，主要結(jié)構(gòu)包括四個(gè)部分：Input 輸入端、Backbone 主干網(wǎng)絡(luò)、Neck 網(wǎng)絡(luò)、Head 輸出端。Input 輸入端主要是對(duì)輸入圖像的預(yù)處理操作，包括了Mosaic 數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放等操作。Backbone 主干網(wǎng)絡(luò)借鑒了跨階段部分網(wǎng)絡(luò)（cross stage partial network，CSPNet[27]）的思路，設(shè)計(jì)了CSPDarknet53。Neck 部分包括特征金字塔（feature pyramid networks，F(xiàn)PN[28])和改進(jìn)的路徑聚合結(jié)構(gòu)CSP_PAN，CSP_PAN 同樣借鑒了CSPNet 網(wǎng)絡(luò)，在路徑聚合結(jié)構(gòu)(path aggregation network，PAN[29])中加入了CSP 結(jié)構(gòu)，加強(qiáng)了網(wǎng)絡(luò)特征融合的能力。Head 輸出端主要包括Bounding box 損失函數(shù)和非極大值抑制（nonmaximum suppression，NMS）。

圖5 YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of YOLOv5s

2.2 再生芽追蹤計(jì)數(shù)

2.2.1 DeepSORT 算法

經(jīng)典的多目標(biāo)追蹤算法有DeepSORT[30]、EAMTT[31]、STAM[32]、Sort[33]等，其中DeepSORT 具有較好的追蹤性能。DeepSORT 算法是在Sort 算法的基礎(chǔ)上改進(jìn)而來(lái)，追蹤思路與Sort 相同依舊是卡爾曼濾波加匈牙利算法，且相比于Sort 算法，加入了CNN 網(wǎng)絡(luò)進(jìn)行目標(biāo)特征提取，改善了追蹤過(guò)程中由于遮擋產(chǎn)生的追蹤問(wèn)題。DeepSORT 算法中使用了一個(gè)8 維度的量（x,y, γ,h,x˙,,,）描述目標(biāo)的狀態(tài)和在圖像坐標(biāo)系中的運(yùn)動(dòng)信息。其中（x,y）表示目標(biāo)中心點(diǎn)的水平坐標(biāo)和目標(biāo)中心的垂直坐標(biāo)，γ是寬高比，h是高度，其余4 個(gè)變量（,,,）表示對(duì)應(yīng)4 個(gè)變量在圖像坐標(biāo)系中的速度信息[34]。

卡爾曼濾波主要分為預(yù)測(cè)和更新檢測(cè)框的信息，匈牙利算法是一種優(yōu)化組合算法，可以將預(yù)測(cè)框和檢測(cè)框完成任務(wù)分配。級(jí)聯(lián)特征匹配思路為：在完成目標(biāo)的檢測(cè)后，通過(guò)卡爾曼濾波對(duì)檢測(cè)框進(jìn)行預(yù)測(cè)行動(dòng)的軌跡，并計(jì)算預(yù)測(cè)框和檢測(cè)框之間的馬氏距離作為匹配度量，此外通過(guò)深度網(wǎng)絡(luò)提取了每個(gè)檢測(cè)目標(biāo)的信息特征，并計(jì)算了最小余弦距離作為判斷軌跡是否匹配，并將兩者依據(jù)不同占比計(jì)算代價(jià)矩陣，作為匈牙利軌跡匹配的輸入，代價(jià)矩陣公式如1 所示。

式中ci,j為第i個(gè)追蹤框和第j個(gè)檢測(cè)框的代價(jià)矩陣；d(1)(i,j)為第i個(gè)追蹤框和第j個(gè)檢測(cè)框的馬氏距離；d(2)(i,j)為第i個(gè)追蹤框和第j個(gè)檢測(cè)框的余弦距離； λ為權(quán)重系數(shù)。

DeepSORT 追蹤過(guò)程是每一幀的檢測(cè)框和上一幀的追蹤器通過(guò)卡爾曼預(yù)測(cè)結(jié)果進(jìn)行匹配的過(guò)程。首先對(duì)檢測(cè)框和確認(rèn)狀態(tài)追蹤框進(jìn)行級(jí)聯(lián)特征匹配，后續(xù)將級(jí)聯(lián)匹配結(jié)果中未匹配上的檢測(cè)框、未匹配上追蹤器和非確認(rèn)狀態(tài)的追蹤框進(jìn)行IOU 匹配，將匹配成功的軌跡進(jìn)行卡爾曼濾波更新，完成追蹤過(guò)程。

通過(guò)DeepSORT 算法對(duì)再生芽進(jìn)行多目標(biāo)追蹤時(shí)，發(fā)生了追蹤目標(biāo)ID(identity document)分配錯(cuò)誤和追蹤過(guò)程多個(gè)再生芽錯(cuò)誤匹配的問(wèn)題。

再生芽ID 分配錯(cuò)誤是由于當(dāng)完成級(jí)聯(lián)特征匹配和IOU 匹配后，結(jié)果中的未匹配上的檢測(cè)框在后續(xù)的處理中，會(huì)初始化一個(gè)非確認(rèn)狀態(tài)的新追蹤框，追蹤器對(duì)新追蹤框直接按照追蹤順序定義了ID，但是新追蹤框的狀態(tài)并非確認(rèn)狀態(tài)，從而導(dǎo)致了追蹤再生芽過(guò)程中的跳號(hào)。

再生芽的錯(cuò)誤匹配導(dǎo)致了在再生芽追蹤過(guò)程中不同的目標(biāo)被分配相同的ID。如目標(biāo)A 和目標(biāo)B 在不同幀數(shù)下的ID 都是相同的，此錯(cuò)誤情況發(fā)生在目標(biāo)A 追蹤結(jié)束后，在后續(xù)的匹配過(guò)程中，恰好目標(biāo)B 出現(xiàn)，此時(shí)，目標(biāo)B 的檢測(cè)框和上一幀目標(biāo)A 的預(yù)測(cè)框進(jìn)行級(jí)聯(lián)特征匹配和IOU 匹配，導(dǎo)致目標(biāo)B 的檢測(cè)框和上一幀目標(biāo)A 的預(yù)測(cè)框成功匹配，使得不同的目標(biāo)被賦予相同的ID，影響最終再生芽計(jì)數(shù)的結(jié)果。

再生芽生長(zhǎng)在再生稻莖稈節(jié)點(diǎn)上，但是由于營(yíng)養(yǎng)限制，并非所有莖稈節(jié)點(diǎn)上的再生芽最終都可成長(zhǎng)為稻穗，高度小于1 cm 的再生芽可認(rèn)定為無(wú)效芽，后期無(wú)法成長(zhǎng)為稻穗[35]，因此將再生芽高度大于1 cm 認(rèn)定為有效芽，因此需要對(duì)再生芽追蹤過(guò)程增加高度信息。

2.2.2 DeepSORT 算法改進(jìn)

為提高再生芽追蹤計(jì)數(shù)的準(zhǔn)確性，對(duì)DeepSORT 算法進(jìn)行ID 分配的改進(jìn)和匹配過(guò)程的改進(jìn)，并對(duì)再生芽追蹤中加入有效芽的判別。改進(jìn)后DeepSORT 算法流程圖如圖6 所示。

圖6 改進(jìn)DeepSORT 追蹤計(jì)數(shù)算法流程圖Fig.6 Flowchart for improved DeepSORT tracking and counting algorithm

1） 改進(jìn)目標(biāo)追蹤ID 不符問(wèn)題

由于追蹤框的ID 是在創(chuàng)建新的追蹤框時(shí)產(chǎn)生的，因此需要在追蹤框轉(zhuǎn)為確認(rèn)狀態(tài)的過(guò)程中對(duì)追蹤框的ID 進(jìn)行賦予真實(shí)ID 號(hào)，如圖6 中ID 分配部分所示。如果追蹤框的狀態(tài)為非確認(rèn)狀態(tài)，并且檢測(cè)框和追蹤框匹配的次數(shù)大于給定閾值，則完成狀態(tài)轉(zhuǎn)變，對(duì)再生芽進(jìn)行ID賦值，從而改進(jìn)了追蹤過(guò)程中再生芽ID 錯(cuò)誤的問(wèn)題。

2） 改進(jìn)追蹤過(guò)程匹配問(wèn)題

由于在同一拍攝重建出的CT 斷層圖像中，相鄰兩張圖像的特征較為相似，可以判斷出任意兩張的再生稻斷層圖像中，再生芽在相鄰兩張斷層圖像中的所屬位置變化較小，因此基于CT 斷層圖像的特征，增加了一種針對(duì)兩幀圖像之間的第二次IOU 匹配方法，如圖6 改進(jìn)部分所示。在檢測(cè)框和追蹤軌跡完成級(jí)聯(lián)特征匹配和第一次IOU 匹配后，對(duì)匹配成功的軌跡進(jìn)行第二次IOU 匹配，將追蹤成功的追蹤框的ID 和前追蹤成功的追蹤框ID 進(jìn)行配比，將相同ID 的追蹤框進(jìn)行IOU 計(jì)算，對(duì)于匹配成功的軌跡，進(jìn)行后續(xù)卡爾曼更新，對(duì)于匹配失敗的軌跡，將其補(bǔ)入未匹配成功的追蹤器和未匹配成功的檢測(cè)框。

3） 實(shí)現(xiàn)追蹤過(guò)程有效芽判別

基于再生稻再生芽的高度特性，在追蹤過(guò)程中對(duì)追蹤器添加了再生芽的高度信息，如圖6 計(jì)數(shù)部分所示，當(dāng)追蹤框從非確認(rèn)狀態(tài)轉(zhuǎn)為確認(rèn)狀態(tài)時(shí)，將當(dāng)前幀的追蹤框進(jìn)行保存，在后續(xù)進(jìn)行追蹤的每一幀中通過(guò)與首幀追蹤框進(jìn)行計(jì)算，獲取每一幀中每個(gè)被追蹤目標(biāo)的高度，高度公式如式（2）所示，并對(duì)再生芽高度進(jìn)行判別，滿(mǎn)足高度要求的再生芽計(jì)為有效芽，最終計(jì)算所有再生芽和有效芽數(shù)量。

式中H為當(dāng)前幀再生芽高度，cm；Fn為目標(biāo)標(biāo)當(dāng)前幀數(shù)；Ff為目標(biāo)第一幀的幀數(shù)；Vh為CT 拍攝像素的大小；ninit為轉(zhuǎn)確認(rèn)狀態(tài)的連續(xù)匹配次數(shù)。

2.2.3 模型訓(xùn)練

本文再生芽和莖稈目標(biāo)檢測(cè)及多目標(biāo)追蹤系統(tǒng)基于Pytorch 深度學(xué)習(xí)框架，Python 編程語(yǔ)言版本為3.7，整體在Windows10 系統(tǒng)上執(zhí)行，使用NVIDIA-GPU RTX2080 ti進(jìn)行模型訓(xùn)練及測(cè)試。YOLOv5s 目標(biāo)檢測(cè)訓(xùn)練中，再生芽訓(xùn)練迭代次數(shù)為200，水稻莖稈訓(xùn)練迭代次數(shù)為100。

2.3 水稻再生力測(cè)量

再生稻再生力通?？杀磉_(dá)為再生季下萌發(fā)的再生芽生長(zhǎng)成有效穗的能力，因此可將早期再生芽數(shù)量作為早期再生力的重要指標(biāo)。本文將再生稻的早期再生力值定義為頭季收割5 d 后的有效芽數(shù)量與頭季莖稈數(shù)之比。

式中F為再生稻早期再生力值；Ns為收割5 d 后的再生芽中有效芽數(shù)量；Ng為頭季莖稈數(shù)量。

2.4 評(píng)價(jià)指標(biāo)

2.4.1 目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)

本文采用精確率（precision,P）、召回率（recall,R）、F1 值、平均檢測(cè)準(zhǔn)確率（mean average precision, mAP50）和檢測(cè)速率對(duì)訓(xùn)練的模型進(jìn)行評(píng)估。

2.4.2 目標(biāo)追蹤評(píng)價(jià)指標(biāo)

本文采用以下4 個(gè)評(píng)價(jià)指標(biāo)對(duì)算法多目標(biāo)追蹤效果進(jìn)行評(píng)價(jià)。

1）ID 跳變

在追蹤過(guò)程中，某一個(gè)目標(biāo)的ID 發(fā)生了改變，則計(jì)一次ID Switch，其值越小追蹤性能越好。

2）多目標(biāo)跟蹤準(zhǔn)確度

整個(gè)追蹤過(guò)程中除去的所有的漏檢、誤檢和錯(cuò)誤匹配之后剩下的正確匹配所占比例。衡量了多目標(biāo)追蹤識(shí)別和保持一致性的能力，并且MOTA 與目標(biāo)追蹤位置精確度無(wú)關(guān)，其數(shù)值越大說(shuō)明追蹤性能越好，計(jì)算公式如式（4）所示。

式中t為幀索引號(hào)；g為真實(shí)標(biāo)注的再生芽個(gè)數(shù)；n為未追蹤到再生芽的數(shù)量；p為錯(cuò)誤追蹤再生芽的數(shù)量；RIDSW為ID 跳變的次數(shù)。

3）高階跟蹤精度

在多目標(biāo)追蹤準(zhǔn)確度的基礎(chǔ)上，加入了高階跟蹤精度的指標(biāo)，可以更加全面的更加均衡地衡量多目標(biāo)追蹤算法的性能，數(shù)值越大說(shuō)明追蹤性能越好，計(jì)算式如式（5）～（6）所示。

式中c為某一再生芽追蹤ID 序號(hào)；RTP為追蹤過(guò)程中正確匹配集合；RFN跟蹤過(guò)程中漏檢的集合；RFP跟蹤過(guò)程中錯(cuò)檢的集合；RTPA(c)為給定的RTP集合中，預(yù)測(cè)的ID和真實(shí)值ID 都為c；RFNA(c)為給定的RTP集合中，真實(shí)值的ID 為c但是預(yù)測(cè)的ID 不為c，以及RFN集合中真實(shí)值的ID 為c的情況；RFPA(c)為給定的的RTP集合中，預(yù)測(cè)的ID 為c但是真實(shí)值的ID 不為c，和RFP集合中預(yù)測(cè)的ID 為c的情況。

4）追蹤速率

多目標(biāo)追蹤算法每秒追蹤圖像的幀數(shù)，數(shù)值越大說(shuō)明追蹤速度越快。

2.4.3 誤差分析評(píng)價(jià)指標(biāo)

對(duì)再生芽追蹤計(jì)數(shù)的結(jié)果誤差分析選取決定系數(shù)、均方根誤差和平均絕對(duì)百分比誤差進(jìn)行分析。

3 結(jié)果與分析

3.1 再生芽和莖稈目標(biāo)檢測(cè)結(jié)果

研究采用YOLOv5s 對(duì)再生芽和莖稈進(jìn)行單獨(dú)建模和混合建模對(duì)比。不同訓(xùn)練方式，再生芽、莖稈目標(biāo)檢測(cè)精確率、召回率、F1 值、平均檢測(cè)準(zhǔn)確率和檢測(cè)速率如表3 所示，其中單獨(dú)建模再生芽的F1 值和平均檢測(cè)準(zhǔn)確率分別為92.6%和97.3%，莖稈的F1 值和平均檢測(cè)準(zhǔn)確率分別為97.8%和99.1%；混合建模再生芽的F1 值和平均檢測(cè)準(zhǔn)確率分別為91.4%和95.3%，莖稈的F1 值和平均檢測(cè)準(zhǔn)確率分別為98.0%和99.3%。結(jié)果顯示單獨(dú)建模相較于混合建模再生芽目標(biāo)檢測(cè)的F1 值提升了1.2個(gè)百分點(diǎn)，平均檢測(cè)準(zhǔn)確率提升了2.0 個(gè)百分點(diǎn)，證明單獨(dú)建模可以降低不同類(lèi)別目標(biāo)間的干擾。因此本研究采用單獨(dú)的YOLOv5s模型進(jìn)行后續(xù)水稻斷層圖像的莖稈和再生芽識(shí)別。

表3 再生芽和莖稈目標(biāo)檢測(cè)結(jié)果Table 3 Detection results of regenerated buds and stem targets

3.2 再生芽追蹤結(jié)果分析

隨機(jī)抽取了5 個(gè)再生稻視頻使用DarkLabel 對(duì)再生芽進(jìn)行逐幀標(biāo)注，計(jì)算DeepSORT 算法改進(jìn)前后的多目標(biāo)追蹤準(zhǔn)確率、高階跟蹤精度和ID 跳變，用于評(píng)價(jià)水稻再生芽追蹤方法性能，結(jié)果如表4 所示。結(jié)果表明，改進(jìn)后DeepSORT 的RMOTA平均為77.61%，較原始算法提升1.5 個(gè)百分點(diǎn)；ID 跳變由99 降低至6，降低94%；改進(jìn)后的RHOTA為61.73%，提升8.5 個(gè)百分點(diǎn)；改進(jìn)DeepSORT 的追蹤速率從25 變?yōu)?4 幀/s，追蹤速度無(wú)明顯差異。

表4 算法改進(jìn)前后試驗(yàn)結(jié)果對(duì)比Table 4 Results before and after algorithm improvement

改進(jìn)DeepSORT 算法的再生芽多目標(biāo)追蹤效果如圖7 所示，圖中追蹤框首個(gè)數(shù)字為再生芽的追蹤ID。改進(jìn)前DeepSORT 算法對(duì)某一再生芽進(jìn)行追蹤時(shí)，圖7a 中第1 800、1900 幀中再生芽的ID 為39，第2 100 幀中原算法對(duì)同一目標(biāo)追蹤的ID 跳變?yōu)?9；如圖7b 所示，通過(guò)改進(jìn)后DeepSORT 算法對(duì)其進(jìn)行追蹤時(shí)，再生芽的ID 保持為58，并未發(fā)生ID 跳變，改進(jìn)后的DeepSORT 算法有效降低了再生芽多目標(biāo)追蹤過(guò)程中的ID 跳變。

圖7 DeepSORT 算法改進(jìn)前后的再生芽追蹤對(duì)比Fig.7 Comparison of regenerated buds tracking before and after DeepSORT algorithm improvement

本文選取2 個(gè)再生稻樣本進(jìn)行視頻末期結(jié)果分析，改進(jìn)DeepSORT 算法的再生芽追蹤視頻末期結(jié)果如圖8所示。第2 600 幀處于視頻末期，再生芽基本全部追蹤結(jié)束。通過(guò)人工統(tǒng)計(jì)，兩個(gè)再生稻樣本對(duì)應(yīng)的視頻一和視頻二的再生芽數(shù)量分別為76 和71，圖8a 中改進(jìn)前DeepSORT 算法在兩個(gè)樣本視頻中第2 600 幀下追蹤的再生芽ID 最大為149 和192，與人工統(tǒng)計(jì)值相差較大。在改進(jìn)后的DeepSORT 算法中，如圖8b 所示，視頻一和視頻二追蹤的再生芽最大ID 為72 和73，改進(jìn)后算法在再生芽追蹤計(jì)數(shù)準(zhǔn)確度上提升明顯，因此改進(jìn)后DeepSORT 算法可對(duì)再生稻再生芽數(shù)量準(zhǔn)確計(jì)數(shù)。

圖8 DeepSORT 改進(jìn)前后視頻末期再生芽追蹤結(jié)果對(duì)比Fig.8 Comparison of tracking results of late stage regenerated buds in videos before and after improved DeepSORT

有效芽數(shù)量直接決定了水稻的再生能力。在水稻再生芽的有效芽識(shí)別中，對(duì)8 種不同處理，共計(jì)104 盆再生稻的再生芽和高度大于1 cm 的有效芽進(jìn)行追蹤計(jì)數(shù)，對(duì)每個(gè)品種的再生芽和有效芽進(jìn)行平均統(tǒng)計(jì)，再生芽和有效芽統(tǒng)計(jì)結(jié)果如圖9 所示，由圖可得，2 個(gè)品種下使用促芽肥且飽和含水量處理的追蹤計(jì)數(shù)結(jié)果高于其他3種處理。

圖9 再生芽和有效芽追蹤計(jì)數(shù)結(jié)果Fig.9 Results of regenerated buds and effective buds counting

3.3 再生芽追蹤計(jì)數(shù)誤差分析

對(duì)8 種不同處理共計(jì)104 盆再生稻進(jìn)行再生芽真實(shí)值進(jìn)行人工統(tǒng)計(jì)，并與改進(jìn)DeepSORT 算法追蹤出的再生芽進(jìn)行相關(guān)分析，結(jié)果如圖10 所示。結(jié)果表明，本方法對(duì)再生芽進(jìn)行追蹤計(jì)數(shù)與人工值相比的決定系數(shù)R2為0.983，均方根誤差為3.460，平均絕對(duì)百分比誤差為5.647%。結(jié)果表明本研究提出的基于Micro-CT 和改進(jìn)DeepSORT 的再生稻再生芽追蹤計(jì)數(shù)方法，在不破壞再生稻的前提下統(tǒng)計(jì)的再生芽數(shù)量與人工測(cè)量相比具有較高的一致性，是一種高精度、無(wú)損的再生芽計(jì)數(shù)方法。

圖10 再生芽追蹤計(jì)數(shù)和人工值相關(guān)性分析Fig.10 Correlation analysis between traced and ground truth

3.4 再生稻早期再生力鑒定

水稻生長(zhǎng)過(guò)程中，從底部到頂部部分莖稈發(fā)生變細(xì)或消失，因此對(duì)低中高3 個(gè)位置進(jìn)行對(duì)比，選出和頭季莖稈人工值最接近的莖稈高度進(jìn)行莖稈數(shù)量檢測(cè)。對(duì)某一盆栽莖稈數(shù)量統(tǒng)計(jì)人工值為41，不同高度莖稈算法檢測(cè)結(jié)果如圖11 所示：圖11a 中，底部第300 幀莖稈檢測(cè)數(shù)量為41；圖11b 和圖11c 中，由于水稻中部和頂部莖稈發(fā)生枯萎，導(dǎo)致算法檢測(cè)的莖稈數(shù)量較人工值偏低，因此選擇底部第300 幀斷層圖作為頭季莖稈檢測(cè)與再生力鑒定的圖像。

圖11 不同高度莖稈檢測(cè)Fig.11 Stem detection at different heights

對(duì)8 種不同處理再生稻的再生季產(chǎn)量進(jìn)行統(tǒng)計(jì)，每盆中有三株水稻，產(chǎn)量計(jì)算時(shí)，將每盆三株產(chǎn)量的平均值作為每盆的最終產(chǎn)量。對(duì)上述8 種不同處理的再生稻產(chǎn)量和早期再生力進(jìn)行回歸分析，結(jié)果如圖12 所示。

圖12 早期再生力與產(chǎn)量相關(guān)性分析Fig.12 Regenerative ability and yield correlation analysis

FLYX 和HHZ 品種的再生力和產(chǎn)量的決定系數(shù)分別為0.795 和0.764。結(jié)果表明本文方法計(jì)算的早期再生力與實(shí)際產(chǎn)量之間存在較高的回歸性，其中使用促芽肥并飽和含水率處理下的再生力在2 個(gè)品種下均為最高，與試驗(yàn)預(yù)期結(jié)果一致。

4 結(jié) 論

再生稻再生季產(chǎn)量與再生芽數(shù)量密切相關(guān)，通過(guò)對(duì)早期再生芽的數(shù)量統(tǒng)計(jì)，從而計(jì)算再生稻的早期再生能力可以對(duì)再生稻的產(chǎn)量進(jìn)行有效預(yù)測(cè)。因此本文提出一種基于Micro-CT 成像和改進(jìn)DeepSORT 算法的再生稻再生芽追蹤計(jì)數(shù)方法。得到以下主要結(jié)論：

1）研究采用Micro-CT 成像獲取水稻莖稈斷層圖像和視頻流；對(duì)DeepSORT 算法進(jìn)行了ID 分配改進(jìn)和增加追蹤中的匹配過(guò)程，并增加了有效芽判別，實(shí)現(xiàn)對(duì)再生芽的高精度、無(wú)損追蹤計(jì)數(shù)。

2）改進(jìn)后DeepSORT 算法的多目標(biāo)跟蹤準(zhǔn)確度為77.61%，較原算法提升了1.5 個(gè)百分點(diǎn)；高階跟蹤精度為61.73%，相比與原算法分別提升了8.5 個(gè)百分點(diǎn)；ID跳變?yōu)?，相比原算法降低了94%。通過(guò)本文方法對(duì)再生芽追蹤的數(shù)量與真實(shí)值的決定系數(shù)為0.983，均方根誤差為3.460，平均絕對(duì)百分比誤差為5.647%。

3）通過(guò)水稻再生芽的無(wú)損追蹤計(jì)數(shù)、有效芽的判別和水稻莖稈數(shù)檢測(cè)，得到了豐兩優(yōu)香1 號(hào)和黃華占水稻品種共8 種處理的水稻再生力指標(biāo)，與再生季產(chǎn)量相關(guān)分析得到?jīng)Q定系數(shù)分別為0.795 和0.764，表明早期再生力與再生季產(chǎn)量具有較高的回歸性。