王映龍，肖 歡，殷 華,3，羅 珊，勒 宇，萬家興

基于RGBD相機的黑皮雞樅菌子實體形態(tài)視覺測量

王映龍1，肖 歡2，殷 華2,3※，羅 珊1，勒 宇1，萬家興2

（1. 江西農業(yè)大學計算機與信息工程學院，南昌 330045；2. 江西農業(yè)大學軟件學院，南昌 330045；3. 江西農業(yè)大學食藥用菌工程技術研究中心，南昌 330045）

子實體的形態(tài)是黑皮雞樅菌育種和栽培過程中關注的重點，傳統(tǒng)手工測量方法耗時、費力。為了實現(xiàn)在生長過程中對黑皮雞樅菌子實體進行快速、準確地監(jiān)測，提出了一種基于SR300深度相機的自動化在線測量方法。首先，在實驗室和栽培工廠采集樣本、構建數(shù)據(jù)集并基于YOLO V4建立黑皮雞樅子實體識別模型；其次，根據(jù)K-means算法對識別所得的包圍框分布情況聚類，并以此進行分割，得到最優(yōu)處理區(qū)域后上采樣構建不同尺度的子實體圖像；最后，融合Grabcut算法提取的不同尺度目標輪廓邊界得到測量點信息，并結合深度值矯正待測點的位置，計算真實值。經過現(xiàn)場試驗，結果表明該方法能夠得到子實體的形態(tài)特征，菌蓋測量平均絕對誤差為0.357 mm，標準差為0.273 mm；菌柄寬度測量平均絕對誤差為0.304 mm，標準差為0.209 mm。該方法能夠滿足工廠中對黑皮雞樅菌子實體形態(tài)自動化監(jiān)測的需求。

圖像識別；計算機視覺；黑皮雞樅菌；植物表型；RGBD；測量

0 引 言

黑皮雞樅菌（）口感鮮美，具有較高的藥用和食用價值[1]，在市場上廣受青睞。在黑皮雞樅菌的多種農藝性狀當中，子實體（菌蓋和菌柄）的形態(tài)是其對生長環(huán)境適用性情況的反映，也是品質分級和機械化采摘的重要依據(jù)。通過連續(xù)觀察子實體的形態(tài)大小，種植者們能夠合理調整栽培環(huán)境、及時預防病蟲害，而相關研究人員也能據(jù)此類性狀選育優(yōu)良品種[2-4]。但當前對黑皮雞樅菌子實體的觀測以人工方式為主，勞動強度高、效率低下，特別是在利用游標卡尺等工具進行測量時對測量位置的選取通常會具有一定的主觀偏差，導致不同人的測量結果不一致。另外，采用接觸式測量還有可能帶來子實體的損傷影響其生長。

計算機視覺與深度學習技術目前已廣泛應用于對農產品形態(tài)的觀測，如范夢揚等[5]采用支持向量機算法模型對麥穗圖像紋理特征進行前景背景劃分，提取圖像中麥穗骨架后實現(xiàn)了對田間麥穗的計數(shù)，準確率達93.1%。Lu等[6]提出了一種深度卷積神經網(wǎng)絡（TasselNet），通過對田間拍攝圖像的局部特征提取和回歸，實現(xiàn)了較高精度的玉米雄穗計數(shù)。由于形態(tài)特征能夠在一定程度上反映作物基因型，Amparo等[7]在其研究當中使用彩色成像和色度學分析的技術對于甘薯的根、葉脈顏色和葉形、表皮顏色等性狀進行觀測，有效提升了形態(tài)學特征分析的質量。然而在食用菌方面，計算機視覺技術應用有限，僅有的研究多集中于對香菇、雙胞蘑菇的自動化分級方面[8-11]。陳紅等[12]利用統(tǒng)計法、馬爾科夫隨機場以及分形維數(shù)模型量化圖像區(qū)域的香菇紋理特征，在香菇分選過程中準確率可達93.57%。隨后，其團隊進一步提出了花菇菌蓋破損識別算法[13]。而黃星奕等[14]通過回歸分析的方法，使用支持向量機（Support Vector Machine，SVM）建立了秀珍菇畸形判別模型，最終識別準確率為96.67%。

隨著價格不斷降低，精度不斷提高，利用RGBD相機對農產品進行觀察和測量逐漸成為研究的熱點。相較于傳統(tǒng)相機，RGBD相機能夠通過坐標轉換得到目標對象的三維數(shù)據(jù)，描述目標對象更為精確。目前，利用深度相機進行對象尺寸測量主要有基于點云與基于深度圖兩種方式?；邳c云的方式如仇瑞承等[15]為了實現(xiàn)田間單株玉米株高的快速測量提出了一種基于RGBD相機的方法，使用形態(tài)學操作將玉米的彩色圖像進行骨架分割提取、尋找其路徑，通過點云數(shù)據(jù)計算出玉米最高點和最低點的差值實現(xiàn)對株高的測量，平均誤差為1.62 cm，均方根誤差為1.86 cm，測量結果符合實際應用場景的需要。楊斯等[16]將RGBD相機運用到蔬菜苗群體株高的測量當中，使用濾波算法和顏色聚類的方法去除環(huán)境噪聲后利用點云信息將單株幼苗進行分割。這種方法主要適合于大型植物且點云濾波、聚類等運算較為復雜，需要占用較多的系統(tǒng)資源。而基于深度圖的方法則是直接利用深度圖來進行目標提取，如王玲等[17]為了實現(xiàn)對工廠環(huán)境下生長的褐蘑菇菌蓋直徑進行原位測量，利用SR300相機采取自頂向下的方式采集褐蘑菇的深度圖像并進行測量，最終結果相對誤差約為10%；孫經緯等[18]亦采用相同的方式基于“淹沒法”實現(xiàn)了雙孢蘑菇的尺寸測量。上述算法都是利用食用菌子實體與菇床覆土之間具有深度差這一特點實現(xiàn)，且僅僅適合于對菌蓋大小的檢測，當需要同時對菌柄菌蓋進行測量時，該方法無法適用。

針對上述問題，本研究以構建黑皮雞樅菌子實體形態(tài)原位測量系統(tǒng)為目標，設計了可走行的龍門結構，基于SR300相機，利用YOLO和改進的Grabcut算法并融合RGB圖像及深度圖像實現(xiàn)了對黑皮雞樅菌子實體的原位分割及尺寸測量，取得了較好的效果，為后續(xù)進行機械化采摘、工廠化育種奠定了基礎。

1 數(shù)據(jù)采集

從是否主動投射光源角度可將立體視覺劃分為主動和被動兩種?？紤]到田間環(huán)境的場景復雜性，Wang等[19]根據(jù)一天中不同時間段環(huán)境光的變化對芒果形態(tài)測量，發(fā)現(xiàn)主動光源成像更適用于應對不同光照情況變化的測量場景，且在低光環(huán)境下表現(xiàn)穩(wěn)定。黑皮雞樅菌的種植環(huán)境較暗，且子實體表面為黑褐色，因此考慮采用主動視覺成像技術的RGBD相機進行數(shù)據(jù)采集。SR300作為Intel推出的消費級結構光相機，在近距離場景下的逆向工程應用中有巨大的潛力[20]。其理論拍攝范圍20～150 cm，能夠同時給出深度圖和彩色圖，因此本研究采用SR300作為數(shù)據(jù)采集設備。

試驗地點為江西農業(yè)大學食用菌工程技術研究中心智能菌菇栽培房，菇床長105 cm，寬50 cm，黑皮雞樅菌包置于菇床內，采用覆土方式栽培，并控制光照強度在（300±10）LUX[21]，將SR300深度相機固定于菇床上方支架（如圖1），距離菇床10 cm，傾斜65°，通過控制機構實現(xiàn)在、軸方向移動對菇床內黑皮雞樅生長情況進行拍攝，同時得到彩色圖像和深度圖像（分辨率為640×480 像素）并進行對齊。SR300通過USB 3.0數(shù)據(jù)線與工控機（CPU I5-6200U，16 Gb內存）相連。

1.Y軸 2.X軸 3.相機支架 4.SR300相機 5.黑皮雞樅菌栽培菇床 6.智能溫室 7.連接電纜 8.工控機

由于黑皮雞樅子實體的形態(tài)會受環(huán)境溫度、濕度、CO2濃度的影響出現(xiàn)菌柄變細、菌蓋顏色深淺不一等變化，單純利用實驗室樣本進行黑皮雞樅子實體識別模型的訓練具有一定的局限性，為增加算法模型的泛化能力，在樟樹興鑫食用菌公司、南昌新贛食用菌公司的黑皮雞樅菌工廠（環(huán)境光照強度為（300±10）LUX）利用手機（Vivo iQoo neo3）模擬SR300的拍攝角度獲取834幅RGB圖像（4 000×3 000 像素）、利用SR300相機獲取220張RGB圖像，與實驗室用SR300相機獲取的50張RGB圖片一起進行標注后按照7∶3劃分為訓練集和測試集。對訓練集進行模糊、色調、鏡像等數(shù)據(jù)增強后，共得到訓練圖片2 500張，測試圖片330張。

2 研究方法

雖然有相關研究[22]直接利用RGB-D相機所得的深度圖像直接進行分割，但由于拍攝角度、遠處目標較小及相機成像特性等原因，直接利用深度圖容易把菇床中覆土土塊識別為目標，降低精度。為了避免該問題，本研究首先基于RGB圖像數(shù)據(jù)對黑皮雞樅菌進行定位，再利用改進的Grabcut方法獲取輪廓邊界并融合深度尋找到待測量點位置后使用三維坐標測算其表型參數(shù)，基本流程如下圖2所示。

圖2 本研究的流程圖

2.1 黑皮雞樅子實體定位

目前，常用的目標檢測模型有基于感興趣區(qū)域（Region of Interest，ROI）提取的二階段算法模型和基于回歸任務的一階段檢測模型。YOLO作為一階段模型的代表已經廣泛用于對目標的識別任務中，如劉天真等[23-25]均通過YOLO V3模型來對自然場景下的冬棗、番茄和蘋果識別。YOLO V4模型針對YOLO V3模型進行了改進，其采用殘差結構構建CSPDarkNet53作為主干提取網(wǎng)絡，同時搭配空間金字塔池化（Spatial Pyramid Pooling，SPP）、像素聚合網(wǎng)絡（Pixel Aggregation Network，PAN）在保證運行速度的同時提升感受野并添加Mish激活函數(shù)提升訓練穩(wěn)定性[26]?；赮OLO V4模型對拍攝的黑皮雞樅菌子實體RGB圖像進行訓練后，SR300視野范圍內的子實體將被識別和定位，最終得到每個子實體位置目標框。

2.2 子實體輪廓提取方法

2.2.1 Grabcut算法基本原理

理論上來說，將由YOLO算法得到目標區(qū)域框作為前景，目標區(qū)域外區(qū)域設置為背景即可通過多次迭代得到最優(yōu)分割。在實際應用中，因背景區(qū)域大小或前景區(qū)域的初始范圍變化會導致分割結果不佳[29]，且由于建立模型需要多次迭代全區(qū)域像素，嚴重影響分割效率，因此有必要根據(jù)本研究的實際情況進行改進。

2.2.2 黑皮雞樅子實體分布聚類

為了防止因劃分過小導致背景區(qū)域高斯模型樣本過少，或因劃分區(qū)域過大導致分割背景信息冗余，增加運算負擔，需要對整幅圖片所劃分的區(qū)域數(shù)量進行確定。采用“肘”方法得到劃分區(qū)域數(shù)量的最優(yōu)取值[30]。圖3為將整張圖片劃分為4個區(qū)域的示例，可以看出與原圖相比，在分割后的小區(qū)域塊中求解前景區(qū)域輪廓將減少大范圍背景區(qū)域像素計算。這將顯著節(jié)約Grabcut算法的運行時間。

2.2.3 基于圖像金字塔的Grabcut分割方法

圖3 圖像區(qū)域分割

對不同子實體目標進行分割后，將輸出的區(qū)域掩模圖像邊界填充還原成適應原圖像大小的掩模，并將其進行疊加融合，得到全局圖像分割結果，以此進一步提高分割精度。隨機選取來自5張圖片的共30個大小不一的子實體進行試驗，通過計算手工標注掩膜交并比（Intersection over Union，IoU）的方法來確定式（6）中N的最佳取值，如圖4。

2.2.4 融合深度信息的輪廓矯正算法

由于黑皮雞樅菌子實體表皮顏色與其覆土顏色較為接近，經過上述步驟后能夠得到輪廓，但存在一定的噪聲，給后續(xù)精確測量帶來了一定的干擾。基于相機到子實體的距離與到背景距離不一致這一特點，利用對齊后的深度信息對輪廓邊界進行校正，通過子實體和背景到相機的距離差實現(xiàn)對輪廓邊界的精調?；静襟E如下：

STEP1：對待分割的圖像進行深度掃描，記錄待分割輪廓內和分割輪廓外各像素點的深度值，構成集合P。

式中表示()曲線斜率最大時對應的點。

2.3 黑皮雞樅形態(tài)參數(shù)測量

經過分割和矯正后可以得到準確的子實體二維輪廓圖像。由于黑皮雞樅子實體與其他食用菌子實體類似，菌蓋為圓形，菌柄為圓柱形，均滿足對稱性，參考其他食用菌形態(tài)自動化測量的辦法及當前利用游標卡尺對黑皮雞樅子實體二維投影形態(tài)進行手工測量能夠滿足育種與監(jiān)測需求的現(xiàn)狀，同時也為了使測量結果與手工測量值具有可比性，采用計算二維平面上菌蓋、菌柄投影寬度的方法來對黑皮雞樅子實體的形態(tài)進行評估，即菌蓋的最寬位置作為菌蓋寬度參數(shù)，而菌柄的測量點則選擇中點位置。因此，設計一種邊緣濾波器，根據(jù)菌蓋特征找到測量位置：自菌頂向下逐行計算子實體輪廓像素寬度，當寬度值最大時，所對應的像素坐標點即為菌蓋寬度測量點；取菌蓋寬度測量點到子實體測量結束點作為菌柄高度，則高度的一半即菌柄測量點。圖5a為自菌頂向下掃描輪廓像素寬度變化曲線及獲得的菌蓋菌柄測量點位置示意圖，圖5b為對應子實體輪廓上的測量點位置。通過剛體變換并結合深度信息，將測量點的相機坐標轉換成為三維坐標，并最終計算解得菌柄、菌蓋測量值。

圖5 測量點位置確定

2.4 試驗環(huán)境及參數(shù)設置

傳統(tǒng)工藝傳承、振興的實踐和學術專著的編撰可以培養(yǎng)新一代的傳統(tǒng)工藝專家學者。他們必須有扎實的理論基礎,較強的獨立工作能力,較高的傳統(tǒng)工藝學術造詣，人類學、民族學、民俗學等相關學科的學術素養(yǎng),較高的外語水平,能參與國際交流和合作。

2.5 評價方法及指標

為了評價子實體識別模型，參考目前廣泛采用的協(xié)調平均值1（F1-score）、精確率為（Precision）、召回率為（Recall）作為指標[23]。其中表示預測為正樣本中，實際為正樣本的比例；表示實際為正樣本中，預測為正樣本的比例；1表示精確率和召回率的調和平均數(shù)。而對于子實體分割，采用本文算法自動分割與手動標注掩模的交并比來驗證。

重復性是衡量測量系統(tǒng)優(yōu)劣的重要指標，計算公式如下式：

式中為標準差，為重復性精度，d分別為測量值和測量均值，mm。在對子實體進行測量時，采用重復性來驗證系統(tǒng)的穩(wěn)定程度。而最終測量結果的準確程度，采用決定系數(shù)2、平均絕對誤差（Mean Absolute Error，MAE）、標準差（Standard Deviation，STD）進行評價分析。其中2描述的是系統(tǒng)測量值和實際值的相似度，MAE和STD描述的是測量值和實際值的偏差程度。

由于目前人工測量結果在實際生產中已經被廣泛接受，為對結果進行對比，根據(jù)手工測量規(guī)范利用游標卡尺對菌蓋、菌柄進行測量。測量選擇有經驗的工人進行，測量前對其進行嚴格培訓保證測量結果（不少于10次）去除粗大誤差后的重復性不超過5%，最終將多次的測量均值視為用于對比的真值。

3 結果與分析

3.1 子實體目標檢測

經過測試，子實體識別模型的準確率為91.17%，召回率為84.08%，協(xié)調平均值為0.87。圖6為現(xiàn)場實測得到子實體目標的位置。

注：圖中每個框表示識別出來的一個子實體。

受限于視覺透視現(xiàn)象，模型對于較遠的子實體的識別效果較差。但考慮到SR300相機的深度值的測量精度會隨著距離的增加逐漸下降[19]，且在機械結構上SR300相機支架可由程序控制自動前進，在滅點附近的子實體可以在推進過程中被識別出來。另外，初生的黑皮雞樅由于破土后露出土層部分較小，肉眼亦較難清晰辨別，識別效果不佳，同時此類情形在實際生產過程中遠未達到采摘的標準，無需識別。因此，所訓練的模型在實際應用中能夠滿足需求。

3.2 子實體輪廓分割

表1是選取5張傳統(tǒng)Grabcut算法分割效果不佳（交并比< 15%）的圖片，采用本文方法前后子實體分割效果對比。結果表明單純采用Grabcut算法（1層）時子實體難以分割，表現(xiàn)為IoU極低，而在對其上采樣構建多層圖像金字塔后再進行分割后IoU顯著提高，這充分證明了方法的可行性與有效性。

表1 子實體不同層次分割效果

表2 圖像聚類分塊和原始圖像運算時間對比

注：T為原始圖像作為背景區(qū)域的平均運算時間，T為聚類分塊圖像作為背景區(qū)域的平均運算時間。在實際生產中，黑皮雞樅菌子實體生長有一定先后，也會被定期采摘，因此對于20個子實體以上的情況出現(xiàn)較少。

Note:Trepresents the average time while the original image as the background area, andTrepresents the average time while the cluster block image as the background area. In the actual production conditions, the sporophore ofwill grow in chronological order and need to be picked periodically, therefore, it's a rare case that more than 20 sporophore appear at the same time.

雖然由于圖像中的目標數(shù)量不一致，計算時間略有差別，但分割效率提升效果顯著。當目標數(shù)量小于20時，采用聚類分塊圖像作為背景區(qū)域分割較原始圖像作為背景區(qū)域分割，計算時間節(jié)約超過95%；但當子實體數(shù)量大于20時，該時間節(jié)約81.92%。這主要是由于在子實體數(shù)量較少時，圖像當中的子實體分布較為稀疏，冗余的背景區(qū)域去除更多，提升幅度較大；而當子實體較多時，背景區(qū)域更大，分割時間增加，但總體來看，采用聚類區(qū)域分塊算法能夠大大節(jié)約輪廓分割時間，特別是后續(xù)選取性能更優(yōu)的處理器平臺時，效率還將進一步提升。

3.3 表型參數(shù)測量

3.3.1 測量結果重復性分析

由于通過SR300相機獲取深度值的精度與目標距離的遠近密切相關[19]，且機械結構能夠滿足相機在、軸上走行，因此有必要對不同距離下系統(tǒng)對黑皮雞樅菌子實體測量的重復性進行評判，選取重復性最佳區(qū)域內的目標進行測量。利用式（8）和（9）計算相對重復性，每個距離下對每個子實體測量10次。測量結果如圖7所示，從圖中可以看出隨著距離的增加，重復性逐漸變差，當距離大于40 cm時均值超過15%，而當距離小于30 cm時均值在10%以下。另外，通過觀察發(fā)現(xiàn)，對于較小的子實體，在不同距離下其重復性也不佳，這主要是因為對于小子實體本身分割就比較困難，即使在同一距離下重復性也往往低于正常的子實體，當距離增加后其重復性更差，這也就造成了圖中每個距離下容易出現(xiàn)突出的極大值。

圖7 測量結果重復性分析

3.3.2 測量距離對結果的影響

按照黑皮雞樅工廠相關標準，根據(jù)菌柄粗細將黑皮雞樅菌子實體分為3組（< 7、7～10、> 10 mm）驗證不同大小的子實體在不同距離的測量誤差情況。經過前面試驗可知當測量距離大于40 cm時重復性不佳，故此處的測試距離選擇在20～40 cm之間，結果如圖8所示。可以看出，不論是菌柄還是菌蓋，整體誤差隨著測量距離的逐漸增加而增大，究其原因主要是距離的增加導致深度測量誤差增大，當進行坐標轉換時不可避免引起最終結果的偏差。而在同一距離下，不同組別測量誤差相差較小。從整體來看，對于菌蓋其相對誤差最大不超過12%，菌柄則不超過11%，特別是距離相機30 cm以內時精度更高。綜上，通過對重復性及測量距離分析可知在條件允許的情況下應該盡量選擇測量距離相機較近的子實體。

圖8 菌蓋、菌柄測量結果相對誤差分析

3.3.3 表型參數(shù)測量結果分析

對新生長的50個黑皮雞樅菌子實體進行菌柄、菌蓋檢測并利用標定值校準。測量過程中，機械結構以5 cm步距向前推進，為了得到較為精確的結果每次保留距離相機30 cm以內目標的測量值，一個測量周期共有46個成功、4個失敗。測量成功的結果與對比真值關系如圖9所示。從圖中可以看出，系統(tǒng)的測量值與手工真值高度相關，經過校準后菌柄決定系數(shù)2為0.977，MAE為0.304 mm，STD為0.209 mm，菌蓋決定系數(shù)2為0.979，MAE為0.357 mm，STD為0.273 mm。

圖9 菌蓋、菌柄測量結果相關性分析

對于測量誤差較大的目標，其主要原因是某些子實體在生長過程中會出現(xiàn)傾斜導致測量點不在同一直線上（如圖10 a），而目前測算法并未考慮到該問題，導致測量點獲取錯誤、結果具有偏差。而對于測量不成功的目標，其具體表現(xiàn)為測量值明顯不符合實際，經過觀察發(fā)現(xiàn)有少數(shù)子實體存在不同程度的遮擋，現(xiàn)有算法無法找到菌柄、菌蓋測量點，如圖10b、10c，此時對于被遮擋住的部分無法測量。

圖10 檢測效果不佳的子實體

3.4 測量效率

表3是人工方式與本文方法測量時間對比。對于人工方式，在單人情況下單個子實體測量周期在32～35 s之間，而對于本文方法來說，所消耗的時間與視野范圍內子實體的數(shù)量相關，在5～15 s之間變化，但總體來看，本文方法測量效率較高。當視野范圍子實體數(shù)量較少時，本文方法對單個子實體的測量時間小于6 s，約為人工測量時間的20%；但當視野范圍內子實體數(shù)量過多時，測量時間明顯變長，達到16.6 s。另外，本研究所采用機械機構及圖像采集裝置均通過計算機程序控制，能夠根據(jù)設定按照固定的周期對菇床中黑皮雞樅菌子實體的參數(shù)進行采集，在節(jié)省人力的同時進行持續(xù)觀測，因此本系統(tǒng)在長時間連續(xù)監(jiān)測方面具有顯著優(yōu)勢。

表3 人工測量與本文方法測量時間對比

注：T表示總的測量時間，s；T表示平均單個子實體的測量時間，s。

Note:Trepresents the measurement time of total sporophore andTmeans the average measurement time of single sporophore, s.

4 結 論

本研究自行開發(fā)了基于RGBD相機的黑皮雞樅子實體形態(tài)檢測平臺，提出基于深度學習和Grabcut的菌蓋、菌柄尺寸測量方法，得到以下結論：

1）在工廠和實驗室共采集了1 104張黑皮雞樅子實體圖片，訓練YOLO V4網(wǎng)絡模型實現(xiàn)了對其位置的確定。模型精確率為91.17%，召回率為84.08%，能夠滿足實際應用需求。

2）試驗結果表明測量距離與結果精度密切相關，對30 cm之內的目標，本方法菌柄測量平均絕對誤差為0.304 mm，標準差為0.209 mm，菌蓋平均絕對誤差為0.357 mm，標準差為0.273 mm，測量結果具有很高的精度。

3）與手工測量方法相比，本文方法效率提升明顯。當視野范圍子實體數(shù)量較少時，本文方法對單個子實體的測量時間小于6 s，約為人工測量時間的20%；但當視野范圍內子實體數(shù)量過多時，測量時間明顯變長，達到16.6 s。

黑皮雞樅菌生長過程中子實體有時會出現(xiàn)傾斜和遮擋，造成本文方法結果誤差較大或測量失敗，在后續(xù)的工作過程中需要對上述問題進行重點研究。

[1] 安曉雯，王彥立，楊子怡，等. 黑皮雞樅菌營養(yǎng)與質構特性分析及其抗氧化活性評價[J]. 食品工業(yè)科技，2021，42(5)：236-242，249.

An Xiaowen, Wang Yanli, Yang Ziyi, et al. Analysis of nutritional and textural properties and antioxidant activity evaluation of termitornyces albuminosus[J]. Science and Technology of Food Industry, 2021, 42(5): 236-242, 249. (in Chinese with English abstract)

[2] Yin H, Yi W, Hu D. Computer vision and machine learning applied in the mushroom industry: A critical review[J]. Computers and Electronics in Agriculture, 2022, 198: 107015.

[3] 趙明巖，李一欣，徐鵬，等. 采用復合知識蒸餾算法的黑皮雞樅菌圖像分級方法[J]. 農業(yè)工程學報，2021，37(17)：303-309.

Zhao Mingyan, Li Yixin, Xu Peng, et al. Image classification method for oudemansiella raphanipes using compound knowledge distillation algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 303-309. (in Chinese with English abstract)

[4] 袁曉輝，付永平，肖世俊，等. 食用菌表型組技術研究進展[J]. 菌物學報，2021，40(4)：721-742.

Yuan Xiaohui, Fu Yongping, Xiao Shijun, et al. Research progress on mushroom phenotyping[J]. Mycosystema, 2021, 40(4): 721-742. (in Chinese with English abstract)

[5] 范夢揚，馬欽，劉峻明，等. 基于機器視覺的大田環(huán)境小麥麥穗計數(shù)方法[J]. 農業(yè)機械學報，2015，46(S1)：234-239.

Fan Mengyang, Ma Qin, Liu Junming, et al. Counting method of wheatear in field based on machine vision technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 234-239. (in Chinese with English abstract)

[6] Lu H, Cao Z, Xiao Y, et al. TasselNet: Counting maize tassels in the wild via local counts regression network[J]. Plant Methods, 2017, 13(1): 1-17.

[7] Amparo R, Leiter G, José-Luis P, et al. Morphometric and colourimetric tools to dissect morphological diversity: An application in sweet potato[J]. Genetic Resources and Crop Evolution, 2019, 66(6): 1257-1278.

[8] 王風云，封文杰，鄭紀業(yè)，等. 基于機器視覺的雙孢蘑菇在線自動分級系統(tǒng)設計與試驗[J]. 農業(yè)工程學報，2018，34(7)：256-263.

Wang Fengyun, Feng Wenjie, Zheng Jiye, et al. Design and experiment of automatic sorting and grading system based on machine vision for white agaricus bisporus[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 256-263. (in Chinese with English abstract)

[9] Wang F Y, Zheng J Y, Tian X C, et al. An automatic sorting system for fresh white button mushrooms based on image processing[J]. Computers and Electronics in Agriculture, 2018, 151: 416-425.

[10] Lu C P, Liaw J J. A novel image measurement algorithm for common mushroom caps based on convolutional neural network[J]. Computers and Electronics in Agriculture, 2020, 171: 105336.

[11] 姜鳳利，王譽諾，李金翰，等. 基于機器視覺的雙孢蘑菇品質在線分級系統(tǒng)[J]. 沈陽農業(yè)大學學報，2021，52(5)：633-640.

Jiang Fengli, Wang Yunuo, Li Jinhan, et al. Design of an online sorting system for agaricus busporus based on machine vision[J]. Journal of Shenyang Agricultural University, 2021, 52(5): 633-640. (in Chinese with English abstract)

[12] 陳紅，夏青，左婷，等. 基于紋理分析的香菇品質分選方法[J]. 農業(yè)工程學報，2014，30(3)：285-292.

Chen Hong, Xia Qing, Zuo Ting, et al. Quality grading method of shiitake based on texture analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(3): 285-292. (in Chinese with English abstract)

[13] 陳紅，夏青，左婷，等. 基于機器視覺的花菇分選技術[J]. 農業(yè)機械學報，2014，45(1)：281-287.

Chen Hong, Xia Qing, Zuo Ting, et al. Determination of shiitake mushroon grading based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(1): 281-287. (in Chinese with English abstract)

[14] 黃星奕，姜爽，陳全勝，等. 基于機器視覺技術的畸形秀珍菇識別[J]. 農業(yè)工程學報，2010，26(10)：350-354.

Huang Xingyi, Jiang Shuang, Chen Quansheng, et al. Identification of defect pleurotus geesteranus based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(10): 350-354. (in Chinese with English abstract)

[15] 仇瑞承，苗艷龍，季宇寒，等. 基于RGB-D相機的單株玉米株高測量方法[J]. 農業(yè)機械學報，2017，48(S1)：211-219.

Qiu Ruicheng, Miao Yanlong, Ji Yuhan, et al. Measurement of individual maize height based on RGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(S1): 211-219. (in Chinese with English abstract)

[16] 楊斯，高萬林，米家奇，等. 基于RGB-D相機的蔬菜苗群體株高測量方法[J]. 農業(yè)機械學報，2019，50(S1)：128-135.

Yang Si, Gao Wanlin, Mi Jiaqi, et al. Method for measurement of vegetable seedlings height based on ＲGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 128-135. (in Chinese with English abstract)

[17] 王玲，徐偉，杜開煒，等. 基于SR300深度相機的褐蘑菇原位測量技術[J]. 農業(yè)機械學報，2018，49(12)：13-19，108.

Wang Ling, Xu Wei, Du Kaiwei, et al. Portabella mushrooms measurement in situ based on SR300 depth camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12): 13-19, 108. (in Chinese with English abstract)

[18] 孫經緯，趙凱旋，姬江濤，等. 基于“淹沒法”的雙孢菇檢測及直徑測量方法[J]. 農機化研究，2021，43(2)：28-33.

Sun Jingwei, Zhao Kaixuan, Ji Jiangtao, et al. Detection and diameter measurement method of agaricus bisporus based on “submerged method”[J]. Journal of Agricultural Mechanization Research, 2021, 43(2): 28-33. (in Chinese with English abstract)

[19] Wang Z L, Kerry B W, Brijesh V, et al. On-tree mango fruit size estimation using RGB-D images[J]. Sensors, 2017, 17(12): 12-20.

[20] Carfagni M, Furferi R, Governi L, et al. On the perform-ance of the Intel SR300 depth camera: metrological and critical characterization[J]. IEEE Sensors Journal, 2017, 17(99): 4508-4519.

[21] 劉培田. 食用菌覆土栽培機制及效應[J]. 中國食用菌，1995(2)：22-25.

Liu Peitian. Mechanism and effects of casing technique on edible mushrooms[J]. Edible Fungi of China, 1995(2): 22-25. (in Chinese with English abstract)

[22] Massimo Camplani, Luis Salgado. Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers[J]. Journal of Visual Commun-ication and Image Representation, 2014, 25(1): 122-136.

[23] 劉天真，滕桂法，苑迎春，等. 基于改進YOLO V3的自然場景下冬棗果實識別方法[J]. 農業(yè)機械學報，2021，52(5)：17-25.

Liu Tianzhen, Teng Guifa, Yuan Yingchun, et al. Winter jujube fruit recognition method based on improved YOLO V3 under natural scene[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(5): 17-25. (in Chinese with English abstract)

[24] 成偉，張文愛，馮青春，等. 基于改進YOLOv3的溫室番茄果實識別估產方法[J]. 中國農機化學報，2021，42(4)：176-182.

Cheng Wei, Zhang Wenai, Feng Qingchun, et al. Method of greenhouse tomato fruit identification and yield estimation based on improved YOLOv3[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 176-182. (in Chinese with English abstract)

[25] 趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經網(wǎng)絡的復雜背景下機器人采摘蘋果定位[J]. 農業(yè)工程學報，2019，35(3)：164-173.

Zhao De’an, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[26] 王相友，李晏興，楊振宇，等. 基于改進YOLO v4模型的馬鈴薯中土塊石塊檢測方法[J]. 農業(yè)機械學報，2021，52(8)：241-247，262.

Wang Xiangyou, Li Yanxing, Yang Zhenyu, et al. Detection method of clods and stones from impurified potatoes based on improved YOLO v4 algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(8): 241-247, 262. (in Chinese with English abstract)

[27] Rother C, Kolmogorov V, Blake A. “GrabCut”-Interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics, 2004, 23(3): 309-314.

[28] Reynolds D A. Gaussian mixture models[J]. Encyclopedia of biometrics, 2009, 741: 659-663

[29] Zhang S, Huang W, Wang Z. Combing modified Grabcut, K-means clustering and sparse representation classification for weed recognition in wheat field[J]. Neurocomputing, 2021, 452: 665-674.

[30] Rousseeuw P J. Silhouettes: A graphical aid to the interpretation and validation of cluster analysis[J]. Journal of Computational and Applied Mathematics, 1987, 20: 53-65

Measurement of morphology ofbased on RGBD camera

Wang Yinglong1, Xiao Huan2, Yin Hua2,3※, Luo Shan1, Le Yu1, Wan Jiaxing2

(1.,,330045,;2.,,330045,;3.,,330045,)

is one of the most popular mushroom with the various vitamins, dietary fiber, and a large amount of protein for the body healthy and immunity. The growth state ofdepends mainly on the morphology of the sporophore during the cultivation and harvesting. The greenhouse environment can also be optimized for the noticing changes of the sporophore in the best way. However, the manual measurement of the sporophore morphology cannot fully meet the large-scale production in recent years, due to the high cost and labor intensity. Furthermore, the measuring standards are also varied greatly. It is a high demand for the advanced information technology. In this study, an automatic online measurement was proposed to rapidly and accurately monitor the sporophore ofduring the growth using SR300 depth camera. Firstly, the samples were collected both in the greenhouse of Bioengineening and Technological Research Centre for the Edible and Medicinal Fungi in the Jiangxi Agricultural University and the cultivation factories located in Zhangshu and Nanchang City, Jiangxi, China. The data sets were obtained to divide into 7 (training set): 3 (test set) after the image cleaning and enhancement, as well as labelling tags by LabelMe software. An identification model was established to accurately locate the sporophore using the YOLO V4 target detection. Secondly, the distribution of the bounding boxes was clustered, according to the K-means algorithm, and thereby the more optimized processing area was gained by the segmentation. Afterwards, the images of different scales were generated by the up-sampling operation. The contour boundary curves were extracted to integrate the different scales with the Grabcut algorithm. Meanwhile, the true value was calculated, after the sporophore contour was corrected with the depth information. Experiments showed that a faster and better way was realized to extract the morphological characteristics of the cap and stipe. The average accuracy of the YOLO V4 model in the test set was 91.17%, with the recall rate 84.08%, and the1 score 0.87. According to the quantity of the sporophore, the average time was promoted by 95.37%, 95.17%, and 81.92%, respectively, on the segmentation of optimal processing area, compared with the original images, Besides, the rates of error and repeatability of the measurement were promoted dramatically, as the distance from the target increased. Therefore, the distance between the target and SR300 should be no more than 40cm. Compared with the manual, the best performance was achieved, with the coefficient of determination of 0.979 and 0.977 for the cap and stipe, respectively, the average error of the cap and the stipe’s width 0.357, and 0.304mm, 7, respectively, and the STD of 0.273 and 0.209 mm, respectively. Therefore, this measurement can fully meet the high requirements of the low-cost and high-precision automatic monitoring on the morphology ofat the edible mushroom cultivation site. The findings can also lay the foundation for the real-time and accurate measurement ofin a complex environment using the picking robots.

image recognition;computer vision;; plant phenotype; RGBD;measurement

10.11975/j.issn.1002-6819.2022.20.016

S24；TP391

A

1002-6819(2022)-20-0140-09

王映龍，肖歡，殷華，等. 基于RGBD相機的黑皮雞樅菌子實體形態(tài)視覺測量[J]. 農業(yè)工程學報，2022，38(20)：140-148.doi：10.11975/j.issn.1002-6819.2022.20.016 http://www.tcsae.org

Wang Yinglong, Xiao Huan, Yin Hua, et al. Measurement of morphology ofbased on RGBD camera[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 140-148. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.016 http://www.tcsae.org

2022-07-08

2022-10-06

國家重點研發(fā)項目（2020YFD1100603）；大學生創(chuàng)新創(chuàng)業(yè)計劃項目（S202210410088）；江西省研究生創(chuàng)新專項資金項目（YC2022-s432）

王映龍，博士，教授，研究方向為知識管理、智能農業(yè)處理。Email：83577939@qq.com

殷華，博士，副教授，研究方向為測試傳感、智能農業(yè)信息處理。Email：youki1234@163.com