李燕 沈杰 謝航 高廣垠 劉建雄 劉潔

摘要： 針對柚子果形和尺寸分級依賴人工經(jīng)驗判斷的現(xiàn)狀，本研究提出一種采用輪廓坐標系轉(zhuǎn)換擬合、果形特征提取結(jié)合方向角補償算法檢測柚子縱、橫徑尺寸并基于果形指數(shù)對柚子形狀缺陷進行判斷的方法。以CMOS相機、點陣式LED光源、平面鏡、計算機、箱體和支架搭建圖像采集裝置，獲取168個不同尺寸與形狀等級的沙田柚樣本全表面圖像數(shù)據(jù)。選擇G-B分量灰度圖像進行去噪與分割，利用Laplacian算子邊緣檢測算法提取果實的邊緣像素，采用多項式擬合方式完成直角坐標向極坐標的轉(zhuǎn)換從而簡化果形描述，利用特征點極角值補償樣本縱橫徑的隨機方向，繼而區(qū)別類球形和類梨形兩種類型計算柚子的縱徑和橫徑。以廣東梅州沙田柚為對象進行試驗，結(jié)果表明，利用輪廓坐標系轉(zhuǎn)換擬合、果形特征提取結(jié)合方向角補償算法的方法檢測柚子縱徑的平均絕對誤差、最大絕對誤差和平均相對誤差分別為2.23 mm、7.39 mm和1.6%，橫徑的平均絕對誤差、最大絕對誤差和平均相對誤差分別為2.21 mm、7.66 mm和1.4%。從柚子輪廓極坐標的擬合函數(shù)中提取3個峰值高度、3個波峰寬度和1個波谷值差值7個特征值，利用BP神經(jīng)網(wǎng)絡算法建立柚子果形判別模型并用獨立驗證集進行驗證，形狀判別的總識別率為83.7%。本方法能為柚子尺寸和形狀的自動化檢測與分級提供快速無損方法。

關(guān)鍵詞： 柚子輪廓；果形檢測；BP神經(jīng)網(wǎng)絡；坐標系轉(zhuǎn)換；圖像處理；果形判別模型

中圖分類號： S24? 文獻標志碼： A? 文章編號： 202102-SA007

引用格式：李燕, 沈杰, 謝航, 高廣垠, 劉建雄, 劉潔. 基于輪廓坐標系轉(zhuǎn)換擬合的柚子果形檢測分級方法[J]. 智慧農(nóng)業(yè)(中英文), 2021, 3 (1): 86-95.

Citation:LI Yan, SHEN Jie, XIE Hang, GAO Guangyin, LIU Jianxiong, LIU Jie. Detection and grading method of pomelo shape based on contour coordinate transformation and fitting[J]. Smart Agriculture, 2021, 3 (1): 86-95. (

1? 引? 言

柚子（Citrus maxima （Burm） Merr.）是東南亞地區(qū)的主要水果之一，營養(yǎng)豐富，具有保健功效。中國柚子年產(chǎn)量達360萬噸且呈逐年增長態(tài)勢［1］。作為一種體積較大的內(nèi)部非均質(zhì)水果，柚子果實形狀因品種和生長條件不同呈梨形、近梨形、球形等，其果形特征通常用果蒂、柚頸、果肩、赤道和果頂?shù)炔课坏某叽绾筒课恢g比例關(guān)系進行描述，如圖1所示。

常見的柚子果形缺陷有柚頸過長、不對稱、球形和不符合品種特征等。因此，僅以重量值或最大尺寸值為指標進行柚子分級均不能滿足按質(zhì)論價的要求。當前生產(chǎn)中部分加工企業(yè)借助通用型果品分級設(shè)備依據(jù)重量或過篩原理憑果實大小區(qū)分檔次，不能完全符合柚子分級的特性要求；果園產(chǎn)地分級主要依賴人工，依據(jù)柚子大小和形狀憑經(jīng)驗粗略處理，不僅勞動量大、效率低下，而且判斷標準無法統(tǒng)一。加之中國國內(nèi)柚子多在山地丘陵地區(qū)的中小果園種植，勞動力短缺日益明顯，產(chǎn)后綜合分級技術(shù)缺乏等，這些因素嚴重制約了柚子產(chǎn)業(yè)的效益提升和規(guī)模發(fā)展。因此，研究一種能夠根據(jù)柚子果形特點進行自動化檢測分級的方法，對于柚子生產(chǎn)具有重要意義［2］。

機器視覺技術(shù)在獲取待測對象外部品質(zhì)參數(shù)中具有獨特優(yōu)勢，能夠快速無損地獲取果蔬對象的尺寸、顏色和表面缺陷等參數(shù)［3］，結(jié)合特征信息提取和處理算法鑒別果蔬品質(zhì)。例如，王紅軍等［4］探討了利用機器視覺結(jié)合主成分分析法和多元線性回歸方法，篩選出權(quán)重系數(shù)大的圖像特征數(shù)據(jù)，建立了馬鈴薯質(zhì)量和形狀分級預測模型。王風云等［5］選用雙孢蘑菇菌蓋直徑作為尺寸分級的特征參數(shù)，結(jié)合全局閾值分割法與尋找最大熵閾值分割法、Canny算子、閉運算、分水嶺算法去除圖像中陰影部分和柄部干擾，采用最小外接矩形法求得了菌蓋直徑。黃辰和費繼友［6］提出了改進的三層Canny邊緣檢測算法來提取蘋果輪廓，并根據(jù)標準矩形工件尺寸來標定像素當量，進而測量果徑、面積等特征。Roscher等［7］通過采集自然環(huán)境下的葡萄圖像，采用Hough檢測圓的方法檢測所有可能的類球型葡萄，通過顏色、紋理等信息設(shè)計分類器，檢測出葡萄的數(shù)量與果徑大小，與人工測量相比，測得的果徑平均差值約為1 mm，平均漿果大小與人工測量之間的相關(guān)性為0.88，同時可有效降低檢測錯誤率。Oo等［8］將草莓形狀簡化為風箏（kite），從水果的邊界中識別出上、下、左、右四個頂點及任意兩個向量之間的夾角，以果實頂點與頂點之間的垂直距離作為草莓的長度，以兩側(cè)點之間的距離作為果實的直徑。Arendse等［9］利用X射線計算機斷層掃描技術(shù)將石榴果實生成二維放射圖像，通過三維重建，實現(xiàn)對果實長度、直徑、果皮厚度等參數(shù)的估計。上述研究都是利用果實直徑、長度、面積等參數(shù)對果實形狀進行估計，而果實的果形特征一般憑借人工的經(jīng)驗去判別，果實類型不同判別方法也有很大差別，故而檢測果形的方法實現(xiàn)難度較大，相關(guān)研究也相對較少。目前較常見的果形特征判別方法有提取輪廓線和三維重建法等。羅陸鋒等［10］利用改進K-means聚類方法對葡萄圖像進行分割，提取輪廓邊緣輪廓和左右輪廓的類圓中心，以中心點為原點建立基于輪廓分析的疊貼葡萄串分界線幾何求解和計算模型，通過求解兩疊貼葡萄邊緣輪廓交界處拐點來實現(xiàn)對雙串疊貼葡萄目標分別提取。吳明清等［11］通過提取紅棗的二維輪廓特征，由二維圖像的輪廓構(gòu)建三維多輪廓模型，以此檢測紅棗的形狀。Olatunji等［12］利用條件生成對抗網(wǎng)絡對生成的大量獼猴桃形狀信息進行訓練，來真實地重建封閉和完整的獼猴桃表面。

鑒于柚子不完全對稱的特性，并且現(xiàn)有的沙田柚分級標準對果形的描述過于籠統(tǒng)，缺乏針對具體果形參數(shù)的分類標準，本研究提出通過獲取柚子果實全表面圖像信息，采用輪廓坐標系轉(zhuǎn)換擬合、果形特征提取結(jié)合方向角補償算法檢測柚子縱橫徑尺寸，并基于果形指數(shù)對柚子形狀缺陷進行判斷的方法，以期為柚子果形檢測與分級提供一種快速無損的解決方案。

2? 試驗材料與裝置

2.1試驗樣本獲取

在廣東省梅州農(nóng)業(yè)實驗站和周邊果園選購采收期沙田柚類球形樣本81個、類梨形樣本54個和形狀缺陷（缺乏沙田柚的果形特征［13］）樣本33個，共計168個試驗圖像作為采集用果實樣本。對每個樣本進行尺寸測量與形狀判定后進行編號，并進行圖像數(shù)據(jù)采集。借助可在水平導軌上滑動的兩塊直角夾板將果實按待測縱軸或橫軸方向夾緊后，用數(shù)顯式游標卡尺對每個樣本測量2次取平均值作為該樣本的縱徑或橫徑值。樣本形狀判定依據(jù)沙田柚行業(yè)標準NY/T 868-2004［13］，通過人工觀察與測量沙田柚樣本柚頸長度、縱徑與橫徑比例和形狀規(guī)則度，將試驗樣本分為3類，樣本外觀如圖2所示。

（a）類梨形：

標準果形

2.2圖像采集系統(tǒng)

利用機器視覺和圖像處理技術(shù)對樣本圖像的果形特征進行提取和分析具有非破壞性、互容性高等優(yōu)勢。圖3為自行搭建的圖像采集系統(tǒng)結(jié)構(gòu)示意圖。該系統(tǒng)主要包括工業(yè)相機、光源、圖像采集箱體和計算機等部分。工業(yè)相機為CMOS相機（臺灣顯微1/2.5 MU500，中國），最大分辨率2592×1944 像素，鏡頭型號XW0612。圖像采集箱體外部尺寸80 cm ×60 cm×60 cm，箱體內(nèi)部布置防反光絨布，消除反射光影響，采用12 W的LED貼片點陣式圓形為主光源及10 W（可調(diào)）貼片點陣式輔助光源。箱體內(nèi)設(shè)置相對放置的兩塊平面鏡用于使相機單次拍攝可獲取類梨樣本的全部表面信息［14］。經(jīng)分析柚子尺寸范圍和前期調(diào)試，平面鏡尺寸取30 cm × 25 cm，相鄰端點間距取20 cm，鏡面夾角取120°以保證相機獲取的圖像能夠包含樣本全部表面信息。

圖像采集時樣本放置于樣本位，方向隨機。利用Minte Camera Platform軟件控制相機獲取樣本圖像，并經(jīng)由數(shù)據(jù)線傳入計算機進行儲存和分析。系統(tǒng)所得樣本圖像如圖4所示。

3? 特征提取及形狀檢測

本研究對采集的柚子圖像進行預處理操作之后，利用極坐標系代替?zhèn)鹘y(tǒng)的平面直角坐標系，提取柚子輪廓的特征信息。將柚子按果形分為類梨形和類球形兩類，利用極坐標擬合函數(shù)峰值的差值檢測果實的橫徑和縱徑，通過BP神經(jīng)網(wǎng)絡建立柚子形狀判別模型對果實進行分類。圖5為本研究技術(shù)路線。

3.1圖像預處理

由于在拍照過程中，環(huán)境變化和噪聲干擾均會使得拍照所得的圖像特征不明顯，故需對圖像進行濾波去噪、特征增強等處理手段，實現(xiàn)圖像特征突出的效果，方便后續(xù)圖像識別。比較均值濾波、中值濾波等圖像濾波方法，迭代法、最大類間訪查法等圖像分割方法以及Canny、Sobel、Robert、Laplacian等邊緣算子提取算法對樣本圖像的處理效果。綜合考慮輪廓信息提取效果和運算時間，采用基于顏色閾值的分割方法，首先對圖像進行高斯濾波平滑圖像、去除噪聲，在RGB顏色模型下選取G-B色差的圖像分割特征描述柚子圖像［15,16］，如圖6所示。利用最大類間方差法（Otsu法）對灰度圖像進行二值化處理，利用中值濾波算法去除二值圖干擾噪聲像素，經(jīng)顏色閾值分割后獲得與背景分離的目標果實圖像，二值圖像開運算保持了輪廓大小并填補二值圖像中的白色孔洞和細縫，最后借助Laplacian邊緣檢測算子提取目標圖像的有效邊緣信息［17-19］，樣本邊緣提取結(jié)果圖像如圖7所示。

3.2輪廓坐標系轉(zhuǎn)換擬合

圖像預處理后所得樣本輪廓為自然形狀，果實縱軸方向隨機。由于柚子果頸和果肩的曲線弧度變化和方向隨機分布，使得輪廓曲線在平面直角坐標系中的函數(shù)復雜且難于確定縱橫軸的方向，縱徑與橫徑長度的計算量大，檢測與分級的誤差增加。極坐標系屬二維坐標系統(tǒng)，可與平面直角坐標系進行相互轉(zhuǎn)換。相較于平面直角坐標系，極坐標系可以簡化對于柚子輪廓曲線的描述，故而將輪廓曲線函數(shù)從直角坐標系向極坐標系進行轉(zhuǎn)換擬合［20］。利用公式（1）和公式（2）獲取柚子質(zhì)心坐標，選取直角坐標系X軸負方向為極軸方向，極坐標系中橫軸表示極角角度，縱軸表示極徑，從而實現(xiàn)將直角坐標系中的輪廓轉(zhuǎn)換至極坐標系進行描述，得到樣本輪廓信息的極坐標圖［21］，如圖8所示。通過極坐標圖中極徑最大峰值可確定柚子的縱徑與水平方向的偏移角度。為避免極坐標描述數(shù)據(jù)計算量過大增加數(shù)據(jù)處理量和計算時間，采用間隔固定步長選取像素點法縮減數(shù)據(jù)量。圖9比較了步長m在［10, 30］區(qū)間內(nèi)以10個步長為間隔取值的效果，可見當m為20時，有效減少了計算量的同時最大程度保留了柚子果形輪廓信息。

x_d=(∑_(i=0)^d?x_i )?S? （1）

y_d=(∑_(i=0)^d?y_i )?S? （2）其中，xd為質(zhì)心點X軸坐標；yd為質(zhì)心點Y軸坐標；S為輪廓總像素數(shù)，個。

3.3極坐標曲線擬合

曲線擬合（Curve Fitting）是采用適當曲線函數(shù)對待測數(shù)據(jù)進行描述的方法，并通過擬合后的結(jié)果對變量數(shù)據(jù)進行分析處理，進而獲得數(shù)據(jù)間的變化規(guī)律。本研究采用公式（3）所表示的多項式擬合（Polynomial Fitting）方法進行柚子輪廓信息的數(shù)據(jù)擬合處理。擬合結(jié)果以相關(guān)系數(shù)R和均方根誤差RMSE作為評價指標進行評價，其中R越大、RMSE越小則表明擬合結(jié)果越好。

y(x,ω)=∑_(i=0)^k?〖ω_i x_^i 〗? （3）其中，xi為輸入變量x的i次冪；ωi為第i個輸入變量系數(shù)；k為多項式最高次數(shù)。

3.4縱徑和橫徑的圖像檢測方法

為提高檢測精度，有效減小誤差，將樣本區(qū)分為類梨形和類球形兩類。對于類梨形柚子，利用方向角確定柚子縱徑方向，再通過計算果實輪廓圖像X方向和Y方向的最大距離來確定類梨形柚子的縱橫徑尺寸大??；對于類球形柚子，采用最小外接矩形法檢測其尺寸。類梨形柚子果形在直角坐標系和極坐標系中的輪廓如圖8所示，類球形柚子果形在直角坐標系和極坐標系中的輪廓如圖10所示。在極坐標系中可以觀察到，極徑最大峰值和第二個峰值之差的差異最為顯著，故利用公式（4）計算極徑峰值差值比CZ。隨機抽取9個類球形和9個類梨形樣本的數(shù)據(jù)計算CZ的值并用于對比分析，最終確定利用峰值差值比CZ判別柚子類球形或類梨形的分類閾值為0.34。

C_Z=(h_1-h_2)/h_1 ?? （4）其中，CZ為極徑峰值差值比；h1為極徑最大峰值，mm；h2為極徑第二個峰值，mm。

對類梨形樣本縱橫徑尺寸進行檢測。首先確定其縱軸方向，然后再計算縱橫徑尺寸。圖11為方向角在-90°~90°范圍內(nèi)的柚子樣本二值圖像，結(jié)合樣本輪廓的極坐標圖像進行分析可知，樣本輪廓最大極徑處即為該樣本的果蒂位置，故而最大極徑值處所對應的極角角度即可用于替代柚子縱徑的方向角。

表1列出了對應樣本的方向角和極角角度值，利用極角角度替代實際縱徑方向角的平均誤差為2.55°，表明可利用極角角度來進行柚子縱徑方向的估算。以極角角度值進行圖像旋轉(zhuǎn)可得果實縱軸垂直向上的輪廓圖像，計算該輪廓圖像在Y方向和X方向的最大差值即為該類梨形樣本的縱徑和橫徑尺寸。

類球形柚子由于縱橫徑差值較小，以方向角確定縱軸方向的方法并不適用，故采用最小外接矩形法（Minimum Enclosing Rectangle）［22］進行果實尺寸檢測。根據(jù)柚子質(zhì)心描繪出柚子的外接矩形，然后讓柚子邊緣圍繞質(zhì)心進行順時針或逆時針旋轉(zhuǎn)，每旋轉(zhuǎn)一次便計算一次隨之改變的矩形面積，經(jīng)過360°的旋轉(zhuǎn)后，面積最小的矩形便是此柚子的最小外接矩形，其最小外接矩形的長和寬即可作為樣本的縱徑和橫徑。

3.5形狀判別模型建立

通過分析樣本輪廓極坐標特性，提出選取縱徑和橫徑用于特征描述。首先判別縱徑小于152 mm或橫徑小于142 mm的過小等外果，然后取縱徑（H）和橫徑（D）的比值為果型的判別指數(shù)S（S=H/D），若S大于1.1，則說明該樣本果頸長度適宜，果形合格［11］。

通過比較隨機取樣法（Random Sampling，RS）［22］、肯納德-斯通算法（Kennard-Stone，KS）［22］、基于聯(lián)合x-y距離的樣本集劃分法（Sample Set Partitioning Based on Joint x-y Distance，SPXY）［23］三種樣本集劃分方法的判別效果。RS法操作簡單方便，但由于過程隨機，難以保證建立模型的穩(wěn)定性；KS法實現(xiàn)了校正集在空間距離上的均勻分布，但計算量過大；SPXY法與KS法類似，同樣利用樣本的歐氏距離進行校正集的劃分，但同時將x變量和y變量考慮其中，可以覆蓋多維空間，增強預測模型效果。綜合考慮，選取SPXY法按照校正集樣本119個、驗證集樣本49個劃分樣本集。利用BP神經(jīng)網(wǎng)絡建立判別模型，通過不斷更新網(wǎng)絡中的閾值和權(quán)重，實現(xiàn)最終輸出結(jié)果向理想值的逼近。通過比較隱含層節(jié)點數(shù)為5~10個的網(wǎng)絡結(jié)構(gòu)和tansig函數(shù)、logsig函數(shù)和purelin函數(shù)三種不同的節(jié)點傳遞函數(shù)對BP神經(jīng)網(wǎng)絡模型建模判別結(jié)果的影響，確定最優(yōu)BP神經(jīng)網(wǎng)絡模型的建立條件［24］，選擇隱含層節(jié)點數(shù)為6，tansig函數(shù)為節(jié)點傳遞函數(shù)建立判別模型。圖像處理和模型建立均利用MATLAB R2014b（MathWorks公司，美國）實現(xiàn)。

4? 結(jié)果與討論

4.1輪廓坐標系轉(zhuǎn)換擬合結(jié)果

利用公式（1）和（2）對樣本輪廓圖像由直角坐標系向極坐標系轉(zhuǎn)換后，根據(jù)公式（3）進行多項式擬合。表2列出了取不同多項式最高次數(shù)時對樣本輪廓曲線的擬合結(jié)果，可見k取15時，相關(guān)系數(shù)R為0.9714。k增加到17時，R增加至0.9736，此后k增加而R不變。故取k為17時，此時RMSE為0.0190，運算時間需0.000103 s，能夠反映樣本輪廓特征并滿足處理速度要求。

4.2柚子樣本縱徑和橫徑的檢測結(jié)果

利用數(shù)顯式游標卡尺人工對168個柚子樣本進行尺寸測量，所得縱徑范圍為100.10~218.22 mm，橫徑范圍為88.74~161.36 mm。利用1張圖像數(shù)據(jù)上的3幅樣本輪廓進行圖像分析，分別計算主視圖、左鏡像、右鏡像3個方位柚子圖像的尺寸大小，選取3者的均值作為該柚子樣本最終的尺寸大小計算值，檢測計算值與人工測量值間的各項誤差如表3所示。橫徑的平均相對誤差為1.4%，縱徑的平均相對誤差為1.6%。

4.3果形特征模型建立及驗證

對擬合函數(shù)求二階導，提取3類果形樣本的3個峰值高度、3個波峰寬度和1個波谷值差值共7個特征值用以描述柚子輪廓擬合函數(shù)，如圖12所示。

樣本總量為168個，利用119個校正集樣本建立BP神經(jīng)網(wǎng)絡，初始設(shè)置網(wǎng)絡結(jié)構(gòu)為7-9-1，其中包含7個輸入層節(jié)點、9個隱含層節(jié)點、1個輸出層節(jié)點，學習速率為0.1，閾值隨機產(chǎn)生更新。比較分類模型的判別正確率，6個隱含層節(jié)點的網(wǎng)絡模型判別準確率達84%，為最高；tansig函數(shù)、logsig函數(shù)和purelin函數(shù)判別準確率分別為84%、80%和52%。確定最優(yōu)的BP神經(jīng)網(wǎng)絡結(jié)構(gòu)為7-6-1，包含7個輸入層節(jié)點、6個隱含層節(jié)點、1個輸出層節(jié)點，最優(yōu)節(jié)點傳遞函數(shù)為tansig函數(shù)。隱含層每一個節(jié)點會對輸入層的興奮有不同的接收權(quán)重，從而更加偏向于某種識別模式。該模型輸入層與隱含層的權(quán)重如下，矩陣的行表示隱含層節(jié)點，列表示輸入層節(jié)點，矩陣中的每一單元可用wij表示，其含義為第i個隱含層節(jié)點對第j個輸入層節(jié)點的權(quán)重如下。

[(-0.1446&0.4797&-0.7768&0.6710&-0.0766&0.8888&-0.4414@0.7279&-1.9122&0.0906&-1.2852&-0.0446&1.9385&1.0107@1.7425&-1.4097&0.6493&-0.0689&0.8272&1.4207&-0.7080@-2.1120&-2.3170&1.0909&-0.7888&-0.1764&-1.8285&0.7673@-0.0392&3.7368&0.6586&-3.1757&0.6753&-0.7993&0.7550@1.4191&-0.3585&-0.7487&0.7783&-1.4139&0.3027&1.0698)]

經(jīng)過最優(yōu)判別，隱含層與輸出層的權(quán)重為［-0.6010, 0.6917, 0.3088, -0.5669, -0.8380, -2.2320］；隱含層閾值為［-1.9280, -2.2626, -0.1841, 0.2974, 1.5112, 1.7438］T；輸出層閾值為2.2937，即為柚子果形指數(shù)。根據(jù)柚子實際果形與果形系數(shù)的關(guān)系，定義柚子果形判別標準為：若輸出果形指數(shù)在（-∞, 1.5）之間，則該樣本為果形標準樣本；若輸出果形指數(shù)在［1.5, 2.5）之間，則該樣本為柚頸或果肩過長的第一類果形缺陷樣本；若輸出果形指數(shù)在［2.5, +∞）之間，則該樣本為缺乏沙田柚果形特征的第二類類球形果形缺陷樣本。

利用所建模型對49個驗證集樣本進行判別，其結(jié)果如圖13所示。類別1為29個果形標準的柚子樣本，誤檢數(shù)為1個，漏檢數(shù)為5個；類別 2為 15個果形較規(guī)則，果形缺陷較小，柚頸或果肩過長的柚子樣本，誤檢數(shù)為 5個，漏檢數(shù)為2個；類別 3為5個果形缺陷較大，類球形缺乏沙田柚的果形特征，誤檢數(shù)為 2 個，漏檢數(shù)為1個。綜上，計算得到該模型總識別率為83.7%。

5? 結(jié)? 論

本研究采集168個柚子樣本的全表面圖像數(shù)據(jù)，利用傳統(tǒng)平面直角坐標系轉(zhuǎn)換為極坐標系簡化柚子果形輪廓描述，同時消除柚果方向位置隨機放置導致的縱橫徑判別困難，角度校正的平均誤差為2.55°。試驗樣本尺寸檢測的縱徑平均誤差為2.23 mm，平均相對誤差1.6%；橫徑平均誤差為2.21 mm，平均相對誤差1.4%。處理時間需0.000103 s。

利用樣本輪廓的極坐標擬合曲線進行柚子果形描述，提取7個柚子果形特征建立BP神經(jīng)網(wǎng)絡判別模型，確定最佳的網(wǎng)絡結(jié)構(gòu)為7-6-1，節(jié)點傳遞函數(shù)為tansig函數(shù)，模型總識別率為83.7%。研究結(jié)果表明，采用輪廓坐標系轉(zhuǎn)換擬合、果形特征提取結(jié)合方向角補償算法進行柚子縱、橫徑尺寸檢測和基于果形指數(shù)的形狀缺陷判斷方法能夠?qū)崿F(xiàn)基于機器視覺的柚子果形指標快速無損檢測和分級。

本研究利用機器視覺技術(shù)對柚子輪廓信息進行提取，實現(xiàn)了柚子尺寸、果形等參數(shù)信息的無損檢測，后續(xù)可以通過以下途徑進一步提高柚子尺寸檢測分級應用效果。

（1）在柚子果形檢測分類判別方面，將更多深度學習算法，如支持向量機法等，應用到柚子果形的判別，比較不同算法的優(yōu)劣，尋找更加優(yōu)越的判別方法，以期提高柚子果形的識別率。

（2）本研究通過主視、左鏡像和右鏡像三幅圖像分別進行柚子果形判別，后續(xù)研究可以通過融合三幅圖像信息以進行柚子果形的判別。

參考文獻：

[1]??? 馬克爭, 鄭萬里, 黃智輝. 平和琯溪蜜柚進入美日澳市場面臨的問題與對策[J]. 植物檢疫, 2015, 29(6): 60-63.MA K, ZHENG W, HUANG Z. Existing problems and countermeasures of the entrance of pomelo of Pinghe to markets of developed countries[J]. Plant Quarantine, 2015, 29(6): 60-63.

[2]??? 何文斌, 魏愛云, 明五一, 等. 基于機器視覺的水果品質(zhì)檢測綜述[J]. 計算機工程與應用, 2020, 56, (11): 15-21.HE W, WEI A, MING W, et al. Survey of fruit quality detection based on machine vision[J]. Computer Engineering and Applications, 2020, 56 (11): 15-21.

[3]??? 應義斌, 王劍平, 蔣煥煜. 水果直徑和缺陷面積的機器視覺檢測[J]. 農(nóng)業(yè)工程學報, 2002, 18(5): 216-220.YING Y, WANG J, JIANG H. Inspecting diameter and defect area of fruit with machine vision[J]. Transactions of the CSAE, 2002, 18(5): 216-220.

[4]??? 王紅軍, 熊俊濤, 黎鄒鄒, 等. 基于機器視覺圖像特征參數(shù)的馬鈴薯質(zhì)量和形狀分級方法[J]. 農(nóng)業(yè)工程學報, 2016, 32(8): 272-277.WANG H, XIONG J, LI Z, et al. Potato grading method of weight and shape based on imaging characteristics parameters in machine vision system[J]. Transactions of the CSAE, 2016, 32(8): 272-277.

[5]??? 王風云, 封文杰, 鄭紀業(yè), 等. 基于機器視覺的雙孢蘑菇在線自動分級系統(tǒng)設(shè)計與試驗[J]. 農(nóng)業(yè)工程學報, 2018, 34(7): 256-263.WANG F, FENG W, ZHENG J, et al. Design and experiment of automatic sorting and grading system based on machine vision for white agaricus bisporus[J]. Transactions of the CSAE, 2018, 34(7): 256-263.

[6]??? 黃辰, 費繼友. 基于圖像特征融合的蘋果在線分級方法[J]. 農(nóng)業(yè)工程學報, 2017, 33(1): 285-291.HUANG C. FEI J. Online apple grading based on decision fusion of image features[J]. Transactions of the CSAE, 2017, 33(1): 285-291.

[7]??? ROSCHER R, HERZOG K, KUNKEL A, et al. Automated image analysis framework for high-throughput determination of grapevine berry sizes using conditional random fields[J]. Computers and Electronics in Agriculture, 2014, 100(1): 148-158.

[8]??? OO L, AUNG N. A simple and efficient method for automatic strawberry shape and size estimation and classification[J]. Biosystems Engineering, 2018, 170: 96-107.

[9]??? ARENDSE E, FAWOLE O, MAGWAZA L, et al. Non-destructive characterization and volume estimation of pomegranate fruit external and internal morphological fractions using X-ray computed tomography[J]. Journal of Food Engineering, 2016, 186: 42-49.

[10]? 羅陸鋒, 鄒湘軍, 王成琳, 等. 基于輪廓分析的雙串疊貼葡萄目標識別方法[J]. 農(nóng)業(yè)機械學報, 2017, 48(6): 15-22.LUO L, ZOU X, WANG C, et al. Recognition method for two overlaping and adjacent grape clusters based on image contour analysis[J]. Transactions of the CSAM, 2017, 48(6): 15-22.

[11]? 吳明清, 弋曉康, 羅華平, 等. 基于多輪廓模型的紅棗體積和表面積在線測量方法[J]. 農(nóng)業(yè)工程學報, 2019, 35(19): 283-290.WU M, GE X, LUO H, et al. On-line measurement method for volume and surface area of red jujube based on multi-contour model[J]. Transactions of the CSAE, 2019, 35(19): 283-290.

[12]? OLATUNJI J, REDDING G, ROWE C, et al. Reconstruction of kiwifruit fruit geometry using a CGAN trained on a synthetic dataset[J]. Computers and Electronics in Agriculture, 2020, 177: ID 105699.

[13]? 中華人民共和國農(nóng)業(yè)部. 中華人民共和國農(nóng)業(yè)行業(yè)標準-沙田柚: NY/T868-2004[S]. 北京: 中國標準出版社, 2007.Ministry of Agriculture of the People's Republic of China. The Agricultural Industry Standard of the People's Republic of China-Shatian pomelo: NY/T868-2004[S]. Beijing: China Standard Press, 2007.

[14]? 周竹, 黃懿, 李小昱, 等. 基于機器視覺的馬鈴薯自動分級方法[J]. 農(nóng)業(yè)工程學報, 2012, 28(7): 178-183.ZHOU Z, HUANG Y, LI X, et al. Automatic detecting and grading method of potatoes based on machine vision[J]. Transactions of the CSAE, 2012, 28(7): 178-183.

[15]? KLEYNON O, LEEMANS V, DESTAIN M F. Development of a multi-spectral vision system for the detection of defects on apple[J]. Journal of Food Engineering, 2005, 69(1): 41-49.

[16]? 馮斌, 汪懋華. 基于顏色分形的水果計算機視覺分級技術(shù)[J]. 農(nóng)業(yè)工程學報, 2002, 18(2): 141-144.FENG B, WANG M. Computer vision classification of fruit based on fractal color[J]. Transactions of the CSAE, 2002, 18(2): 141-144.

[17]? FU L, GAO F, WU J, et al. Application of consumer RGB-D cameras for fruit detection and localization in field: A critical review[J]. Computers and Electronics in Agriculture, 2020, 177(10): ID 105687.

[18]? 王文明. 異源圖像邊緣提取與匹配算法研究[D].長沙: 國防科學技術(shù)大學, 2015.WANG W. Research on algorithms of multi-sensor images edge extraction and matching[D]. Changsha: National University of Defense Technology, 2015.

[19]? BEUVE S, QIN Z, ROGER J, et al. Open cracks depth sizing by multi-frequency laser stimulated lock-in thermography combined with image processing[J]. Sensors and Actuators A: Physical, 2016, 247(15): 494-503.

[20]? 張艷玲, 劉桂雄, 曹東, 等. 數(shù)學形態(tài)學的基本算法及在圖像預處理中應用[J]. 科學技術(shù)與工程, 2007, 7(3): 356-359.ZHANG Y, LIU G, CAO D, et al. Basic operators of mathematical morphology and application in image preprocessing[J]. Science Technology and Engineering, 2007, 7(3): 356-359.

[21]? 劉山洪, 鄧彩群. 坐標轉(zhuǎn)換與坐標變換研究[J]. 吉林建筑大學學報, 2016, 33(1): 43-47.LIU S, DENG C. Transformation of coordinate system[J]. Journal of Jilin Jianzhu University, 2016, 33(1): 43-47.

[22]? HE Z, LI M, MA Z. Design of a reference value-based sample-selection method and evaluation of its prediction capability[J]. Chemometrics and Intelligent Laboratory Systems, 2015, 148(15): 72-76.

[23]? GALVAO R, ARAUJO M, JOSE G, et al. A method for calibration and validation subset partitioning[J]. Talanta, 2005, 67(4): 736-740.

[24]? HUANG K. Detection and classification of areca nuts with machine vision[J]. Computers & Mathematics with Applications, 2012, 64(5): 739-746.

Detection and Grading Method of Pomelo Shape Based on Contour Coordinate Transformation and Fitting

LI Yan1, SHEN Jie1, XIE Hang1, GAO Guangyin1, LIU Jianxiong1, LIU Jie1,2,3*

（1.College of Engineering, Huazhong Agricultural University, Wuhan 430070, China; 2.Key Laboratory of Agricultural Equipment in Mid-lower Yangtze River, Ministry of Agriculture and Rural Affairs, Wuhan 430070, China;

3.Citrus Mechanization Research Base, Ministry of Agriculture and Rural Affairs, Wuhan 430070, China）

Abstract: Automatic grading method of pomelo fruit according to the shape and size is urgently needed in the industry since the work mainly depends on artificial judgment currently. In this research, a method, which detected the vertical and horizontal size of pomelo by using contour coordinate transformation fitting, fruit shape feature extraction and direction angle compensation algorithm, while it determined the shape defects based on fruit shape index, was proposed. The image acquisition system was self-designed and built up with a CMOS camera, a dot matrix LED light source, a plane mirror, the computer, a box and brackets. The image data containing whole surface information of Shatian pomelo samples with different sizes and shapes were collected by this system. The G-B component grayscale image was chosen for denoising and segmentation. The Laplacian edge detection algorithm was implemented to extract the edge pixels of the fruit. The polynomial fitting method was applied to converse the rectangular coordinates to polar coordinates so that the fruit shape description was simplified. The characteristic point polar angle value was used to compensate the random direction of the vertical and horizontal diameters of the sample. Then the vertical and horizontal diameters of fruit were calculated after classifying the sample shapes into the spherical and the pear-like categories. For the involved 168 pomelo samples, the average error, maximum absolute error and average relative error of the vertical diameters were 2.23 mm, 7.39 mm and 1.6% respectively, while these parameters of the horizontal diameters were 2.21 mm, 7.66 mm and 1.4% respectively. The fruit shape discriminant model was established by using BP neural network algorithm based on the seven features extracted from the fitting function and verified by independent validation set including 3 peak heights, 3 peak widths and 1 trough value difference. The total recognition rate of shape identification was 83.7%. The results illustrated that the method had the potential to measuring the pomelo size and shape for grading fast and non-destructively.

Key words: pomelo contour; fruit shape detection; back propagation neural network; coordinate system conversion; image processing; fruit shape discriminant model