施 行，王巧華,2,*，顧 偉，王賢波，高 升

（1.華中農業(yè)大學工學院，湖北 武漢 430070；2.農業(yè)農村部長江中下游農業(yè)裝備重點實驗室，湖北 武漢 430070）

葡萄被譽為世界四大水果之首，其種植面積和年生產總量始終處于世界水果生產的前列[1-2]。隨著經(jīng)濟發(fā)展和市場的擴大，消費者對葡萄品質的要求越來越高[3-4]，因此我國葡萄產業(yè)需逐漸從數(shù)量型向質量型轉變[5-6]。其中紅提葡萄以其果穗、果粒大，營養(yǎng)豐富深受人們的喜愛[7-9]。由于不同生長期的紅提串緊實度關系到品質及產量預測，其越來越受到人們的關注。緊實度是基于穗狀水果的果粒分布密度、果粒之間的擠壓程度、果?？蓳u動程度、果穗表面的孔隙、穗莖梗桿的可見度的定性描述。

針對葡萄的外部品質研究，李俊偉等[10]運用機器視覺對紅提單粒葡萄的質量和果徑進行了預測和分級，其分級準確率超過85%；陳英等[11]通過計算果穗直徑和形狀參數(shù)，基于計算機視覺技術設計了葡萄分級檢測系統(tǒng)；曾慶兵等[12]提出基于數(shù)學形態(tài)學的重疊葡萄果實直徑測量方法；Liu等[13]通過檢測葡萄顏色和紋理信息，檢測果園葡萄產量，模型準確率達到87%；Zeng Qingbing等[14]通過機器視覺動態(tài)測量了葡萄果實直徑，此系統(tǒng)可達到7 μm的可重復精度，為更精確檢測植物的生理異常指標提供了一項檢測手段。

以上國內外研究主要集中在檢測葡萄果徑、葡萄果串體積、葡萄顏色、紋理和果實直徑的指標分級上，鮮見葡萄緊實度方面的研究。本實驗選取能間接反映紅提緊實度的果梗面積、果粒數(shù)等特征參數(shù)，建立紅提緊實度的分級無損模型，以期為穗狀水果品質的視覺檢測及分級技術提供參考。

1 材料與方法

1.1 材料

新鮮紅提樣本，于2020年8月14日到8月27日之間（湖北省武漢市江夏區(qū)小宛葡萄園）采摘，分3 次完成，3 次采摘質量分別為20.953、32.873、36.779 kg。為保證實驗樣本的可靠性，在每株紅提植株上層與下層各采集1 串，共采集了65 株紅提植株的130 串新鮮紅提，將新鮮紅提按采摘的順序編號。

1.2 儀器與設備

菲利浦三基色環(huán)形熒光燈管T5型（功率32 W、外徑245 mm、內徑235 mm、3 300～5 000 K色溫范圍）中國上海晰諾飛投資有限公司；RI15060-W型環(huán)形近紅外光源（11 W、外徑190 mm、內徑180 mm，光譜波段范圍如下：紅色475～675 nm、綠色475～625nm、藍色375～725 nm） 中國廣東歐普特科技股份有限公司；AD130GE雙通道工業(yè)攝像機（分辨率1 024×768、幀率30 fps，可同時提供可見光RGB通道（波長400～700 nm），近紅外（near-infrared spectroscopy，NIR）通道（波長750～900 nm）） 丹麥JAI公司。本實驗所需攝相頭支架、菲利浦三基色環(huán)形熒光燈管、歐普特RI15060-W型環(huán)形近紅外光源、傳動鏈及紅提掛鉤按圖1所示組裝。

圖1 單個窗口結構示意圖Fig.1 Schematic diagram of a single window structure

滿足攝像機的光譜采集范圍，選擇環(huán)形光源能保證紅提串果粒表面中心產生唯一可見的亮點，方便實現(xiàn)后期對紅提果粒位置的定位。實驗中拍攝紅提4 個方向（前、后、左、右）的圖片。

1.3 方法

1.3.1 圖像采集

如圖1所示，搭建好單個窗口，將光源以攝像機鏡頭為中心進行固定（保證光線的均勻分布），通過調整鎮(zhèn)流器調節(jié)三基色環(huán)形熒光燈管亮度，運用光源控制器調節(jié)近紅外光源的亮度，調節(jié)攝像頭焦距以便拍攝效果達到最佳狀態(tài)。圖片的拍攝背景皆為白色。

通過夾鉤將紅提懸掛于傳動鏈下，到達拍攝位置時進行拍攝，獲取紅提串的0°、90°、180°及270°共4 個角度的圖像。

1.3.2 圖像處理及特征參數(shù)提取

由于每串紅提拍攝的圖片有4 個視角，對圖片進行特征參數(shù)提取時，分別提取4 張圖片的特征并均值化處理。

1.3.2.1 果梗面積提取

紅提葡萄果實大且質地較硬，緊實度較高的紅提果粒之間相互緊靠，暴露在外的果梗面積相對較少。緊實度較低的紅提果粒之間由于其果粒的松散，連接果粒與果粒之間的綠色果梗暴露在外的面積相對較多，因此可將果梗面積作為緊實度的衡量指標之一。

為有效提取紅提果梗區(qū)域，需將紅提從背景中提取出來，由于RGB圖像果串區(qū)域與背景顏色有明顯區(qū)別，故選擇RGB圖像作為原始圖像進行果梗的提取。

如圖2a所示，新鮮紅提的果梗呈現(xiàn)綠色，而紅提果粒部分則顯示為暗紅色，以此為依據(jù)進行果梗的提取得到圖2b。

圖2 紅提的原始RGB（a）、原始近紅外（b）圖像Fig.2 Original RGB (a) and NIR (b) images of Red Globe grapes

由于G分量在RGB空間中的占比較大，本研究通過實驗發(fā)現(xiàn)使用RGB圖像分割法[15-17]效果顯著，通過對比提取的R、G、B彩色圖像分量及歸一化后的r、g、b分量，發(fā)現(xiàn)使用GB混合色差法能得到較為理想的目標果梗區(qū)域，通過GB的色差運算可得到圖3a，此時紅提果梗區(qū)域與背景差異足夠明顯，經(jīng)過Otsu閾值算法自動選取出最佳閾值，將灰度圖轉化為二值圖，分離出果梗圖像，經(jīng)觀察發(fā)現(xiàn)果梗圖像中包含許多不屬于果梗的小閾值干擾，運用腐蝕膨脹處理運算，除去多余干擾和擴大果梗區(qū)域，最終效果如圖3b所示，通過比較圖3a、b，發(fā)現(xiàn)圖3b中提取的果梗面積有部分的缺失，為了解決這一問題，通過RG的色差運算得到圖3c，經(jīng)過與圖3a相同的操作，得到圖3d，對比圖3b與圖3d，發(fā)現(xiàn)兩張圖片中果梗完整度互補如圖3e所示，圖中亮白色果梗為兩圖片共有區(qū)域，灰白色果梗為兩圖片互補區(qū)域。進行整合后得到最終紅提果梗區(qū)域如圖3f所示，有效除去干擾。

圖3 紅提果梗的提取GB色差運算（a）、二值化分離果梗（b）、RG色差運算（c）、二值化分離果梗（d）、果?；パa（e）、果梗（f）的結果Fig.3 Extraction results of GB color difference (a), binary separation of fruit stems (b), RG color difference (c), binary separation of fruit stems (d),complementary fruit stems (e), and fruit stems (f) for Red Globe grapes

1.3.2.2 紅提果粒定位

經(jīng)過大量實際觀察與分析，緊實度越高的紅提串，由于其果粒之間相互擠壓，拍攝后的紅提圖片在其果串輪廓內可見的果粒個數(shù)也越多。反之，緊實度越低的紅提由于果粒之間空隙大，拍攝得到的紅提果串輪廓內包含的果粒個數(shù)少，因此本實驗將紅提果粒個數(shù)與果串面積之比作為紅提緊實度的又一衡量指標。

紅提果串面積的提取比較簡單，提取紅提圖片的R、G、B彩色分量，歸一化后選出果串區(qū)域與背景差異最大的圖片，二值化后即可得到紅提的果串面積大小。為提取紅提的果粒個數(shù)，則需對紅提的果粒進行定位。

近紅外圖像上紅提串的果梗區(qū)域亮度較高，在提取果粒中心的操作過程中會造成較大誤差，因此需將紅提果梗去除，1.3.2.1節(jié)中已經(jīng)完成了果梗區(qū)域的提取，只需將提取的果梗區(qū)域二值化，取反后與紅提的原始近紅外圖片做乘法運算即可得到去除果梗的效果圖，效果圖見圖4a。可以發(fā)現(xiàn)此方法去除果梗區(qū)域效果顯著，極少幾顆葡萄表面存在極小黑點，對后面果粒中心的提取無影響。

圖4 紅提近紅外去果梗（a）、形態(tài)學重構（b）、粒心連通域提取（c）、去除干擾（d）、果粒定位（e）圖Fig.4 Near-infrared images of Red Globe grapes: removal of fruit stem (a), morphological reconstruction (b), fruit core connected domain extraction (c), interference removal (d), and fruit location (e)

將腐蝕后的圖4a作為標記，記為J，以圖4a作為掩碼記為I，完成形態(tài)學修飾，經(jīng)過腐蝕、膨脹、圖像取反和多次形態(tài)學修飾得到重構后的圖像如圖4b所示。

由于一串紅提中有很多果粒，找出每粒紅提中心，則須將每粒紅提分割開，這里采用標記分水嶺分割算法，經(jīng)過對比，使用roberts算子處理圖4b構建計算模板，構建開運算結構元素，對圖4b進行腐蝕處理，將腐蝕后的結果作為標記，求補后膨脹處理，最后對腐蝕、膨脹的結果進行重建求補即可大致分離出每粒紅提中心亮度較高部分的連通域如圖4c所示。

觀察發(fā)現(xiàn)其中的白色規(guī)則豆粒狀白點為每粒葡萄的中心亮點區(qū)，但圖4c中同時存在不規(guī)則大面積的連通區(qū)域，其原因為燈光照射在背景上的不均勻反射，由圖4b可知，燈光在圖片的中下區(qū)域反光較為強烈，同時在拍攝時懸掛葡萄的頂部裝置區(qū)域同樣也引起光源的較強反射。由于采集圖片的背景一致，光源的不均勻反射情況相同，因此本圖像處理過程中采用自動刪除大面積對象的方法，由于每個規(guī)則白色豆粒小點的像素介于300～800之間，因此將大于800 像素的連通域刪除，得到分布合理的紅提果粒中心連通域區(qū)域，如圖4d所示。通過獲取圖4d中每個連通域的屬性，得到每粒紅提果粒的中心，使用紅星標注在原始灰度圖像中，如圖4e所示。1.3.2.3 紅提質心定位

紅提果粒與紅提質心距離之和與果粒個數(shù)之比是本實驗確立的紅提緊實度的重要衡量指標之一。因為紅提緊實度越高，紅提果粒之間的距離越小，每粒果粒與紅提質心的距離也越小，而同時紅提越緊實，紅提果粒個數(shù)越多，此比值也越小。反之，紅提緊實度越低每粒果粒與紅提質心的距離之和越大，紅提果粒個數(shù)越多，比值也越大。

對紅提質心進行定位。先在去果梗后的紅提灰度圖片上進行圖像的區(qū)域邊界提取。由于每串紅提緊實度的不同，其果梗若暴露面積較小，在邊界提取時整串紅提果粒區(qū)域為一整個連通域，如圖5a所示（凹陷區(qū)域為果梗去除后區(qū)域。圖5a、c紅色標記點為每粒紅提果粒中心點，圖5a藍色標記點為去除果梗后果實區(qū)域質心）。如圖5b所示，若紅提果梗暴露面積過大，暴露的果梗有可能將部分區(qū)域的紅提果粒隔離開。如圖5c所示，對紅提進行邊界提取后將產生以淺藍、黃和深藍色區(qū)域所示的連通域。若根據(jù)多個連通域尋找紅提串質心將會造成多區(qū)域質心的情況，且每個連通域均產生各自的質心（不同連通域質心以黑色小點表示），這在后期提取各果粒與質心的距離之和的特征時將造成干擾，為避免這種情況，本研究保留連通域中的最大區(qū)域，如圖5c中的淺藍色區(qū)域，舍棄黃色和深藍色區(qū)域標記的通區(qū)域以保證質心的唯一性。

圖5 紅提的緊實果串粒心（a）、疏松果串（b）、疏松果串粒心（c）的質心定位圖Fig.5 Centroid positioning diagrams for compact bunches (a), loose bunches (b), and fruits in loose bunches

假設每粒紅提果粒與紅提質心的距離之和為S，則其計算方法如式（1）、（2）所示：

式中：Meva（i）表示第i粒紅提中心與質心距離；s（i, 2）、s（i, 1）分別表示第i粒紅提位置的橫、縱坐標；x、y表示質心橫、縱坐標；初始值S0為0，得到每粒果粒坐標位置后S值逐漸累積增大。

2 結果與分析

2.1 緊實度的評判標準

查閱我國現(xiàn)有的國家、行業(yè)和地方標準，根據(jù)DB 65/T 4298—2020《新疆鮮食葡萄果品質量分級標準》[18]、DB 65/T 2832—2007《紅地球葡萄分級標準》[19]發(fā)現(xiàn)對果穗緊實度一般以緊實、較緊實和疏松等詞定性描述，沒有葡萄緊實度的量化指標。根據(jù)國際葡萄與葡萄酒組織（International Organization of Vine and Wine，OIV）對葡萄果穗的緊實度的規(guī)定[20]，專業(yè)人員根據(jù)果穗上果粒的分布密度、果粒之間的擠壓程度、果?？蓳u動性、果穗表面的空隙、穗莖梗干的可見度等方面進行綜合評估，給出果穗緊實度分值如下：1 分為最疏松、5 分為較緊實，9 分為最緊實[21]。

本實驗將1～3 分歸為疏松類別，4～6 分歸為較緊實類別，7～9 分歸為緊實類別。若果穗中存在大孔洞，顆粒與顆粒之間存在很大間隙，果梗暴露在外的面積大則屬于疏松類別。若果穗緊密，果粒之間相互擠壓，排列密致，果粒失去原有形狀，果穗表面無任何空隙，果梗無外露則屬于緊實類別。屬于較緊實類別的果穗在疏松與緊實之間。3 類果穗緊實效度果如圖6所示。

圖6 緊實（a）、較緊實（b）、疏松（c）紅提串的效果圖Fig.6 Images of very compact (a), compact (b) and loose (c) Red Globe grape bunches

本實驗組織10 名專業(yè)葡萄園技術人員對紅提果穗緊實度進行評價，評判結果作為視覺檢測分級模型的對照標準。評價過程分3 步：1）技術人員熟悉2007年OIV發(fā)布的相關葡萄緊實度分類規(guī)則；2）技術人員對同一批紅提進行緊實度得分評判（評分1～9 分）；3）取評判得分平均值作為每串紅提最后的得分，1～3 分之間則判定此串紅提緊實度為疏松（圖6c），4～6 分之間則判定為較緊實（圖6b），7～9 分之間則判定為緊實（圖6a）。

2.2 緊實度的判別模型

本實驗共提取18 組與紅提相關的特征，為簡化數(shù)據(jù)量加快模型的運算速率，將這18 組特征數(shù)據(jù)進行主成分分析，提取排名前5的特征數(shù)據(jù)（貢獻率較高的5 個特征為果粒個數(shù)、果梗面積、紅提G分量二階矩、紅提果粒與紅提質心距離之和與果粒個數(shù)之比、果串面積），以之建立模型。

2.2.1 基于線性判別分析的緊實度分類模型

線性判別式分析是一種有效的特征抽取方法[22-23]。常規(guī)線性判別模型一般針對2 分類問題，旨在找到一條直線將數(shù)據(jù)分割開[24-25]，引入到3 分類問題時，基本思路相同，只需引入全局散度矩陣即可。紅提串圖像降維分類預測效果如圖7所示。

圖7 線性判別式分析3 分類散點圖Fig.7 LDA three-category scattering plot

由圖7可知，分布區(qū)域區(qū)分明顯，而較緊實個體與疏松個體的分布有混合情況發(fā)生，錯判個體主要存在于較緊實部分的紅色點，疏松部分的橙色點次之，緊實部分藍色點錯判最少，判斷的總體準確率83.1%。

以上3 種類別建模的受試者工作特征（receiver operating characteristic，ROC）曲線及對應的曲線下面積（area under curve，AUC）如圖8所示，建立模型的效果可以通過AUC的值判斷，一般AUC值越大，表示建立模型效果越好[26-27]。圖8中ROC曲線，橫軸為假正率（false positive rate，F(xiàn)PR），即實際為負但被錯誤預測為正與實際為負的比例）；縱軸為真正率（true positive rate，TPR），即實際為正且被正確預測為正與實際為正的比例。AUC即為ROC曲線下的面積[28-29]。被分類為緊實模型的AUC值為0.98（圖8a），被分類為較緊實模型的AUC值為0.88（圖8b），被分類為疏松模型的AUC值為0.96（圖8c），因此此模型具有良好效果。

圖8 線性判別式分析模型的緊實（a）、較緊實（b）、疏松（c）紅提串ROC曲線Fig.8 ROC curves of the LDA model for (a) very compact, (b)compact and (c) loose Red Globe grape bunches

2.2.2 基于集成學習算法的緊實度分類模型

集成學習算法是集合多個不同的算法和模型創(chuàng)建集成學習器[30-32]。本實驗主要集成決策樹分類器，K近鄰（Knearest neighbors，KNN）分類器對數(shù)據(jù)進行分類，將130 組數(shù)據(jù)中的100 組作為實驗組，剩余30 組數(shù)據(jù)作為驗證組選擇Boosting框架的集成學習算法對數(shù)據(jù)進行建模。分類效果如圖9、10所示。

圖9 Boosting 3 分類散點圖Fig.9 Boosting three-category scattering plot

如圖9所示，紅提分類效果相較于線性判別模型的效果更好，因為藍色緊實點與橙色和紅色點分布于不同區(qū)域，與線性判別不同的是較緊實的紅色點更加集中于區(qū)域中部，且錯判個體有所減少，其總體的分類準確率達到89.2%。

模型對分類為緊實的樣本的AUC的值為1.00（圖10a），而分類為較緊實和疏松的樣本的AUC的值也達到0.94（圖10b）和0.99（圖10c），因此建立模型的效果顯著。

圖10 集成學習算法模型的緊實（a）、較緊實（b）、疏松（c）紅提串ROC曲線Fig.10 ROC curves of the ILA model for very compact (a), compact (b)and loose (c) Red Globe grape bunches

2.2.3 基于支持向量機的緊實度分類模型

支持向量機是一類按監(jiān)督學習方式對數(shù)據(jù)進行二元分類的廣義線性分類器，可較好地解決小樣本、非線性、高維度、局部極小點等問題[33-35]?；谥С窒蛄繖C的緊實度分類效果如圖11所示。

圖11 支持向量機3 分類散點圖Fig.11 SVM three-category scattering plot

從圖11可知，3 種類別的數(shù)據(jù)點相較于前面兩種模型數(shù)據(jù)的集中度更高，紅色點比較集中于藍色點與橙色點之間，模型判別的錯誤率也有所下降，緊實類別的錯判率為0，而較緊實和疏松類別的錯判率也大幅下降。

從圖12可知，支持向量機模型的顯著性效果也十分優(yōu)越，分類為緊實、較緊實和疏松的紅提樣本的AUC值均不低于0.97，由圖11可知，總體分類的準確率為94.6%。

圖12 支持向量機模型的緊實（a）、較緊實（b）、疏松（c）紅提串ROC曲線Fig.12 ROC curves of the SVM model for very compact (a),compacted (b) and loose (c) Red Globe grape bunches

2.2.4 模型比較與分析

表1包含3 種建模方式得到紅提3 分類的具體預測結果，正確率用以評估模型的預測質量，召回率用以評估模型預測的完整度，其比例越大，說明建模質量越高，對比3 類模型，線性判別分析用時最短，但模型的總體正確率最低，只達到83.1%的正確率。

表1 3 種建模方法分類結果比較Table 1 Comparison of classification results of three modeling methods

集成學習算法的準確率相對有所提升，達到89.2%，且其相比于線性判別分析模型的緊實、疏松類的召回率有較大提升，說明集成學習算法建模的完整度高于線性判別分析，但其訓練時間為8.312 4 s，用時過長，這是其最大的不足。

支持向量機建模效果為最佳模型，召回率均高于85%，其中緊實與較緊實的召回率達到97.96%及96.23%，模型的完整度高，其總體分類準確率為94.6%，分類效果同樣十分理想，且其訓練的時間為2.096 7 s，用時比線性建模略多，但比集成學習算法訓練用時少很多。因此綜合比較3 種建模方式，支持向量機模型為3 種模型中最優(yōu)模型。

3 結 論

本實驗運用一體化圖像采集設備對紅提串多方位拍攝，提取紅提果梗的面積參數(shù)、紅提果粒與紅提質心的距離之和等特征參數(shù)，通過線性判別分析、集成學習算法和支持向量機3 種方法建立紅提串緊實度的不同判別模型，支持向量機的模型正確率達到94.6%。本實驗所得的緊實度的分類量化標準及理想預測質量的模型，可為紅提緊實度分類的標準化提供參考。