馬志艷，王玉斌，陳學(xué)海

（1.湖北工業(yè)大學(xué)，武漢 430068；2.湖北省農(nóng)機(jī)裝備智能化工程技術(shù)研究中心，武漢 430068）

0 引言

我國是世界上草莓栽培面積最大、產(chǎn)量最多的國家，年產(chǎn)量可達(dá)300萬噸［1］。為了提高草莓利潤，須對草莓進(jìn)行快速、精準(zhǔn)的自動(dòng)流水線分級處理。目前國內(nèi)對草莓的分級仍采用人工作業(yè)，且分級因人而異，缺乏客觀性。為了高效、統(tǒng)一地完成對草莓的分級，國內(nèi)研究者以機(jī)器視覺為基礎(chǔ)展開研究。張青等［2］提出草莓在線分級方法，利用凸包檢測其輪廓，SVM建立形狀分類，完成草莓分級，綜合準(zhǔn)確率達(dá)到96.7%。楊濤等［3］提出基于視覺的草莓自動(dòng)分級方法，利用HSV顏色空間判斷成熟度，達(dá)標(biāo)的草莓進(jìn)行下一步質(zhì)量檢測，最后使用Kmeans均值判斷其形狀，實(shí)現(xiàn)草莓分級，準(zhǔn)確率達(dá)到90%以上。XU等［4］使用機(jī)器視覺對草莓進(jìn)行分級，從形狀、顏色、大小出發(fā)，采用K均值聚類獲得形狀特征，通過LAB顏色空間獲得顏色特征，最后通過果實(shí)直徑得到草莓大小，從而實(shí)現(xiàn)草莓的分級，準(zhǔn)確率達(dá)到90%以上。但目前草莓分級指標(biāo)不全，數(shù)據(jù)區(qū)分度低，因此有必要引入草莓缺陷指標(biāo)，對草莓分級進(jìn)行更深入的研究。

本文以丹東草莓（大型果）為對象，研究基于圖像的草莓品質(zhì)模型，采用圖像處理方法提取草莓的顏色、尺寸以及形狀信息，并對草莓缺陷、成熟度、規(guī)格和形狀進(jìn)行量化，得到品質(zhì)模型。根據(jù)品質(zhì)模型對目標(biāo)草莓進(jìn)行品質(zhì)分級，提高草莓的自動(dòng)分選效率和各品質(zhì)草莓的區(qū)分度。

1 草莓品質(zhì)傳統(tǒng)評判方法

在行業(yè)標(biāo)準(zhǔn)NY/T 1789-2009《草莓等級規(guī)格》中［5］，將符合基本要求的草莓劃分為特級、一級和二級3個(gè)等級。在對這3個(gè)等級進(jìn)行區(qū)分時(shí)，主要是依據(jù)外形缺陷、著色面積比和表面缺陷等方面；同時(shí)也將草莓劃分為大、中、小3個(gè)規(guī)格，給出各規(guī)格的重量參考范圍。如表1，2所示。

表1 草莓等級劃分Tab.1 Strawberry grading

表2 各品種草莓規(guī)格劃分Tab.2 Specification classification of strawberry varieties g

此外，該標(biāo)準(zhǔn)還定義了品質(zhì)容許度和規(guī)格容許度。依據(jù)此標(biāo)準(zhǔn)對單顆草莓進(jìn)行評價(jià)有一定的指導(dǎo)意義，但是數(shù)據(jù)區(qū)分度低，人工難以準(zhǔn)確把握，導(dǎo)致品質(zhì)容許度和規(guī)格容許度無法保證，無法作為草莓品質(zhì)判斷的統(tǒng)一標(biāo)準(zhǔn)。如在評價(jià)草莓著色面積比時(shí)，僅憑人工感覺對著色面積進(jìn)行判斷，受主觀影響，導(dǎo)致處于分級界限附近的草莓常常被劃分到不同的等級。在對大量草莓進(jìn)行規(guī)格劃分時(shí)，無法對每個(gè)草莓逐一稱重，因此常常通過經(jīng)驗(yàn)對其進(jìn)行質(zhì)量估計(jì)，導(dǎo)致一些處于質(zhì)量分級界限的草莓常常被誤分。對于表面缺陷的判斷，標(biāo)準(zhǔn)中僅為文字描述，缺少具體數(shù)據(jù)，導(dǎo)致人工對表面缺陷范圍難以把握，評判等級不一。因此有必要借助視覺傳感器，實(shí)時(shí)采集草莓分選流水線圖像，提取草莓品質(zhì)評價(jià)相關(guān)特征，根據(jù)標(biāo)定樣本來界定各特征對品質(zhì)的影響，對草莓等級評價(jià)、規(guī)格評價(jià)進(jìn)行整合，得到適合于草莓分選生產(chǎn)線的快速品質(zhì)整體評價(jià)優(yōu)化標(biāo)準(zhǔn)。

2 基于視覺特征的草莓品質(zhì)建模

以丹東草莓（大型果）為研究對象，從多個(gè)工人分選的類別中挑選300個(gè)草莓樣本，綜合考慮成熟度、缺陷（表面破損/附著泥土/腐壞等）、重量以及形狀等因素。在草莓品質(zhì)傳統(tǒng)評價(jià)方法基礎(chǔ)上，建立草莓品質(zhì)評價(jià)模型并進(jìn)行針對性優(yōu)化。在基于視覺模塊得到的草莓可見光圖像數(shù)據(jù)中，提取顏色、尺寸、形狀和缺陷等特征，根據(jù)這些特征從等級、規(guī)格2個(gè)方面進(jìn)行品質(zhì)綜合評價(jià)。

2.1 草莓等級評價(jià)

以傳統(tǒng)草莓等級劃分為基礎(chǔ)，根據(jù)草莓評價(jià)樣本，將清洗后的待分級草莓通過缺陷、成熟度和形狀的綜合評分，對草莓進(jìn)行分級。

2.1.1 草莓缺陷檢測

草莓缺陷一般分為擠壓和腐敗。從顏色看，擠壓缺陷部分一般為棕紅色，腐敗部分一般為黑色。在人工評價(jià)過程中，黑色腐敗缺陷會(huì)導(dǎo)致草莓無法食用，從而直接評判為劣等；棕紅色擠壓缺陷如果面積較大也將評判為劣等，只有小面積擠壓缺陷的草莓會(huì)進(jìn)行缺陷評分，并進(jìn)入下一步成熟度檢測。

以此為基礎(chǔ)，通過顏色特征對草莓圖像進(jìn)行顏色分割，提取缺陷顏色和面積，得到缺陷種類和大小，并對草莓缺陷進(jìn)行評分。通過提取樣本草莓HSV顏色模型三通道數(shù)據(jù)，分別得到草莓?dāng)D壓缺陷和腐敗缺陷色閾范圍，對其進(jìn)行顏色分割，如圖1所示。

圖1 草莓缺陷檢測Fig.1 Strawberry defect detection

取若干個(gè)因擠壓缺陷面積過大被人工評判為劣等的草莓樣本，對其進(jìn)行缺陷面積檢測和數(shù)據(jù)分析，如圖2所示。將缺陷面積與草莓投影面積之比記K1，其中最小缺陷面積占比為8%。以此為標(biāo)準(zhǔn)，當(dāng)K1≥8%時(shí)，將草莓等級評判為劣等，不進(jìn)入下一步成熟度檢測。當(dāng)K1＜8%時(shí)，對草莓進(jìn)行缺陷評分，并進(jìn)入下一步成熟度檢測。

圖2 劣等草莓缺陷面積統(tǒng)計(jì)Fig.2 Statistics on inferior strawberry defect area

組織若干名有經(jīng)驗(yàn)的分級人員，對小面積擠壓缺陷的草莓進(jìn)行缺陷評分，以0.5分遞增，最高為1.5分。當(dāng)K1≤2%，草莓缺陷評為1.5分；當(dāng)2%＜K1≤5%，草莓缺陷評為1分；當(dāng)5%＜K1＜8%，草莓缺陷評為0.5分；當(dāng)K1≥8%，草莓缺陷評為0分。

2.1.2 草莓成熟度檢測

對滿足缺陷要求的草莓，進(jìn)行成熟度檢測。在檢測到草莓后，將其從背景中分割出來，通過BGR顏色空間轉(zhuǎn)HSV顏色空間［6-7］，提取其H通道數(shù)據(jù)，并根據(jù)草莓樣本直方圖（圖3），得到草莓紅色對應(yīng)的H通道參數(shù)的取值范圍，為［0，10］和［175，180］，將其作為草莓的鮮紅色色閾取值范圍。

圖3 典型草莓H通道樣本直方圖Fig.3 Histogram of typical strawberry H channel samples

據(jù)此對草莓進(jìn)行顏色分割，得到草莓鮮紅色像素著色面積，計(jì)算其與草莓整體像素面積之比K2，將草莓成熟度分為特等、一等、二等和不成熟，實(shí)現(xiàn)對目標(biāo)草莓的成熟度評價(jià)。參考相關(guān)行業(yè)標(biāo)準(zhǔn)，將草莓成熟度等級定義：0.98≤K2≤1為特等；0.9≤K2＜0.98為一等；0.8≤K2＜0.9為二等；K2＜0.8為不成熟。其分割效果如圖4所示。暗色線條繪制草莓整體輪廓，亮色線條繪制草莓成熟區(qū)域輪廓。

圖4 草莓顏色判別Fig.4 Strawberry color discrimination

為進(jìn)一步優(yōu)化系統(tǒng)對草莓成熟度的判別范圍，選取系統(tǒng)分級的每個(gè)等級草莓樣本各40個(gè)，進(jìn)行樣本編號和K2值計(jì)算，得到各草莓個(gè)體K2值分布圖。序號1～40為系統(tǒng)分級特等，41～80號為一等，81～120號為二等，121～160號為不成熟。在3位分級人員不知道系統(tǒng)分級結(jié)果的情況下，對草莓樣品進(jìn)行人工分級，并統(tǒng)計(jì)與系統(tǒng)分級不一致的草莓序號，如表3所示。將誤分草莓對應(yīng)的K2以虛線畫出，如圖5所示。

圖5 樣本草莓著色比分布與誤分草莓序號圖Fig.5 Sample strawberry coloring ratio distribution and misdivided strawberry serial number plot

表3 人工誤分草莓編號Tab.3 Manual misdivided strawberry seriel number

人工分級的特等草莓與系統(tǒng)分級一致，其余等級草莓分級存在偏差。統(tǒng)計(jì)3名工人分級不一致的草莓序號，一等草莓中41，51，52，57，58，61，67，68，72，76多次出現(xiàn)，二等草莓中82，84，92，96，100，106，118多次出現(xiàn)，不成熟草莓中124，129，130，138，142，148，153多次出現(xiàn)。取誤分草莓編號中最小K2值，得到一等誤分草莓中最小K2=0.95；二等誤分草莓中最小K2=0.87；不成熟誤分草莓中最小K2=0.77，將其作為草莓成熟度等級判別的新閾值，即可得到優(yōu)化后的成熟度評分閾值范圍。當(dāng)0.95≤K2≤1，成熟度評為1.5分；0.87≤K2＜0.95，成熟度評為1分；0.77≤K2＜0.87，成熟度評為0.5分；K2＜0.77，成熟度評為0分。

2.1.3 草莓形狀檢測

完成草莓成熟度檢測后，將不成熟草莓直接評判為劣等，并對滿足成熟度要求的草莓進(jìn)行形狀評價(jià)。通過機(jī)器視覺，對草莓投影面積進(jìn)行計(jì)算，并繪制最大外接矩形。將外接矩形長寬比記為a1，草莓輪廓面積與矩形面積比記為a2。通過a1和a2可大致將草莓分為如下3種形狀，如圖6所示。

圖6 草莓形狀圖Fig.6 Strawberry shape diagram

選取人工分選的圓錐形、近長方形和近圓形草莓樣本共90個(gè)，計(jì)算其a1和a2，并進(jìn)行數(shù)據(jù)統(tǒng)計(jì)。采用K—Medoids中心點(diǎn)聚類算法對數(shù)據(jù)進(jìn)行處理，按草莓形狀設(shè)置3個(gè)簇，得到各形狀的數(shù)據(jù)范圍，如圖7所示。

圖7 K—Medoids聚類結(jié)果Fig.7 K—Medoids clustering results

當(dāng)a1≥1.12且a2＜0.76時(shí)，形狀為圓錐形；當(dāng)a1≥1.12且a2≥0.76時(shí)，為近長方形；當(dāng)a1＜1.12時(shí)，為近圓形。

得到草莓果形評價(jià)后，進(jìn)行形狀評分。當(dāng)草莓果形為圓錐形，形狀評為1.5分；當(dāng)果形為近長方形，形狀評為1分；當(dāng)果形為近圓形，形狀評為0.5分。

2.1.4 草莓等級評分

選取草莓缺陷、成熟度、形狀3項(xiàng)指標(biāo)，采用熵權(quán)法計(jì)算權(quán)重因子［8］，對草莓等級進(jìn)行綜合評分，其評分以n1表示。通過缺陷、成熟度、形狀評分，得到27×3的矩陣如下式所示，并對矩陣參數(shù)進(jìn)行處理。

①數(shù)據(jù)標(biāo)準(zhǔn)化處理：

②數(shù)據(jù)歸一化處理，得到各指標(biāo)在各方案中所占比重：

③信息熵計(jì)算，其中：k=1/ln27

④權(quán)重因子計(jì)算，其中a=3：

根據(jù)草莓缺陷評分、成熟度評分、形狀評分和權(quán)重因子，對草莓等級得分進(jìn)行計(jì)算，并根據(jù)草莓等級得分進(jìn)行評級，其表達(dá)如下式所示，等級評分如表4所示。

表4 草莓等級評分Tab.4 Strawberry grade score

2.2 草莓規(guī)格評價(jià)

完成草莓等級評價(jià)后，對滿足等級要求的草莓進(jìn)行質(zhì)量擬合和規(guī)格評價(jià)。

2.2.1 草莓質(zhì)量擬合函數(shù)

通過提取草莓圖像投影面積和投影周長作為輸入?yún)?shù)來擬合質(zhì)量［9-11］，建立草莓投影面積、投影周長與草莓質(zhì)量的函數(shù)關(guān)系表達(dá)式，對滿足等級要求的草莓進(jìn)行質(zhì)量擬合和評分。

采用精度為0.1 g的電子天平對120個(gè)草莓樣本逐一測量，得到每個(gè)草莓樣本的質(zhì)量。對120個(gè)樣本草莓進(jìn)行圖像采集，通過圖像處理得到草莓投影像素面積和周長，并根據(jù)相機(jī)標(biāo)定計(jì)算得到草莓投影面積和周長，以此得到投影面積、投影周長和質(zhì)量關(guān)系散點(diǎn)，如圖8所示。

圖8 草莓投影面積、投影周長和質(zhì)量關(guān)系散點(diǎn)圖Fig.8 Strawberry projection area, projection perimeter, and mass relationship scatter plot

對數(shù)據(jù)進(jìn)行相關(guān)性分析，通過曲線回歸，得到草莓質(zhì)量M、投影周長L和投影面積S的關(guān)系擬合函數(shù)，如下式：

回歸曲線擬合度的R2=0.976，說明擬合度較高。

2.2.2 草莓規(guī)格評價(jià)

通過投影面積、投影周長與質(zhì)量的擬合函數(shù)實(shí)現(xiàn)草莓質(zhì)量評估，對草莓規(guī)格進(jìn)行評分，以n2表示，規(guī)格評分如表5所示。

表5 草莓規(guī)格評分Tab.5 Strawberry specification score

2.3 草莓品質(zhì)評價(jià)

得到草莓等級評分和規(guī)格評分后，創(chuàng)建21×2的矩陣，再次使用熵權(quán)法，計(jì)算得到草莓等級權(quán)重因子為0.35，草莓規(guī)格權(quán)重因子為0.65。通過等級評分、規(guī)格評分和權(quán)重因子，對草莓品質(zhì)進(jìn)行綜合評分，記為N，如下式，其評級如表6所示。

表6 草莓品質(zhì)評級Tab.6 Strawberry quality rating

3 基于視覺的草莓分選試驗(yàn)

3.1 草莓分選實(shí)驗(yàn)裝置設(shè)計(jì)

實(shí)驗(yàn)平臺由傳送帶上料裝置、視覺檢測裝置、海綿滾軸和Delta機(jī)械手組成［12］?？紤]到單個(gè)傳送帶和攝像頭，無法對草莓另一面進(jìn)行數(shù)據(jù)提取，導(dǎo)致草莓品質(zhì)分級存在片面性，因此選擇2段傳送帶對草莓進(jìn)行分選試驗(yàn)，如圖9所示。

圖9 草莓品質(zhì)分選實(shí)驗(yàn)平臺Fig.9 Strawberry quality sorting experimental platform

在2段傳送帶之間安裝1個(gè)順時(shí)針旋轉(zhuǎn)的海綿滾軸，傳送帶1略高于傳送帶2，且攝像頭1和攝像頭2分別正視于傳送帶。當(dāng)草莓處于傳送帶1的中心位置時(shí)，進(jìn)行第1次圖像采集和分級。當(dāng)草莓處于傳送帶邊緣時(shí)，由于自身重力影響和其傳送帶邊緣的圓弧形狀，草莓逐漸發(fā)生傾斜，豎直向下掉落在海綿滾軸上，在海綿滾軸的旋轉(zhuǎn)影響下，使得草莓自動(dòng)翻面并落在傳送帶2上。當(dāng)草莓處于傳送帶2的中心位置時(shí)，進(jìn)行第2次圖像采集和分級。2次分級以低品質(zhì)分級結(jié)果為最終結(jié)果。完成草莓品質(zhì)分級后，采用執(zhí)行末端為帶吸盤的Delta機(jī)械手對草莓進(jìn)行分選。

3.2 草莓等級評價(jià)

取123顆丹東草莓，對其進(jìn)行等級分級試驗(yàn)，分級結(jié)果如表7所示。與人工分選結(jié)果相比，機(jī)械分選的一級草莓、二級草莓和三級草莓存在誤分情況，其誤分主要原因有草莓翻面失敗，草莓著色面積或其缺陷面積處于界限位置。整體準(zhǔn)確率達(dá)到96.7%。

表7 草莓等級分級結(jié)果Tab.7 Strawberry grading results

3.3 草莓規(guī)格評價(jià)

將同樣的123顆草莓，對其進(jìn)行人工稱重和圖像拍攝，提取圖像信息，根據(jù)M函數(shù)對其進(jìn)行質(zhì)量評估，并進(jìn)行規(guī)格劃分，結(jié)果如表8所示。試驗(yàn)結(jié)果表明，草莓投影面積與質(zhì)量的線性函數(shù)擬合度較好，其規(guī)格分級準(zhǔn)確率達(dá)到98.4%。

表8 草莓規(guī)格分級結(jié)果Tab.8 Strawberry specification grading result

3.4 草莓品質(zhì)分選

隨機(jī)選取質(zhì)量不等、著色不一的大型果草莓107顆，根據(jù)草莓品質(zhì)分級模型對其進(jìn)行分選試驗(yàn)，結(jié)果如表9所示。排除低品質(zhì)草莓樣本較少的因素影響，與人工分選結(jié)果相比，一共有4顆草莓出現(xiàn)分級結(jié)果不一致，5顆草莓分選失敗。各品質(zhì)分級準(zhǔn)確率均在94%以上，整體分級準(zhǔn)確率達(dá)到96.3%，草莓分選成功率達(dá)到95.3%。每幅草莓圖像處理平均耗時(shí)37 ms，每顆草莓分選耗時(shí)0.87 s。誤分主要原因?yàn)榇嬖诓葺媸〉那闆r，且另一面恰巧存在缺陷或著色面積不達(dá)標(biāo)，導(dǎo)致草莓等級評價(jià)出現(xiàn)偏差，造成分級誤差。分選失敗原因?yàn)榇嬖诓葺〔焕喂?，中途掉落的情況。

表9 草莓品質(zhì)分選結(jié)果Tab.9 Strawberry quality grading results

4 結(jié)語

（1）針對草莓品質(zhì)傳統(tǒng)評判方法，提出基于視覺的草莓品質(zhì)模型，通過圖像處理提取到的顏色、尺寸和形狀信息，分別對草莓缺陷、成熟度、質(zhì)量和形狀特征進(jìn)行量化，并引入權(quán)重因子對草莓品質(zhì)進(jìn)行綜合評分，使模型具有較好的實(shí)用性。

（2）基于顏色的圖像分割能有效分割正常草莓的鮮紅色面積、有腐敗缺陷的黑色面積和有擠壓缺陷的棕紅色面積?；谛螤钐卣鞯牟葺庑闻袛嗄軌?qū)⒉葺螤罘譃閳A錐形、近長方形和近圓形，形狀判別效果較好。投影面積、投影周長與質(zhì)量關(guān)系函數(shù)擬合度高，質(zhì)量擬合精度較高。

（3）試驗(yàn)表明,基于視覺特征的草莓品質(zhì)模型有較好的實(shí)用性，草莓等級評價(jià)和規(guī)格評價(jià)準(zhǔn)確率分別為96.7%，98.4%。草莓品質(zhì)分級的綜合準(zhǔn)確率達(dá)到96.3%，分選成功率達(dá)到95.3%。圖像處理平均耗時(shí)37 ms，草莓分選平均耗時(shí)0.87 s，可以滿足草莓實(shí)時(shí)分級需要。