楊 濤，馬京晶

（1.成都農(nóng)業(yè)科技職業(yè)學(xué)院機(jī)電信息學(xué)院，成都 611130；2.四川財(cái)經(jīng)職業(yè)學(xué)院信息學(xué)院，成都 610101）

機(jī)器視覺技術(shù)因其低成本與高效率的特點(diǎn)在現(xiàn)代農(nóng)業(yè)生產(chǎn)中有著較廣泛的應(yīng)用［6］。機(jī)器視覺技術(shù)在芒果［7］、桃［8］、葡萄［9］、獼猴桃［10］、蘋果［11］等水果品質(zhì)無損檢測(cè)中有一定的應(yīng)用。本研究以川渝地區(qū)主產(chǎn)水果柑橘為對(duì)象，運(yùn)用機(jī)器視覺技術(shù)探討柑橘自動(dòng)分級(jí)方法并設(shè)計(jì)了柑橘全自動(dòng)分級(jí)裝備，以期降低水果分級(jí)成本，進(jìn)而促進(jìn)水果生產(chǎn)全程機(jī)械化發(fā)展。

1 柑橘分級(jí)策略與技術(shù)路線

根據(jù)柑橘分級(jí)國(guó)家標(biāo)準(zhǔn)《GB/T 12947—2008 鮮柑橘》與行業(yè)標(biāo)準(zhǔn)《NY/T 1190—2006 柑橘等級(jí)規(guī)格》，柑橘分級(jí)主要依據(jù)果實(shí)的外觀、大小與內(nèi)在品質(zhì)。水果品質(zhì)無損檢測(cè)主要包括外觀（形狀、顏色、大小、組織缺陷、病蟲害等）與內(nèi)在（成熟度、可溶性糖、糖酸比、農(nóng)藥殘留等）品質(zhì)，水果品質(zhì)無損檢測(cè)技術(shù)主要有高光譜成像［12］（Hyperspectral image，HSI）、近紅外光譜［13］（Near infrared spectrum，NIRS）、機(jī)器視覺［6］（Machine vision，MV）、拉曼光譜［14］（Raman spectra）和深度學(xué)習(xí)［15］等高新信息技術(shù)。其中，機(jī)器視覺技術(shù)成本最低，較適合川渝地區(qū)小規(guī)模農(nóng)戶使用。因此，本研究以柑橘圖像為研究對(duì)象，研究了其分級(jí)方法，柑橘自動(dòng)分級(jí)技術(shù)路線見圖1。

2 柑橘圖像采集與預(yù)處理

為保證采集到的圖像包含全部的柑橘表面缺陷信息，圖像采集裝置（圖2）連續(xù)采集6 張柑橘圖像，再對(duì)圖像進(jìn)行編組，以確保連續(xù)6 張圖像來自同一個(gè)柑橘。進(jìn)一步采用圖像裁剪、去噪和Otsu 閾值分割等圖像處理技術(shù)對(duì)采集到的柑橘圖像進(jìn)行預(yù)處理，以消除圖像背景對(duì)后續(xù)圖像分析的影響。預(yù)處理后圖像見圖3，本研究中未特別說明的情況下提取的特征值均是以采集到的6 張圖像的特征值平均值來表征。

圖2 柑橘圖像采集裝置

圖3 同一個(gè)水果采集到的6 張預(yù)處理后圖像

3 柑橘圖像特征提取與分級(jí)標(biāo)準(zhǔn)

3.1 果形與果重的判定

3.1.1 幾何形狀 柑橘形狀與大小是重要的品質(zhì)分級(jí)指標(biāo)，反映了柑橘的幾何特征。通常使用似圓度（Ro）、矩形度（Re）、最小外接矩形長(zhǎng)寬比（Ra）、最小外接圓面積與目標(biāo)區(qū)域面積比（Rc）描述目標(biāo)區(qū)域的幾何形狀特征［16］。定義二值圖像似圓度為目標(biāo)區(qū)域面積（A）的4π 倍與其周長(zhǎng)（L）的平方之比；矩形度則為目標(biāo)區(qū)域的面積與其最小外接矩形圍成區(qū)域的面積之比，反映了目標(biāo)區(qū)域最小外接矩形充滿程度；長(zhǎng)寬比則為目標(biāo)區(qū)域最小外接矩形長(zhǎng)寬比，反映了該區(qū)域是細(xì)而長(zhǎng)還是短而粗，而且還不受區(qū)域方向與采集圖像焦距的影響，也是較重要的幾何特征；同時(shí)，目標(biāo)區(qū)域面積與其最小外接圓面積之比更能反映球形水果與圓形的相似度，也是較重要的幾何參數(shù)［16］。由此，即可得到描述目標(biāo)對(duì)象幾何形狀的關(guān)鍵技術(shù)指標(biāo)，具體計(jì)算式如下。

式中，L為二值圖像目標(biāo)區(qū)域周長(zhǎng)，即邊緣像素個(gè)數(shù)；A為二值圖像目標(biāo)區(qū)域的面積，即區(qū)域像素個(gè)數(shù)；l、w分別為最小外接矩形的長(zhǎng)邊、短邊的像素個(gè)數(shù)；r為最小外接圓的半徑。

顯然，矩形的矩形度為1，圓的矩形度為π/4，正三角形的矩形度為0.5，而其他不規(guī)則形狀的矩形度在0～1。而且球形的長(zhǎng)寬比、面積比均趨近于1，橢球形的長(zhǎng)寬比、面積比較大，分別計(jì)算各樣本的幾何特征參數(shù)即可判斷其形狀。將樣本圖像轉(zhuǎn)換為二值圖像后分別計(jì)算其幾何特征，并將其最小外接矩形、最小外接圓和最大內(nèi)切圓繪制成圖（圖4）。

語文教師要應(yīng)用合適的方法提高學(xué)生的寫作興趣，讓學(xué)生自己感覺到寫作是一個(gè)有趣且有意義的事情，引導(dǎo)他們學(xué)會(huì)用自己的語言去描繪生活、表達(dá)感情、書寫認(rèn)知。生活和學(xué)習(xí)中，學(xué)生遇到的每一件事，都可以激起他們的寫作興趣，引起他們的寫作欲望，進(jìn)而達(dá)到寫作目的。

選取100 個(gè)柑橘果實(shí)獲得600 張樣本圖像，計(jì)算其幾何特征值，每個(gè)果實(shí)取6 張圖像結(jié)果值的平均值繪制成折線圖（圖5）。由圖5可知，樣本圖像的矩形度（Re）穩(wěn)定在π/4 處，說明樣本幾何形狀為類圓形。而且大部分樣本的長(zhǎng)寬比（Ra）、面積比（Rc）趨近于1，即球形柑橘的Re→π/4、Ra→1、Rc→1，進(jìn)一步說明樣本圖像為正圓形，其余的離散點(diǎn)說明其幾何形狀為橢圓形?？蓱{借樣本的Ra、Rc篩選出橢球狀、球狀以及其他形狀的柑橘。由此，即可實(shí)現(xiàn)柑橘幾何形狀的判定。

圖5 樣本幾何特征值

3.1.2 單果重 柑橘的單果重或果實(shí)橫徑（赤道直徑）同樣是分級(jí)的重要指標(biāo)。一般采用果實(shí)二值圖像或輪廓的最小外接矩形長(zhǎng)短軸來描述果實(shí)的橫徑，進(jìn)而依據(jù)果實(shí)橫徑或投影面積建立預(yù)測(cè)模型以預(yù)估果實(shí)的質(zhì)量［17］。考慮到柑橘形狀以球形或橢球形為主，采用果實(shí)二值圖像最小外接圓與最大內(nèi)切圓直徑的平均值來表征其大小，再以此為基礎(chǔ)預(yù)測(cè)果實(shí)的體積，進(jìn)而構(gòu)建了柑橘果實(shí)質(zhì)量預(yù)測(cè)模型，以搭建柑橘果實(shí)樣本圖像與其真實(shí)質(zhì)量之間的函數(shù)關(guān)系，具體計(jì)算式如下。

式中，λ為修正系數(shù)，經(jīng)試驗(yàn)取λ=1.85；ρ為目標(biāo)對(duì)象密度，取ρ=1.36 g/cm3；rˉ為樣本二值圖像最小外接圓與最大內(nèi)切圓半徑的平均值。

選取大、中、小共100 個(gè)柑橘為試驗(yàn)樣本，編號(hào)后逐一稱得其實(shí)際質(zhì)量（m），再借助柑橘果實(shí)質(zhì)量預(yù)測(cè)模型得到預(yù)估質(zhì)量（me）。對(duì)比實(shí)際質(zhì)量與預(yù)測(cè)質(zhì)量（圖6）發(fā)現(xiàn)，該柑橘果實(shí)質(zhì)量預(yù)測(cè)模型能夠適應(yīng)大、中、小類果實(shí)，尤其對(duì)球形水果適應(yīng)性較好，預(yù)估質(zhì)量誤差范圍在±5 g 之內(nèi)，滿足柑橘按大小分類的要求。

圖6 樣本實(shí)際質(zhì)量與預(yù)估質(zhì)量對(duì)比

3.2 色澤與成熟度

大部分柑橘在成熟過程中果皮顏色會(huì)由綠色逐漸轉(zhuǎn)變?yōu)槌赛S色再到成熟期的橙紅色，該過程稱為轉(zhuǎn)色現(xiàn)象。圖像顏色信息對(duì)圖像本身的方向、尺寸和視角的依賴性較小，具有較強(qiáng)的魯棒性。可據(jù)此現(xiàn)象建立果實(shí)成熟度預(yù)測(cè)模型以判別果實(shí)成熟與否。傳統(tǒng)描述圖像顏色信息的方法主要有顏色矩、顏色直方圖、顏色相關(guān)圖、顏色集與顏色聚合向量等，其中，顏色矩能較好地反映顏色分布情況，是最常見的描述顏色信息的特征值，其計(jì)算式如下［18］。

式中，μi、σi、ζi分別為樣本圖像的一階矩、二階矩、三階矩，Pij為彩色圖像第j個(gè)像素的第i個(gè)顏色分量，N為圖像中的像素個(gè)數(shù)。

計(jì)算樣本圖像的顏色矩信息得到圖7。在RGB顏色模式下，各顏色分量矩特征值均有較明顯的分界線，但還不足以區(qū)分出樣本的成熟度。為此，根據(jù)柑橘顏色越鮮艷、成熟度越高的特點(diǎn)，進(jìn)一步建立了計(jì)算特定顏色的占比而描述樣本成熟度的數(shù)學(xué)模型，將樣本圖像中各顏色分量的像素點(diǎn)中大于試驗(yàn)樣本平均值的像素點(diǎn)設(shè)置為0。即將樣本圖像中的深色部分用黑色背景覆蓋或替換，得到樣本圖像中的淺色部分，具體計(jì)算式如下。

式中，δr、δg、δb分別為樣本圖像各顏色分量分割閾值，分別取其試驗(yàn)樣本的平均值。

隨機(jī)抽取的樣本試驗(yàn)效果見圖8，樣本圖像中深色部分均與背景融合，只顯現(xiàn)出淺色部分。樣本圖像深色部分的面積與整個(gè)樣本圖像面積的比值即可描述樣本的成熟度（ε），具體計(jì)算式如下。

圖8 樣本圖像中的淺色區(qū)域

式中，A0為樣本淺色區(qū)域二值圖像面積；A為樣本二值圖像總面積。

柑橘成熟度還反映出樣本的甜度，柑橘越成熟則表現(xiàn)出較高的甜度，反之則表現(xiàn)出低甜度或高酸度。經(jīng)試驗(yàn)，選擇100 個(gè)柑橘樣本計(jì)算其成熟度，結(jié)果見圖9。當(dāng)ε＜10%時(shí)，說明樣本為未成熟或果皮表面存在較大瑕疵（如病斑等）；當(dāng)10%≤ε＜35%時(shí)，說明樣本成熟度小于其平均值，表現(xiàn)出低甜度；當(dāng)35%≤ε＜50%時(shí)，說明樣本成熟度較為正常，表現(xiàn)出中等甜度；當(dāng)50%≤ε＜80%時(shí)，說明樣本成熟度較高，全部大于樣本的平均值，表現(xiàn)出高甜度；當(dāng)ε≥80%時(shí)，說明樣本顏色過深，果皮可能產(chǎn)生了病變，存在較大的褐色病斑。由此，構(gòu)建了由樣本顏色判斷樣本甜度的數(shù)學(xué)模型，且據(jù)此能夠區(qū)分出樣本中有較大表面缺陷的水果。

圖9 樣本成熟度

3.3 缺陷類型及識(shí)別方法

柑橘果皮常見缺陷表現(xiàn)為機(jī)械損傷、病斑、腐爛日灼和裂果等，這些缺陷通常表現(xiàn)出較大的顏色差異，是柑橘品質(zhì)分級(jí)的重要指標(biāo)［19］。RGB 顏色模式下，圖像容易受到亮度的影響，Otsu 分割難以得到較好的缺陷圖像。Lab 顏色模型由1 個(gè)亮度通道和2個(gè)顏色通道構(gòu)成，能夠較好地消除亮度的影響。為得到較好的缺陷分割效果，將樣本圖像轉(zhuǎn)換到Lab顏色模式再運(yùn)用K-means 聚類算法分割出缺陷區(qū)域。K-means 聚類算法是尋找K個(gè)聚類中心，將所有的數(shù)據(jù)分配到距離最近的聚類中心，使每個(gè)點(diǎn)與其相應(yīng)的聚類中心距離的平方和最小，具體計(jì)算式如下［20］。

K-means 聚類分割算法流程見圖10，該算法需要人為設(shè)定聚類個(gè)數(shù)和隨機(jī)選擇初始聚類中心。試驗(yàn)結(jié)果見圖11，可知，當(dāng)K=3 時(shí)，柑橘樣本圖像缺陷分割效果較好，能夠滿足后續(xù)的圖像處理要求，且穩(wěn)定性較好。

圖10 K-means 聚類分割算法流程

圖11 K=3 時(shí)柑橘樣本圖像缺陷分割效果

K-means 聚類分割算法在分割柑橘表面缺陷有一定優(yōu)勢(shì)，但也存在將正常果圖像錯(cuò)誤地分割出缺陷區(qū)域。進(jìn)一步分析聚類分割結(jié)果發(fā)現(xiàn)，當(dāng)K=3 時(shí)，聚類圖像中面積（像素個(gè)數(shù)）占比最大的區(qū)域?yàn)樗麍D像中的正常區(qū)域，最小的區(qū)域則為黑色背景，而缺陷區(qū)域則始終位于較大的區(qū)域。由此，剔除聚類圖像中面積占比最大與最小的區(qū)域，即可得到圖像中可能存在的缺陷區(qū)域。計(jì)算出該區(qū)域在該水果圖像投影面積的占比（ξ），再據(jù)此進(jìn)一步通過設(shè)置閾值（T）的方法判斷該區(qū)域是否為圖像缺陷，具體計(jì)算式如下。

式中，De為樣本中缺陷區(qū)域的圖像面積。

若ξ≥T，則說明該區(qū)域?yàn)榉侨毕輩^(qū)域，可能在顏色上有一定的差異；若ξ＜T，則判定該區(qū)域?yàn)槿毕輩^(qū)域。試驗(yàn)發(fā)現(xiàn)，水果綠色果梗以及果皮存在較小而不影響銷售的缺陷也會(huì)被篩選出來。為此，增加一個(gè)閾值（T0），剔除果梗圖像對(duì)判別結(jié)果的影響。即T0＜ξ＜T時(shí)，判定該區(qū)域?yàn)楦涕俦砻嫒毕荨?/p>

隨機(jī)選取一定數(shù)量帶缺陷的柑橘，將其混合在沒有缺陷的柑橘中完成編號(hào)后逐一采集圖像計(jì)算其缺陷占比，結(jié)果見圖12。經(jīng)試驗(yàn)，取T=20%缺陷識(shí)別效果較好，T0=2%能夠較好地篩選出果梗區(qū)域。

圖12 樣本缺陷占比

3.4 柑橘圖像自動(dòng)分級(jí)標(biāo)準(zhǔn)與判別模型

柑橘品種較多，不同品種的分級(jí)標(biāo)準(zhǔn)存在差異。為了提高系統(tǒng)的適應(yīng)性，要求系統(tǒng)預(yù)設(shè)多種分級(jí)標(biāo)準(zhǔn)并能根據(jù)果農(nóng)實(shí)際需要實(shí)時(shí)動(dòng)態(tài)調(diào)整。由此，結(jié)合果農(nóng)實(shí)際需要，依據(jù)柑橘果實(shí)大小、形狀、成熟度（甜度）以及外觀品質(zhì)將柑橘分為多個(gè)等級(jí)。為便于柑橘自動(dòng)分級(jí)系統(tǒng)自動(dòng)化處理，結(jié)合對(duì)樣本圖像的幾何形狀、單果重、顏色矩、成熟度、外觀缺陷等信息的分析，篩選出最能表征柑橘品質(zhì)的參數(shù)構(gòu)成柑橘特征向量（X）。由此，建立了樣本圖像自動(dòng)分級(jí)標(biāo)準(zhǔn)（表1）。柑橘特征向量如下。

設(shè)f（x）為柑橘圖像等級(jí)判定函數(shù)，根據(jù)f（x）返回值判定柑橘等級(jí)，見式（9），柑橘等級(jí)判別過程見圖13。首先，令f（x）初始值為0，再判定X中的缺陷面積占比（ξ）是否符合缺陷果等級(jí)要求。即T0＜ξ＜T時(shí)，f（x）=－1，判定該柑橘為缺陷果；接著，將X逐一與柑橘相應(yīng)等級(jí)Class_j比對(duì)。若Xi∈Class_1，f（x）=1，則判定該柑橘為一等果；依次類推，f（x）=2、f（x）=3 時(shí)，則判定柑橘分別為二等果、三等果。但是，若比對(duì)結(jié)果不屬于任何一個(gè)等級(jí)，則判定該柑橘為等外果。此時(shí)，令f（x）=－1，即將等外果歸為缺陷果。由此，即可完成基于柑橘圖像多指標(biāo)融合的全自動(dòng)分類。

圖13 柑橘等級(jí)判別過程

式中，Class_j為相應(yīng)等級(jí)的柑橘圖像技術(shù)指標(biāo)，j=1，2，3。

4 柑橘自動(dòng)分級(jí)系統(tǒng)與裝備設(shè)計(jì)

4.1 分級(jí)系統(tǒng)實(shí)現(xiàn)

為便于觀察柑橘檢測(cè)過程，開發(fā)了UI 交互界面（圖14），以便及時(shí)了解系統(tǒng)狀態(tài)與發(fā)現(xiàn)異常分級(jí)情況。采用Microsoft Visual Studio 與MATLAB 混合編程，將MATLAB 中的圖像處理函數(shù)封裝成“.dll”文件再調(diào)用。系統(tǒng)標(biāo)題欄顯示各類圖像操作命令；左側(cè)區(qū)域顯示圖像處理過程，以便用戶觀察系統(tǒng)運(yùn)行狀態(tài)；右側(cè)區(qū)域?yàn)楸匾膮?shù)設(shè)置與分級(jí)結(jié)果顯示區(qū)。此外，為便于用戶操作，特意設(shè)置了一鍵啟動(dòng)與停止按鈕，簡(jiǎn)化了系統(tǒng)操作流程。為了提高系統(tǒng)的適應(yīng)性，以滿足不同類別與批次的柑橘分類要求，將系統(tǒng)分級(jí)判別關(guān)鍵指標(biāo)設(shè)置為動(dòng)態(tài)調(diào)整模式，用戶在正式分級(jí)前可選擇一批柑橘進(jìn)行試分級(jí)以獲取自動(dòng)分級(jí)關(guān)鍵技術(shù)指標(biāo)，進(jìn)而提高系統(tǒng)的適應(yīng)能力。

圖14 柑橘自動(dòng)分級(jí)系統(tǒng)界面

為進(jìn)一步驗(yàn)證系統(tǒng)的分級(jí)效果，選擇樂山沃柑為試驗(yàn)對(duì)象，在當(dāng)?shù)亟?jīng)驗(yàn)豐富的果農(nóng)指導(dǎo)下人工分選出各類等級(jí)水果200 個(gè)，編號(hào)后逐一放進(jìn)圖像采集系統(tǒng)中采集圖像，對(duì)其預(yù)處理后系統(tǒng)自動(dòng)分級(jí)，最后用人工校核系統(tǒng)分類正確的個(gè)數(shù)（只統(tǒng)計(jì)該類別中分類正確的個(gè)數(shù)）計(jì)算出系統(tǒng)識(shí)別率（表2）。由表2 可知，系統(tǒng)對(duì)柑橘分級(jí)效果較好，對(duì)顏色差異較大的果皮缺陷識(shí)別效果較好（如病斑、機(jī)械損傷等），而對(duì)色澤差異較小的腐爛果識(shí)別效果稍差，但基本不影響系統(tǒng)的使用，系統(tǒng)綜合識(shí)別率大于90.0%。

表2 柑橘分級(jí)系統(tǒng)識(shí)別率

4.2 柑橘自動(dòng)分級(jí)裝備設(shè)計(jì)

柑橘全自動(dòng)分級(jí)裝備由上料架、圖像采集系統(tǒng)、水果傳送系統(tǒng)、分級(jí)執(zhí)行機(jī)構(gòu)與控制系統(tǒng)組成，見圖15。將待分級(jí)柑橘倒入上料架中會(huì)自動(dòng)被分為2行，再通過傳送帶逐一將柑橘送到圖像采集裝置內(nèi)，采集原始圖像并自動(dòng)傳輸給分級(jí)系統(tǒng)完成柑橘分級(jí)，將分級(jí)結(jié)果以電信號(hào)的形式傳遞給控制系統(tǒng)，以控制執(zhí)行機(jī)構(gòu)將該柑橘引入相應(yīng)等級(jí)的筐中，完成柑橘的自動(dòng)分級(jí)。

圖15 柑橘全自動(dòng)分級(jí)裝備

柑橘全自動(dòng)分級(jí)裝備基本解決了人工分級(jí)效率低、成本高的問題，有效降低了果農(nóng)的生產(chǎn)成本，進(jìn)而增加了果農(nóng)的經(jīng)濟(jì)收入。同時(shí)，也為低成本、高效率、好體驗(yàn)的水果全自動(dòng)分級(jí)裝備研制提供了參考。

5 結(jié)論

水果分級(jí)銷售是提升果農(nóng)經(jīng)濟(jì)收入的重要手段，為滿足果農(nóng)低成本、高效率、好體驗(yàn)的全自動(dòng)水果分級(jí)需要，基于圖像多指標(biāo)融合的方法設(shè)計(jì)了柑橘自動(dòng)分級(jí)系統(tǒng)。①提出了多視角圖像采集方案，避免了因未采集到水果表面缺陷而導(dǎo)致的分類，并且在一定程度上能夠提高系統(tǒng)識(shí)別率；②基于目標(biāo)圖像最小外接圓與最大內(nèi)切圓構(gòu)建了球類水果質(zhì)量預(yù)測(cè)模型，提出了基于深色區(qū)域占比的成熟度預(yù)測(cè)模型；③基于K-means 聚類算法設(shè)計(jì)了柑橘表面缺陷識(shí)別模型，為研制全自動(dòng)水果分級(jí)裝備奠定了理論基礎(chǔ)，該系統(tǒng)擴(kuò)展性較強(qiáng)，可通過調(diào)整相應(yīng)參數(shù)實(shí)現(xiàn)色選、水果分類識(shí)別等，同時(shí)也為系統(tǒng)的迭代升級(jí)做好了鋪墊；④適應(yīng)性強(qiáng)，除對(duì)柑橘有較好的識(shí)別效果外，微調(diào)相應(yīng)參數(shù)即可使系統(tǒng)滿足硬質(zhì)球類水果（獼猴桃、蘋果、梨、桃等）的分級(jí)要求，對(duì)提高果農(nóng)經(jīng)濟(jì)收入、促進(jìn)水果產(chǎn)業(yè)全程機(jī)械化有一定的意義。