楊 濤YANG Tao 張?jiān)苽?- 茍 爽

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

草莓的分級(jí)是其產(chǎn)后處理的一個(gè)關(guān)鍵環(huán)節(jié)[1]。當(dāng)前中國(guó)草莓分級(jí)仍以人工為主，分級(jí)效率低、標(biāo)準(zhǔn)因人而異缺乏客觀性、容易造成果肉機(jī)械損傷等缺點(diǎn)[2]。為解決這些問題，國(guó)內(nèi)外的研究者展開了很多的研究。曹其新等[3]利用圖像信息技術(shù)與神經(jīng)網(wǎng)絡(luò)技術(shù)開發(fā)了根據(jù)草莓外形分級(jí)的自動(dòng)分揀系統(tǒng)；Nagata M等[4]研究了在OHTA色度空間下草莓的自動(dòng)分離與分級(jí)方法；VOI等[5]將RGB模型轉(zhuǎn)化為HIS模型，將新鮮斷層的累積H分布圖分為6個(gè)成熟度等級(jí)；Nakano等[6]開發(fā)了蘋果圖像采集系統(tǒng)，采用神經(jīng)網(wǎng)絡(luò)的方法將蘋果分為5個(gè)等級(jí)；Masatera等[7]通過(guò)形狀和大小特征來(lái)進(jìn)行草莓分級(jí)；Bato等[8]通過(guò)圖像處理實(shí)現(xiàn)草莓取向和形狀確定；馮斌等[9]的水果分級(jí)系統(tǒng)提供了2種快速檢測(cè)圖像邊緣的方法，利用果實(shí)表面色調(diào)分布在線分級(jí)。研究者大多都是從草莓顏色或者外形單一角度去研究機(jī)器視覺環(huán)境下的草莓自動(dòng)分選方法，沒有全面考慮各因素對(duì)草莓品質(zhì)的影響。

本研究擬從成熟度、質(zhì)量、形狀三方面綜合評(píng)估草莓品質(zhì)，經(jīng)過(guò)加權(quán)運(yùn)算計(jì)算出一個(gè)綜合評(píng)級(jí)分?jǐn)?shù)，以達(dá)到快速、準(zhǔn)確實(shí)現(xiàn)草莓自動(dòng)分級(jí)處理的要求。

1 基于HSV顏色模型的草莓成熟度判別

1.1 利用HSV模型分析草莓顏色分布

HSV顏色模式是一種主觀彩色模型，采用色調(diào)、飽和度和純度描述顏色的3種屬性[10-11]。這種格式反映了人類觀察色彩的方式，避免了環(huán)境中光線強(qiáng)弱對(duì)物體表面顏色的影響。在HSV模式中H是反映色彩本質(zhì)特性的參數(shù)，表示顏色的種類。成熟草莓果肉呈現(xiàn)為紅色和橙色2種顏色，成熟度越高紅色所占比例越高，果肉顏色的H參數(shù)直方圖呈窄幅集中分布，紅色和橙色各自形成2個(gè)小高峰，見圖1。因此，采用H分量就可以實(shí)現(xiàn)對(duì)草莓紅色和橙色區(qū)域的分類。

試驗(yàn)中提取樣本草莓HSV模型的H參數(shù)，統(tǒng)計(jì)每個(gè)樣本草莓圖像H參數(shù)區(qū)域分布的概率數(shù)據(jù)。成熟草莓果肉表面絕大部分呈紅色，少數(shù)區(qū)域顏色為橙黃色。經(jīng)過(guò)多次試驗(yàn)，針對(duì)安娜品種草莓，選定將HSV模型中H參數(shù)的量程18等分，每個(gè)區(qū)域內(nèi)的顏色非常接近，見圖2。該品種草莓H參數(shù)數(shù)值都在第1、2、3區(qū)域和第4區(qū)域前半部分，表征成熟度高的紅色對(duì)應(yīng)H參數(shù)高度集中0°～20°和350°～360°對(duì)應(yīng)區(qū)域。表征不完全成熟的橙色和橙黃色對(duì)應(yīng)H參數(shù)在20°～60°區(qū)域內(nèi)，見圖3。

1.2 草莓成熟度判別方法

用151顆安娜品種草莓作為試驗(yàn)樣本進(jìn)行草莓成熟度等級(jí)判別研究。首先采用人工分類方法從151個(gè)樣品草莓中選出成熟度不達(dá)標(biāo)的劣次品。為盡量排除個(gè)人分類對(duì)草莓分級(jí)類別造成的主觀性差別，試驗(yàn)中邀請(qǐng)10人分別獨(dú)立完成篩選工作。實(shí)施方法：① 將151個(gè)草莓隨機(jī)從1～151順次編號(hào)；② 每位參評(píng)人員獨(dú)立地從成熟度的角度篩選出成熟度不達(dá)標(biāo)的草莓，并記錄其對(duì)應(yīng)的編號(hào)。分級(jí)評(píng)判結(jié)果見表1。

為避免草莓果實(shí)外表的黃色斑點(diǎn)對(duì)成熟度分析造成不確定誤差，利用計(jì)算機(jī)圖像技術(shù)對(duì)151個(gè)樣本草莓進(jìn)行圖像分割、濾波去噪處理，將草莓果實(shí)表面黃色斑點(diǎn)從圖像中分離舍去。提取每張草莓圖像對(duì)應(yīng)HSV模型中表征顏色的H參數(shù)，按照式(1)統(tǒng)計(jì)每個(gè)草莓成熟度達(dá)標(biāo)的紅色區(qū)域像素?cái)?shù)量百分比K，151個(gè)樣本草莓的K值統(tǒng)計(jì)結(jié)果見圖4。結(jié)合表1和圖4可知：人工分級(jí)選出的三等品草莓對(duì)應(yīng)K<0.88，統(tǒng)計(jì)表1中出現(xiàn)頻率>6次的15顆草莓其對(duì)應(yīng)K<0.86。因此試驗(yàn)中選取K=0.86作為成熟度閾值。當(dāng)計(jì)算出待測(cè)樣本草莓K<0.86時(shí)，表示該草莓成熟度不達(dá)標(biāo)，屬于劣次品，不參與后續(xù)的檢測(cè)評(píng)級(jí)；當(dāng)待測(cè)草莓K≥0.86時(shí)，該草莓已成熟，進(jìn)入下一檢測(cè)流程。

圖1 草莓圖像H參數(shù)直方圖Figure 1 H parameter histogram of Strawberry image

圖2 HSV顏色模型圖Figure 2 HSV color model

圖3 草莓顏色區(qū)域分布圖Figure 3 Strawberry color area distribution

K=n1/n2，

(1)

式中：

K——草莓紅色區(qū)域像素?cái)?shù)量占比，%；

n1——草莓紅色區(qū)域像素?cái)?shù)量，px；

n2——草莓像素總量，px。

2 草莓質(zhì)量測(cè)算與標(biāo)準(zhǔn)確立

成熟度之外，質(zhì)量大小是評(píng)判草莓等級(jí)的另一個(gè)特征因素。因此，探究草莓質(zhì)量與圖像之間的內(nèi)在關(guān)系，利用這種關(guān)系通過(guò)圖像信息分析間接完成草莓質(zhì)量測(cè)定是研究的另一個(gè)重點(diǎn)內(nèi)容。同一品種草莓的果形對(duì)應(yīng)1種或2種幾何形狀，單個(gè)草莓之間形狀相似度較高。經(jīng)過(guò)試驗(yàn)分析驗(yàn)證，同品種草莓的質(zhì)量與果肉面積的關(guān)系可以用線性函數(shù)近似描述，由此，已知圖像投影面積在函數(shù)關(guān)系成立的定義域內(nèi)，即可間接確定草莓質(zhì)量。

表1 劣次品草莓篩選統(tǒng)計(jì)表Table 1 Selected samples of Inferior strawberry

圖4 樣本草莓K值統(tǒng)計(jì)圖Figure 4 Sample strawberry K value chart

試驗(yàn)中選用安娜品種草莓作為樣本，該品種草莓果形為圓錐形或長(zhǎng)圓錐形，最大質(zhì)量能達(dá)到40 g。參照NY/T 1789—2009標(biāo)準(zhǔn)，對(duì)該品種草莓的質(zhì)量分級(jí)數(shù)據(jù)見表2。

表2 品種草莓質(zhì)量分級(jí)數(shù)據(jù)Table 2 Variety of strawberry mass grading data

標(biāo)定：在采集草莓圖像時(shí)，旁邊放置一個(gè)2 cm×4 cm的紅色標(biāo)定圖片(見圖5)，求出草莓的像素面積和紅色標(biāo)定圖片像素面積，根據(jù)紅色標(biāo)定圖片實(shí)際面積得出草莓投影面積。

圖5 標(biāo)定圖Figure 5 Calibration chart

通過(guò)試驗(yàn)測(cè)定樣本草莓的質(zhì)量與投影面積，擬合草莓質(zhì)量與投影面積的函數(shù)關(guān)系。用精確度為0.01 g的天平測(cè)量余下136個(gè)樣本草莓實(shí)際質(zhì)量；利用計(jì)算機(jī)圖像處理技術(shù)計(jì)算、統(tǒng)計(jì)出每個(gè)草莓的投影面積；以試驗(yàn)樣本的質(zhì)量數(shù)據(jù)作橫坐標(biāo)(從小到大升序排列)，與其一一對(duì)應(yīng)的樣本投影面積作函數(shù)值，畫出投影面積-質(zhì)量關(guān)系圖，見圖6(a)。

當(dāng)然，即便將“節(jié)約資源，保護(hù)生態(tài)環(huán)境”作為物權(quán)取得和行使的原則性規(guī)定，也不能理解為將環(huán)保利益優(yōu)位于民事利益，而更應(yīng)將“綠色原則”解讀為搭建起了溝通經(jīng)濟(jì)利益和環(huán)保利益的價(jià)值關(guān)聯(lián)和制度橋梁，為物權(quán)取得和行使限定了生態(tài)環(huán)保利益的界限?！斑@是民法在自己的制度彈性范圍內(nèi)，在權(quán)利本位的基礎(chǔ)上對(duì)又一種社會(huì)利益——生態(tài)環(huán)境保護(hù)利益的兼顧?！保?］69簡(jiǎn)言之，“綠色原則”在“物權(quán)編”中應(yīng)成為對(duì)物權(quán)取得和行使的價(jià)值限度。

由圖6(a)可知：草莓質(zhì)量介于13～28 g時(shí)，投影面積隨質(zhì)量的遞增而呈線性增長(zhǎng)；當(dāng)質(zhì)量>28 g或<13 g時(shí)，投影面積與質(zhì)量的線性關(guān)系逐步變差。試驗(yàn)中，設(shè)定質(zhì)量的一等品下限閾值為24 g，二等品范圍對(duì)應(yīng)[18，24] g，三等品下限閾值13 g。結(jié)合表2與圖6作如下規(guī)定：草莓質(zhì)量評(píng)級(jí)分范圍為[7，10]分，質(zhì)量>28 g的草莓對(duì)應(yīng)質(zhì)量評(píng)級(jí)分為10分，質(zhì)量<13 g的草莓直接分級(jí)為次等品，不再參與后續(xù)評(píng)級(jí)檢測(cè)。

試驗(yàn)樣本中，質(zhì)量介于13～28 g的草莓共計(jì)101個(gè)，統(tǒng)計(jì)該區(qū)間草莓對(duì)應(yīng)的投影面積與質(zhì)量數(shù)據(jù)，見圖6(b)。由統(tǒng)計(jì)數(shù)據(jù)擬合出投影面積-質(zhì)量函數(shù)關(guān)系y=f(x)為：

y=0.493x+2.031x∈[13,28]。

(2)

求y的反函數(shù)，得到質(zhì)量-投影面積函數(shù)關(guān)系式y(tǒng)=φ(x)為：

圖6 投影面積-質(zhì)量關(guān)系圖Figure 6 Image area-mass relationship diagram

y=2.028x-4.12x∈[8.440,15.835]。

(3)

質(zhì)量-投影面積函數(shù)φ(x)的值域?yàn)閇13,28]，設(shè)定質(zhì)量評(píng)分函數(shù)為φ(x)，草莓質(zhì)量評(píng)分?jǐn)?shù)函數(shù)的值域?yàn)閇7,10]，則由φ(x)映射到φ(x)有如下變換：

(4)

φ(x)=0.405 6x+3.576x∈[8.440,15.835]。

(5)

3 基于K均值聚類分析的草莓形狀分析原理

草莓外形特征是評(píng)判其品質(zhì)的另一個(gè)決定因素。已知草莓品種的果形有圓錐形、長(zhǎng)圓錐形、短圓錐形、楔形四類，不同品種的草莓之間果形各有差異，但相同品種的草莓果形相同，單個(gè)草莓之間形狀相似度較高。

3.1 草莓形狀特征提取

描述水果形狀特征的方法有很多，常見的方法有均分直線法和半徑序列法。均分法指利用數(shù)條相互垂直的水平和豎直線均分草莓，由這些直線描述形狀。半徑序列法即為從水果圖像的重心引發(fā)出數(shù)條半徑序列來(lái)描述水果的形狀，見圖7。將2種方法對(duì)比試驗(yàn)后發(fā)現(xiàn)，由于同一種草莓形狀具有相似性與幾何對(duì)稱性，采用半徑序列法計(jì)算草莓相似度與人工判斷更接近。故本試驗(yàn)中選用半徑序列法計(jì)算草莓形狀特征參數(shù)。草莓重心o為極坐標(biāo)系原點(diǎn)，l為草莓頂部端點(diǎn)。連結(jié)ol，并確定為極坐標(biāo)系起始軸，沿正反2個(gè)方向平均每旋轉(zhuǎn)18o從o點(diǎn)引出一條線段交于草莓邊沿，得到ol1,ol2,…,ol9和ov1,ov2,…,ov9。用ol1,ol2,…,ol9和ov1,ov2,…,ov9分別除以ol作歸一化處理消除草莓大小的影響，得到18個(gè)形狀特征參數(shù)。

圖7 草莓形狀特征表示方法Figure 7 Expressive method of detected shape of strawberry

3.2 形狀聚類與判別評(píng)級(jí)原理

以一定數(shù)量的草莓?dāng)?shù)據(jù)為樣本，利用K均值聚類法完成草莓形狀聚類[12]。K均值聚類法的具體過(guò)程為：① 從n個(gè)數(shù)據(jù)中隨機(jī)選擇K個(gè)對(duì)象作為初始聚類中心；② 利用布洛克距離(City Block Distance)計(jì)算剩余對(duì)象與聚類中心的相似度；③ 根據(jù)相似程度將每個(gè)對(duì)象分配給與其最相似的聚類，重新計(jì)算每個(gè)新聚類的聚類中心；④ 重復(fù)上述第二、第三步直到?jīng)]有對(duì)象被重新分配給不同聚類為止。布洛克公式：

(6)

式中：

dij——相似度，%；

xiK——樣本草莓i；

xjK——樣本草莓j；

n——樣本草莓總數(shù)。

判斷評(píng)級(jí)具體指利用樣本聚類信息，構(gòu)造體現(xiàn)分類特點(diǎn)的關(guān)系數(shù)據(jù)矩陣，再利用關(guān)系矩陣判斷待測(cè)樣本的類別，并根據(jù)待測(cè)樣本不同的類別歸屬給出相應(yīng)的形狀等級(jí)評(píng)分[13-15]。

本研究中，利用K聚類法和聚類距離判別法相結(jié)合建立草莓形狀識(shí)別法。令ni1=l1/l，ni2=l2/l，…，ni9=l9/l，ni10=v1/l，ni11=v2/l，…，ni18=v18/l。(ni1,ni2,…,ni18)表示單個(gè)草莓形狀特征參數(shù)。利用式(6)計(jì)算各樣本草莓之間的相似度，根據(jù)相似度采用K均值聚類法對(duì)所有樣本草莓聚類處理。從各類別中選取一定數(shù)量樣本構(gòu)造標(biāo)準(zhǔn)形狀特征參數(shù)，計(jì)算待測(cè)草莓樣本與各類標(biāo)準(zhǔn)形狀樣本參數(shù)的相似程度，以此判別待測(cè)樣本的類別。

3.3 聚類試驗(yàn)步驟

試驗(yàn)樣本為151個(gè)安娜品種草莓，利用半徑序列法提取樣本草莓形狀特征參數(shù)，構(gòu)造151×18的數(shù)據(jù)矩陣。

聚類時(shí)，分別將草莓分成三類、四類、五類，對(duì)比分類結(jié)果發(fā)現(xiàn)分成四類時(shí)，分類效果更接近人工分類處理。因此，采用基于Cityblock Distance原理與K均值聚類法對(duì)樣本聚類處理。根據(jù)聚類分析得到的四類聚類重心，計(jì)算每組類別中各樣本與聚類重心的距離。從每組類別中找出15個(gè)與聚類重心最接近的樣本，組成4×15×18數(shù)據(jù)矩陣，該數(shù)據(jù)矩陣即為標(biāo)準(zhǔn)形狀特征參數(shù)矩陣。

由表3可知，聚類分析將樣本草莓大致分為長(zhǎng)圓錐形、圓錐形、短圓錐形、近方形四類。

表3 草莓的K均值聚類及形狀評(píng)分結(jié)果?Table 3 K-means clustering and shape score of strawberry

? 評(píng)分說(shuō)明：安娜品種草莓以圓錐形和長(zhǎng)圓錐形果型居多，短圓錐形相對(duì)較少。參考該品種標(biāo)準(zhǔn)果型對(duì)不同果形樣本草莓給出相應(yīng)形狀評(píng)分。近方(圓)形果型屬于不合格果形，該果形草莓分為劣次品，不參與等級(jí)劃分的權(quán)值計(jì)算。

4 草莓自動(dòng)分級(jí)工作流程

該分選系統(tǒng)分4個(gè)主要工作流程：第一步，檢測(cè)草莓成熟度是否達(dá)標(biāo)，不達(dá)標(biāo)者視為劣次品，將其剔除且分級(jí)結(jié)束，達(dá)標(biāo)者進(jìn)入第二步流程；第二步，計(jì)算草莓圖像面積，判斷圖像面積是否不小于最小閾值，不成立則視該草莓為劣次品，將其剔除且分級(jí)結(jié)束，成立則利用函數(shù)式(5)計(jì)算質(zhì)量評(píng)分，并進(jìn)入第三步流程；第三步，利用式(6)計(jì)算待測(cè)草莓形狀特征參數(shù)與各類標(biāo)準(zhǔn)形狀特征參數(shù)的相似度，剔除形狀不合格的草莓；第四步，加權(quán)計(jì)算草莓質(zhì)量評(píng)級(jí)分與形狀評(píng)級(jí)分，給出草莓品質(zhì)等級(jí)。工作流程圖見圖8。

圖8 自動(dòng)分級(jí)工作流程圖Figure 8 Automatic grading work flow chart

5 測(cè)試結(jié)果及分析

選取80幅新的草莓圖像進(jìn)行等級(jí)分類測(cè)試，設(shè)定草莓等級(jí)分為一等品、二等品、三等品與劣次品四類，分級(jí)測(cè)試的結(jié)果見表4。與人工分級(jí)結(jié)果對(duì)比，共有4個(gè)草莓出現(xiàn)分級(jí)結(jié)果不一致，主要原因是3個(gè)二等品草莓由于圖像采集視覺原因造成質(zhì)量評(píng)分誤差，使其中2個(gè)被認(rèn)定為一等品、1個(gè)被認(rèn)定為三等品；有1個(gè)形狀缺陷不明顯的草莓沒有被形狀分級(jí)法識(shí)別出來(lái)，被分級(jí)為短圓錐形草莓類。

表4 草莓分級(jí)測(cè)試結(jié)果?Table 4 Strawberry grading results

? 測(cè)試耗時(shí)3.52 s。

6 結(jié)論

本研究在計(jì)算機(jī)圖像信息基礎(chǔ)上，從成熟度、質(zhì)量大小和形狀特征三方面分別對(duì)草莓進(jìn)行相應(yīng)評(píng)級(jí)處理，利用邏輯運(yùn)算關(guān)系串聯(lián)3個(gè)工作流程，建立了一套草莓自動(dòng)分級(jí)系統(tǒng)。該分級(jí)系統(tǒng)分級(jí)速度快、不需要樣本訓(xùn)練，避免了人工選擇存在的主觀偶然性。利用該系統(tǒng)對(duì)80個(gè)草莓進(jìn)行分級(jí)測(cè)試試驗(yàn)，分級(jí)準(zhǔn)確率達(dá)到90%以上(分類錯(cuò)誤的草莓只出現(xiàn)在相鄰等級(jí)，沒有越級(jí)果)，共耗時(shí)3.52 s。該系統(tǒng)可以滿足草莓實(shí)時(shí)分級(jí)需要。

[1] 喬勇進(jìn), 王海宏, 方強(qiáng), 等. 草莓采后處理及貯藏保鮮的研究進(jìn)展[J]. 上海農(nóng)業(yè)學(xué)報(bào), 2007, 23(1): 109-113.

[2] 劉禾, 汪懋華. 水果果形判別人工神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)的研究[J]. 農(nóng)業(yè)工程學(xué)報(bào), 1996, 12(1): 172-176.

[3] 曹其新, 呂恬生, 永田雅輝, 等. 草莓揀選機(jī)器人的開發(fā)[J]. 上海交通大學(xué)學(xué)報(bào), 1997, 7(7): 881-884.

[4] NAGATA M, KINOSHITA O, ASANO K, et al. Studies on automatic sorting system for strawberry(Part 1):Extraction of Geometric Feature Using Image Processing[J]. Journal of Jasm, 1996, 58: 57-63.

[5] VOI N. Tomato maturity evaluation using colour image analysis[J]. Transaction of the ASAE, 1995, 38(1): 171-176.

[6] NAKANO K. Application of neural networks to the colour grading of apples[J]. Computers and Electronics in Agriculture, 1997, 18(2): 105-116.

[7] MASATERA N, OSAMU K. Studies on automatic sorting system for strawberry(Part 3): Development of Sorting System Using Image Processing[J]. Journal of Japanese Society of Agriculture Machinery, 1997, 59(1): 43-48.

[8] BATO P M, NAGATA M, CAO Xin-qi. Study on the sorting system for strawberry using machine vision(Part2): Development of sorting system with direction and judgment functions for strawberry[J]. Journal of the Japanese Society of Agriculture, 2000, 62: 101-110.

[9] 馮斌, 汪懋華. 基于顏色分形的水果計(jì)算機(jī)視覺分級(jí)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2002, 18(2): 141-144.

[10] 鐘小華, 曹玉華, 張永清, 等. 基于機(jī)器視覺技術(shù)的紅棗全表面信息無(wú)損分揀系統(tǒng)研究與實(shí)現(xiàn)[J]. 食品與機(jī)械, 2017, 33(5): 114-118.

[11] 畢智健, 張若宇, 齊妍杰, 等. 基于機(jī)器視覺的番茄成熟度顏色判別[J]. 食品與機(jī)械, 2016, 32(12): 133-136.

[12] 徐黎明, 呂繼東. 基于同態(tài)濾波和K均值聚類算法的楊梅圖像分割[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015, 31(14): 202-208.

[13] 王輝, 毛文華, 劉剛, 等. 基于視覺組合的蘋果作業(yè)機(jī)器人識(shí)別與定位[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2012, 43(12): 165-170.

[14] 謝志勇, 張鐵中, 趙金英. 基于Hough變換的成熟草莓識(shí)別技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2007, 38(3): 106-109.

[15] XU Li-ming, ZHAO Yang-chao. Automated strawberry grading system based on image processing[J]. Computers & Electronics in Agriculture, 2010, 71(1): S32-S39.