付 彤， 雷金輝

(昆明理工大學(xué)信息工程與自動化學(xué)院，云南昆明 650500)

?

基于機器視覺的黃瓜等級自動判別研究

付 彤， 雷金輝*

(昆明理工大學(xué)信息工程與自動化學(xué)院，云南昆明 650500)

通過機器視覺研究黃瓜的形態(tài)特性，建立黃瓜量化分級評判標(biāo)準(zhǔn)，并總結(jié)出提取黃瓜特征值的理論算法。用Matalb軟件實時采集讀取CCD攝像機視頻圖像，再利用Matlab圖像處理功能對采集到的圖像進行圖像濾波、圖像分割處理，提取基于數(shù)學(xué)理論的表征黃瓜等級的特征值，建立人工神經(jīng)網(wǎng)絡(luò)的等級判別模型，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并進行泛化檢測。結(jié)果表明，該等級判別模型的精度高達91.7%，具有一定的市場價值。

特征值；CCD攝像機；圖像分割；人工神經(jīng)網(wǎng)絡(luò)

黃瓜的篩選是產(chǎn)后處理的一個重要環(huán)節(jié)[1]。目前，我國尚未形成工業(yè)化的農(nóng)作物產(chǎn)后處理體系。相較人工篩選，工業(yè)化的智能篩選具有客觀、高效率、不造成機械損傷、自動分級揀選等優(yōu)點[2]。因此，研究對黃瓜等級進行自動判別具有極大的現(xiàn)實意義和社會經(jīng)濟價值。從國內(nèi)外的研究現(xiàn)狀來看，主要采用圖像處理技術(shù)及機器視覺等方法。如Ariana等[3]采用高光譜圖像檢測了黃瓜收獲中的機械損傷，發(fā)現(xiàn)950～1 350 nm波段最適合黃瓜的機械損傷檢測；王紅永等[4]提出了對黃瓜等級判定的理論分析。

從國內(nèi)外的研究現(xiàn)狀來看，目前對于黃瓜的自動化分類仍處于理論研究階段，主要依賴于黃瓜的長度、寬度、彎曲度來劃分其優(yōu)劣[5-6]。筆者在現(xiàn)有的基礎(chǔ)上，綜合機器視覺、神經(jīng)網(wǎng)絡(luò)等方法，以黃瓜的6個一般特征值及一個加權(quán)特征值為分類依據(jù)，實現(xiàn)對黃瓜的自動化分類，并通過試驗驗證了該方法的可用性和準(zhǔn)確性。

1　總體研究方案

該研究主要分3個步驟進行，研究方案流程見圖1。

(1)圖像理論分析階段?；趫D像處理技術(shù)，對黃瓜進行圖像采集、圖像分割等處理，得到試驗所需要的黃瓜圖像。

(2) 特征模型建立階段。對黃瓜6個基礎(chǔ)特征值及一個加權(quán)特征值進行提取，再通過BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，進行黃瓜特征模型的分級。

(3)試驗結(jié)果驗證階段。將BP神經(jīng)網(wǎng)絡(luò)的輸出節(jié)點得到的結(jié)果與人工篩選黃瓜的結(jié)果進行對比，對試驗結(jié)果進行驗證和分析。

圖1　基于機器視覺的黃瓜等級自動判別研究方案流程Fig. 1　Research plan process of automatic identification of cucumber level based on machine vision

2　圖像理論分析

2.1圖像采集 黃瓜的自動分級處理研究的核心是基于機器視覺的計算機圖像處理技術(shù)[7]。圖像采集則是整個研究試驗的基石工程，圖像本身的質(zhì)量與特點將會影響圖像處理過程的難易程度和處理數(shù)據(jù)的真實性。試驗中，模擬工業(yè)自動化中物品傳送帶傳輸模式，實時記錄移動過程中的黃瓜視頻，選取特定位置處的一幀黃瓜圖像作為后續(xù)處理的源圖像。最大限度模擬實際生產(chǎn)中圖像采集過程，以保證圖像信息的真實性和實用性。

圖像處理時需要通過圖像閾值對采集到的圖像進行圖像分割[8]，所以在拍攝中要選擇的合適的照明裝置，避免光源的強度和光色使圖像產(chǎn)生高光點或者區(qū)域性失真，適宜選用光色偏暖的白色光源，試驗選用4 W的白色熒光燈。在布置光源時，在拍攝箱內(nèi)部的4個頂角處各安裝一個白色熒光燈，來避免在背景上留下黃瓜的影子。CCD攝像頭則安裝在采集箱的頂部，高度可以上下調(diào)節(jié)，保證拍攝到的黃瓜圖像沒有暗點及高光點的效果。

對黃瓜RGB圖像3個通道的數(shù)據(jù)分析結(jié)果見圖2。由圖2可知，一般黃瓜圖像的R、G、B這3個通道的像素值均在170以下。黃瓜圖像的綠色像素值最大，為獲得目標(biāo)區(qū)域與背景顏色差異較大的原圖像，背景色宜選擇紅色(紅色為綠色的補色)，實物標(biāo)定標(biāo)尺選用藍色。圖像各區(qū)域顏色差異較大，為圖像分割處理降低難度，分割出來的圖像效果也很好。

圖2　黃瓜RGB圖像的3個通道數(shù)據(jù)分析結(jié)果Fig. 2　Analysis results of the three passages data of cucumber RGB image

2.2圖像分割拍攝到的圖像可以分為3部分：黃瓜圖像、標(biāo)尺圖像和背景圖像[9]。黃瓜圖像是提取圖像特征參數(shù)的主體部分，標(biāo)尺是用來檢測判定黃瓜實際長度基準(zhǔn)線，所以要將這2部分從原圖像中分割出來，以用于后續(xù)的圖像特征參數(shù)提取。

采集到的圖像中黃瓜區(qū)域以綠色為主，背景區(qū)域為紅色，標(biāo)定物則是選擇藍色。分析RGB彩色圖的G通道直方圖可知，像素值高的部分對應(yīng)圖中黃瓜區(qū)域，背景與標(biāo)定物區(qū)域則像素較低；同樣，RGB彩色圖的R通道中像素高的部分對應(yīng)圖中背景區(qū)域，低像素部分則為黃瓜與標(biāo)定物區(qū)域。根據(jù)圖像中具有的這種特殊性，該研究以雙峰法為基礎(chǔ)對黃瓜RGB彩色圖的R、B單色通道進行圖像分割，其優(yōu)點在于方法簡單，效果明顯。再通過旋轉(zhuǎn)算法，得到標(biāo)準(zhǔn)的二值黃瓜圖形。具體步驟如下。

(1)圖像分割。通過雙峰法，將黃瓜圖像和標(biāo)尺圖像從整體圖像中分割出來[10]，結(jié)果見圖3。

圖3　基于雙峰法的黃瓜圖像和標(biāo)尺圖像分割效果Fig. 3　Segmentation effects of cucumber image and scale image based on two-peak method

(2)圖像旋轉(zhuǎn)。圖像采集時，黃瓜位置是隨機的，而且黃瓜本身就存在不同程度的彎曲[11]。基于此種情況，在提取黃瓜特征參數(shù)之前，需要在不影響黃瓜形態(tài)特征的前提下，移動旋轉(zhuǎn)黃瓜目標(biāo)區(qū)域，方便后續(xù)特征參數(shù)提取。作黃瓜區(qū)域?qū)?yīng)圖形的最小外接矩形，計算出二值圖像外接矩形的長寬，根據(jù)預(yù)定設(shè)計求出較長邊與圖像坐標(biāo)軸的角度，該角度即是圖像旋轉(zhuǎn)角度。矩形的邊長可以根據(jù)兩點間的直線距離公式求得：

(1)

矩形4個角的坐標(biāo)保存在rectx、recty中。設(shè)計中要保證矩形的長邊與圖像的縱坐標(biāo)平行，故要求取長邊所在直線的斜率，斜率公式為：

k=(y1-y2)/(x2-x1)

(2)

然后進行反三角運算，公式為：

α=arctan(k)

(3)

以此將任意的黃瓜圖像旋轉(zhuǎn)至標(biāo)準(zhǔn)圖像(圖4)。

圖4　旋轉(zhuǎn)后的黃瓜二值圖像Fig. 4　Binary image of cucumber after rotation

3　黃瓜特征模型的建立

3.1黃瓜模型特征值的提取黃瓜屬于長型瓜果，其特征描述較為復(fù)雜，由實際長度、寬度、彎曲度、均勻度組成，其中均勻度和彎曲度是其極為關(guān)鍵的判別標(biāo)準(zhǔn)[12-14]。計算機無法直接對其圖像進行判別和分類，必須從圖像中抽離參數(shù)，建立黃瓜輪廓特征模型。黃瓜特征參數(shù)提取的操作步驟如下。

(1)如圖5，黃瓜徑向長度為H，分別求取徑向長度為0.2H、0.3H、0.5H、0.7H、0.8H處的5個點，并求取這些點對應(yīng)的黃瓜的橫向?qū)挾戎?，分別為W1、W2、W、W3、W4。由圖5可知，0.5H為黃瓜的徑向長度中間點，可以設(shè)定該點對應(yīng)的黃瓜寬度W作為黃瓜自身寬度均勻性判別的參考值，通過與其他點寬度求取比值確定整個黃瓜粗細均勻度的特征參數(shù)。

圖5　黃瓜橫向?qū)挾仁疽釬ig. 5　Schematic diagram of horizontal width of cucumber

對二值圖像對應(yīng)的數(shù)組進行數(shù)學(xué)運算，找出特定行的最大和最小列值，并求取差值，該差值即為該點對應(yīng)的黃瓜寬度，類推求取多點處的寬度后再進行比值運算得到：

F1=W1/W;F2=W2/W;F3=W3/W;F4=W4/W

(4)

根據(jù)公式(4)計算得到反映黃瓜整個寬度均勻性的特征參數(shù)。

(2)提取出黃瓜二值圖像中位于兩邊邊緣中心處的所有點，這些點描繪出的圖形即可反映出黃瓜彎曲度[15]。如圖6，分別在0、0.25H、0.50H、0.75H、1.00H處取點為A、B、C、D、E。求取AB、BC、CD、DE、AE5段幾何距離，通過這幾段幾何距離的比值就可得到黃瓜彎曲特征值參數(shù)。通過數(shù)學(xué)運算處理能分別求出L1、L2、L3、L4、L，而設(shè)定黃瓜的彎曲特征參數(shù)為：

F5=L/(L1+L2+L3+L4)

(5)

黃瓜的粗細特征參數(shù)為：

F6=W3/(L1+L2+L3+L4)

(6)

根據(jù)公式(5)、(6)可以得到判定黃瓜等級的特征值。

圖6　黃瓜彎曲特性測取示意Fig. 6　Schematic diagram of bending properties of cucumber

3.2BP神經(jīng)網(wǎng)絡(luò)分級模型的建立該研究屬于分類問題，使用BP算法的神經(jīng)網(wǎng)絡(luò)處理這類問題非常方便，鑒于此，研究中使用了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練分級模型，BP神經(jīng)網(wǎng)絡(luò)分級示意見圖7。

該研究選擇2層的BP網(wǎng)絡(luò)，為了減少網(wǎng)絡(luò)規(guī)模，增加了一個隱藏層。其輸入節(jié)點數(shù)為特征參數(shù)數(shù)量所決定，即為6個，所以輸入端為一個6N的向量，N為訓(xùn)練時樣本圖像數(shù)量。經(jīng)過試驗，隱藏層節(jié)點數(shù)為10個時，系統(tǒng)的分層效果較好，輸出層的節(jié)點為2個(用于表示3種等級狀態(tài))，如圖8所示。對應(yīng)將黃瓜劃分的3個等級(優(yōu)等品、一等品、二等品)，用二維數(shù)組[0;1]、[1;0]、[1;1]分別表示它們的神經(jīng)網(wǎng)絡(luò)輸出口。

圖7　神經(jīng)網(wǎng)絡(luò)分級示意Fig. 7　Schematic diagram of neural network classification

圖8　黃瓜分級神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 8　Structure of neural network of cucumber classification

基于BP網(wǎng)絡(luò)分類的神經(jīng)網(wǎng)絡(luò)訓(xùn)練的標(biāo)準(zhǔn)是參考《中華人民共和國農(nóng)業(yè)行業(yè)標(biāo)準(zhǔn)》(NY/T 1587-2008)黃瓜等級規(guī)格而分級定位的，見表1。

神經(jīng)網(wǎng)絡(luò)是由人工挑選出的30根，并均分為優(yōu)等品、一等品、二等品三類的樣本黃瓜特征參數(shù)所訓(xùn)練而成的。在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，為了保證試驗結(jié)果的精確性，必須加入黃瓜實際長度這個特征參數(shù)。因此，運用加權(quán)算法原理，得到最終的判定標(biāo)準(zhǔn)。

表1　黃瓜等級分類標(biāo)準(zhǔn)

4　試驗結(jié)果驗證

神經(jīng)網(wǎng)絡(luò)以及整個設(shè)計系統(tǒng)的性能需要通過實際應(yīng)用來評定。重新選擇12根黃瓜，用作系統(tǒng)測試的樣本。這12根黃瓜中經(jīng)過人工的分類情況為：優(yōu)等品3根，一等品3根，二等品6根。12根待分級黃瓜特征數(shù)據(jù)見表2。

表3是系統(tǒng)自動分級和人工分級結(jié)果的比較。由表3可知，人工分級的一等品第3根黃瓜由于比較均勻，彎曲度小，被計算機認為是優(yōu)等品；其他判定結(jié)果都一致?？傮w來看，根據(jù)果實均勻性的特征參數(shù)、果實的彎曲特征參數(shù)、果實的粗細特征參數(shù)和果實的實際長度7個特征參數(shù)能完成對黃瓜的等級判別，其分級精度平均可達91.7%。產(chǎn)生誤差的主要原因在于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本不足。

表2　帶分級黃瓜的特征數(shù)據(jù)

注：L5為黃瓜實際長度。

Note:L5was the actual length of cucumber.

5　結(jié)論

該研究綜合應(yīng)用了圖像處理知識、神經(jīng)網(wǎng)絡(luò)理論，通過圖像分割、圖像特征參數(shù)提取，建立了模型識別的BP神經(jīng)網(wǎng)絡(luò)系統(tǒng)，并進行了驗證，得到了以下結(jié)論。

(1)基于黃瓜的外形特征參數(shù)，用BP神經(jīng)網(wǎng)絡(luò)系統(tǒng)來進行模型識別，是可行的，其結(jié)果與人工分類相比，準(zhǔn)確率高達91.7%。增加系統(tǒng)模型訓(xùn)練的輸入樣本參數(shù)，其準(zhǔn)確率將會進一步提高。

(2)實際操作中要保證圖像采集時光照均勻、色溫適中，使圖像能最大程度地反映黃瓜真實顏色，提高判別結(jié)果的準(zhǔn)確度。

表3自動分級結(jié)果與人工分級結(jié)果比較

Table 3Comparison between automatic classification result and artificial classification result

序號Code判定輸出值Outputvalueofident-ification自動判定分級結(jié)果Classificationres-ultsofautomaticidentification人工判定分級結(jié)果Classificationres-ultsofmanualidentification11優(yōu)等品優(yōu)等品21優(yōu)等品優(yōu)等品31優(yōu)等品優(yōu)等品42一等品一等品52一等品一等品61優(yōu)等品一等品73二等品二等品83二等品二等品93二等品二等品103二等品二等品113二等品二等品123二等品二等品

[1] 張宏軍，于建新.溫室黃瓜早衰與再生根的培養(yǎng)[J].當(dāng)代蔬菜,2006(12)：34.

[2] 應(yīng)以斌, 饒秀勤, 趙勻,等. 機器視覺技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動識別中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報, 2000, 16(1):103-108.

[3] ARIANA D,LU R．Detection of mechanical injury on pickling cucumbers using near-infrared hyper spectral imaging [J].Computer and electronics in agriculture, 2006, 53:60-70.

[4] 王紅永,曹其新,劉文秀,等.基于神經(jīng)網(wǎng)絡(luò)的黃瓜等級判別[J].農(nóng)業(yè)機械學(xué)報，1999,30(6)：83-88.

[5] 袁挺,張俊雄,李偉,等.基于機器視覺的非結(jié)構(gòu)環(huán)境下黃瓜目標(biāo)特征識別[J].農(nóng)業(yè)機械學(xué)報，2009(8)：170-174.

[6] 馮青春,袁挺,紀超,等.黃瓜采摘機械臂結(jié)構(gòu)優(yōu)化與運動分析[J].農(nóng)業(yè)機械學(xué)報,2010(S1):244-248.

[7] 方如明．計算機圖像處理與米的品質(zhì)檢測[J]．農(nóng)業(yè)工程學(xué)報，1992，8(3):2299-2308.

[8] 李崢嶸,劉曉平,李自元,等.圖像分割多閾值法研究[J].CT理論與應(yīng)用研究，2006(4)：13-17.

[9] 張鵬,秦志偉,王麗莉,等.黃瓜果實彎曲性遺傳分析[J].東北農(nóng)業(yè)大學(xué)學(xué)報，2010(1)：29-33.

[10] 許曉麗,盧志茂,張格森,等.改進近鄰傳播聚類的彩色圖像分割[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2012,24(4):514-519.

[11] 趙靜,何東健.果實形狀的計算機識別方法研究[J].農(nóng)業(yè)工程學(xué)報,2001,3(2):165-167.

[12] 張書慧,陳曉光,張曉敏，等.蘋果、桃等農(nóng)副產(chǎn)品品質(zhì)檢測與分級圖像處理系統(tǒng)的研究[J]．農(nóng)業(yè)工程學(xué)報，1999，15(1)：201-204.

[13] 黃星奕,吳守一,方如明，等．計算機視覺技術(shù)在大米胚芽識別中的應(yīng)用[J].農(nóng)業(yè)機械學(xué)報，2000，31(1)：62-65.

[14] 應(yīng)義斌,景寒松，馬俊福.利用計算機視覺進行黃花梨果梗識別的新方法[J].農(nóng)業(yè)工程學(xué)報，1998，14(2)：221-225.

[15] 王賀,白廷柱.基于直覺模糊集的紅外圖像偽裝評價研究[J].紅外技術(shù)，2012(3):181-184.

Automatic Identification of Cucumber Level Based on Machine Vision

FU Tong, LEI Jin-hui*

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming, Yunnan 650500)

Based on machine vision, morphological characteristics of cucumber were researched. Cucumber quantitative classification criteria were established. Theoretical algorithm of cucumber extraction eigenvalue was summarized. Matalb software was used to collect and read CCD camera video image. Image filtering and image segmentation of collected images was carried out by Matalb image processing function. Eigenvalue characterized the cucumber level was extracted based on mathematical theory. Level discriminant model of artificial neural network was established. The neural network training and testing were carried out. Results showed that the precision degree reached 91.7% and the model was of certain market value.

Eigenvalues; CCD camera; Image segmentation; Artificial Neural Networks

付彤(1992- )，男，四川達州人，碩士研究生，研究方向：農(nóng)業(yè)信息化與自動化。*通訊作者，教授，碩士生導(dǎo)師，從事信息工程與自動化研究。

2016-04-30

S 5-39

A

0517-6611(2016)16-256-05