畢智健 張若宇 齊妍杰 吳業(yè)北

(1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832000；2. 新疆兵團(tuán)農(nóng)業(yè)機(jī)械重點(diǎn)實(shí)驗(yàn)室，新疆 石河子 833200)

基于機(jī)器視覺的番茄成熟度顏色判別

畢智健1張若宇1齊妍杰2吳業(yè)北2

(1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，新疆 石河子 832000；2. 新疆兵團(tuán)農(nóng)業(yè)機(jī)械重點(diǎn)實(shí)驗(yàn)室，新疆 石河子 833200)

提出一種顏色分析方法用于新鮮番茄分類，以GB 8852—88標(biāo)準(zhǔn)為參考，定義番茄成熟度的分類標(biāo)準(zhǔn)(在研究中將其分成四類：完熟、成熟、半熟、綠熟)，將采集到的番茄RGB圖像，去除背景后，濾波去噪，轉(zhuǎn)換成HIS顏色模型和HSV顏色模型。通過Matlab編程獲取R、G、B、H、S、V、I各顏色分量的均值，運(yùn)用SPSS軟件進(jìn)行判別篩選組合特征分量，運(yùn)用Matlab進(jìn)行判別分析。分析結(jié)果顯示，綠熟番茄在3種不同判別函數(shù)下訓(xùn)練集與驗(yàn)證集判別率均達(dá)到了100.00%；半熟番茄訓(xùn)練集判別率最高為94.74%，同時(shí)驗(yàn)證集判別率最高達(dá)到100%；成熟番茄訓(xùn)練集與驗(yàn)證集判別率最低，分別為76.67%和70.00%；完熟番茄訓(xùn)練集與驗(yàn)證集最高均為90.00%?？傮w上實(shí)現(xiàn)了不同成熟度番茄的判別分類。

機(jī)器視覺；番茄；成熟度；顏色分量均值；判別分析

成熟度被看做是與果蔬質(zhì)量評(píng)估密切相關(guān)的最重要的因素之一[1]。而在判定果蔬成熟方面，表面顏色特征與成熟度有著極其密切的關(guān)系，顏色是一個(gè)重要的參數(shù)[2]。

目前機(jī)器視覺技術(shù)已經(jīng)在番茄識(shí)別領(lǐng)域得到了較為廣泛的研究[3]。張瑞合等[4]利用圖像分割對(duì)番茄進(jìn)行標(biāo)定，繼而采用面積配準(zhǔn)，采用體視成像進(jìn)行三維定位。蔣煥煜等[5]利用形心匹配和區(qū)域匹配的方法，獲取番茄位置信息實(shí)現(xiàn)識(shí)別。趙杰文等[6]利用HIS顏色特征，分割出成熟番茄區(qū)域，實(shí)現(xiàn)番茄的識(shí)別。紀(jì)平等[7]利用Canny算子對(duì)番茄進(jìn)行輪廓提取，再用圓對(duì)輪廓進(jìn)行擬合，實(shí)現(xiàn)了番茄的識(shí)別。

傳統(tǒng)方法判別番茄成熟度不能定量進(jìn)行，且受人為主觀感覺影響有較大的誤差。本研究擬基于機(jī)器視覺理論實(shí)現(xiàn)對(duì)番茄不同成熟階段進(jìn)行研究分析，以顏色判別為目的，在研究不同成熟階段的加工番茄顏色特征分量均值的基礎(chǔ)上，獲取加工番茄表面顏色特征分量[8]和組合顏色特征分量，探求一種新的顏色判別分析和顏色量化方法[9]，進(jìn)而實(shí)現(xiàn)對(duì)不同成熟階段加工番茄的分類。彌補(bǔ)人工輔助判別加工番茄成熟度的主觀缺陷，為實(shí)現(xiàn)加工番茄選擇性收獲提供一種依據(jù)。

1 材料與方法

1.1 加工番茄樣本

試驗(yàn)所用加工番茄樣本于2015年9月11日采自石河子阜康農(nóng)場(chǎng)，加工番茄的品種是金紅果1號(hào)，共采集番茄樣本150組，用于試驗(yàn)的有效番茄樣本共有109組。其中，完熟番茄30組，成熟番茄30組，半熟番茄19組，綠熟番茄30組。完熟番茄編號(hào)為F1-F30，成熟番茄編號(hào)為M1-M20，半熟番茄編號(hào)為H1-H19，綠熟番茄編號(hào)為G1-G30。每個(gè)番茄從花萼區(qū)等分成3個(gè)區(qū)域，每個(gè)區(qū)域采集一幅RGB圖像，頂部采集一幅RGB圖像，總共采集RGB圖像436幅。

1.2 機(jī)器視覺系統(tǒng)

圖像采集系統(tǒng)主要由工業(yè)相機(jī)(point gray FL2G-13S2C-C，Point Grey，Canada)、鏡頭(HF6M-2，Spacecom CCTV，Japan)主要獲取加工番茄表面的顏色特征信息、LED面光源等組成?？紤]到后續(xù)圖像數(shù)據(jù)處理的問題，將采集的圖像信息通過圖像采集卡(FirePRO1394b PCI-e，Point Grey，Canada)傳輸?shù)接?jì)算機(jī)，計(jì)算機(jī)用于試驗(yàn)數(shù)據(jù)的存儲(chǔ)和處理，系統(tǒng)整體構(gòu)架圖見圖1。

圖1 系統(tǒng)整體架構(gòu)圖

1.3 顏色模型

顏色模型主要有HSV、RGB、HSI、CHL、LAB、CMY等。RGB模型是數(shù)字圖像處理的重要模型，計(jì)算機(jī)利用RGB模型表示像素的顏色，其中R[0，255]，G[0，255]，B[0，255]。RGB的分量與人對(duì)顏色的感知并沒有直接的聯(lián)系，這顯然不適應(yīng)人的視覺特點(diǎn)。HIS顏色空間通常使用非常接近于人類對(duì)彩色感知的方法來定義彩色，是一種很直觀的方法，用色調(diào)H、飽和度S、光強(qiáng)I3個(gè)參數(shù)來描述顏色特征，HIS顏色模型對(duì)應(yīng)于圓柱坐標(biāo)系的雙圓錐子集上。HSV顏色模型的每一種顏色都是由色相H、飽和度S、色明度V3個(gè)參數(shù)來描述顏色特征，其是人類對(duì)色彩感知的最好的顏色模型，HSV顏色模型對(duì)應(yīng)于圓柱坐標(biāo)系中的一個(gè)圓錐形子集。因此，在本研究中選取了HSV、HIS兩種顏色模型。

1.4 圖像處理及獲取有用顏色特征分量

運(yùn)用Matlab軟件將采集到的436幅不同成熟階段番茄圖像進(jìn)行預(yù)處理，減少由于光線、曝光的不均勻、電子器件的誤差引起的噪聲干擾，提高圖像的質(zhì)量[10]。如圖2所示，首先，將原始RGB圖像轉(zhuǎn)換成灰度圖像，灰度圖像二值化，并進(jìn)行數(shù)據(jù)類型轉(zhuǎn)換，再將原始RGB圖像進(jìn)行背景分割，提取RGB圖像的3個(gè)單分量圖像，然后用得到的R、G、B單分量分別點(diǎn)乘二值化圖像，利用cat函數(shù)將原始RGB圖像進(jìn)行復(fù)原，濾除噪聲，便得到去背景之后的RGB圖像，再提取去除背景后的R、G、B分量圖像，獲取單分量的值。其次，將去背景的番茄RGB圖像轉(zhuǎn)換到HSV、HIS顏色模型下，提取H、S、V、I各單分量圖像，獲取單分量的值，然后選取合適的單分量進(jìn)行自由組合[11]，運(yùn)用SPSS軟件進(jìn)行判別篩選，最終篩選出來的有價(jià)值的組合特征分量有：(R-G)/(G-B)、(R+G)/(G-B)、(R-G)/(R+G)、G/B、R/B、B/R。這些特征分量被作為了線性判別函數(shù)的每一項(xiàng)，用來判別不同成熟階段的番茄樣本。不同成熟度番茄樣本圖像去背景后灰度圖對(duì)比見圖3。

圖2 圖像處理流程圖

圖3 不同成熟度番茄樣本圖像去背景后灰度圖對(duì)比

Figure 3 The grayscale contrast of image backgroud removal of different maturity tomato sample

1.5 數(shù)據(jù)分析方法

對(duì)SPSS篩選出來的組合特征分量(R-G)/(G-B)、(R+G)/(G-B)、(R-G)/(R+G)、G/B、R/B、B/R，包括單分量特征分量R、G、B、H、S、V、I在內(nèi)的，運(yùn)用Matlab進(jìn)行數(shù)據(jù)預(yù)處理，例如平滑處理(或去噪)、標(biāo)準(zhǔn)變換和極差歸一化變換等，本研究采用極差歸一化處理特征分量均值原始數(shù)據(jù)，然后再利用Matlab進(jìn)行距離判別分析。

數(shù)據(jù)的極差歸一化處理[12]，即將數(shù)據(jù)統(tǒng)一映射到[0,1]區(qū)間上。設(shè)p維向量X=(X1,X2,…,XP)的觀測(cè)值矩陣為

(1)

極差歸一化變換后的矩陣為

(2)

2 結(jié)果與討論

2.1 獲取顏色特征分量均值

運(yùn)用Matlab軟件得到去背景之后的番茄RGB圖像，將其轉(zhuǎn)換到HSV和HIS顏色空間下，分別獲取它們的單分量的值，然后再求得它們的均值，各顏色分量的單分量均值見表1。

通過已獲得的顏色單分量值，從而可以獲取組合顏色特征分量(R-G)/(G-B)、(R+G)/(G-B)、(R-G)/(R+G)、G/B、R/B、B/R的值，進(jìn)而求得組合顏色特征分量的均值見表2。

2.2 獲取歸一化均值

運(yùn)用Matlab將原始的單分量與組合分量值進(jìn)行歸一化處理，從而得到其分量的歸一化均值，見表3、4。

2.3 判別分類結(jié)果分析

運(yùn)用SPSS篩選出的組合特征分量對(duì)完熟樣本、成熟樣本、半熟樣本、綠熟樣本4類成熟度番茄進(jìn)行判別分析，將完熟、成熟、半熟、綠熟樣品集按照2∶1的比例劃分成訓(xùn)練集和驗(yàn)證集。利用Mahalanobis、quadratic、linear 3種函數(shù)分別進(jìn)行判別分析，得到的判別分析結(jié)果見表5～7。

表1 不同成熟度番茄顏色單分量均值

表2 不同成熟度番茄顏色組合分量均值

表3 不同成熟度番茄顏色單分量歸一化均值

表4 不同成熟度番茄顏色組合分量歸一化均值

表5 Mahalanobis判別分析結(jié)果

表6 quadratic判別分析結(jié)果

表7 linear判別分析結(jié)果

表8 Mahalanobis、quadratic、linear判別分析結(jié)果對(duì)比

由表5可知，使用Mahalanobis函數(shù)判別的情況下，綠熟番茄訓(xùn)練集和驗(yàn)證集判別率最好，都達(dá)到了100.00%。由表6可知，使用quadratic函數(shù)判別的情況下，綠熟番茄訓(xùn)練集和驗(yàn)證集判別率也是最好，均為100.00%，并且4種成熟度番茄驗(yàn)證集判別率都有所提高。由表7可知，使用linear函數(shù)判別的情況下，綠熟番茄訓(xùn)練集判別率達(dá)到了96.67%，半熟和綠熟番茄驗(yàn)證集判別率均為100.00%，4種成熟度番茄驗(yàn)證集判別率均達(dá)到了最好。從表8可以得出，使用Mahalanobis判別函數(shù)的情況下，綜合判別率為77.14%，使用quadratic判別函數(shù)的情況下，綜合判別率為80.00%，使用linear判別函數(shù)的情況下，綜合判別率為94.29%，因此，通過綜合對(duì)比得出，使用linear判別函數(shù)的判別率最佳。

綜上所述，當(dāng)利用Matlab進(jìn)行距離判別分析時(shí)，3種判別函數(shù)下，半熟和綠熟番茄的判別率與完熟和成熟番茄相比會(huì)較好。綜合對(duì)比下，使用linear判別函數(shù)的判別率最佳。這是因?yàn)樵跀?shù)據(jù)極差歸一化過程中，半熟和綠熟番茄的數(shù)據(jù)離散點(diǎn)誤差明顯會(huì)少于完熟和成熟番茄，數(shù)據(jù)的線性度較好，因此，會(huì)獲得較準(zhǔn)確的判別率。另外可能的原因是顏色分量均值受到樣本的影響，當(dāng)實(shí)際的顏色分量均值與判別函數(shù)的特征值不吻合時(shí)，使得出現(xiàn)誤判的可能性較大。

3 結(jié)論

(1) 本研究利用機(jī)器視覺的方法，通過番茄表面的顏色特征對(duì)不同成熟度的番茄進(jìn)行判別分類，并將樣品集按照2∶1劃分為訓(xùn)練集和驗(yàn)證集，從目前分類結(jié)果來看，較好地實(shí)現(xiàn)了對(duì)4種不同成熟度番茄的判別分類。

(2) 從判別分析結(jié)果來看，綠熟番茄在3種不同判別函數(shù)下訓(xùn)練集與驗(yàn)證集判別率均最好，達(dá)到了100.00%；半熟番茄訓(xùn)練集判別率最高為94.74%，同時(shí)驗(yàn)證集判別率最高達(dá)到100.00%；成熟番茄訓(xùn)練集與驗(yàn)證集判別率最低，分別為76.67%和70.00%；完熟番茄訓(xùn)練集與驗(yàn)證集最高均為90.00%，綜合對(duì)比下，使用linear判別函數(shù)的判別率最佳。

(3) 通過判別分析函數(shù)總體實(shí)現(xiàn)不同成熟度番茄的判別分類，但是對(duì)于完熟與成熟番茄的判別效果不理想。在后續(xù)的研究中，將改進(jìn)并優(yōu)化圖像處理算法，增強(qiáng)算法的魯棒性以適應(yīng)不同的對(duì)象；選擇新的特征信息并結(jié)合顏色特征分量，以此提高判別率。

[1] CHOI K, LEE G, HAN Y J, et al. Tomato maturity evaluation using color image analysis[J]. Transactions of the ASABE, 1995(1): 171-176.

[2] FELIPE Avila, MARCO Mora, MIGUEL Oyarce, et al. A method to construct fruit maturity color scales based on support machines for regression:Application to olives and grape seeds[J]. Journal of Food Engineering, 2015(2): 9-17.

[3] 方政, 胡曉輝, 陳永, 等. 基于計(jì)算機(jī)視覺的成熟番茄識(shí)別研究[J]. 農(nóng)機(jī)化研究, 2016, 38(8): 31-35.

[4] 張瑞合, 姬長(zhǎng)英, 沈明霞, 等. 計(jì)算機(jī)視覺技術(shù)在番茄收獲中的應(yīng)用[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2001, 32(5): 50-52.

[5] 蔣煥煜, 彭永石, 申川, 等. 基于雙目立體視覺技術(shù)的成熟番茄識(shí)別與定位[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2008, 24(8): 279-283.

[6] 趙杰文, 劉木華, 楊國(guó)彬. 基于HIS顏色特征的田間成熟番茄識(shí)別技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2004, 35(5): 122-124, 135.

[7] 紀(jì)平, 王俊, 陳鶴碧. 基于圖像的番茄識(shí)別與幾何尺寸測(cè)量[J]. 安徽農(nóng)業(yè)科學(xué), 2012, 40(33): 16 426-16 428, 16 434.

[8] 劉宇飛, 湯曉華. 基于機(jī)器視覺的番茄顏色分級(jí)方法的研究[J]. 機(jī)電產(chǎn)品開發(fā)與創(chuàng)新, 2013, 26(2): 99-100.

[9] 彭波, 李旭宇. TCS230顏色傳感器結(jié)合BP神經(jīng)網(wǎng)絡(luò)在顏色識(shí)別系統(tǒng)上的研究[J]. 食品與機(jī)械, 2010, 26(3): 108-112, 123.

[10] 董坦坦. 成熟番茄的圖像識(shí)別及其位姿的獲取研究[D]. 南京: 南京農(nóng)業(yè)大學(xué), 2009: 8-9.

[11] 尹建軍, 王新忠, 毛罕平, 等. RGB與HSI顏色空間下番茄圖像分割的對(duì)比研究[J]. 農(nóng)機(jī)化研究, 2006(11): 171-174.

[12] 謝中華. MATLAB統(tǒng)計(jì)分析與應(yīng)用 40個(gè)案例分析[M]. 北京: 北京航空航天大學(xué)出版社, 2010: 345-350.

Tomato maturity color discrimination based on machine vision

BI Zhi-jian1ZHANGRuo-yu1QIYan-jie2WUYe-bei2

(1.MechanicalandElectricalEngineeringCollege,ShiheziUniversity,Shihezi,Xinjiang832000,China; 2.TheKeyLaboratoryofXinjiangProductionandConstructionGroup,ShiheziUniversity,Shihezi,Xinjiang832000,China)

Tomato quality is one of the most important factors ensured the consistency of tomato market factors. A color analysis method was proposed for classifying the fresh tomato, with reference to the national standard GB 8852—88, defining the classification standards of tomato maturity. In this study, tomato was divided into the four categories, full ripe, ripe, half ripe, and green ripe. RGB images of tomato were collected, removing the background and filtering de-noising, and then they were converted to HIS and HSV color models. Through the MATLAB programming, the mean values of the color components R, G, B, H, S, V, and I were obtained, and the determination and selection of combination components were carried on using SPSS software. Moreover, the discriminant analyses were then performed using Matlab. The results showed that the identification rates of the green ripe and validation sets were the best of all the three different discriminant functions, reached 100.00%, and the highest discrimination rates of half ripe tomato set was 94.74%. However, the identification rates of training and validation sets of ripe tomato were the lowest, identified as 76.67% and 70.00%, respectively. Those of the training and validation sets of full ripe were the highest, about 90.00%. In general, the discrimination and classification of tomato with different maturity were realized using the machine recognition system in the present study.

machine vision; tomato; maturity; the mean color component; discriminant analysis

10.13652/j.issn.1003-5788.2016.12.029

國(guó)家自然基金項(xiàng)目(編號(hào)：61565016)；兵團(tuán)國(guó)際合作項(xiàng)目(編號(hào)：2015AH003)

畢智健，男，石河子大學(xué)在讀碩士研究生。

張若宇(1980—)，男，石河子大學(xué)副教授，碩士生導(dǎo)師。 E-mail：ry248@163.com

2016-09-05