李大華， 趙相飛， 許 亮， 于 波

(天津理工大學天津市復雜系統(tǒng)控制理論及應用重點實驗室，天津 300384)

基于紋理特征與HSI空間的蘋果識別與標定

李大華， 趙相飛， 許 亮， 于 波

(天津理工大學天津市復雜系統(tǒng)控制理論及應用重點實驗室，天津 300384)

在分析了不同圖像分割方法的基礎上提出了一種基于顏色特征和紋理特征的圖像分割算法，以解決復雜背景下蘋果采摘機器人分割目標與背景的問題。通過分析灰度圖像的紋理特征，求取灰度共生矩陣提取特征，以支持向量機分割圖像，并結合HSI顏色空間的色差特征達到目標和背景分離的效果。通過與單純的顏色特征分析和紋理特征分析相比較，該方法在識別率上高于其他分割算法，同時對于顏色與背景相近的果實也能有很好的分割效果。

灰度共生矩陣；HSI空間；支持向量機；分割

蘋果采摘機器人首要的任務是準確地獲取采摘目標的信息，在復雜的背景條件下，由于果實的品種、成熟度、光照、遮擋、陰天等一系列因素的差異造成了機器視覺識別上的困難。國內(nèi)外在這一方面做了很多研究：司永勝等[1]提出了利用歸一化的紅綠色差(R–G)/(R+G)分割蘋果；張潤浩等[2]在YUV顏色空間中利用色差分量V建立果實與背景分割的高斯分布擬合模型，根據(jù)擬合結果自動獲取分割閾值，達到分割的目的；王津京等[3]通過 HLS模型用支持向量機(support vector machine, SVM)的模式識別方法識別果實；Meyer 等[4]使用超綠特征閾值算法辨別雜草；熊俊濤等[5]選取了YCbCr顏色模型，利用探索性分析法對荔枝不同部位、不同光照、不同生長期圖像的Cr分量進行了數(shù)據(jù)分析與統(tǒng)計，實現(xiàn)了未成熟、成熟以及腐爛變質(zhì)的荔枝果實的視覺智能判斷；Yin

等[6]在 Lab顏色空間利用均值聚類算法進行番茄分割，通過形態(tài)學算法去除噪聲，處理重疊遮擋果實，實現(xiàn)單一果實的提取。

當前機器視覺的果實識別大多數(shù)方式是利用顏色空間作為提取目標的特征或者是結合形態(tài)學方法對果實進行識別，而對于那些顏色與背景相近的果實則不能得出很好的分割結果。本文在分析圖像紋理特征之后提出了一種基于灰度共生矩陣融合色調(diào)(hue)、飽和度(saturation)、亮度(intensity)的 HSI顏色空間色差特征的果實識別方法，可以達到識別不同顏色蘋果的目標。

1 圖像分割算法

計算機視覺應用于農(nóng)業(yè)對促進農(nóng)業(yè)自動化發(fā)展有至關重要的意義，將圖像分割算法應用在果蔬目標的識別上也取得了很好的效果。圖像分割是計算機視覺一個基礎并且重要的步驟，為進一步的圖像分析提供了有效的信息。分割算法的演化有著豐富的歷史，但理想的分割算法仍然是計算機視覺領域的挑戰(zhàn)。

圖像分割一直是機器視覺的難點、重點，有大量的算法被提出，圖像分割的方式主要有 3大類：基于閾值分割、基于邊緣分割、基于區(qū)域分割等方式。

(1) 閾值分割。是一種常見的直接對圖像灰度信息閾值化處理的分割算法，即簡單的用一個或幾個閾值將圖像灰度直方圖進行分類，將灰度值在同一個灰度類內(nèi)的像素歸為同一個物體[7]；直接利用圖像的灰度特性進行分割，具有實現(xiàn)簡單、成本低廉、實用性強等優(yōu)點；當然也有弊端：當圖像中灰度差異不明顯、或者各物體的灰度范圍值有大部分重疊現(xiàn)象時，往往難以得到準確的分割結果，產(chǎn)生很多分割錯誤[8]。

(2) 邊緣分割。是基于邊緣的圖像分割技術，使用邊緣檢測算子計算灰度級、顏色、紋理等不連續(xù)性，并結合到這些邊緣輪廓確定區(qū)域邊界。在邊緣分割中，會利用到多種邊緣算子，如Sobel算子、Canny算子、Prewitt算子等，在精度、抗噪性、用時上各有利弊，小波變換是一種多尺度多通道分析工具，圖像經(jīng)過小波變換后，對應于突變點處(邊緣點)的小波系數(shù)絕對值往往都是比較大的，所以小波比較適合檢測模極大值點來確定圖像的邊緣[9]。

(3) 基于區(qū)域分割。是將圖像各個代表性區(qū)域內(nèi)的相似像素組合到一起，提取圖像的灰度級、顏色和紋理等各個特征構成特征向量，通過聚類算法將不同區(qū)域代表的特征向量進行分類，達到分割圖像的目的。聚類就是對圖像中相似特征的合并過程，其實質(zhì)是將圖像分割問題轉(zhuǎn)化為模式識別的聚類分析問題[10]。本文采用了圖像的顏色特征和紋理特征通過 SVM分類器對果實圖像進行了分割。目前常用的還有基于FCM聚類、基于K均值聚類、基于遺傳算法聚類等以及與其他算法相結合的聚類方法。

2 圖像識別算法流程

如圖1所示，經(jīng)過攝像頭采集到的RGB圖像需要轉(zhuǎn)換成兩種模式：①是HSI模式圖像；②是灰度圖。HSI圖像用于提取顏色特征進行分割，單純用HSI空間分割是不能將圖像中的果實全部檢測出來，在此之外生成灰度圖來求灰度共生矩陣，提取灰度共生矩陣(gray level co-occurrence matrix, GLCM)中的參量構成特征向量，通過SVM分類器對圖像進行分類，將兩種分割方法的結果相疊加，進行邏輯與運算，以去除圖像上的噪聲干擾點，再用疊加出來的結果和之前的兩個分割結果相匹配，進行區(qū)域生長，得到最終的圖像分割結果。最后根據(jù)果實的輪廓確定適合的長寬比對分割結果進行取舍達到最終識別果實的目的。

圖1 算法流程

3 圖像分割

3.1 灰度共生矩陣

實際應用中，作為圖像紋理分析的特征量是由灰度共生矩陣計算出的一些參量。灰度直方圖是對圖像上單個像素具有某個灰度進行統(tǒng)計的結果，而灰度共生矩陣是對圖像上保持某距離的兩像素分別具有某灰度的狀況進行統(tǒng)計得到的。經(jīng)過測試發(fā)現(xiàn)，蘋果與背景的灰度共生矩陣的角二階矩、熵、逆差距這 3個特征有很大差異，再此將角二階矩、熵、逆差距作為特征向量用于紋理特征圖像分割。

(1) 角二階矩(angular second moment, ASM)

角二階矩是灰度共生矩陣元素值的平方和，也稱能量，反映了圖像灰度分布均勻程度和紋理粗細度。如果共生矩陣的所有值均相等，則ASM值?。幌喾?，如果其中一些值大而其它值小，則ASM值大。當共生矩陣中元素集中分布時，ASM值大，ASM值大表明一種較均一和規(guī)則變化的紋理模式。

(2) 熵(entropy)

熵是圖像所具有的信息量的度量，紋理信息也屬于圖像的信息。若圖像沒有任何紋理，則灰度共生矩陣幾乎為零，則熵值接近為零；若圖像充滿著細紋理，P(i, j)的數(shù)值近似相等，則該圖像的熵值最大；若圖像中分布著較少的紋理，P(i, j)的數(shù)值差別較大，則該圖像的熵值較小。

(3) 逆差矩(inverse difference moment, IDM)

逆差矩反映圖像紋理的同質(zhì)性，度量圖像紋理局部變化的多少。其值大則說明圖像紋理的不同區(qū)域間缺少變化，局部非常均勻。如果灰度共生矩陣對角元素有較大值，IDM就會取較大的值。因此連續(xù)灰度的圖像會有較大IDM值。

3.2 紋理特征分割

將RGB圖像轉(zhuǎn)成灰度圖，提取圖像的灰度共生矩陣特征，利用支持向量機對圖像的紋理特征進行訓練分類。SVM是由Vapnik等[11]提出的一類基于統(tǒng)計學習理論的模式識別方法。這一新的通用學習方法，是基于結構風險最小化(structural risk minimization, SRM)原理，而不是傳統(tǒng)統(tǒng)計學的經(jīng)驗風險最小化(empirical risk minimization, ERM)，表現(xiàn)出很多優(yōu)于已有方法的性能[12]。截取圖像的方形區(qū)域作為訓練樣本，正樣本為蘋果表面區(qū)域，負樣本為背景區(qū)域。對樣本計算四個方向的灰度共生矩陣，求取每個灰度共生矩陣計算角二階矩、熵、和逆差距這3個參量，分別得到其平均值構成的特征向量，選用徑向基核函數(shù)訓練出分類器。

在測試圖像(圖2)的灰度圖上滑動窗口，計算窗口內(nèi)的灰度共生矩陣的 3個特征向量，用訓練好分類器對子窗口的特征向量進行分類，如果分類成正樣本，在二值圖上相應的滑動窗口位置上置1，如果分類成負樣本，在二值圖上相應的滑動窗口位置上置0。得到分割結果如圖3所示。

圖2 原圖像

圖3 紋理分割結果

3.3 利用顏色分割

在原圖像中存在多個果實，與背景在顏色上十分相近，不能以單純的RGB空間的某個分量進行分割。同時，原圖像上存在多種景物：果實，樹葉，枝干、天空，需將獲取的RGB格式圖像轉(zhuǎn)換成HSI空間選取有效的圖像特征提取果實區(qū)域。

RGB色彩模式是工業(yè)界的一種顏色標準，是通過對紅(R)、綠(G)、藍(B) 3個顏色通道的變化及其相互之間的疊加來得到各式各樣的顏色，RGB即是代表紅、綠、藍 3個通道的顏色(圖4)，這個標準幾乎包括了人類視力所能感知的所有顏色，是目前運用最廣的顏色系統(tǒng)之一。HSI色彩空間是從人的視覺系統(tǒng)出發(fā)，用色調(diào)(hue)、色飽和度(saturation或chroma)和亮度intensity或brightness)來描述色彩，如圖5所示，RGB空間到HSI，按下式實現(xiàn)轉(zhuǎn)換

如圖6所示，在RGB圖像上提取含有果實的一行像素，將這行像素轉(zhuǎn)換到 HSI顏色空間上，可以得到H、S、I 3個顏色通道的分布情況圖。通過觀察得到：I分量反映圖像的亮度，在果實區(qū)域穩(wěn)定維持在較高的區(qū)域，而周圍的樹葉枝干相對于果實則沒有較高的亮度；H反映圖像的色調(diào)，在果實區(qū)域H維持在一個較低的水平。本文將I通道與H通道的差值作為區(qū)分果實與背景的特征，在果實以外的背景區(qū)域則沒有如此明顯的分布特征。利用I分量與H分量的差值作為閾值分割圖像，分割后的二值圖結果如圖7所示。

圖4 RGB顏色空間

圖5 HSI顏色空間

圖6 HSI空間特征提取

圖7 I-H分割結果

3.4 區(qū)域生長濾除噪點

將 HSI的分割結果二值圖與紋理分割結果的二值圖相融合，進行邏輯“與”運算，得到兩個結果的公共區(qū)域，以此區(qū)域的外圍輪廓為中心區(qū)域向外擴展，如果外圍輪廓的鄰域是以上兩個分割結果其中一個的點，那么就將這個鄰域點作為分隔區(qū)域保留，否則將該點舍棄，這種方式既去除了孤立的小的噪聲點，填補了空洞，又最大范圍的合并了兩種方式的分割結果。從效果圖(圖6)中可以看出，相比于圖3和圖7，圖8上的小區(qū)域輪廓被大量清除，果實的輪廓更加清晰完整。

圖8 區(qū)域生長去噪

4 實驗分析

選取最大類間方差法、HSI顏色空間的I-H色差分割、GCLM紋理特征訓練SVM分類器滑動窗口測試 3種方法與本文算法的結果做出比較，在這里定義了果實正確識別率和錯誤識別率作為評價不同分割方法分割效果的標準：

經(jīng)過實驗測試不同分割算法得到的數(shù)據(jù)如表 1所示，選取最大類間方差法、HSI顏色閾值分割、GCLM紋理特征SVM分類3種方法與本文算法的結果做出比較，可以看出，最大類間方差法的使用需要將圖像轉(zhuǎn)換成灰度，這就使很多圖像上的顏色信息被忽略，最大類間方差法對噪音和目標大小十分敏感，僅對類間方差為單峰的圖像產(chǎn)生較好的分割效果。當目標與背景的大小比例懸殊時，最大類間方差準則函數(shù)可能呈現(xiàn)雙峰或多峰，此時效果不好，但是類間方差法是用時最少的。利用HSI顏色空間分割圖像，先將RGB圖像轉(zhuǎn)換到HSI空間，選取I與H的差值作為顏色分割特征，識別效果比最大類間方差法要好，作為閾值分割，其提取了更多的圖像信息，導致用時稍長；由于圖像上蘋果目標的背景過于復雜，包括枝干、樹葉、天空等景物，在很大程度上影響分割結果，錯誤的分割出了許多小的區(qū)域,必須要經(jīng)過形態(tài)學處理才能有令人滿意的分割結果。GCLM紋理特征SVM分類，采用從GCLM中提取的特征向量進入SVM分類器進行分類，識別效果好于前兩種方法，仍然錯誤的分割出了許多小的區(qū)域，同樣需要形態(tài)學處理，但GLCM計算量比較大，用時較長。本文的方法結合了前兩種方法的優(yōu)點，在前兩中方法的二值圖結果，相疊加再進行區(qū)域生長，去除孤立的小的噪聲點，填補了空洞，又最大范圍的合并了兩種方式的分割結果，分割出的效果也是最好的，用時比GCLM紋理特征SVM分類也更長。本文算法的分割結果如圖9所示。

表1 不同分割算法比較

圖9 本文算法分割結果

5 選擇性識別目標

分割之后的圖像上會在二值圖上存在多個輪廓區(qū)域，這些區(qū)域有的是果實的目標，也有其他的不相關區(qū)域，將這些區(qū)域都單獨提取出來，并找到包含該目標的最小外接矩形。根據(jù)蘋果的形狀確定外接矩形的長寬比，將長寬比過大或者過小的外接矩形排除得到最終的識別結果如圖10所示。

圖10 果實分割標定結果

6 結論與展望

針對果蔬采摘機器人的視覺系統(tǒng)簡單快速的要求，采用紋理分割和HSI顏色空間和方法對生長環(huán)境中的蘋果進行圖像分割，進而做視覺上的標定，為接下來的采摘動作的執(zhí)行做準備。對采集到的圖像在HSI空間中通過H-I的特征進行分割，同時利用灰度共生矩陣提取紋理特征進行SVM聚類分割。將二者的分割結果相疊加獲取分割結果，對果實進行標定之前還需要通過攝像頭的成像模型計算出滿足采摘距離尺寸的目標進行最后的標定。運行實驗表明，該方法具有分割效率高、速度快的特點。該方法既可以用于果實和背景顏色差異大的圖像分割，還可以用于果實和背景顏色相近的綠色果實分割。在果實有粘連和其他物體遮擋的情況下該方法在分割完成后不能得到令人滿意的標定效果如圖11所示，這將是今后要解決的問題。

圖11 果實粘連分割標定結果

[1] 司永勝, 喬 軍, 劉 剛, 等. 蘋果采摘機器人果實識別與定位方法[J]. 農(nóng)業(yè)機械學報, 2010, 41(9): 148-153.

[2] 張潤浩, 李 軍, 任 靜, 等. 基于高斯自適應擬合的蘋果目標分割方法研究[J]. 農(nóng)機化研究, 2015, (6): 13-17.

[3] 王津京, 趙德安, 姬 偉, 等. 采摘機器人基于支持向量機蘋果識別方法[J]. 農(nóng)業(yè)機械學報, 2009, 40(1): 148-151, 147.

[4] Meyer G E, Mehta T, Kocher M F, et al. Textural imaging and discriminant analysis for distinguishing weeds for spot spraying [J]. Transactions of the ASAE, 1998, 41(4): 1189-1197.

[5] 熊俊濤, 鄒湘軍, 劉 念, 等. 基于機器視覺的荔枝果實采摘時品質(zhì)檢測技術[J]. 農(nóng)業(yè)機械學報, 2014, 45(7): 54-60.

[6] Yin H, Chai Y, Yang S X, et al. Ripe tomato recognition and localization for a tomato harvesting robotic system [C]//International Conference of Soft Computing and Pattern Recognition. New York: IEEE Press, 2009: 557-562.

[7] 羅希平, 田 捷. 圖像分割方法綜述[J]. 模式識別與人工智能, 1999, 12(3): 300-312.

[8] Brink A D. Tresholding of digital images using two dimensional entropies [J]. Pattern Recognition, 1992, 25(8): 803-808.

[9] 朱曉臨, 李雪艷, 邢 燕, 等. 基于小波和奇異值分解的圖像邊緣檢測[J]. 圖學學報, 2014, 35(4): 563-570.

[10] 肖 飛, 綦星光. 圖像分割方法綜述[J]. 世界科技研究與發(fā)展, 2009, 31(6): 77-79.

[11] Vapnik V, Levin E, Le C Y. Measuring the VC dimension of a learning machine [J]. Neural Computation, 1994, (6): 851-876.

[12] 祁亨年. 支持向量機及其應用研究綜述[J]. 計算機工程, 2004, 30(10): 6-9.

Apple Identification and Calibration Based on the Texture Characteristics and HSI Space

Li Dahua, Zhao Xiangfei, Xu Liang, Yu Bo

(Tianjin Complex System Control Theory and Application of Key Laboratory, Tianjin University of Technology, Tianjin 300384, China)

This paper, after analyzing different image segmentation methods, presents an image segmentation algorithm based on color and texture features in order to enable an apple picking robot to separate targets from complex backgrounds. Texture features of grayscale images are analyzed to obtain ground launched cruise missile for feature extraction and to segment images by support vector machine. Besides, in combination with chromatic aberration in HSI color space, targets are effectively separated from their backgrounds. By comparison with the methods of color analysis and texture analysis, this algorithm provides higher rate of recognition and ever better result in separating fruits with similar colors to backgrounds.

gray level co-occurrence matrix; HSI space; support vector machine; segmentation

TP 274

10.11996/JG.j.2095-302X.2016050688

A

2095-302X(2016)05-0688-06

2016-01-22；定稿日期：2016-05-11

國家自然科學基金項目(61308120)

李大華(1978–)，男，天津人，副教授，碩士。主要研究方向為圖形圖像處理。E-mail：lidah2005@163.com