項輝宇 薛 真 冷崇杰 胡 晶

(北京工商大學材料與機械工程學院，北京 100048)

?

基于Halcon的蘋果品質視覺檢測試驗研究

項輝宇 薛 真 冷崇杰 胡 晶

(北京工商大學材料與機械工程學院，北京 100048)

基于視覺檢測平臺和Halcon開發(fā)環(huán)境進行蘋果典型品質檢測試驗，采集圖像并處理。提取感興趣區(qū)域，找出包含蘋果的區(qū)域，用動態(tài)閾值分割的方法提取蘋果的輪廓，并計算輪廓面積，以該面積來評定蘋果的大小。對蘋果的腐爛這一典型缺陷進行試驗，用閾值分割的方法完成圖像分割，不同灰度值顯示為不同的顏色，據此將缺陷部分顯示出來。顏色特征的檢測是依據RGB顏色模型，采用模板匹配的方法，選取好的區(qū)域創(chuàng)建匹配模板，進行參數設置，并根據標準顏色的R分量設定合適的閾值作為合格蘋果的顏色。該試驗完成了水果輪廓的提取及面積的計算，實現(xiàn)了蘋果部分區(qū)域的缺陷檢測以及蘋果顏色的檢測。采用Halcon和機器視覺的方法對蘋果品質的大小、缺陷、顏色檢測能取得較好的效果。關鍵詞：蘋果品質；大小檢測；缺陷檢測；顏色檢測；Halcon

水果的品質指標主要包括水果的大小、顏色、形狀、紋理、缺陷等外在品質和水果的糖度、酸度、營養(yǎng)物質等內在品質。近年來，機器視覺的方法在水果等農產品檢測上的應用越來越廣泛。胡發(fā)煥等[1]根據提取的臍橙的顏色、果面缺陷、大小等綜合特征建立了基于支持向量機的臍橙品質綜合評價模型，提高了檢測系統(tǒng)的識別率和實時性。劉靜等[2]提出應用視覺系統(tǒng)開發(fā)模塊，采用面積標定法獲得芒果缺陷圖像，利用線性回歸分析確定測量值和真實值之間的相關性，算法準確且穩(wěn)定。游家訓等[3]研究水果分級中的顏色指標，選用色調H來判別水果顏色，并將徑向基神經網絡應用于水果顏色分級中。在蘋果分級測試中，特等果的分級正確率約為91.7%，一等果的分級正確率約為89.5%，二等果91.2%，等外果為100%。張俊雄等[4]由顏色因子2G-R-B和G值識別出山竹的果柄、果蒂和果皮，由果柄、果蒂和果皮區(qū)域形心位置判斷水果的姿態(tài)，提取水果的最大橫徑作為大小分級指標，果徑檢測精度達到±1.8 mm。J. Blasco等[5]在柑橘分級系統(tǒng)中，獲得柑橘的可見光圖像、近紅外圖像、熒光圖像和紫外線圖像對其進行分選，結果表明用近紅外圖像對柑橘炭疽病檢測的識別率達到86%，用紫外線圖像對柑橘綠霉病檢測識別率達到94%，而用可見光圖像對綠霉病檢測的識別率僅為65%。黃星奕等[6]對動態(tài)情況下的蘋果進行了研究，提出了一種適用于實時在線檢測的蘋果果形計算方法。對水果等農產品內部品質的檢測，黎移新[7]提出了基于前饋神經網絡的臍橙糖度有效酸度的檢測方法。不同的學者采用不同的方法對水果品質檢測及分級進行了研究，水果的視覺檢測成為計算機視覺領域的重要應用內容。本試驗在維視視覺檢測平臺上，采用基于Halcon的圖像處理方法，以蘋果為研究對象，對蘋果的大小、顏色以及是否存在缺陷進行試驗，為水果的視覺檢測提供一種方法。

1 材料與方法

1.1 材料與儀器

維視視覺檢測平臺：MV-BDP200型，維視數字圖像技術有限公司；

蘋果：紅富士，市售。

1.2 方法

由于大多數的水果如李子、橘子、蘋果等均近似球形，為便于研究，本研究將試驗對象蘋果理想化為球體。圖像的采集在圖1所示的試驗平臺上完成。開啟試驗平臺，打開光源，將圖像采集方式設置為外觸發(fā)采集，啟動傳送帶使其運動，當蘋果被傳送經過傳感器時，觸發(fā)相機采集圖像。

圖1 視覺皮帶傳送平臺

2 基于Halcon的圖像處理

隨著計算機視覺技術的不斷發(fā)展，圖像處理的算法也不斷完善和更新。開發(fā)環(huán)境Halcon提供了一個全面的視覺處理庫，包含了所有標準和高級的圖像處理方法，覆蓋了從不同的硬件采集圖像到高級的模式匹配算法；提供了機器視覺應用程序中常用的一些工具，如文件處理、數據分析、算法操作或分類等[8]。本研究基于Halcon開發(fā)環(huán)境，編寫了圖像處理的程序，完成了水果的大小、顏色及缺陷檢測。

2.1 圖像平滑處理

采集的圖像往往會受到噪聲的干擾，為改善圖像質量，需要進行濾波平滑，一般可采用均值濾波和中值濾波的方法進行噪聲的去除[9]。本試驗采用均值濾波的方法進行平滑處理。均值濾波是線性濾波的一種，選擇一個(2n+1)×(2m+1)的一個窗口，根據窗口中的像素的灰度值按式(1)計算真正的灰度值。

(1)

式中：

gr,c——真正的灰度值，像素；

nr,c——一個針對每一像素的平均值為0且方差是σ2的隨機變量，像素。

均值濾波在平滑噪聲方面比較理想。試驗所采用的算法中利用Halcon的算子mean_image(Image, ImageMean, MaskWidth, MaskHeight)進行均值平滑濾波，多次改變參數MaskWidth，MaskHeight進行試驗，確定濾波效果較好的參數。

2.2 圖像分割

基于灰度閾值的圖像分割算法是通過確定合適的灰度門限來將物體和背景區(qū)分開。閾值的確定是閾值化方法的關鍵內容，主要有邊界灰度作為閾值、直方圖雙峰法、統(tǒng)計學法等方法，大多數進行閾值分割時采用的是直方圖雙峰法實現(xiàn)閾值分割[10]。在大多數情況下使用基于直方圖計算可以得到最佳的閾值，但是在直方圖中不滿足存在雙峰的假設時，這種方法就不能達到預期的效果。實際應用中的不均勻照明的出現(xiàn)會移動相關的峰值或將這些峰值移動到錯誤的位置上，使得無法進行正確的閾值分割處理。本試驗中先利用直方圖雙峰的方法檢測圖像中的前景圖像，然后利用動態(tài)的閾值分割處理再分離出前景圖像中的缺陷。

先分割出水果所在區(qū)域，再對水果區(qū)域進行圖像處理操作，可以節(jié)省處理圖像背景的時間，從而縮短了整體試驗所需的時間。本試驗中，在進行圖像處理尋找蘋果區(qū)域時，利用Halcon算子draw_circle (WindowHandle, Row, Column, Radius) 和gen_circle (Circle, Row, Column, Radius) 創(chuàng)建包含水果圖像的感興趣區(qū)域，再對感興趣區(qū)域進行圖像處理、分析，獲取感興趣區(qū)域的灰度直方圖。

2.3 模板匹配

在進行水果顏色檢測時，需要依據合適的顏色模型，常用的顏色模型有RGB模型和HIS模型[11]。本試驗依據RGB模型，采用了模板匹配的方法，將待檢測圖像與標準模板進行比對分析，從而得出結論。使用RGB中R的分量設定簡單的閾值，并在其一定范圍內進行匹配，根據獲得的圖像色度判斷蘋果是否合格。其操作流程見圖2。

圖2 系統(tǒng)設置流程

3 圖像處理結果

3.1 蘋果大小檢測試驗

以市售蘋果為研究對象，在試驗平臺采集圖像后，將圖像導入Halcon進行處理。圖像平滑后，提取的感興趣區(qū)域見圖3。

圖3 濾波后感興趣區(qū)

其灰度直方圖見圖4。

圖4 灰度直方圖

根據灰度直方圖設定閾值，分割蘋果的輪廓。一個好的閾值應該對應著直方圖中兩個峰值之間的最小值，所以試驗中選擇兩個波峰之間谷底的最小值作為算法中threshold (Image, Region, MinGray, MaxGray) 算子中的參數MinGray，MaxGray設為255。提取的蘋果圖像見圖5。

圖5 提取到的蘋果輪廓

水果的大小衡量指標一般包括面積、周長、體積等[12]，以蘋果圖像的面積作為蘋果大小的衡量指標，得到的蘋果區(qū)域的面積為159 998個像素，在Halcon中顯示結果見圖6。

3.2 蘋果缺陷及顏色檢測試驗

水果不同部位的灰度值會存在差異，尤其在缺陷部位會與正常水果存在顯著不同[13]。本試驗采用的缺陷檢測方法是基于顏色的模板匹配法。

圖7(a)為具有缺陷的蘋果原始圖，圖7(b)是蘋果前景的灰度直方圖，可以看出該直方圖沒有明顯的雙峰，所以采用的是動態(tài)閾值的分割方法，結果見圖7(c)。不同的灰度值處顯示不同的顏色，可以清楚地將缺陷部分顯示出來。

圖6 蘋果輪廓的面積

圖7 蘋果缺陷圖像及缺陷檢測結果

圖8(a)是選取的標準模板，選取蘋果圖像好的區(qū)域作為匹配的模板進行參數設置見圖8(b)。設置顏色閾值為±26的范圍，在此范圍內的顏色均認為與模板在同一等級。在慢速的實時檢測時，圖8(c)和(d)均是檢測到的結果，圖中方框內的區(qū)域是待檢測的區(qū)域，圖8(c)檢測到的區(qū)域是完好的部分，其顏色與模板的顏色在同一個等級，判定結果為合格的蘋果，圖8(d)檢測到的區(qū)域恰好是腐爛的部分，顏色與模板的顏色不同，判定結果為不合格的蘋果。

圖8 水果顏色的檢測結果

4 結論與展望

本試驗實現(xiàn)了低速條件下對蘋果大小、缺陷以及顏色這3種典型特征的檢測，提出了基于Halcon的圖像處理算法。用動態(tài)閾值分割的方法實現(xiàn)了蘋果輪廓的提取，并計算出其面積。根據蘋果正常區(qū)域和腐爛區(qū)域的不同顏色對應的灰度值不同，提取出來缺陷區(qū)域。基于模板匹配的方法，將蘋果不同區(qū)域的顏色與標準模板進行對比，區(qū)分了合格蘋果和不合格蘋果。

由于試驗條件的影響未能對水果進行全面的圖像采集，如表面缺陷可能會出現(xiàn)在水果的任何位置，而類似于球體的水果在進行圖像采集時可能會因為形狀的畸變帶來缺陷的消失，給缺陷檢測技術帶來很大的困難。在實際的生產中，需要對滾動的水果進行連續(xù)的圖像采集，保證水果的各個方位均能被檢測到，才能提高檢測準確率。試驗中的不足之處在于只完成了對蘋果部分區(qū)域的檢測，還不能保證蘋果的整體部分合格與否，下一步的研究需要針對蘋果的各個區(qū)域進行圖像采集，由綜合的試驗結果來判斷蘋果是否合格。

[1] 胡發(fā)煥, 董增文, 匡以順. 基于機器視覺的臍橙品質在線分級檢測系統(tǒng)[J]. 中國農業(yè)大學學報, 2016, 21(3): 112-118.

[2] 劉靜, 黃勇平, 章程輝. 視覺系統(tǒng)開發(fā)模塊在芒果果面缺陷檢測中的應用[J]. 食品與機械, 2009, 25(2): 82-85.

[3] 游家訓, 陳超, 郭創(chuàng)新. 徑向基神經網絡在水果顏色分級機中的應用[J]. 輕工機械, 2008, 26(3): 24-26.

[4] 張俊雄, 荀一, 李偉. 山竹的計算機視覺分級方法[J]. 農業(yè)機械學報, 2009, 40(11): 176-179, 188.

[5] BLASCO J, ALEIXOS N, MOLTE. Machine vision system for automatic quality grading of fruit [J]. Biosystems Engineering, 2003, 85(4): 415-423.

[6] 黃星奕, 魏海麗, 趙杰文. 實時在線檢測蘋果果形的一種計算方法[J]. 食品與機械, 2006, 22(1): 27-29.

[7] 黎移新. 基于前饋神經網絡的臍橙糖度及有效酸度檢測[J]. 食品與機械, 2009, 25(2): 78-81.

[8] 王宏麗, 趙不賄, 孫智權, 等. 基于HALCON的醫(yī)療袋缺陷檢測[J]. 包裝工程, 2015, 36(13): 125-129.

[9] 劉娟娟. 基于紅外和可見光圖像融合的蘋果缺陷檢測[D]. 南昌: 華東交通大學, 2012: 29-33.

[10] STEGER C. 機器視覺算法與應用[M]. 楊少榮, 譯. 北京: 清華大學出版社, 2008: 144-149.

[11] 閆之燁. 基于計算機視覺的蘋果顏色分級系統(tǒng)的研究[D]. 南京: 南京農業(yè)大學, 2003: 8-10.

[12] 應義斌, 王劍平, 蔣煥煜. 水果直徑和缺陷面積的機器視覺檢測(英文)[J]. 農業(yè)工程學報, 2002, 18(5): 216-220.

[13] 劉佳男. 基于機器視覺的水果表面缺陷識別方法的研究[D]. 無錫: 江南大學, 2012: 49-50.

Experimental study of apple quality vision detection based on Halcon

XIANGHui-yuXUEZhenLENGChong-jieHUJing

(MaterialsandMechanicalEngineeringCollege,BeijingTechnologyandBusinessUniversity,Beijing100048,China)

Apple’s typical quality detection experiment was conducted on visual detection platform and the development environment Halcon in this paper. After image acquisition and processing the region of interest was extracted to find out the specific area containing the apple. Moreover, its contour was extracted using dynamic threshold segmentation method, and the area of this contour was calculated and used to assess the size of the apple. Furthermore, the typical defect fruit rot was detected using threshold segmentation method, and then the different gray values were shown in different colors. Based on different region’s colors, the defects were detected based on the colors of different regions, and the color feature was valued using RGB color model and template matching method. A good region was selected to create a template and set parameters, and then the appropriate threshold was set as a qualified color according to the standard color of the R component. In this study, the extraction and the area of the fruit contour were calculated, and the defect and color detections of apples were realized. Finally, good results in the size, defect and color detections of apples were achieved by using Halcon and machine vision methods.

apple quality; size detection; defect detection; color detection; Halcon

項輝宇(1966—)，男，北京工商大學教授，博士。

E-mail：xianghy@th.btbu.edu.cn

2016—07—21

10.13652/j.issn.1003-5788.2016.10.029