馬慶修 和二斌

摘?要：為了實現(xiàn)桂圓干的快速、精準(zhǔn)分級，采用自行構(gòu)建的基于機(jī)器視覺技術(shù)的桂圓干檢測系統(tǒng)獲取3種不同等級的桂圓圖像，通過均值濾波、圖像二值化和形態(tài)學(xué)運(yùn)算對桂圓干和背景進(jìn)行處理、分割和特征參數(shù)選取，獲取桂圓大小、顏色和缺陷特征參數(shù)。將提取的特征參數(shù)輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以獲得識別成功率達(dá)到91%的桂圓分級能力。該系統(tǒng)綜合運(yùn)用數(shù)字圖像處理和基于神經(jīng)網(wǎng)絡(luò)的分級技術(shù)，對桂圓的等級檢測具有低時延、高準(zhǔn)確度、低功耗等特點(diǎn)，因此利用該模型對桂圓等級的檢測識別具有較高的可行性。

關(guān)鍵詞：桂圓干;機(jī)器視覺;BP神經(jīng)網(wǎng)絡(luò)

Research?on?Dried?Longan?Classification?Technology

Based?on?Neural?Network

Ma?Qingxiu?He?Erbin*

College?of?Physics?and?Telecommunications?Engineering，Yunlin?Normal?University?GuangxiYulin?537000

Abstract：In?order?to?achieve?the?rapid?and?accurate?classification?of?dried?longan，the?image?information?of?dried?longan?is?processed?to?obtain?the?size，color?and?defect?characteristic?parameters?of?dried?longan.By?inputting?the?extracted?feature?parameters?into?BP?neural?network?for?training，the?classification?ability?of?dried?longan?with?91%?recognition?success?rate?can?be?obtained.Therefore，it?is?feasible?to?use?this?model?to?detect?and?identify?the?grade?of?dried?longan.

Keywords：dried?longan;BP?neural?network;image?processing

桂圓干性溫味甜，益氣補(bǔ)血，有良好的滋補(bǔ)作用，是深受廣大消費(fèi)者喜歡的營養(yǎng)滋補(bǔ)品，具有廣闊的市場前景[12]。隨著經(jīng)濟(jì)的發(fā)展和人們生活水平的提高，消費(fèi)者對桂圓干的品質(zhì)提出了更高的要求。桂圓干一般根據(jù)其直徑大小和色澤進(jìn)行分級，方便以不同的價格進(jìn)行售賣，現(xiàn)有的分級方法大多采用家庭作坊式手工操作為主，這種傳統(tǒng)方法主要基于人工觀測，分級速度慢、效率低、受主觀影響大，桂圓的顏色和缺陷等問題僅靠人的視覺很難做到精確識別，桂圓的品質(zhì)很難得到保證。因此，加快桂圓干產(chǎn)業(yè)化發(fā)展，提高桂圓分級處理能力受到高度重視。我國是世界上最大的桂圓干消費(fèi)國，實現(xiàn)桂圓干自動分級對于加速桂圓相關(guān)產(chǎn)業(yè)的發(fā)展具有重要意義。

對桂圓干的分級屬于模式識別問題，隨著圖像識別和人工智能技術(shù)的快速發(fā)展，使桂圓干的可視化自動檢測分級成為可能。目前，通過圖像處理技術(shù)進(jìn)行外形檢測和幾何特征分析已有許多報道[36]，本項目利用MatLab圖像處理技術(shù)對桂圓干的圖像進(jìn)行處理并提取其大小、顏色和缺陷的特征參數(shù)，將獲得的特征參數(shù)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以獲得較高的桂圓干分級能力，從而為桂圓干可視化的自動分級處理提供技術(shù)支持。

1?材料與方法

1.1?材料

本實驗所用的桂圓干樣品購買于玉林中藥港，按品質(zhì)將其人為分為三個等級。所使用實驗設(shè)備為：尼康D7500單反相機(jī)，2088萬有效像素;鏡頭焦距為18～140mm，光圈范圍為f/3.55.6;圖像處理軟件為Matlab?R2012a。

1.2?圖像采集

為了避免出現(xiàn)與桂圓干顏色相同或相近的背景，本實驗設(shè)計采用白色背景實驗臺，能更好地凸顯桂圓干本身的顏色，光源采用色溫為6500K的LED燈。為了解決圖像陰影對圖像后續(xù)處理的影響，采集圖像時理想的環(huán)境為一個密閉且光照均勻的封閉箱。本項目利用光學(xué)級亞克力板材作為導(dǎo)光板，將點(diǎn)光源變?yōu)槊婀庠?，實現(xiàn)光源的均勻照射，從而將圖像的陰影降低到最小，使采集的圖像符合圖像處理的標(biāo)準(zhǔn)。

在設(shè)定好光源之后，用數(shù)碼相機(jī)對桂圓干進(jìn)行靜態(tài)的圖像采集。采集圖像時保持鏡頭與桂圓干距離均為20cm，采集好的桂圓干彩色圖像為之后的圖像預(yù)處理提供了原始的數(shù)據(jù)。

1.3?桂圓干原始圖像的預(yù)處理

采集的桂圓干原始彩色圖像往往會受到各種隨機(jī)因素的影響，在對圖像進(jìn)行進(jìn)一步分析之前需對原始圖像進(jìn)行針對性的預(yù)處理。圖像的預(yù)處理過程包括彩色圖像的灰度化、圖像增強(qiáng)、二值化以及形態(tài)學(xué)去噪。

1.3.1?圖像的灰度化處理

將彩色圖像轉(zhuǎn)換為灰度圖像就是圖像的灰度化，灰度圖像只包含亮度信息，和彩色圖像相比所包含的信息量大大減少，用于圖像處理的計算量也相應(yīng)降低，極大地減少處理時間，方便對圖像進(jìn)行后續(xù)的計算。原始彩色圖像的每個像素在RGB顏色空間中是由R、G、B三個分量共同決定的，當(dāng)R、G、B這三個分量值相同時就是灰度圖像。

本實驗對圖像灰度化處理的過程為：讀取桂圓干原始RGB圖像GY1=imread（‘guiyuan.jpg’），然后利用Matlab自帶的rgb2gray函數(shù)對圖像進(jìn)行灰度化轉(zhuǎn)換，使用的語句為GY2=rgb2gray（GY1）?；叶然幚砬昂蟮膱D像如圖1所示。為方便對桂圓干圖像進(jìn)行進(jìn)一步處理，需要對桂圓干圖像和背景進(jìn)行分割，圖像的灰度直方圖能為后續(xù)的圖像二值化處理提供有利的信息，有助于進(jìn)一步處理圖像。

1.3.2?圖像噪聲去除和二值化處理

在圖像的獲取和傳輸過程中，不可避免地會產(chǎn)生噪聲污染，降低了圖像的質(zhì)量。在對桂圓干RGB圖像進(jìn)行灰度化處理后，需要去除圖像中的噪聲，以使圖像更適合處理與分析。本實驗使用的圖像增強(qiáng)算法是先對灰度圖像進(jìn)行中值濾波處理，基本原理是把數(shù)字圖像中一點(diǎn)的值用該點(diǎn)的一個鄰域中各點(diǎn)值的中值進(jìn)行代換，在Matlab圖像工具箱中，使用GY3=medfilt2（GY2，[3，3]）命令進(jìn)行中值濾波，輸出圖像如圖2（a）所示。

圖像的二值化就是把圖像用黑白兩種顏色呈現(xiàn)出來，圖像上點(diǎn)的值為0或1。將桂圓干的灰度圖像進(jìn)行二值化處理是為了將背景信息濾除，保留目標(biāo)輪廓，從而獲取桂圓干的幾何特征信息。Matlab自帶的BW4=im2bw（GY3，level）函數(shù)可以將灰度圖像GY3轉(zhuǎn)換成二值圖像，level值來自于函數(shù)level=graythresh（GY3），輸出圖像如圖2（b）所示。

1.3.3?圖像的形態(tài)學(xué)去噪

灰度圖轉(zhuǎn)換為二值圖后，其邊界一般是不平滑的，在目標(biāo)物體上會有一些噪聲孔，背景區(qū)域也會帶有一些小的噪聲。為解決該問題，通過形態(tài)學(xué)閉運(yùn)算可以填充桂圓干表面的細(xì)小空洞，平滑桂圓干邊界又不明顯改變桂圓干的面積。本實驗利用形態(tài)學(xué)的閉運(yùn)算填充桂圓干表面的細(xì)小空洞平滑其圖像的輪廓。形態(tài)學(xué)處理后的二值圖像平滑了圖像邊緣，為后續(xù)的幾何特征提取提供保障。

2?桂圓干外觀特征提取

運(yùn)用機(jī)器視覺技術(shù)建立桂圓干品質(zhì)檢測模型，特征參數(shù)的選取是對桂圓干進(jìn)行品質(zhì)檢測的關(guān)鍵，能夠直接影響最終識別效果，為實現(xiàn)桂圓干檢測自動化奠定基礎(chǔ)。通常，人們將桂圓干大小、表面缺陷和色澤作為桂圓干品質(zhì)的主要特征。

2.1?桂圓干面積提取

本實驗中的數(shù)字圖像都是由像素點(diǎn)組成，只要知道每個像素點(diǎn)代表的實際面積，就可以通過桂圓干的像素求出其面積。在本實驗中，通過圖像處理技術(shù)計算桂圓干圖像所包含的像素數(shù)量來計算桂圓干的大小，在圖像的獲取過程中，首先計算單個像素所對應(yīng)的實際面積，通過對形態(tài)學(xué)去噪后的二值圖像中像素值為0的像素點(diǎn)進(jìn)行計數(shù)，可以獲得桂圓干的面積與像素數(shù)量的關(guān)系，從而提取的桂圓干面積為2.6cm2，通過對多幅桂圓干圖像進(jìn)行計算表明，該方法簡單易行，提高了檢測效率，避免了人工篩選過程中主觀因素的干擾，使得實驗結(jié)果更加準(zhǔn)確可靠。

2.2?桂圓干表面缺陷信息提取

桂圓干表面在生長、制作和運(yùn)輸過程不可避免地會造成表面損傷，損傷的大小決定了桂圓干的等級。桂圓干表面損傷的直觀表現(xiàn)就是顏色的不均勻分布，實驗通過對桂圓干的損傷表面進(jìn)行提取，然后對其損傷部分的面積進(jìn)行填充，根據(jù)填充面積在桂圓干圖像中的所占比例的大小作為桂圓干品質(zhì)等級判斷依據(jù)。將待檢測的桂圓干原始灰度圖像的對比度通過Matlab系統(tǒng)函數(shù)“I1=imadjust（GY2，[0?0.6]，[0?1]）”進(jìn)行調(diào)整，使圖像變得更加清晰，隨后通過函數(shù)I2=im2bw（I1，0.5）轉(zhuǎn)換為二值圖像，使用函數(shù)BW5=imfill（I2，’holes’）對損傷部分進(jìn)行填充并對填充結(jié)果進(jìn)行濾波，處理結(jié)果如圖3所示。將填充后圖像與填充前圖像進(jìn)行對比并計算所填充的像素點(diǎn)個數(shù)，所填充的像素點(diǎn)個數(shù)占桂圓干總像素的百分比作為實驗判斷的依據(jù)[7]。

2.3?桂圓干顏色特征提取

顏色是識別優(yōu)質(zhì)桂圓干和劣質(zhì)桂圓干的一個顯著特征，正常的桂圓干在制作過程中可放于太陽底下自然曬干或者使用干樹枝等燃料進(jìn)行烘焙，此時的果肉顏色多呈現(xiàn)褐黃色或栗褐色。一些使用硫黃或者煤球熏制的桂圓干果肉顏色發(fā)白或者明亮透黃，這樣烘焙的桂圓干的顏色與正常烘焙的桂圓干顏色的各分量存在明顯差異。在具體的圖像處理過程中，想要提取到圖像相關(guān)顏色區(qū)域，就需要建立一個顏色模型。HSI模型可以從圖像中的彩色信息里消除強(qiáng)度分量的影響，使得對彩色的描述更加直觀、自然。因此，將采集的桂圓干圖像的RGB顏色模型轉(zhuǎn)換成HSI模型，得到桂圓干顏色的色調(diào)、飽和度和亮度。

特級桂圓干的顏色特征主要表現(xiàn)為色澤統(tǒng)一，顏色明黃。通過對多幅圖像進(jìn)行分析、計算得到色度均值和色度范圍作為特征參數(shù)，作為桂圓干分級的依據(jù)。

3?基于BP神經(jīng)網(wǎng)絡(luò)的等級分類模型

BP（Back?Propagation）神經(jīng)網(wǎng)絡(luò)是誤差反向傳播的多層前饋網(wǎng)絡(luò)結(jié)構(gòu)，主要功能包括函數(shù)逼近、模式識別和信息分類。本實驗的模式識別采用BP神經(jīng)網(wǎng)絡(luò)來完成，輸入?yún)?shù)包括桂圓干圖像面積，缺陷大小，色度均值和色度范圍[8]。輸入層神經(jīng)元個數(shù)由參數(shù)數(shù)量確定，輸入層神經(jīng)元個數(shù)為4，隱含層神經(jīng)元數(shù)目h根據(jù)經(jīng)驗公式h=?m+n+a確定，m和n為輸入層和輸出層節(jié)點(diǎn)的數(shù)目，a為1～10之間的調(diào)節(jié)常數(shù)。網(wǎng)絡(luò)輸出為3種桂圓干等級，目標(biāo)輸出模式為100、010和001，分別代表一級、二級和三級。

以BP神經(jīng)網(wǎng)絡(luò)的輸入神經(jīng)元個數(shù)為4，輸出神經(jīng)元個數(shù)為3，該系統(tǒng)的識別結(jié)果如表格所示。由表格的識別結(jié)果可以看出，使用BP神經(jīng)網(wǎng)絡(luò)模型對桂圓干進(jìn)行識別時，模型能夠?qū)饒A干等級進(jìn)行有效識別。

結(jié)語

該研究以桂圓干為研究對象，通過對采集到的桂圓干彩色圖像進(jìn)行均值濾波、圖像分割和形態(tài)學(xué)運(yùn)算等預(yù)處理，可以較好地實現(xiàn)圖像增強(qiáng)和消除噪聲的目的，能夠滿足圖像特征提取的要求。通過對原始RGB圖像及其處理后的圖像進(jìn)行大小、缺陷和顏色特征提取，可以獲得桂圓干的品質(zhì)特征信息。

通過建立三層BP神經(jīng)網(wǎng)絡(luò)模型，利用測試樣品對所建模型進(jìn)行驗證，根據(jù)不同等級桂圓干特征信息的差異，通過訓(xùn)練集得到不同等級桂圓干的相應(yīng)信息，并根據(jù)提取的測試集樣本信息對桂圓干進(jìn)行等級劃分。研究表明，基于Matlab的BP神經(jīng)網(wǎng)絡(luò)對桂圓干品質(zhì)進(jìn)行分類處理的方法是可行的，研究結(jié)果表明該方法簡便、實用，簡化并優(yōu)化了計算過程，效率高、數(shù)值穩(wěn)定性好，為桂圓干的分級奠定了基礎(chǔ)。

參考文獻(xiàn)：

[1]蔡長河，唐小浪，張愛玉，等.龍眼肉的食療價值及其開發(fā)利用前景[J].食品科學(xué)，2002（08）：328330.

[2]黃志其，李兵，韋建華，等.桂圓的化學(xué)成分研究[J].廣西師范大學(xué)學(xué)報（自然科學(xué)版），2016，34（04）：4649.

[3]伍鎣芮，張志勇，韓小平，等.基于圖像處理技術(shù)的番茄成熟度檢測研究[J].農(nóng)業(yè)技術(shù)與裝備，2021（04）：5051+54.

[4]朱明秀.采摘機(jī)器人水果檢測及定位研究——基于圖像處理和卷積神經(jīng)網(wǎng)絡(luò)[J].農(nóng)機(jī)化研究，2022，44（04）：4953.

[5]張玉榮，陳賽賽，周顯青，等.基于圖像處理和神經(jīng)網(wǎng)絡(luò)的小麥不完善粒識別方法研究[J].糧油食品科技，2014，22（03）：5963.

[6]鐘小清，易施光.基于Halcon機(jī)器視覺藥品分揀系統(tǒng)設(shè)計[J].電子技術(shù)與軟件工程，2020（06）：9698.

[7]羅雪寧，彭云發(fā)，代希君，等.基于MATLAB的紅棗圖像處理研究[J].農(nóng)機(jī)化研究，2015，37（03）：183186.

[8]蔡健榮，趙杰文.自然場景下成熟水果的計算機(jī)視覺識別[J].農(nóng)業(yè)機(jī)械學(xué)報，2005（02）：6164.

基金項目：廣西高等教育本科教學(xué)改革工程項目（2019JGB313，2020JGA281）;玉林師范學(xué)院高等教育本科教學(xué)改革工程重點(diǎn)項目（2020XJJGZD19）

作者簡介：馬慶修（1990—?），男，漢族，上海人，碩士，助教，研究方向：嵌入式控制。

*通訊作者：和二斌（1980—?），男，漢族，河南焦作人，博士，副教授，研究方向：圖像處理、計算物理。