邢 士 元， 劉 艷 秋， 鄭 元 松， 顧 偉， 王 慧 慧， 呂 艷

( 1.大連工業(yè)大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院， 遼寧 大連 116034；2.大連工業(yè)大學(xué) 國家海洋食品工程技術(shù)研究中心， 遼寧 大連 116034 )

基于機(jī)器視覺的海產(chǎn)品外觀品質(zhì)分級(jí)方法

邢 士 元1,2， 劉 艷 秋1,2， 鄭 元 松1,2， 顧 偉1,2， 王 慧 慧1,2， 呂 艷1,2

( 1.大連工業(yè)大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院， 遼寧 大連 116034；2.大連工業(yè)大學(xué) 國家海洋食品工程技術(shù)研究中心， 遼寧 大連 116034 )

海產(chǎn)品外觀品質(zhì)的機(jī)器視覺檢測分級(jí)方法旨在克服人工檢測分級(jí)的主觀性和隨意性。主要采用中值濾波和邊界跟蹤法對(duì)圖像進(jìn)行預(yù)處理，在此基礎(chǔ)上利用三點(diǎn)一線法和外接矩形旋轉(zhuǎn)法確定海產(chǎn)品的橫軸長和縱軸長。通過比較兩種方法的優(yōu)劣，采用三點(diǎn)一線法來處理圖像，用時(shí)最短。提取橫軸長、縱軸長、似圓度、形狀參數(shù)、偏心率和中軸曲率作為分類特征，建立BP神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)海產(chǎn)品表觀質(zhì)量等級(jí)評(píng)定。識(shí)別的平均準(zhǔn)確率達(dá)89.5%。

海產(chǎn)品；機(jī)器視覺；特征提取；BP神經(jīng)網(wǎng)絡(luò)

0 引 言

我國海產(chǎn)品總產(chǎn)量已躍居全球首位。海產(chǎn)品已成為居民重要的食品來源[1-3]。外觀品質(zhì)的好壞是決定其商業(yè)價(jià)值的關(guān)鍵因素之一。目前，海產(chǎn)品的檢測分級(jí)多通過企業(yè)鑒評(píng)人員運(yùn)用感官評(píng)定的方法進(jìn)行外觀品質(zhì)檢測，但人工檢測有較大的主觀性和隨意性。利用機(jī)器視覺技術(shù)進(jìn)行外觀品質(zhì)分級(jí)已成為農(nóng)副產(chǎn)品研究熱點(diǎn)，在水果、糧食、肉類等產(chǎn)品檢測方面，取得了較好效果[4-6]。萬鵬等[7]通過提取魚類圖像的形態(tài)結(jié)構(gòu)參數(shù)等特征，利用BP神經(jīng)網(wǎng)絡(luò)模型，從而有效區(qū)分魚類品種。張志強(qiáng)等[8]利用魚的頭部、腹部和尾部的長度以及質(zhì)量關(guān)系，建立魚體質(zhì)量的預(yù)測模型，提出了淡水魚質(zhì)量分類的有效方案。對(duì)于大多數(shù)海產(chǎn)品而言，生產(chǎn)過程中需要將其按大小分級(jí)。傳統(tǒng)方法采用篩子和分級(jí)機(jī)篩分，會(huì)使物料受到振動(dòng)、碰撞，造成不同程度損傷，且機(jī)械篩分分級(jí)精度低、人工勞動(dòng)強(qiáng)度大、效率低[9-11]。本試驗(yàn)研究了一種利用機(jī)器視覺技術(shù)檢測海產(chǎn)品表觀品質(zhì)的智能算法，可快速、無損地實(shí)現(xiàn)海產(chǎn)品表觀品質(zhì)智能評(píng)定。

1 實(shí) 驗(yàn)

1.1 材料與設(shè)備

以海參和柳青蛤?yàn)檠芯繉?duì)象，根據(jù)企業(yè)有經(jīng)驗(yàn)的鑒評(píng)人員感官評(píng)定結(jié)果為標(biāo)準(zhǔn)選取各自外觀品質(zhì)為特級(jí)、一級(jí)、二級(jí)和三級(jí)的樣本各50個(gè)，其中25個(gè)為訓(xùn)練樣本，余下為測試樣本。

實(shí)驗(yàn)設(shè)備主要由圖像采集裝置、照明裝置及計(jì)算機(jī)組成。圖像采集裝置為近紅外工業(yè)相機(jī)，在光源配合下，可獲得高質(zhì)量圖像。光照裝置為單色漫反射圓頂光源，對(duì)于海產(chǎn)品特殊形狀及表面，可完全清除陰影。捕獲圖像后，存儲(chǔ)于計(jì)算機(jī)，進(jìn)行自動(dòng)分析和處理，實(shí)現(xiàn)海產(chǎn)品表觀質(zhì)量的檢測分級(jí)。

1.2 預(yù)處理

為減少算法運(yùn)行時(shí)間并準(zhǔn)確獲得海產(chǎn)品的形態(tài)特征，需要對(duì)海產(chǎn)品圖像進(jìn)行預(yù)處理：

(1)對(duì)采集圖像進(jìn)行二值化，去除背景，提取感興趣區(qū)域(ROI)。

(2)由于海產(chǎn)品圖像在形成、傳輸和處理的過程中，會(huì)受到光照不均和掃描精度不高等因素影響，產(chǎn)生噪聲。為了后續(xù)分析提供較高質(zhì)量圖像支持，需要去除噪聲。經(jīng)低通、均值和中值濾波比較，中值濾波效果最好，采用3×3的中值濾波器進(jìn)行處理，結(jié)果如圖1所示。

圖1 中值濾波圖像

(3)圖像邊緣蘊(yùn)含了豐富的特征屬性，需要對(duì)圖像進(jìn)行邊界跟蹤，獲得較精確的外部特征，從而為后續(xù)形狀分析做準(zhǔn)備。本研究采用了鄰域邊界方法進(jìn)行邊界跟蹤，跟蹤結(jié)果如圖2所示。

圖2 邊界跟蹤圖像

經(jīng)預(yù)處理后，通過掃描法獲得海產(chǎn)品圖像邊界坐標(biāo)序列，為后續(xù)的特征形態(tài)參數(shù)提取提供數(shù)據(jù)支持。

1.3 形態(tài)特征的確定與提取

形態(tài)描述了物料長、寬、周長、面積等外在特征，形態(tài)特征的選擇和提取直接影響海產(chǎn)品分級(jí)精度。

1.3.1 邊界特征分析

為了求得海產(chǎn)品特征形態(tài)的各個(gè)參數(shù)，首先獲得海產(chǎn)品的基礎(chǔ)特征形態(tài)中的縱軸長、橫軸長、面積和周長。由于海產(chǎn)品在生產(chǎn)線輸送過程中位置隨意性，如圖3所示，圖像中海產(chǎn)品存在旋轉(zhuǎn)偏差，給特征提取帶來了不便。為獲得海產(chǎn)品準(zhǔn)確的橫軸長和縱軸長，嘗試使用兩種方法對(duì)海產(chǎn)品圖像進(jìn)行處理。

圖3 旋轉(zhuǎn)偏差圖像和最小外接矩形圖像

1.3.1.1 外接矩形旋轉(zhuǎn)法

(1)海產(chǎn)品邊界坐標(biāo)點(diǎn)序列記為P(xk,yk)，其中k=1，2，…，l，l為邊界坐標(biāo)點(diǎn)個(gè)數(shù)，xk和yk為該海產(chǎn)品邊界點(diǎn)在圖像中的坐標(biāo)值。掃描法求取外接矩形，確定海產(chǎn)品圖像中心坐標(biāo)O(x0,y0)、外接矩形的長度L0和寬度H0。

(2)以海產(chǎn)品圖像的中心O(x0,y0)為旋轉(zhuǎn)中心，采用最近鄰法實(shí)現(xiàn)圖像的旋轉(zhuǎn)操作。

(3)對(duì)圖像中ROI部分順時(shí)針依次旋轉(zhuǎn)3°，利用掃描法求其外接矩形并求取寬度Hn，其中n=1，2，…，m，m為旋轉(zhuǎn)次數(shù)。當(dāng)H符合式(1)時(shí)，即為最小外接矩形。

(1)

式中，H表示最小外接矩形的寬度，即海產(chǎn)品圖像的縱軸長。利用圖3所示最小外接矩形計(jì)算海產(chǎn)品橫、縱軸長。

(1)海產(chǎn)品邊界坐標(biāo)點(diǎn)序列記為P(xk,yk)，其中k=1，2，…，N，N為邊界坐標(biāo)點(diǎn)個(gè)數(shù)，xk和yk即為該海產(chǎn)品邊界點(diǎn)在圖像中的坐標(biāo)值。

(2)掃描法求取外接矩形，確定海產(chǎn)品圖像中心坐標(biāo)O(x0,y0)，順序遍歷海產(chǎn)品圖像每個(gè)坐標(biāo)點(diǎn)，求出距離中心O(x0,y0)最近的坐標(biāo)點(diǎn)Pn(xn,yn)和最遠(yuǎn)坐標(biāo)點(diǎn)Pf(xf,yf)。

(3)為減小誤差，采用三點(diǎn)一線法確定海產(chǎn)品的實(shí)際縱軸長和橫軸長，即利用式(2)求過中心點(diǎn)與最遠(yuǎn)點(diǎn)的直線lf和過中心點(diǎn)與最近點(diǎn)的直線ln。

(2)

(4)利用直線lf和ln及海產(chǎn)品的輪廓邊界圖像求出圖像上對(duì)應(yīng)的另2個(gè)坐標(biāo)點(diǎn)Pn′(xn′,yn′)和Pf′(xf′,yf′)，進(jìn)而求出海產(chǎn)品的縱軸長和橫軸長。

(3)

式中：H表示海產(chǎn)品圖像的縱軸長；L表示海產(chǎn)品圖像的橫軸長。

利用VC++6.0進(jìn)行上述算法的編寫，外接矩形旋轉(zhuǎn)法平均運(yùn)行時(shí)間為0.011 5 ms，三點(diǎn)一線法平均運(yùn)行時(shí)間為0.003 5 ms，三點(diǎn)一線法處理速度明顯高于外接矩形旋轉(zhuǎn)法。由于海參肉刺的存在，第一種的誤差也明顯大于第二種。因此，采用三點(diǎn)一線法處理海產(chǎn)品圖像。

于次年7月對(duì)各樣地新竹進(jìn)行每竹調(diào)查，調(diào)查指標(biāo)包括老竹數(shù)、新竹數(shù)、新竹平均胸徑和鮮質(zhì)量。按徑階(每1 cm為1徑階)統(tǒng)計(jì)株數(shù)，根據(jù)株數(shù)分布，查一元質(zhì)量表，計(jì)算標(biāo)準(zhǔn)地內(nèi)竹稈鮮質(zhì)量并推算單位面積上的竹稈鮮質(zhì)量。

1.3.2 形態(tài)特征參數(shù)提取

根據(jù)物料人工分級(jí)特點(diǎn)，海參選取似圓度、形狀參數(shù)、偏心率、中軸曲率和橫軸長和縱軸長作為分級(jí)特征；由于貝類主要依據(jù)體積大小分級(jí)，因此，柳青蛤選取似圓度、形狀參數(shù)、偏心率和橫軸長和縱軸長作為分級(jí)特征。各8個(gè)樣本，4個(gè)等級(jí)數(shù)據(jù)。

1.3.2.1 偏心率

偏心率在一定程度上描述了區(qū)域的緊湊性，定義為

E=L/H

(4)

E越接近1，則區(qū)域接近正方形，否則區(qū)域越狹長。

1.3.2.2 形狀參數(shù)

形狀參數(shù)是區(qū)域面積和周長的計(jì)算值，描述了區(qū)域緊湊性。

Sp=C2/4πS

(5)

式中：C為區(qū)域的周長；S為區(qū)域的面積。

1.3.2.3 似圓度

相同面積條件下，海產(chǎn)品的邊界越光滑，形狀越接近圓形，周長越短，反之周長越長。根據(jù)這個(gè)原理，可用面積周長比作為海產(chǎn)品的似圓度描述特征參數(shù)。似圓度反映了目標(biāo)區(qū)域的伸長性和海產(chǎn)品肉刺的排列的緊密性。

R=4S/πL2

(6)

式中：S為海產(chǎn)品圖像區(qū)域面積；L為橫軸長。

1.3.2.4 中軸曲率

中軸曲率是指海產(chǎn)品中軸的彎曲程度，主要針對(duì)長軸與短軸比值較大的物料。中軸C可以看作是相連的n個(gè)像素點(diǎn)P(i)的集合，即

C={P(i)=(x(i),y(i))|i=0,1,2,…,n}

中軸C上某點(diǎn)的曲率為

(7)

式中：Δa為該點(diǎn)處切線傾角的變化，Δs為該點(diǎn)處弧長的變化。

在離散空間中，用差分代替微分，選取中軸C={P(j)|j=0,5,10,…,n-1}點(diǎn)，利用式(8)求海產(chǎn)品的中軸曲率Sr。

(8)

1.4 神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)

以BP網(wǎng)絡(luò)分類器為核心，建立的神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)網(wǎng)絡(luò)分3層，由輸入層、隱含層和輸出層組成。海參網(wǎng)絡(luò)和柳青蛤網(wǎng)絡(luò)輸入層分別為6個(gè)神經(jīng)元和5個(gè)神經(jīng)元，分別對(duì)應(yīng)于選擇的各自特征值參數(shù)；隱含層節(jié)點(diǎn)數(shù)根據(jù)經(jīng)驗(yàn)公式和多次實(shí)驗(yàn)確定為10；輸出層為4個(gè)單元，分別用編碼0，1，2，3表示特級(jí)、一級(jí)、二級(jí)和三級(jí)對(duì)應(yīng)的網(wǎng)絡(luò)輸出，隱含層神經(jīng)元采用S型正切傳遞函數(shù)tansig，輸出層神經(jīng)元采用S型對(duì)數(shù)傳遞函數(shù)logsig，網(wǎng)絡(luò)訓(xùn)練函數(shù)trainlm，期望誤差為0.01。在用訓(xùn)練數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)前，先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行歸一化處理，以避免數(shù)據(jù)飽和現(xiàn)象，加快網(wǎng)絡(luò)收斂速度。

2 結(jié)果與分析

以實(shí)驗(yàn)材料訓(xùn)練BP網(wǎng)絡(luò)，直至總誤差小于給定值，網(wǎng)絡(luò)訓(xùn)練完畢。利用海參網(wǎng)絡(luò)和柳青蛤網(wǎng)絡(luò)分別對(duì)各自測試樣本進(jìn)行等級(jí)識(shí)別。海參網(wǎng)絡(luò)對(duì)海參識(shí)別分級(jí)，特級(jí)品識(shí)別率為92%，一等品和二等品識(shí)別率為88%，三等品識(shí)別率為96%。識(shí)別平均正確率為91%，海參分級(jí)結(jié)果如表1所示。柳青蛤網(wǎng)絡(luò)對(duì)柳青蛤識(shí)別分級(jí)，特級(jí)品和二等品識(shí)別率為88%，一等品識(shí)別率為84%，三等品識(shí)別率為92%。識(shí)別平均正確率為88%，柳青蛤分級(jí)結(jié)果如表2。

表1 神經(jīng)網(wǎng)絡(luò)海參分級(jí)結(jié)果

表2 神經(jīng)網(wǎng)絡(luò)柳青蛤分級(jí)結(jié)果

綜上所述，利用訓(xùn)練的BP網(wǎng)絡(luò)對(duì)海產(chǎn)品進(jìn)行分級(jí)，總識(shí)別平均正確率為89.5%，分級(jí)效果較好。

3 結(jié) 論

(1)利用三點(diǎn)一線法和外接矩形旋轉(zhuǎn)法確定海產(chǎn)品的橫軸長和縱軸長，通過比較，采用三點(diǎn)一線方法來處理海產(chǎn)品圖像，時(shí)間短，效率高，有利于后續(xù)的海產(chǎn)品外觀品質(zhì)的分級(jí)。

(2)通過對(duì)海產(chǎn)品外觀形態(tài)的分析，確定以似圓度、形狀參數(shù)、偏心率、中軸曲率等分極特征參數(shù)來描述海產(chǎn)品的形態(tài)，并用BP人工神經(jīng)網(wǎng)絡(luò)對(duì)海產(chǎn)品進(jìn)行識(shí)別和分級(jí)。結(jié)果表明，用試驗(yàn)的特征參數(shù)識(shí)別方法，其等級(jí)分選平均正確率為89.5%。

[1] 吉哲.認(rèn)識(shí)海產(chǎn)品[J].人人健康,2013(14):30-31.

[2] 張鶴,郭興月,張鵬,等.海參品質(zhì)與檢測技術(shù)研究進(jìn)展[J].保鮮與加工,2014,14(2):60-64.

[3] HONG H M, YANG X L, YOU Z H, et al. Visual quality detection of aquatic products using machine vision[J]. Aquacultural Engineering, 2014, 63: 62-71.

[4] 張烈平,曾愛群,陳婷.基于計(jì)算機(jī)視覺和神經(jīng)網(wǎng)絡(luò)的芒果檢測與等級(jí)分類[J].農(nóng)機(jī)化研究,2008,10(10):57-60.

[5] 陳坤杰,孫鑫,陸秋琰.基于計(jì)算機(jī)視覺和神經(jīng)網(wǎng)絡(luò)的牛肉顏色自動(dòng)分級(jí)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009,40(4):173-178.

[6] 彭輝,文友先,王巧華,等.基于小波變換和BP神經(jīng)網(wǎng)絡(luò)的蛋殼破損檢測[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009,40(2):170-174.

[7] 張志強(qiáng),牛智有,趙思明.基于機(jī)器視覺技術(shù)的淡水魚質(zhì)量分級(jí)[J].農(nóng)業(yè)工程學(xué)報(bào),2011,27(2):350-354.

[8] 萬鵬,潘海兵,龍長江,等.基于機(jī)器視覺技術(shù)淡水魚品種在線識(shí)別裝置設(shè)計(jì)[J].食品與機(jī)械,2012,28(6):164-167.

[9] 余心杰,吳雄飛,王建平,等.基于機(jī)器視覺的大黃魚形態(tài)參數(shù)快速檢測方法[J].集成技術(shù),2014,3(5):45-51.

[10] 萬鵬,潘海兵,宗力,等.基于機(jī)器視覺的鯽魚和鯉魚品種識(shí)別方法研究[J].廣東農(nóng)業(yè)科技,2012,39(17):184-187.

[11] 沈建,徐文其,劉世晶.基于機(jī)器視覺的淡干海參的復(fù)水監(jiān)控方法[J].食品工業(yè)科技,2011,32(1):106-111.

Determination of seafood exterior quality grading based on machine vision

XING Shiyuan1,2, LIU Yanqiu1,2, ZHENG Yuansong1,2,GU wei1,2, WANG Huihui1,2, LYU Yan1,2

( 1.School of Mechanical Engineering and Automation, Dalian Polytechnic University, Dalian 116034, China；2.National Engineering Research Center of Seafood, Dalian Polytechnic University, Dalian 116034, China )

A classification method of the seafood exterior quality grading based on machine vision was studied to overcome the subjectivity and arbitrariness of the artificial detection and classification. The image was preprocessed by median filter and contour tracing method, and the three-points line method and the external rotation rectangles method were employed to determine seafood horizontal length and vertical length. The result showed that the processing time of three-points line method was shorter. BP neural network model was established to detect seafood exterior quality based on extracting horizontal length, vertical length, roundness, shape parameters, eccentricity and axial curvature, and the average accuracy rate could reach to 89.5%.

seafood; machine vision; feature extraction; BP neural network

2015-07-20.

國家火炬計(jì)劃重點(diǎn)項(xiàng)目(2012GH560223)；海洋公益性行業(yè)科研專項(xiàng)(201505029)；國家海洋食品工程技術(shù)研究中心開放課題(2012FU125X03).

邢士元(1989-)，男，碩士研究生；通信作者：劉艷秋(1971-)，女，副教授.

TP391.4；TS254.4

A

1674-1404(2017)02-0147-04

邢士元,劉艷秋,鄭元松,顧偉,王慧慧,呂艷.基于機(jī)器視覺的海產(chǎn)品外觀品質(zhì)分級(jí)方法[J].大連工業(yè)大學(xué)學(xué)報(bào),2017,36(2):147-150.

XING Shiyuan, LIU Yanqiu, ZHENG Yuansong, GU wei, WANG Huihui, LYU Yan. Determination of seafood exterior quality grading based on machine vision[J]. Journal of Dalian Polytechnic University, 2017, 36(2): 147-150.