姚潤(rùn)璐，桂詠雯，黃秋桂

(南京農(nóng)業(yè)大學(xué) 信息科學(xué)與技術(shù)學(xué)院，江蘇 南京 210095)

基于機(jī)器視覺(jué)的淡水魚(yú)品種識(shí)別*

姚潤(rùn)璐，桂詠雯，黃秋桂

(南京農(nóng)業(yè)大學(xué) 信息科學(xué)與技術(shù)學(xué)院，江蘇 南京210095)

在我國(guó)的淡水魚(yú)加工產(chǎn)業(yè)里，淡水魚(yú)的識(shí)別加工主要依靠人工,這必然將耗費(fèi)大量的人力和物力。針對(duì)這類(lèi)現(xiàn)象，研究設(shè)計(jì)了以白魚(yú)、鯽魚(yú)、桂魚(yú)和鳊魚(yú)為研究對(duì)象，采用數(shù)字圖像處理技術(shù)和BP網(wǎng)絡(luò)神經(jīng)實(shí)現(xiàn)的淡水魚(yú)自動(dòng)識(shí)別系統(tǒng)。首先對(duì)采集得到的圖像進(jìn)行預(yù)處理，得到摳除背景的彩色魚(yú)圖像；接著分割魚(yú)體，得到魚(yú)背、魚(yú)肚圖像，進(jìn)行紋理特征提取和形態(tài)特征提??；最后使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。實(shí)現(xiàn)了專(zhuān)門(mén)識(shí)別淡水魚(yú)的軟件，采用了25條學(xué)習(xí)樣本和28條識(shí)別樣本，最終識(shí)別率達(dá)到75%。

圖像處理；淡水魚(yú)品種識(shí)別；BP神經(jīng)網(wǎng)絡(luò)

0 引言

我國(guó)是世界淡水魚(yú)養(yǎng)殖、生產(chǎn)大國(guó)，淡水魚(yú)作為主要?jiǎng)游锏鞍踪|(zhì)來(lái)源之一，在我國(guó)人民的日常飲食中占有極大的比例，不論是在江南魚(yú)米之鄉(xiāng)還是在中西部地區(qū)，魚(yú)因?yàn)樗臉O高營(yíng)養(yǎng)價(jià)值獲得了廣大人民的喜愛(ài)。但目前我國(guó)淡水魚(yú)的加工處理工業(yè)機(jī)械化程度較低、技術(shù)含量不高，浪費(fèi)了大量的人力物力，在很大程度上阻礙了我國(guó)淡水漁業(yè)的發(fā)展。加工處理前識(shí)別處理是保證淡水魚(yú)加工質(zhì)量及其商品價(jià)值的重要環(huán)節(jié)，故為了提高淡水魚(yú)的附加價(jià)值、擴(kuò)大淡水魚(yú)的銷(xiāo)售市場(chǎng)，基于機(jī)器視覺(jué)的淡水魚(yú)品種識(shí)別必成為淡水魚(yú)前處理環(huán)節(jié)中的重要一步。目前基于機(jī)器視覺(jué)對(duì)于農(nóng)產(chǎn)品的品種識(shí)別也是一個(gè)研究熱點(diǎn)。國(guó)內(nèi)外也做出了一些相關(guān)研究?jī)?nèi)容，并取得了很好的效果[1-6]。

1 原始的魚(yú)圖片

本識(shí)別系統(tǒng)中選取了四類(lèi)淡水魚(yú)品種進(jìn)行識(shí)別，分別是白魚(yú)、鳊魚(yú)、桂魚(yú)以及鯽魚(yú)[7]，如圖1～4所示。所用平臺(tái)是VS，用C#語(yǔ)言編寫(xiě)。

圖1 白魚(yú)圖片

圖2 鳊魚(yú)圖片

圖3 桂魚(yú)圖片

圖4 鯽魚(yú)圖片

2 圖片預(yù)處理過(guò)程

對(duì)獲得的原始魚(yú)圖片做一些簡(jiǎn)單的預(yù)處理操作，使其特征更為明顯，便于以后的操作。預(yù)處理步驟如圖5所示。

圖5 圖像預(yù)處理技術(shù)路線(xiàn)圖

2.1 閾值分割

為了將圖像與背景進(jìn)行分離，本次實(shí)驗(yàn)中采用了最佳閾值法先對(duì)原始圖像進(jìn)行處理，得到基于S分量的閾值分割之后的二值圖像。其中S分量代表的是圖像的飽和度。因?yàn)榻?jīng)研究發(fā)現(xiàn)在S分量上進(jìn)行分割是效果最好的[8]。

處理函數(shù)如下：

其中f(x,y)是圖像的像素點(diǎn)的值，g(x,y)是經(jīng)過(guò)處理后的像素點(diǎn)的值。當(dāng)系統(tǒng)中選取T值為0.428時(shí)，有較好的分割效果，如圖6所示。

2.2 Canny邊緣檢測(cè)

在得到了二值圖像的基礎(chǔ)上，采用了Canny邊緣檢測(cè)，效果較為明顯。具體效果如圖7所示。

圖6 閾值分割之后

圖7 邊緣檢測(cè)之后

2.3 圖像形態(tài)學(xué)操作

在得到邊緣檢測(cè)過(guò)的目標(biāo)圖像后，為了得到目標(biāo)物體的輪廓圖，需要將其內(nèi)部的點(diǎn)全部掏空，僅保留邊界點(diǎn)。所以其主要工作就是對(duì)邊緣檢測(cè)后的圖像進(jìn)行一系列的數(shù)學(xué)形態(tài)操作，將內(nèi)部的點(diǎn)都置為白色，背景為黑色。具體操作流程為：Canny邊緣檢測(cè)后的圖像→腐蝕處理→填充→開(kāi)運(yùn)算→得到魚(yú)體。圖像開(kāi)運(yùn)算一般用來(lái)消除小物體及纖細(xì)點(diǎn)處分離物體，平滑較大物體邊界。區(qū)域填充操作實(shí)現(xiàn)了填充二值圖像中的空洞區(qū)域，刪除了沒(méi)有連接到邊界的局部極小值。執(zhí)行數(shù)學(xué)形態(tài)操作后的效果圖像如圖8～10所示[8]。

圖8 腐蝕運(yùn)算后

圖9 填充之后

圖10 開(kāi)運(yùn)算之后

2.4 得到魚(yú)體

經(jīng)上述處理后，已經(jīng)得到目標(biāo)圖像填充操作后的圖像，則只需將填充操作后的圖像與剪裁好的彩色圖像進(jìn)行邏輯運(yùn)算，使黑色的背景仍為黑色，白色的目標(biāo)變?yōu)椴噬繕?biāo)圖像，得到還原魚(yú)體后的圖像。去除背景后得到的圖像效果如圖11所示。

圖11 得到魚(yú)體

2.5 分割魚(yú)體

大部分淡水魚(yú)的魚(yú)肚和魚(yú)背皮膚紋理差異很大，本識(shí)別系統(tǒng)自動(dòng)剪切魚(yú)肚和魚(yú)背皮膚各1塊 。具體方法如下。首先，通過(guò)掃描摳除背景后的魚(yú)圖像，計(jì)算魚(yú)的寬度并保存至數(shù)組，通過(guò)比較定位魚(yú)體最寬位置處直線(xiàn)，以該直線(xiàn)中點(diǎn)為矩形塊中心點(diǎn)，剪切出像素為300×150的魚(yú)肚皮膚圖片；然后以該直線(xiàn)底端20%處為中心點(diǎn)，剪切出像素為300×150的魚(yú)背皮膚圖片，如圖12所示。

圖12 分割魚(yú)體

3 圖像特征提取

3.1 形態(tài)特征提取

圖13 魚(yú)的特征部位

在模式識(shí)別的很多案例中，形態(tài)特征往往是很簡(jiǎn)單直觀(guān)的重要特征。它用于描述事物的集中特征性，而與灰度等無(wú)關(guān)。本項(xiàng)目就魚(yú)的二值圖像進(jìn)行了形態(tài)特征的提取，選取了以下幾個(gè)形態(tài)特征進(jìn)行研究：魚(yú)尾的似圓度、魚(yú)尾的占空比、魚(yú)的復(fù)雜度(形狀參數(shù))、魚(yú)的最小外接矩形的長(zhǎng)寬比及Hu Jing定義的7個(gè)不變矩特征值。接著對(duì)圖13中各部分進(jìn)行處理。

3.2 紋理特征提取

3.2.1HSV顏色特征

對(duì)分割得到的魚(yú)背和魚(yú)肚的紋理圖進(jìn)行HSV分量的提取，并且得到HSV的一階矩陣。獲得二次統(tǒng)計(jì)量，在此基礎(chǔ)上提取H，S，V分量特征。

3.2.2灰度共生矩陣

灰度共生矩陣是一種通過(guò)研究灰度的空間相關(guān)特性來(lái)描述紋理的常用方法，在模式識(shí)別有很好的效果。提取四種特征值：能量、對(duì)比度、相關(guān)、熵，它們是僅有的不相關(guān)的特征，不僅便于計(jì)算而且還具有較高的分類(lèi)精度。同時(shí)，為了減少計(jì)算量，提高程序運(yùn)行效率，要將普通的灰度圖像減少為8階的灰度級(jí)數(shù)，再計(jì)算灰度共生矩陣[8-10]。

4 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)與識(shí)別

BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)如圖14所示。

圖14 BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

5 實(shí)驗(yàn)結(jié)果與分析

識(shí)別結(jié)果如圖15所示。

圖15 識(shí)別結(jié)果

目前已大致實(shí)現(xiàn)預(yù)期的功能，但有如下幾個(gè)問(wèn)題：

(1)魚(yú)的紋理特征提取特征數(shù)少。沒(méi)有LBP紋理特征，因?yàn)楫?dāng)時(shí)在提取這一數(shù)值時(shí)，最終得到的不是數(shù)據(jù)而是一張?zhí)幚磉^(guò)后的圖片，知識(shí)點(diǎn)儲(chǔ)備不足，無(wú)法提取出特征信息，所以也缺少了這一類(lèi)特征數(shù)據(jù)。

(2)用于機(jī)器學(xué)習(xí)和機(jī)器識(shí)別的圖像效果不佳且圖像量太少。圖像拍攝不一，光線(xiàn)、背景、清晰度等都造成數(shù)據(jù)的不準(zhǔn)確性，有些圖像被淘汰，導(dǎo)致最后用于機(jī)器識(shí)別的圖像太少。

(3)識(shí)別正確率不高。由于特征數(shù)據(jù)不足，本系統(tǒng)的識(shí)別準(zhǔn)確率仍然不夠高，但目前基本能夠識(shí)別淡水魚(yú)的種類(lèi)，在擴(kuò)充特征數(shù)據(jù)和樣本量后本系統(tǒng)的準(zhǔn)確率將進(jìn)一步提高。

通過(guò)分析反思認(rèn)為，可以有如下改進(jìn)：

(1)提高圖像拍攝統(tǒng)一度。

(2)增大圖像庫(kù)。

(3)增加特征提取種類(lèi)。

6 結(jié)論

與MATLAB平臺(tái)仿真不同的是，目前已經(jīng)運(yùn)用C#語(yǔ)言編寫(xiě)，實(shí)現(xiàn)了功能較為完備的專(zhuān)門(mén)識(shí)別淡水魚(yú)品種的軟件。本系統(tǒng)基本實(shí)現(xiàn)了魚(yú)的背景摳除、魚(yú)體分割、特征提取和種類(lèi)識(shí)別，且識(shí)別效果較好。但仍存在一些問(wèn)題，如方法不夠創(chuàng)新。如要得到更高的識(shí)別率，可以在紋理特征提取部分再加上LBP紋理特征提取，在BP神經(jīng)網(wǎng)絡(luò)之前進(jìn)行粒子群特征尋優(yōu)。在神經(jīng)網(wǎng)絡(luò)部分也可以進(jìn)行優(yōu)化，日后有待改進(jìn)。

[1] 陳述平,朱文慧.全球能源和糧食價(jià)格高漲中國(guó)淡水魚(yú)常規(guī)養(yǎng)殖品種面臨的挑戰(zhàn)[J].飼料廣角,2008(15) :40-41.

[2] 張志強(qiáng),牛智有,趙思明.基于機(jī)器視覺(jué)技術(shù)的淡水魚(yú)品種識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2011(11):388-392.

[3] ZION B,SHKLYAR A,KARPLUS I. Sorting fish by computer vision[J].Computers and Electronics in Agriculture,1999(23):175-187.

[4] STORBECK F,DAAN B. Fish species recognition using computer vision and a neural network[J]. Fisheries Research,2001(51):11-15.

[5] WHITE D J,SVELLINGEN C,STRACHAN N J C. Automated measurement of species and length of fish by computer vision[J].Fisheries Research,2006(80):203-210.

[6] Hu Jing.Fish species classification by color,texture and multi-class support vector machine using computer vision[J].Computers and Electronics in Agriculture,2012(88):133-140.

[7] 謝忠紅,郭小清,程碧云,等.基于多特征的淡水魚(yú)種類(lèi)識(shí)別研究[J].揚(yáng)州大學(xué)學(xué)報(bào)(農(nóng)業(yè)與生命科學(xué)版),2016,37(3):71-77.

[8] 俞朝暉,于濤,龐也馳.數(shù)字圖像處理與工程應(yīng)用實(shí)踐.第一版[M].北京:中國(guó)鐵道出版社,2012.

[9] 萬(wàn)鵬,潘海兵，宗力，等.基于機(jī)器視覺(jué)技術(shù)淡水魚(yú)品種在線(xiàn)識(shí)別裝置設(shè)計(jì)[J].食品與機(jī)械,2012(6):164-167.

[10] 張錚,任淑霞.數(shù)字圖像處理與機(jī)器視覺(jué).第二版[M].北京:人民郵電出版社,2014.

[11] 蔡楚華,蘭誠(chéng)棟,陳康杰.深度學(xué)習(xí)最佳深度的確定[J].微型機(jī)與應(yīng)用,2017,36(9)：57-59，66.

[12] 陳國(guó)良.遺傳算法及其應(yīng)用[M].北京：人民郵電出版社，1996.

[13] 梁軍,程燦.改進(jìn)的粒子群算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2008,29(11):2893-2896.

Recognition of freshwater fish species based on machine vision

Yao Runlu,Gui Yongwen,Huang Qiugui

(School of Information Science and Technology,Nanjing Agricultural University,Nanjing 210095,China)

In the freshwater fish processing industry of our courtry,the identification and processing of freshwater fish mainly rely on human resources,which will inevitably consume a lot of labour power and material resources. For this phenomenon,we researched and designed a scheme using digital image processing technology and BP neural network to realize the recognition,using white fish,crucian carp,bream and mandarin fish as the research objects. Firstly,the collected images are pre processed to get the color fish image without background. Then we split the fish images to obtain fish maw and fish back,in order to extract texture features and extract morphological features. Finally the BP neural network is used to recognize the image.In this project,we implement a software specifically for identifying freshwater fish. We adopt 25 learning samples and 28 identification samples. The final recognition rate is 75%.

image processing; freshwater fish; BP neural network

江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目(201610307012Y)

TP391

A

10.19358/j.issn.1674-7720.2017.24.011

姚潤(rùn)璐，桂詠雯，黃秋桂.基于機(jī)器視覺(jué)的淡水魚(yú)品種識(shí)別J.微型機(jī)與應(yīng)用，2017,36(24)：37-39.

2017-06-22)

姚潤(rùn)璐(1996-),女，本科，主要研究方向：計(jì)算科學(xué)與技術(shù)。

桂詠雯(1996-),女，本科，主要研究方向：計(jì)算科學(xué)與技術(shù)。

黃秋桂(1995-)，女，本科，主要研究方向：網(wǎng)絡(luò)工程。