閆朋濤，王昆倫，孫家亮，張學(xué)雨，王碧堯，王慧慧*

1. 大連工業(yè)大學(xué)機(jī)械工程與自動(dòng)化學(xué)院（大連 116034）；2. 國(guó)家海洋食品工程技術(shù)研究中心（大連 116034）

隨著人們生活水平的提高，對(duì)于高品質(zhì)魚蛋白的需求量在逐年增加，淡水魚類含有豐富的蛋白質(zhì)，其產(chǎn)量在魚類總產(chǎn)量中約占73%[1-2]。2017年漁業(yè)年鑒顯示，2016年全國(guó)淡水魚類養(yǎng)殖量達(dá)約3 179.3萬(wàn) t，比2015年增長(zhǎng)約100.5萬(wàn) t，隨著淡水魚需求量的逐年增長(zhǎng)，淡水魚產(chǎn)量與前處理過(guò)程的不匹配狀態(tài)已嚴(yán)重制約相關(guān)行業(yè)的發(fā)展，提高淡水魚加工自動(dòng)化、智能化水平顯得尤為重要。淡水魚前處理加工過(guò)程的關(guān)鍵工序主要包括去鱗、去臟、去頭。其中，去鱗損傷是影響產(chǎn)品外觀品質(zhì)、減少貨架期的重要因素，目前對(duì)去鱗損傷的檢測(cè)還主要依賴人工完成，是制約淡水魚加工裝備自動(dòng)化、智能化主要原因之一。

近年來(lái)伴隨著人工智能的崛起，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)得到了極大的發(fā)展。計(jì)算機(jī)技術(shù)和相關(guān)硬件設(shè)備的進(jìn)步為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的應(yīng)用提供了硬件基礎(chǔ)。計(jì)算機(jī)視覺(jué)作為一種新興的技術(shù)，依托計(jì)算機(jī)高速運(yùn)算的優(yōu)勢(shì)和相關(guān)圖像采集設(shè)備性能的提高，在食品加工與產(chǎn)品品質(zhì)檢測(cè)方面有著廣泛的應(yīng)用。同時(shí)，與機(jī)器視覺(jué)相關(guān)的設(shè)備正朝著快速、無(wú)損、高精度、高自動(dòng)化等方向發(fā)展[11,13-14]。目前已經(jīng)在蔬菜、水果等無(wú)損檢測(cè)中得到了越來(lái)越多的研究和應(yīng)用[12,16,20]。王樹文等[3]利用圖像采集設(shè)備將采集的圖像利用圖像處理的方法得到番茄缺陷的特征參數(shù)，建立BP神經(jīng)網(wǎng)絡(luò)模型，最終實(shí)現(xiàn)了對(duì)番茄損傷的自動(dòng)檢測(cè)和分類；李順琴等[4]基于計(jì)算機(jī)視覺(jué)提取橙子的大小顏色和表面特征，通過(guò)建立RBF神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)橙子的自動(dòng)化檢測(cè)和分級(jí)也取得了不錯(cuò)的效果；李錦衛(wèi)等[5]通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)，利用灰度截留分割和十色模型對(duì)馬鈴薯的表面缺陷和有芽進(jìn)行了研究，通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)建立的該檢測(cè)方法可以快速有效的檢測(cè)出馬鈴薯的表面缺陷。

研究面向機(jī)械式去鱗過(guò)程，基于機(jī)器視覺(jué)和圖像處理技術(shù)建立淡水魚去鱗損傷自動(dòng)識(shí)別算法模型，實(shí)現(xiàn)了淡水魚去鱗損傷的快速、無(wú)損檢測(cè)。

1 材料與方法

1.1 試驗(yàn)材料

研究以鯉魚為例展開相關(guān)試驗(yàn)。試驗(yàn)用鯉魚購(gòu)置于大連長(zhǎng)興水產(chǎn)市場(chǎng)，挑選的為鱗片無(wú)損傷的鮮活鯉魚，經(jīng)過(guò)去頭、去臟后放入帶冰的保溫箱中迅速運(yùn)回實(shí)驗(yàn)室。使用刮板式去鱗機(jī)進(jìn)行樣品的去鱗操作試驗(yàn)，隨機(jī)選取帶有去鱗損傷的鯉魚進(jìn)行圖像采集，為后續(xù)的處理提供數(shù)據(jù)支持。

1.2 儀器設(shè)備與圖像數(shù)據(jù)的采集

利用機(jī)器視覺(jué)系統(tǒng)裝置采集每個(gè)樣本相應(yīng)的圖像數(shù)據(jù)，該系統(tǒng)裝置主要由工業(yè)相機(jī)、鹵素?zé)艄庠?、工控裝置等組成，曝光時(shí)間為10 ms，物距50 cm，所采圖像分辨率為960×1 400 pixel2，圖像的位深度為24，圖像格式為BMP。

針對(duì)具有去鱗損傷的圖像，在損傷圖像處選取30×25 pixel2大小的矩形區(qū)域作為損傷的感興趣區(qū)域（ROI），在正常魚體圖像處選取30×25 pixel2大小的矩形區(qū)域作為無(wú)損傷ROI區(qū)域。

1.3 圖像處理與模型搭建

1.3.1 圖像顏色模型的選擇和預(yù)處理

為獲取圖像中ROI的特征，計(jì)算機(jī)對(duì)彩色圖像的處理需要根據(jù)應(yīng)用目的的不同選用不同的彩色模型，研究采用應(yīng)用較為普遍的RGB顏色模型[9-10]。

對(duì)數(shù)字圖像進(jìn)行多分辨率分析時(shí)，小波變換能夠在空間頻率域進(jìn)行局部化分析，通過(guò)伸縮平移等運(yùn)算操作對(duì)圖像的像素信號(hào)函數(shù)進(jìn)行細(xì)化，能夠?qū)崿F(xiàn)空間頻率信號(hào)的自動(dòng)分析。方法具有低熵、多分辨率性、去相關(guān)性，基數(shù)選擇靈活等特點(diǎn)，對(duì)尖峰和突變信號(hào)具有良好的保護(hù)作用。因此，研究采用閾值小波變換進(jìn)行圖像去除噪聲處理，并與原始圖像處理效果進(jìn)行對(duì)比分析。

1.3.2 神經(jīng)網(wǎng)絡(luò)建模

廣義神經(jīng)網(wǎng)絡(luò)（GRNN）是一種建立于非線性回歸分析基礎(chǔ)之上的徑向基神經(jīng)網(wǎng)絡(luò)[6-7]，其具有較強(qiáng)的非線性映射能力和全局收斂性，具有較簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)，較強(qiáng)的魯棒性和容錯(cuò)性；徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBF）是一種基于高斯函數(shù)的非線性映射的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)將數(shù)據(jù)轉(zhuǎn)化到高維空間，實(shí)現(xiàn)高維空間線性可分，網(wǎng)絡(luò)訓(xùn)練時(shí)間較短，不易產(chǎn)生局部最優(yōu)解[8]。GRNN、RBF網(wǎng)絡(luò)已廣泛應(yīng)用于食品品質(zhì)的分級(jí)預(yù)測(cè)[7,18]。研究建立基于GRNN和RBF網(wǎng)絡(luò)的魚加工損傷預(yù)測(cè)模型，并針對(duì)預(yù)測(cè)的準(zhǔn)確率、建模時(shí)間進(jìn)行對(duì)比分析。模型輸入層神經(jīng)元由所采集樣品的圖像特征構(gòu)成，輸出層神經(jīng)元由0、1構(gòu)成，分別代表完好魚體表面和損傷魚體表面。選擇100個(gè)30×25 pixel2圖像來(lái)構(gòu)建預(yù)測(cè)模型，其中50個(gè)為完好魚體表面圖像，50個(gè)為損傷魚體表面圖像，標(biāo)記好后，分層按比例選取這100個(gè)圖像中的60個(gè)圖像用于模型的訓(xùn)練，40個(gè)圖像用于模型的驗(yàn)證。

1.3.3 損傷區(qū)域識(shí)別驗(yàn)證與可視化

利用上述模型實(shí)現(xiàn)完好魚體區(qū)域與損傷魚體區(qū)域的預(yù)測(cè)，在此基礎(chǔ)上對(duì)圖像進(jìn)行圖像二值化處理，其中完好魚體的圖像部分賦值為0，損傷魚體的圖像部分賦值為1，通過(guò)形態(tài)學(xué)圖像處理區(qū)域聯(lián)通和小區(qū)域去除[9-10]的方法降低消除預(yù)測(cè)過(guò)程中產(chǎn)生的誤差。在此基礎(chǔ)上，利用二值圖像數(shù)據(jù)特點(diǎn)，通過(guò)預(yù)測(cè)圖像與原始樣本圖像的乘法運(yùn)算，實(shí)現(xiàn)損傷區(qū)域的可視化。利用預(yù)測(cè)損傷區(qū)域與實(shí)際損傷區(qū)域面積相對(duì)誤差比驗(yàn)證模型精確度，比值公式如式1所示，其結(jié)果值越接近100%說(shuō)明模型預(yù)測(cè)越準(zhǔn)確。

式中：p1為預(yù)測(cè)所得損傷區(qū)域的圖像面積，p2為原圖像實(shí)際損傷區(qū)域的面積，P為鯉魚的預(yù)測(cè)損傷區(qū)域與實(shí)際損傷區(qū)域的接近程度百分比即準(zhǔn)確率。

1.3.4 數(shù)據(jù)處理

研究利用Matlab 2011a（The Math Works Inc．，美國(guó)）軟件，進(jìn)行識(shí)別模型的建立和損傷區(qū)域圖像仿真等相關(guān)運(yùn)算和操作。

2 結(jié)果與討論

2.1 圖像去噪分析

圖1為預(yù)處理圖像，其中圖1（a）為原始圖像，（b）為經(jīng)小波去噪處理后圖像，比較兩圖像效果，去噪圖與原圖差別不大，說(shuō)明由于暗箱和光源的設(shè)置較為合理，消除了大量的光照和噪聲的影響，為減少圖像處理的時(shí)間，提高分析檢測(cè)的速度，故選擇原始圖像直接進(jìn)行后續(xù)分析與建模等相關(guān)運(yùn)算。

圖1 預(yù)處理圖像

2.2 圖像區(qū)域的劃分與分析

從原始圖像中可以看出，圖像主要由背景、正常魚體區(qū)域、損傷魚體的區(qū)域構(gòu)成，背景、正常魚體部分、損傷魚體部分顏色差別較大，如圖2所示，魚體的正常區(qū)域不同部位顏色值存在差別。為了消除這種影響，根據(jù)觀察和分析可將魚分割成三個(gè)部分，分別研究其顏色值變化情況。如圖3所示，魚體圖像包含背景、魚腹、魚背、魚尾、損傷區(qū)域五部分，分別在五部分內(nèi)選取30×25 pixel2大小的圖像塊，計(jì)算其R、G、B平均值（圖4），魚腹、魚尾、魚背、背景區(qū)域的R、G、B平均值逐漸降低，損傷區(qū)域的R平均值與魚尾相似，G平均值與魚尾背相似，B平均值與魚背相似。說(shuō)明破損區(qū)域顏色值與其它區(qū)域顏色值存在差異，可以此為特征進(jìn)行破損區(qū)域識(shí)別的研究。

圖2 魚體分割圖像

圖3 ROI區(qū)域

圖4 R、G、B平均值

2.3 預(yù)測(cè)模型的搭建及分析

在15條鯉魚圖像中隨機(jī)選取魚背、魚腹、魚尾共計(jì)50個(gè)圖像塊，損傷區(qū)域50圖像塊，分別進(jìn)行R、G、B平均值的計(jì)算，以此作為輸入建立魚加工損傷預(yù)測(cè)模型，并分別選擇GRNN和RBF網(wǎng)絡(luò)構(gòu)建此模型。

GRNN網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為3，對(duì)應(yīng)所選圖像塊的R、G、B平均值。隱層神經(jīng)元的個(gè)數(shù)由訓(xùn)練樣本通過(guò)自適應(yīng)練習(xí)確定。在擴(kuò)展常數(shù)的選取方面，針對(duì)100個(gè)圖像塊的GRNN網(wǎng)絡(luò)擴(kuò)展常數(shù)展開試驗(yàn)，當(dāng)該網(wǎng)絡(luò)的擴(kuò)展常數(shù)越大時(shí)，所得擬合函數(shù)越平滑，但需要大量神經(jīng)元用以適應(yīng)其快速的變化，反之，選擇較小的擴(kuò)展常數(shù)，也需要較大數(shù)量得神經(jīng)元適應(yīng)緩慢變化的函數(shù)，通過(guò)上述100個(gè)圖像塊進(jìn)行試驗(yàn)發(fā)現(xiàn)，擴(kuò)展常數(shù)取3時(shí)，基于GRNN網(wǎng)絡(luò)的魚加工損傷預(yù)測(cè)模型分級(jí)效果最好，預(yù)測(cè)速度最快。該網(wǎng)絡(luò)的輸出神經(jīng)元為2個(gè)，分別對(duì)應(yīng)正常魚體圖像和損傷區(qū)域。

RBF網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為3，同樣對(duì)應(yīng)所選圖像塊的R、G、B平均值。隱層神經(jīng)元由自適應(yīng)確定。針對(duì)100個(gè)圖像塊的RBF網(wǎng)絡(luò)擴(kuò)展常數(shù)展開試驗(yàn)，當(dāng)RBF網(wǎng)絡(luò)擴(kuò)展常數(shù)選擇17.5時(shí)，網(wǎng)絡(luò)預(yù)測(cè)效果最好、速度最快。RBF網(wǎng)絡(luò)輸出層同GRNN網(wǎng)絡(luò)。

針對(duì)前述GRNN和RBF網(wǎng)絡(luò)，選擇60個(gè)圖像塊進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其中30個(gè)為正常魚體圖像，30個(gè)為損傷魚體圖像；選擇40個(gè)圖像塊進(jìn)行網(wǎng)絡(luò)預(yù)測(cè)，其中20個(gè)為正常魚體圖像，20個(gè)為損傷魚體圖像，預(yù)測(cè)結(jié)果如表1所示。預(yù)測(cè)結(jié)果表明，上述兩種網(wǎng)絡(luò)預(yù)測(cè)魚損傷區(qū)域都有較高的準(zhǔn)確率，其中GRNN和RBF網(wǎng)絡(luò)識(shí)別正常區(qū)域都是100%，針對(duì)損傷區(qū)域的預(yù)測(cè)，GRNN網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率為100%，RBF網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率相對(duì)較差（80%）。

表1 GRNN網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)識(shí)別正常與損傷結(jié)果

為驗(yàn)證魚加工損傷預(yù)測(cè)模型的應(yīng)用效果，選取十五幅具有機(jī)械損傷的魚體圖像，通過(guò)圖像處理中的特征提取[11]，計(jì)算出相應(yīng)部分所占像素點(diǎn)的多少作為面積，進(jìn)一步通過(guò)p值的計(jì)算結(jié)果作為損傷識(shí)別的準(zhǔn)確率。如表2所示，基于GRNN網(wǎng)絡(luò)的p值平均值為0.941；基于RBF網(wǎng)絡(luò)的p值平均值為0.836。說(shuō)明兩種神經(jīng)網(wǎng)絡(luò)都可以較好實(shí)現(xiàn)魚損傷區(qū)域的自動(dòng)識(shí)別，其中GRNN網(wǎng)絡(luò)模型識(shí)別效果更優(yōu)。光照不均勻、損傷多樣性等因素可能是造成識(shí)別誤差的主要原因[8]。區(qū)域可視化結(jié)果，其中a1和b1分別是GRNN和RBF網(wǎng)絡(luò)模型識(shí)別出魚體損傷的區(qū)域，a2和b2分別是GRNN和RBF網(wǎng)絡(luò)模型經(jīng)過(guò)圖像處理中區(qū)域聯(lián)通和小區(qū)域去除得到的相關(guān)二值圖像，a3和b3分別是GRNN和RBF網(wǎng)絡(luò)模型獲得的魚體狀況可視化效果圖，可視化的結(jié)果同樣證明了GRNN和RBF網(wǎng)絡(luò)模型可以很好的識(shí)別出損傷區(qū)域，但是GRNN網(wǎng)絡(luò)模型預(yù)測(cè)出的損傷區(qū)域通過(guò)對(duì)比則更接近實(shí)際損傷區(qū)域。

表2 GRNN和 RBF網(wǎng)絡(luò)識(shí)別仿真損傷區(qū)域與實(shí)際損傷區(qū)域面積比值

圖5 基于GRNN網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)識(shí)別損傷區(qū)域可視化

3 結(jié)論

研究針對(duì)面向淡水魚加工過(guò)程中的去鱗損傷檢測(cè)問(wèn)題，展開有關(guān)魚去鱗損傷自動(dòng)識(shí)別的關(guān)鍵技術(shù)研究，建立了基于計(jì)算機(jī)視覺(jué)技術(shù)的魚去鱗損傷無(wú)損檢測(cè)方法。根據(jù)魚正常區(qū)域與損傷區(qū)域顏色差異性，將魚樣本圖像劃分為魚腹、魚背、魚尾、損傷和背景五部分，提取不同區(qū)域的ROI，針對(duì)魚體顏色RGB值的變化進(jìn)行相關(guān)的統(tǒng)計(jì)學(xué)分析[15,17,19]。利用樣本圖像R、G、B值的差異等特點(diǎn)建立基于GRNN和RBF網(wǎng)絡(luò)的魚損傷區(qū)域預(yù)測(cè)模型，實(shí)現(xiàn)了魚的正常與損傷區(qū)域的識(shí)別，識(shí)別模型準(zhǔn)確率分別為98%和80%。為驗(yàn)證上述模型的可行性，進(jìn)行了損傷區(qū)域可視化研究，計(jì)算預(yù)測(cè)損傷區(qū)域與實(shí)際損傷區(qū)域的相對(duì)面積比的準(zhǔn)確率值（p），最終，基于GRNN網(wǎng)絡(luò)的p值平均值為0.941，基于RBF網(wǎng)絡(luò)的p值平均值為0.836，結(jié)果表明GRNN網(wǎng)絡(luò)識(shí)別效果較好且優(yōu)于RBF網(wǎng)絡(luò)。上述研究為開發(fā)魚損傷區(qū)域快速檢測(cè)設(shè)備提供了數(shù)據(jù)支持和可行的檢測(cè)方法。