向宇航 周聰玲 王永強
(天津科技大學機械工程學院,天津 300222)
鮑魚風味片是皮料、餡料按一定比例加工灌注而成的魚糜制品[1]。在生產(chǎn)過程中設備的狀態(tài)以及操作工藝對產(chǎn)品質量影響較大,常有殘次品產(chǎn)生(鮑魚風味片合格品與各類殘次品如圖1所示)。目前針對殘次品的篩選,仍采用人工方式,效率低、成本高,極易出現(xiàn)漏檢、誤檢。機器視覺檢測技術是一種無損檢測技術,適用于對產(chǎn)品的形狀、顏色、紋理的檢測,具有檢測效率高,非接觸的特點。針對食品類非精密產(chǎn)品的缺陷檢測已有大量研究,張震[2]通過建立果蔬的面積和圓度模型的方法實現(xiàn)了果蔬的分選;吳陳陳等[3]通過提取青豆黑色像素的占比并進行圓形度分析,完成了青豆的殘次品篩選;梁寧[4]針對紅棗病害與裂紋缺陷提出了缺陷輪廓的最小外接旋轉矩形長寬關系的檢測算法。但現(xiàn)有方法對鮑魚風味片的殘次品特征檢測并不適用。
圖1 鮑魚風味片合格品與各類殘次品Figure 1 Image of Baoyu-flavor-slices
研究擬采用機器視覺檢測技術,通過獲取鮑魚風味片圖像,經(jīng)過圖像處理后,提取與缺陷相關的形狀特征并進行分析,在線識別合格品與殘次品,并自動區(qū)分邊緣殘損、內(nèi)部氣孔以及皮料厚度異常三類缺陷,旨在為生產(chǎn)管理提供大數(shù)據(jù)支持,有效降低次品率。
生產(chǎn)過程中由于鮑魚風味片產(chǎn)品呈無序堆疊狀,不利于單粒圖像采集,因此首先要經(jīng)過硬件梳理裝置將堆疊粘連的鮑魚風味片分離為單粒陣列式排布,然后再進行圖像采集、圖像處理,完成殘次品的檢測。硬件裝置結構如圖2所示,其中,根據(jù)實際生產(chǎn)效率要求,水平輸送帶尺寸為150 cm×40 cm,平穩(wěn)運行速度為0.1 m/s;暗箱尺寸為40 cm×20 cm;CCD相機置于視場中央位置,選用500 W像素的工業(yè)相機,獲取圖像像素為2 448×2 048。
1. 水平輸送帶 2. 產(chǎn)品 3. 光電傳感器 4. 環(huán)形光源燈箱 5. 機架圖2 硬件裝置結構示意圖Figure 2 Schematic diagram of hardware device structure
所采集的圖像中包含有若干個陣列排布的產(chǎn)品,每次對其中一列進行圖像處理。為了方便后續(xù)處理,將待檢測的單行鮑魚風味片圖像分割為若干ROI區(qū)域[5],每個區(qū)域內(nèi)僅包含一片完整的產(chǎn)品,ROI區(qū)域分割如圖3所示。
圖3 鮑魚風味片ROI區(qū)域分割示意圖Figure 3 ROI region segmentation diagram of Baoyu-flavor-slices
由于在線采集的圖像背景中可能存在水漬、食物殘渣等干擾因素,影響鮑魚風味片產(chǎn)品的邊緣提取,試驗采用大津法自動閾值分割方法[6],對ROI區(qū)域進行背景分割,圖4為其中某個ROI區(qū)域的分割結果。
圖4 背景分割Figure 4 The segmented image
由于鮑魚風味片的缺陷檢測是針對形狀特征的,因此后續(xù)的ROI區(qū)域產(chǎn)品缺陷特征的提取必需精確界定皮料的內(nèi)邊界。然而產(chǎn)品圖像中餡料區(qū)域與皮料區(qū)域灰度值差異不明顯,因此通過灰度值拉伸的方法[7],擴展灰度值范圍,使圖像的灰度值分布充滿整個灰度級范圍,以提高邊緣提取的準確性?;叶戎道烨昂笕鐖D5所示。
圖5 灰度拉伸前后圖像Figure 5 Gray stretch before and after images
邊緣提取的目的在于區(qū)分數(shù)字圖像中亮度變化明顯的點來組成目標區(qū)域的邊緣[8]。采用Canny算子提取邊緣特征[9]。經(jīng)過高斯濾波器平滑圖像、計算梯度的幅值和方向、非極大值抑制、雙閾值算法檢測和連接邊緣等步驟后得到皮料內(nèi)外輪廓及氣孔邊緣。合格品及3種缺陷產(chǎn)品的邊緣提取結果如圖6所示。
將產(chǎn)品輪廓的圓形度、皮料厚度、氣孔面積等特征值作為三類缺陷的特征閾值,如存在任意一種缺陷特征,則認定為不合格產(chǎn)品,并根據(jù)缺陷特征劃分殘次品類別,實現(xiàn)缺陷分類。
圖6 鮑魚風味片邊緣提取結果Figure 6 Results of edge extraction of Baoyu-flavor-slices
以圓形度作為鮑魚風味片外觀是否存在殘損的判斷依據(jù),表征鮑魚風味片外輪廓與標準圓的相似程度[10],其計算公式見式(1)。
(1)
式中:
S——鮑魚風味片面積,mm2;
P——鮑魚風味片周長,mm;
Cr——圓形度。
如圖7所示,相較于正常產(chǎn)品,內(nèi)凹型殘損產(chǎn)品的面積減小,殘損處輪廓向內(nèi)凹陷,周長增加。根據(jù)式(1)殘損品圓形度Cr小于正常產(chǎn)品。
對于殘損品邊緣為平直切口的產(chǎn)品如圖8所示。根據(jù)式(1),平直切口殘損的鮑魚風味片圓形度Cr與切口對應的圓心角θ的關系為:
(2)
根據(jù)式(2),圓形度與圓心角的曲線關系見圖9。如表1所示,平直切口類殘損切口弦長對應的圓心角范圍為80°~120°,其圓形度在(0.91,0.96)區(qū)間,圓形度在合格品圓形度閾值范圍內(nèi),被判定為合格品。
通過對圓形度公式優(yōu)化,以鮑魚風味片的最小外接圓的周長代替其實際外輪廓周長,進行圓形度的檢測。
(3)
式中:
圖7 內(nèi)凹型殘損鮑魚風味片邊緣Figure 7 Damaged edge of Baoyu-flavor-slices
圖8 平直切口型殘損鮑魚風味片邊緣Figure 8 Flat cut damaged edge of Baoyu-flavor-slices
圖9 平直切口殘損鮑魚風味片圓形度曲線Figure 9 Flat cut damaged the circularity curve of Baoyu-flavor-slices
R——鮑魚風味片最小外接圓半徑,mm。
以鮑魚風味片最小外接圓的圓心為原點建立直角坐標系,從原點向任意方向發(fā)射的射線與內(nèi)、外輪廓相交,交點間的距離即為此方向上的皮料厚度,如圖10(a)所示。A、B兩點間距離即為θ角度方向上的皮料厚度,其中,角度θ的取值范圍為0~2π。為了便于計算圖像中皮厚,在原圖像直角坐標系原點上建立極坐標系[11],如圖10(b)所示,橫坐標表示射線旋轉角度θ,縱坐標表示內(nèi)外輪廓上的點到原點的距離。皮料內(nèi)、外輪廓的坐標(x,y)在極坐標系下(ρ,θ),其中
表1 切口型殘損鮑魚風味片圓形度統(tǒng)計
圖10 直角坐標系及極坐標系下鮑魚風味片內(nèi)外輪廓Figure 10 Contour of Baoyu-flavor-slices in rectangular coordinate and polar coordinate system
(4)
(5)
式中:
x、y——直角坐標系下輪廓坐標;
ρ——極徑,mm;
θ——極角,rad。
角度θ一定,內(nèi)、外輪廓曲線對應ρ的差值,即為鮑魚風味片的皮料厚度。圖11為皮料過厚產(chǎn)品的厚度曲線。合格產(chǎn)品皮料厚度在設定的合格區(qū)間波動,當檢測產(chǎn)品的皮料厚度超過閾值上限或者低于閾值下限則判定為皮料厚度異常,為不合格品。
圖11 鮑魚風味片皮料厚度Figure 11 The wrapper thickness of Baoyu-flavor-slice
通過邊緣輪廓提取鮑魚風味片中所有的氣孔邊緣輪廓,計算閉合輪廓圍成的區(qū)域面積S[12]。計算前文提取氣孔輪廓圍成的面積,當所有氣孔面積之和S小于設定的允許值時,為合格品;反之,判定為不合格品,如圖12所示。標記區(qū)域表示識別出的氣孔區(qū)域面積大小,經(jīng)計算其面積為55 mm2大于設定值的允許值,為氣孔缺陷不合格品。
圖12 氣孔區(qū)域特征檢測Figure 12 Holes area feature detection
選取10 000片鮑魚風味片,其中包括數(shù)量相同的合格品、外觀殘損品、皮料厚度異常品以及氣孔殘次品,將樣本均分為兩組,其中,樣本組一5 000片為閾值選取樣本,樣本組二5 000片為測試樣本。
從樣本組一中選取2 500個合格樣品進行統(tǒng)計,圓形度頻率分布如圖13所示。分析可知,合格品鮑魚風味片圓形度均值μ為0.945,標準差σ為0.024。根據(jù)3σ原則,圓形度閾值選取范圍如表2所示。通過對比圖13中的數(shù)據(jù),鮑魚風味片圓形度取μ±3σ,合格品圓形度閾值下限為0.869。
圖13 鮑魚風味片圓形度統(tǒng)計Figure 13 Statistical chart of circularity of Baoyu-flavor-slices
表2 圓形度閾值范圍
對樣本組一中2 500片合格品進行皮料厚度統(tǒng)計,皮料厚度分布如圖14所示。合格品鮑魚風味片皮料厚度均值μ為2.5,標準差σ為0.59。皮料厚度閾值選取范圍如表3所示。通過對比圖14中的數(shù)據(jù),鮑魚風味片皮料厚度取μ±3σ,合格品皮料厚度閾值上限為4.3 mm,閾值下限為0.7 mm。
圖14 鮑魚風味片皮料厚度統(tǒng)計Figure 14 Statistical chart of the wrapper thickness of Baoyu-flavor-slices
從樣本組一中選取1 000氣孔缺陷樣品進行氣孔面積統(tǒng)計試驗,氣孔特征的像素面積分布如圖15所示。根據(jù)統(tǒng)計結果設定合格品中允許的氣孔面積最大為35 mm2。
表3 皮料厚度閾值范圍
圖15 氣孔缺陷鮑魚風味片面積統(tǒng)計Figure 15 Statistical diagram of holes area of Baoyu-flavor-slices
采用樣本組二中7 000個樣品進行驗證實驗,閾值選取試驗的結果為設定值,檢測準確率統(tǒng)計如表4所示,殘次品識別與分類結果如圖16所示。由圖16可知,針對鮑魚風味片的殘損、皮料厚度的檢測未出現(xiàn)檢測錯誤,針對鮑魚風味片氣孔的檢測準確率達98.65%。
表4 殘次品檢測結果統(tǒng)計
圖16 鮑魚風味片合格品與殘次品數(shù)據(jù)統(tǒng)計Figure 16 Statistical graph of experimental data of Baoyu-flavor-slices
由表4可知,對7 000片樣品進行檢測,正確識別6 973片,該方法對合格品與殘次品的識別準確率達99.6%,且對于殘次品的分類有較高的準確率。對未檢測出的氣孔缺陷產(chǎn)品進行分析,如圖17所示。采集的產(chǎn)品圖像中存在一個面積較大氣孔,為不合格品,受光斑影響鮑魚風味片單個連通氣孔區(qū)域被誤判為兩個獨立氣孔區(qū)域,圖17(b)中區(qū)域1與區(qū)域2,每個氣孔區(qū)域像素面積都小于設定閾值,被判定為合格品。此類誤檢可通過改善光源環(huán)境,采用分布更均勻的環(huán)形光源以提升檢測準確率。
圖17 氣孔特征誤判產(chǎn)品Figure 17 Holes pixel area qualified product
試驗提出了基于機器視覺的鮑魚風味片殘次品在線篩選方法,使用Canny邊緣提取算法提取鮑魚風味片的輪廓信息,通過分析殘次品的特征信息,對產(chǎn)品中存在的不合格品進行識別與分類檢測,同時將殘次品中的殘損品、皮料厚度不均勻產(chǎn)品、氣孔缺陷產(chǎn)品進行分類。結果表明,在檢測速率0.1 m/s的情況下,鮑魚風味片的殘次品識別準確率達99.6%,殘次品分類準確率可達100%,證明此方法的可行性。在圖像處理算法中,特征檢測的精度受光照的影響,系統(tǒng)魯棒性還有待提高,在實際生產(chǎn)應用中需要進一步提升系統(tǒng)穩(wěn)定性。