夏立元,王沛龍,趙宏,肖昌炎,李樹濤
工業(yè)機器視覺
基于機器視覺的手持式瓦楞紙計數(shù)系統(tǒng)研究
夏立元1,王沛龍1,趙宏2,肖昌炎1,李樹濤1
(1.湖南大學(xué) 電氣與信息工程學(xué)院,長沙 410082;2.國防科技大學(xué) 空天科學(xué)學(xué)院,長沙 410073)
為了實現(xiàn)對瓦楞紙疊層的精確計數(shù)。提出一種基于機器視覺的手持式計數(shù)系統(tǒng),介紹了系統(tǒng)的硬件組成和應(yīng)用場景,引入孔洞增強算法和基于傾斜校正的孔洞投影策略,并且與現(xiàn)有計數(shù)算法進行對比分析,最后針對不同楞型的瓦楞紙疊層進行計數(shù)實驗,進一步驗證了所提出算法的魯棒性。對已有不同楞型的瓦楞紙進行多次試驗,提出的計數(shù)系統(tǒng)均能取得99%的準(zhǔn)確率。在實際工作場景下,大量測試表明該系統(tǒng)可以對瓦楞紙疊層進行精確計數(shù)。
瓦楞紙疊層;機器視覺;海森矩陣;孔洞檢測
瓦楞紙因其較好的強度和緩沖性能通常被作為包裝材料。近年來對瓦楞紙板的需求逐年遞增[1],制造行業(yè)正在尋求利用機器視覺[2]的方法提高生產(chǎn)效率。目前部分無接觸式的計數(shù)方法是通過傳感器得到瓦楞紙疊層的高度,再除以單張瓦楞紙的厚度得到層數(shù)[3],但是實際應(yīng)用中,因為受潮和受力等原因,每張瓦楞紙板間的厚度均有一定差異,因此最終計數(shù)誤差較大。當(dāng)前主流的無接觸式計數(shù)方式多采用基于機器視覺的方法,有關(guān)瓦楞紙疊層計數(shù)的論文中,針對瓦楞紙疊層堆疊高度高、紙板排布密集的這一特性,通常采用伺服電機帶動線掃描相機,通過逐層掃描的方式來對瓦楞紙疊層端面進行成像,這樣每次只聚焦于瓦楞紙疊層中的部分區(qū)域,可以得到較高的成像質(zhì)量。Suppitaksakul等[4]通過二值化和連通域檢測[5]來提取瓦楞紙中的孔洞特征,以實現(xiàn)計數(shù)。黃丹平等[6]通過小波變換來提取瓦楞紙中波浪線狀紋理,以實現(xiàn)計數(shù)。通過逐層掃描得到的圖像通常對比度較高,紋理特征較為明顯,因此算法往往能取得不錯的效果。然而線掃描相機價格昂貴,成像方式嚴(yán)重依賴于機械結(jié)構(gòu),導(dǎo)致圖像獲取時間長,測量效率低。同時實際工作場景需要對組合楞型的瓦楞紙進行計數(shù),此時圖像的頻率特性較為復(fù)雜,基于頻域的小波變換難以取得較好的效果。近年來,人們開始將深度學(xué)習(xí)的方法應(yīng)用到瓦楞紙計數(shù)中[7-8],通過在大量的數(shù)據(jù)集上進行訓(xùn)練,深度學(xué)習(xí)的算法能夠在組合楞型的瓦楞紙上取得不錯的計數(shù)效果,但這些方法通常對系統(tǒng)運算能力有較高的要求,且收集對應(yīng)的數(shù)據(jù)集進行標(biāo)注需要花費大量人力成本。
文中提出一種手持式計數(shù)系統(tǒng),利用面陣相機一次性對整個瓦楞紙端面進行成像,不依賴于額外的機械結(jié)構(gòu)。相比于線掃描相機逐行掃描的成像方式,這種成像方法得到的圖像質(zhì)量有所下降,因而目前已有的算法往往不能在這些圖像上取得較好的效果。針對這一問題,文中提出一種基于多尺度孔洞檢測的瓦楞紙計數(shù)算法,在所采集的圖像對比度較低、紋理特征不明顯的情況下,也能實現(xiàn)準(zhǔn)確計數(shù)。
手持式瓦楞紙計數(shù)系統(tǒng)主要由3個部分構(gòu)成。相機和光源構(gòu)成成像系統(tǒng),樹莓派芯片構(gòu)成了算法處理系統(tǒng),紅外測距傳感器、觸控顯示屏等構(gòu)成了交互系統(tǒng)。整個系統(tǒng)的工作示意圖見圖1。
圖1 計數(shù)系統(tǒng)工作示意圖
成像系統(tǒng)使用單個面陣相機對瓦楞紙疊層圖像進行采集,瓦楞紙疊層高度一般為2 m,在拍攝距離為2.1 m左右時,相機的視場能夠覆蓋到整個瓦楞紙疊層區(qū)域。同時為了使成像對比度更高,需要使用額外光源對瓦楞紙進行補光,以保證在不同場景下的成像質(zhì)量。系統(tǒng)的設(shè)備結(jié)構(gòu)示意圖見圖2。
圖2 圖像采集設(shè)備結(jié)構(gòu)示意
算法流程見圖3,首先通過高分辨率的面陣相機對整個瓦楞紙疊層進行成像,取代了現(xiàn)有計數(shù)設(shè)備使用的由伺服電機帶動線掃描相機進行成像的方案。面陣相機的成像質(zhì)量較差,因此需要對所拍攝的圖片進行預(yù)處理,以提升圖像的對比度,后續(xù)所采用的多尺度孔洞增強算法,可以增強低對比度下各種不同型號的瓦楞紙孔洞。提取孔洞后,將孔洞沿著水平方向進行投影,通過對投影的結(jié)果進行峰值檢測來對瓦楞紙疊層進行計數(shù)。
由于手持式設(shè)備的光源功率受到一定限制,加上需要和待測紙堆保持一定的距離,才能在相機的視場范圍內(nèi)拍攝到完整的瓦楞紙疊層目標(biāo),所以實際拍攝的圖像通常整體較暗,對比度較低,需要對圖像進行局部直方圖均衡化。局部直方圖均衡化是把圖像劃分為不同的子塊,在每個子塊中進行直方圖均衡化,這樣能夠使得圖像的局部細節(jié)和對比度得到充分增強[9]。原始圖片見圖4a,局部直方圖均衡化后的效果見圖4b。
成像設(shè)備采集的圖像中除了瓦楞紙疊層,通常還有其他的非感興趣區(qū)域,如放置瓦楞紙的木質(zhì)墊板。利用瓦楞紙的紋理特性可以較快速地區(qū)分紙張區(qū)域和非紙張區(qū)域,準(zhǔn)確地分割紙張區(qū)域和非紙張區(qū)域,有利于排除一些不必要的噪聲干擾。如圖5所示,根據(jù)瓦楞紙楞邊灰度分布情況,創(chuàng)建具有對角線紋理模式的卷積核,進一步增強紙張區(qū)域的紋理,抑制非紙張區(qū)域的紋理,所采用的卷積核見式(1)。
初步卷積結(jié)果見圖6b,紙張區(qū)域的紋理得到顯著增強,但是非紙張區(qū)域仍有一些噪聲干擾,可以通過小連通域檢測和二值化的方法濾除這些噪聲干擾,見圖6c。最終通過形態(tài)學(xué)膨脹的方法分割出紙張區(qū)域和非紙張區(qū)域,見圖6d。
提取完整的瓦楞紙紙張區(qū)域后,通常通過檢測瓦楞紙圖像中的直線[10]或者孔洞特征實現(xiàn)計數(shù)[11]。在實際的瓦楞紙疊層中,瓦楞紙板間會存在一定的間隙,在正常情況下,2張瓦楞紙板間只顯示出一條直線,而在縫隙處2張紙板間顯示出2條直線,因此利用直線特征進行計數(shù)很容易引入誤差,而孔洞和每張瓦楞紙則有較好的對應(yīng)關(guān)系。
圖3 計數(shù)算法流程
圖4 局部直方圖均衡化前后的圖片
圖5 瓦楞紙楞邊灰度分布
圖6 紙張區(qū)域提取
瓦楞紙中的孔洞是一種近似半圓形的結(jié)構(gòu),且灰度值較低,直方圖均衡化后孔洞周圍楞邊的灰度值均明顯高于孔洞內(nèi)部,求取海森矩陣可以進一步增強孔洞的結(jié)構(gòu)[12]。海森矩陣對應(yīng)著圖像在某點處灰度值的二階導(dǎo)數(shù),反映了圖像灰度梯度變換程度。直接將海森矩陣作用在圖像上往往會放大圖像中的噪聲。為了減少這些干擾,在求取海森矩陣之前,需要使用低通高斯濾波器對圖像進行平滑處理。圖像處理領(lǐng)域中,通過對二維高斯核求取各個方向上的二階導(dǎo)數(shù),將高斯平滑和求取海森矩陣這2個卷積操作變?yōu)?個卷積步驟,高斯核各個方向上的二階偏導(dǎo)數(shù)分別見式(2)—(4)。其中式(2)的二維高斯函數(shù)在方向上的二階偏導(dǎo)數(shù)圖像見圖7。
式中:和為像素坐標(biāo);為高斯函數(shù)對應(yīng)的標(biāo)準(zhǔn)差。
圖7 二維高斯函數(shù)在x方向上的二階導(dǎo)數(shù)
在二維圖像中求取海森矩陣得到的2個特征值中,最大特征值與其對應(yīng)的特征向量表示其二維鄰域曲線最大曲率的強度和方向,最小特征值對應(yīng)的特征向量表示與其垂直的方向,即圖像某點處海森矩陣特征值的大小和符號,直接反映了該鄰域內(nèi)的幾何結(jié)構(gòu)。理想圓形孔洞的海森矩陣特征值具有各向同性,即2個特征向量的模值較大,且取值也比較接近。在瓦楞紙板中提取出的孔洞,通常形狀不規(guī)則,孔洞內(nèi)部某些位置處的特征值可能無法體現(xiàn)各向同性。同時受成像設(shè)備和光源的限制,圖像某些位置的對比度可能較低,在這種情況下,孔洞位置對應(yīng)的海森矩陣特征值和其他位置處的特征值間沒有顯著的差異,此時增強孔洞很容易引入噪聲干擾。
式中:1、2、3分別為三維海森矩陣的3個特征向量。
經(jīng)過上述分析,設(shè)計如式(7)所示的孔洞響應(yīng)函數(shù),其本質(zhì)上仍是體積比的形式,但是二維圖像只有2個特征值,并且其中的部分特征值根據(jù)紙張孔洞的實際形狀進行了更有針對性的歸一化。
以C楞型的瓦楞紙為例,對孔洞響應(yīng)的結(jié)果進行分析。實際采集的圖像見圖8a,上半部分區(qū)域?qū)Ρ榷容^低,楞邊幾乎不可見。圖8b為局部直方圖均衡化后的結(jié)果,上半部分區(qū)域中孔洞和楞邊的對比度得到較大提升,但整體仍然較為模糊。圖8c為孔洞增強的結(jié)果,可以看出基本上所有孔洞均被孔洞響應(yīng)函數(shù)增強,圖像下半部分成像清晰,孔洞響應(yīng)較大,直觀體現(xiàn)為灰度值強度較大。上半部分較模糊區(qū)域中,大部分孔洞仍有較大的響應(yīng),部分孔洞響應(yīng)較小,在圖8c中灰度值強度較暗。高對比度區(qū)域孔洞響應(yīng)結(jié)果見圖8e,孔洞響應(yīng)輸出的最大值為0.58,最小值為0.06。圖8d為低對比度區(qū)域孔洞響應(yīng)放大圖,其中響應(yīng)輸出最大值為0.25,最小值為0.06。因為孔洞增強前進行過平滑處理,并且對海森矩陣的特征值進行了歸一化,所以在低對比度區(qū)域的孔洞得到增強的同時,并未引入其他非孔洞區(qū)域的噪聲干擾。
2.3.1 復(fù)合楞型與多尺度問題
實際生產(chǎn)中除了單楞型,通常還會有雙楞和三楞組合的混合楞型,如B楞和E楞組合形成BE楞,因此需要考慮多尺度問題。根據(jù)尺度空間的理論,調(diào)節(jié)生成的海森卷積核中高斯函數(shù)的標(biāo)準(zhǔn)差,可以使得卷積核作用后突出不同尺度下的特征。具體到瓦楞紙疊層測量中,需要根據(jù)不同型號的瓦楞紙設(shè)置標(biāo)準(zhǔn)差,以突出不同楞型的孔洞。
以實際應(yīng)用中的B楞和E楞為例,E楞的高度范圍約為6~8個像素,B楞的高度范圍約為14~16個像素。只有卷積核的尺度和對應(yīng)楞型的尺度相近時才能達到最好的卷積效果。如果使用卷積核的尺度遠大于孔洞的尺度,多個小孔洞被一個大尺度的卷積核卷積則造成孔洞的粘連,同時會引入更多的背景噪聲。同理使用小尺度的卷積核去卷積大尺度的孔洞,如利用E楞對應(yīng)的尺度去卷積B楞對應(yīng)的孔洞,則B楞孔洞提取不完整,原本一個孔洞會被分割為多個更小的孔洞。
針對BE的組合楞型,需要使用2個不同的尺度的卷積核分別去做卷積,得到2張卷積圖像后,在每個像素位置,選擇響應(yīng)值最高的作為最終的卷積結(jié)果[15]。圖9為經(jīng)過直方圖均衡化后BE組合楞型圖片,分別針對B楞型和E楞型設(shè)置2個不同尺度的高斯卷積核,最終結(jié)果見圖10。
圖8 不同對比度區(qū)域孔洞響應(yīng)
圖9 BE組合楞型
圖10 BE孔洞提取
孔洞增強結(jié)果中孔洞的形狀大小均不一致,在進行投影操作時很難設(shè)置相應(yīng)的閾值,因此首先通過計算輪廓矩的方式提取每個孔洞的重心坐標(biāo)?;叶葓D像中通過計算零階矩和一階矩來獲取輪廓重心坐標(biāo),計算公式分別為:
輪廓重心計算公式為:
重心提取完成后,以每個孔洞重心為圓心,生成一個半徑為2像素的圓形。此時所有孔洞對應(yīng)的形狀大小均相同,圖11為孔洞大小標(biāo)準(zhǔn)化前后的效果。以C楞為例,在截取的80寬度的像素區(qū)域中,每行應(yīng)該有8~9個孔洞,考慮在某些低對比度的區(qū)域中可能有部分孔洞未能檢出,規(guī)定至少檢出3個以上的孔洞,才確定該區(qū)域?qū)?yīng)一張瓦楞紙。對于C楞,在沿水平方向投影的過程中小于這一閾值的投影結(jié)果設(shè)置為0,將一維投影結(jié)果以柱狀圖的形式顯示,圖12b為沿水平方向投影結(jié)果,為排除噪聲干擾,對于不同楞型瓦楞紙的水平投影結(jié)果,分別用對應(yīng)各自楞型高度的一維高斯濾波器進行平滑,平滑的結(jié)果見圖12c。為進一步驗證算法的可靠性,將孔洞提取結(jié)果以及水平投影結(jié)果顯示在同一張圖上,見圖13,可見對于框出的紙張嚴(yán)重變形區(qū)域,雖然所檢測出的孔洞較小,部分孔洞未能檢出,但是在進行孔洞大小標(biāo)準(zhǔn)化后,投影的結(jié)果中依然可以檢測到明顯的峰值。
圖11 孔洞處理
圖13 孔洞提取與投影結(jié)果
瓦楞紙在堆放的過程會出現(xiàn)傾斜問題,但在算法處理的過程中往往只截取較短的一段寬度進行投影,因此在目前所采集的圖片中傾斜問題不會對投影結(jié)果造成太大的偏差,圖14為現(xiàn)有算法在紙張傾斜的圖像上運行的結(jié)果,可見雖然瓦楞紙有一定程度的傾斜,投影結(jié)果中柱狀圖的峰值區(qū)域和瓦楞紙疊層中的每張瓦楞紙仍有較好的對應(yīng)關(guān)系。
圖14 算法投影結(jié)果
在傾斜程度較大的情況下,水平投影較容易產(chǎn)生誤差,因此結(jié)合實際情況對傾斜問題進行進一步分析。在實際的生產(chǎn)中,瓦楞紙很少整體往某一方向傾斜,通常越往頂部區(qū)域越容易發(fā)生傾斜,并且不同區(qū)域的傾斜方向可能不同,因此從算法適用性的角度來說,傾斜問題不能簡單通過沿著某一方向進行投影來解決。
同一瓦楞紙疊層中,瓦楞紙不同方向的傾斜需要進行不同的校正,因此借鑒圖像拼接的算法來對傾斜情況進行校正。圖像拼接中首先通過SIFT算子查找2張圖像中匹配的特征點,然后利用這些特征點求取單應(yīng)矩陣,通過單應(yīng)變化將一張圖像對齊到另一張圖像的坐標(biāo)系下。在孔洞標(biāo)準(zhǔn)化后的圖像上應(yīng)用霍夫檢測可以快速得到不同區(qū)域中傾斜角度不同的直線,如圖15所示,其中上端白色的線為霍夫檢測得到的結(jié)果,期望傾斜校正后白色線上的點能夠移動到下端水平的橘黃色直線上,因此可以把白色直線的2個端點和橘黃色直線的2個端點看作是原始圖像和校正后圖像中的一對匹配點,白色直線的2個端點可以直接利用霍夫檢測提供的角度信息求出,而橘黃色直線的兩個端點縱坐標(biāo)和白色直線左端點的縱坐標(biāo)相同,橫坐標(biāo)分別為0和圖像的寬度。這樣通過霍夫檢測在原始圖像中的不同區(qū)域分別檢測出4條直線,就可以提供8對匹配點,利用這些匹配點求出單應(yīng)矩陣后,通過對原始圖像進行單應(yīng)變換,可以得到校正后的圖像。
圖15 孔洞標(biāo)準(zhǔn)化圖像上的霍夫檢測結(jié)果
如圖16所示,在圖像的不同位置選取4條直線,4條直線中除了第一條直線向下傾斜,其他直線基本水平或輕微向上傾斜,這也反映了瓦楞紙疊層中不用區(qū)域瓦楞紙的實際傾斜情況。通過這4條直線可以得到8個匹配點,利用這8個匹配點可以計算出如圖17所示的單應(yīng)矩陣。通過單應(yīng)變換即可實現(xiàn)傾斜校正,即將原始圖像對齊到期望的孔洞水平排布的圖像上。
圖16 霍夫檢測直線選取
圖17 單應(yīng)矩陣
校正前后的圖像見圖18,其中白色的標(biāo)記點對應(yīng)校正前的孔洞位置,紅色的標(biāo)記點為校正后的孔洞位置。對于原本向下傾斜瓦楞紙區(qū)域中的孔洞校正后均往上移動,同時從右向左孔洞上移幅度逐漸增大。即相當(dāng)于繞著原本白色直線的左端點進行了相應(yīng)角度的順時針旋轉(zhuǎn),符合預(yù)期。對于向上傾斜瓦楞紙區(qū)域中的孔洞校正后孔洞均往下移動,越往左下移幅度越大??梢缘贸鼋Y(jié)論校正后瓦楞紙疊層中所有孔洞點都趨于了水平分布,此時沿著水平方向?qū)锥催M行投影,可以避免紙張傾斜問題帶來的干擾。根據(jù)單應(yīng)變換的基本原理,理論上提供的匹配點數(shù)目越多也即選取的霍夫直線數(shù)目越多,單應(yīng)變換的結(jié)果也就更加準(zhǔn)確。如何在圖像的不同區(qū)域選取合適的霍夫直線檢測結(jié)果仍需要進行更多研究,如果所提供的匹配點全部集中在一小塊區(qū)域,單應(yīng)變換的結(jié)果很難對不同區(qū)域中的傾斜情況進行校正,目前采用的策略是在圖像中盡量分散地去選擇霍夫檢測結(jié)果,使得所提供的匹配點盡可能地反映全局信息。對目前已有的圖片,不進行傾斜校正也能取得較為準(zhǔn)確的結(jié)果,所以該校正方法的效果,仍有待在更有針對性、傾斜幅度更大的圖片上進行驗證。
基于孔洞檢測的計數(shù)算法和基于直線的計數(shù)方法相比,一個重要優(yōu)勢是孔洞和瓦楞紙薄片有嚴(yán)格的對應(yīng)關(guān)系,而實際場景下直線和單張瓦楞紙薄片間通常沒有較好的對應(yīng)關(guān)系,如圖19a中第3張瓦楞紙?zhí)幇l(fā)生了明顯的變形,通過自適應(yīng)閾值和形態(tài)學(xué)操作后,該區(qū)域一共檢測出4條線狀目標(biāo),在不依據(jù)原圖進行判斷的情況下,很容易誤認為4條線狀目標(biāo)共對應(yīng)著3張瓦楞紙板,而實際該區(qū)域只有一張變形的瓦楞紙板。
圖18 傾斜校正結(jié)果
圖19 紙張變形區(qū)域線狀檢測結(jié)果
對于基于孔洞檢測的計數(shù)方法來說,每排孔洞只可能唯一對應(yīng)一張瓦楞紙板。所提出的算法在圖19紙張變形處檢測的結(jié)果見圖20,孔洞檢測相比于直線檢測有較明顯的優(yōu)勢。
圖20 紙張變形區(qū)域孔洞檢測結(jié)果
已有孔洞檢測算法均采用在二值圖像上進行連通域檢測的方法來提取孔洞,而在實際應(yīng)用中低對比度的圖像上二值化很難取得較好的效果,從而進一步影響后續(xù)孔洞提取的結(jié)果。圖21c為自適應(yīng)閾值分割的結(jié)果,圖21d為利用連通域檢測對孔洞提取的結(jié)果,可以發(fā)現(xiàn)有部分孔洞發(fā)生了聯(lián)結(jié),同時檢測結(jié)果中有大量的噪聲干擾,楞邊和孔洞很容易被判斷為屬于同一個連通域;圖21e為文中提出的孔洞增強算法的效果,該算法可直接在灰度圖像上進行孔洞提取,無需進行二值化的操作,在低對比度區(qū)域也能較好地提取出孔洞。同時檢測結(jié)果中只會對孔洞區(qū)域進行增強,不會像連通域檢測算法一樣引入其他非孔洞區(qū)域的噪聲干擾。
為進一步驗證算法在實際工作場景下的通用性與準(zhǔn)確性,將計數(shù)算法在樹莓派上進行編譯,并導(dǎo)入一臺手持式設(shè)備,在實際的工作場景下進行測試,對單楞型的E、B、C和雙楞型的BC、BE、AB分別進行了測試。其中BE楞型的瓦楞紙疊層因為擺放過久,出現(xiàn)了孔洞不清晰的情況;BC楞型的瓦楞紙疊層部分孔洞因為受力不均而明顯小于標(biāo)準(zhǔn)的孔洞;B楞型的瓦楞紙疊層有紙張傾斜和成像不夠清晰等問題。測試結(jié)果表明該算法有很強的魯棒性,在上述問題的干擾下仍能準(zhǔn)確得出計數(shù)結(jié)果。每種楞型的瓦楞紙疊層中用線條標(biāo)記出了每張瓦楞紙,見圖22。對計數(shù)結(jié)果的統(tǒng)計結(jié)果見表1。
圖21 孔洞檢測方法對比
表1 手持設(shè)備1計數(shù)結(jié)果
Tab.1 Counting result of hand-held device 1
文中展示了一種手持式瓦楞紙計數(shù)系統(tǒng)的硬件結(jié)構(gòu)以及對應(yīng)的機器視覺計數(shù)算法?,F(xiàn)階段很多瓦楞紙計數(shù)算法仍停留在實驗室算法仿真階段,無法在復(fù)雜的工業(yè)場景下正常運行。該研究的主要貢獻有:利用低成本的面陣相機,不依賴額外的機械結(jié)構(gòu),結(jié)合孔洞檢測的機器視覺算法,拍攝單張圖片即可對整個瓦楞紙疊層進行精確計數(shù),計數(shù)效率較高;多尺度的解決方案,能夠?qū)Ω鞣N單楞型和組合楞型的瓦楞紙進行計數(shù);手持式設(shè)備靈活便攜,應(yīng)用場景廣泛。
[1] 李莉. 瓦楞紙半年度分析——上半年呈“N”型走勢 下半年預(yù)期偏強[J]. 中華紙業(yè), 2021, 42(15): 28-29.
LI Li. Semi-annual Analysis of Corrugated Paper: "N" Trend in the First Half of the Second Half is Expected to Be Stronger[J]. China Paper, 2021, 42(15): 28-29.
[2] 劉翠翠, 楊濤. 機器視覺在智能制造中的應(yīng)用與產(chǎn)業(yè)發(fā)展[J]. 機床與液壓, 2021, 49(11): 172-178.
LIU Cui-cui, YANG Tao. Application and Industrial Development of Machine Vision in Intelligent Manufacturing[J]. Machine Tool & Hydraulics, 2021, 49(11): 172-178.
[3] 鄒炳華. 一種瓦楞紙生產(chǎn)的紙張高度測量系統(tǒng): 中國, 110360936A[P]. 2019–10–22.
ZOU Bing-hua. A Paper Height Measuring System for Production of Corrugated Paper: China, 110360936A[P]. 2019-10-22.
[4] Suppitaksakul C, Rattakorn M. Machine Vision System for Counting the Number of Corrugated Cardboard[C]2014 International Electrical Engineering Congress (iEECON), Chonburi, Thailand, 2014: 1-4.
[5] Suzuki S, be K. Topological Structural Analysis of Digitized Binary Images by Border Following[J]. Computer Vision, Graphics, and Image Processing, 1985, 30(1): 32–46.
[6] 黃丹平, 廖世鵬, 于少東, 等. 基于機器視覺瓦楞紙板自動計數(shù)系統(tǒng)研究[J]. 機械工程學(xué)報, 2017, 53(10): 79-86.
HUANG Dan-ping, LIAO Shi-peng, YU Shao-dong, et al. Research on Automatic Counting System Corrugated Paper Board Based on Machine Vision[J]. Journal of Mechanical Engineering, 2017, 53(10): 79-86.
[7] 楊憲強, 于興虎, 劉偉華, 等. 一種基于神經(jīng)網(wǎng)絡(luò)的瓦楞紙檢測算法: 中國, 109671074A[P]. 2019–04–23.
YANG Xian-qiang, YU Xing-hu, LIU Wei-hua, et al. A Detection Algorithm for Corrugated Paper Based on Neural Network: China, 109671074A[P]. 2019-04-23.
[8] 張堃, 韓宇, 徐子洋, 等. 一種基于深度學(xué)習(xí)的瓦楞紙堆疊層數(shù)計數(shù)方法: 中國, 111862122A[P]. 2020–10–30.
ZHANG Kun, HAN Yu, XU Zi-yang, et al. A Count Method for Stacking Layers of Corrugated Paper Based on Depth Study: China, 111862122A[P]. 2020-10-30.
[9] ZHU Hui, Chan F H Y, Lam F K. Image Contrast Enhancement by Constrained Local Histogram Equalization[J]. Computer Vision and Image Understanding, 1999, 73(2): 281-290.
[10] ZHANG Zhi-hao, ZHU Peng-bo, YANG Xian-qiang. A Counting Method for Stacked Corrugated Board Based on Autocorrelation[C]// 2018 37th Chinese Control Conference (CCC), Wuhan, 2018: 9379-9382.
[11] 楊憲強, 衛(wèi)作龍, 張智浩, 等. 一種基于圖像輪廓提取與聚類的瓦楞紙智能檢測方法: 中國, 109658404A[P]. 2019.
YANG Xian-qiang, WEI Zuo-long, ZHANG Zhi-hao, et al. An Intelligent Detection Method for Corrugated Paper Based on Extraction and Aggregation of Picture Contour: China, 109658404A[P]. 2019.
[12] LIU Jia-min, White J M, Summers R M. Automated Detection of Blob Structures by Hessian Analysis and Object Scale[C]// 2010 IEEE International Conference on Image Processing, Hong Kong, 2010: 841-844.
[13] ?tepán-Buksakowska I L, Accurso J M, Diehn F E. Computer-Aided Diagnosis Improves Detection of Small Intracranial Aneurysms on MRA in a Clinical Setting[J]. American Journal of Neuroradiology, 2014, 35(10): 1897-1902.
[14] Jerman T, Pernus F, Likar B. Blob Enhancement and Visualization for Improved Intracranial Aneurysm Detection[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(6): 1705-1717.
[15] Frangi A F, Niessen W J, Vincken K L, et al. Multiscale Vessel Enhancement Filtering[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, Springer Berlin Heidelberg, 1998: 130-137.
Hand-held Corrugated Cardboard Counting System Based on Machine Vision
XIA Li-yuan1, WANG Pei-long1, ZHAO Hong2, XIAO Chang-yan1, LI Shu-tao1
(1. College of Electrical and Information Engineering, Hunan University, Changsha 410082, China;2. College of Aerospace Science Engineering, National University of Defense Technology, Changsha 410073, China)
The work aims to count the corrugated cardboard accurately. A hand-held corrugated cardboard counting system based on machine vision was proposed and the hardware structure and application scenario of the system were introduced. The blob enhancement algorithm and the blob projection strategy based on slope correction were adopted and compared with the existing counting algorithms for analysis. Finally, counting experiments were carried out on corrugated cardboard laminates with different shapes, and the robustness of the proposed algorithm was further verified. The existing corrugated cardboards with different shapes were tested for many times, and the accuracy of the proposed counting system reached 99%. In the actual working scenario, a large number of tests show that the system can accurately count corrugated cardboard laminates.
corrugated cardboard laminates; machine vision; Hessian matrix; blob test
TB487.1;TP29
A
1001-3563(2022)15-0001-12
10.19554/j.cnki.1001-3563.2022.15.001
2022–07–18
夏立元(1998—),男,湖南大學(xué)碩士生,主攻計算機視覺。
肖昌炎(1972—),男,博士,湖南大學(xué)教授,主要研究方向為機器視覺與機器人技術(shù)。
責(zé)任編輯:曾鈺嬋