劉鯉揚,項 基
(浙江大學(xué)電氣工程學(xué)院,浙江杭州 310027)
目前,國內(nèi)外陶瓷墻地磚生產(chǎn)線已經(jīng)基本實現(xiàn)機械化、自動化,但在生產(chǎn)線某些環(huán)節(jié)仍靠人工來實現(xiàn)。比如:成品磚人工分揀,對瓷磚的色差、花紋、平整度、尺寸等參數(shù)進行人工估量實現(xiàn)手工的分級分類。這種人工方式具有很大的主觀隨意性,容易出錯,其正確率依賴于工人的熟練程度;其次,質(zhì)檢工人勞動強度大,不僅耗費企業(yè)大量的人力,而且對正確率造成很大的影響。因此,目前國內(nèi)有不少學(xué)者嘗試應(yīng)用機器視覺的手段來提高墻地磚生產(chǎn)線的分級分類的自動化水平,如文獻(xiàn)[1~4]是關(guān)于機器視覺在瓷磚形變、尺寸檢測的應(yīng)用研究,文獻(xiàn)[5,6]則側(cè)重于計算機視覺在瓷磚花紋色差的識別分類的應(yīng)用研究。
對于具有突起紋理的墻地磚(瓷磚廠家稱之為異型磚)分類,一般靠工人在分揀口處實現(xiàn)或通過使坯磚走不同的分道實現(xiàn)。國內(nèi)目前對于這種異型磚的分類的研究還比較缺乏。本文采用計算機視覺的手段來實現(xiàn)墻地磚生產(chǎn)線異形磚種類的識別,首先通過架設(shè)在生產(chǎn)線上的工業(yè)數(shù)字?jǐn)z像頭連續(xù)采集圖像,然后送計算機進行圖像中磚面區(qū)域的提取,再跟數(shù)據(jù)庫里已存儲的標(biāo)準(zhǔn)的磚面圖像進行匹配,識別異型磚種類,實現(xiàn)生產(chǎn)線輥道實時的分道動作,提高了生產(chǎn)效率。
異型磚分道系統(tǒng)采用一套Ethernet接口的工業(yè)黑白數(shù)字?jǐn)z像頭、工控機以及底層用于與PLC通信的電路板組成數(shù)字圖像的采集與處理系統(tǒng),其硬件構(gòu)成如圖1所示。系統(tǒng)采用的攝像頭為工業(yè)用數(shù)字CCD黑白攝像頭,攝像頭通過陣列CCD的曝光接收生產(chǎn)線現(xiàn)場的光強產(chǎn)生陣列電信號,經(jīng)過A/D轉(zhuǎn)換和同步脈沖作用下,輸出信號是已經(jīng)是二維數(shù)字圖像信號。將該攝像頭架設(shè)在生產(chǎn)線的輥道上的金屬支架上,輸出的圖像信號通過1000Mbps 網(wǎng)線與安裝在工控機上的PCI插槽的Ethernet接口板卡相連,實現(xiàn)瓷磚輥道生產(chǎn)線圖像的采集和傳輸。數(shù)字圖像遵循TCP/IP協(xié)議進行傳輸,由于數(shù)據(jù)鏈路是帶寬達(dá)1000Mbps的高速Ethernet網(wǎng),保證數(shù)據(jù)量巨大的圖像信號傳輸?shù)募皶r性和實時性。本文圖像分割和識別的算法耗時較大,故采用研華科技610L的工控機承擔(dān)圖像算法的實現(xiàn),觸摸顯示屏用于提供系統(tǒng)的操作界面。
圖1 系統(tǒng)硬件構(gòu)成Fig 1 Hardware constitution of system
圖中底層電路板所用到的處理器芯片為AT89C2051,該芯片的RAM、寄存器等資源足夠滿足本系統(tǒng)用來驅(qū)動底層PLC控制器的需要。該單片機負(fù)責(zé)接收從工控機串口發(fā)下來的分道信號,根據(jù)該分道信號通過繼電器選通PLC控制器的指定回路,選通指定回路后,對應(yīng)的坯磚分道的電機轉(zhuǎn)動使該分道的擋板抬高,使當(dāng)前的坯磚在接下去的流水線走由上層軟件指定的分道。
圖中除了攝像頭之外的其余部件都封裝固定在加工好的金屬控制柜里,防止生產(chǎn)線現(xiàn)場的粉塵損害內(nèi)部的部件,控制柜上面與單片機IO口相連的指示燈用于通知操作員當(dāng)前坯磚的分道,而按鍵用于啟停單片機PCB板子上的對應(yīng)的某些功能,如指示燈功能等。
本系統(tǒng)的操作界面和圖像處理算法的實現(xiàn)代碼在VC++8.0平臺上采用多線程的機制,同時調(diào)用OPENCV函數(shù)庫進行編寫。
軟件結(jié)構(gòu)由若干個功能模塊組成,各個模塊實現(xiàn)圖像采集、磚面邊界提取、數(shù)據(jù)庫中磚面圖像的存取、磚面圖像的匹配、各個分道對應(yīng)的標(biāo)準(zhǔn)磚面圖像的加載和清空、RS—232串口的操作、生產(chǎn)線圖像的更新顯示等功能。系統(tǒng)軟件的結(jié)構(gòu)框圖如圖2所示。
利用攝像頭的編程接口API,實現(xiàn)攝像頭的啟動、停止和幀率等參數(shù)的設(shè)置,系統(tǒng)運行時,攝像頭采集到的數(shù)字圖像信號通過1000 Mbps的Ethernet接口卡送入計算機的內(nèi)存,有單獨開辟的線程用來實現(xiàn)當(dāng)前幀的獲取與視頻流的顯示。
圖2 軟件結(jié)構(gòu)框圖Fig 2 Block diagram of software structure
生產(chǎn)線輥道上的磚面圖像含有背景,無法直接用于圖像間的匹配,只有將其中作為前景的磚面區(qū)域分割出來,并做標(biāo)準(zhǔn)化仿射變換處理才能做磚面圖像的匹配操作。磚面區(qū)域的提取采用灰度圖像閾值化與矩形模式特征搜索相結(jié)合的方法來實現(xiàn),其步驟如下:
1)對原始圖像進行Gauss金字塔濾波的操作,對其進行金字塔向下采樣,采樣過程中利用Gauss濾波器模板對圖像進行卷積操作,得到的下層圖像比較平滑,同時分辨率減少為原來的四分之一,能反映圖像中大的結(jié)構(gòu)或圖像的整體內(nèi)容[7],再對向下采樣得到的圖像使用金字塔向上層插值,則處理后的圖像的高分辨率的細(xì)節(jié)被忽略,有效地抑制了磚面圖像中的類似椒鹽噪聲的干擾。
2)設(shè)定磚面的全局性灰度閾值T,對濾波后的圖像根據(jù)閾值界線做二值化處理,將低于閾值的像素判為背景像素,其灰度值為0,高于閾值的像素判為前景像素,其灰度值為最高灰度級255。
3)對二值圖像做輪廓的搜索,采用鏈碼連接算法實現(xiàn)。該算法將每一個輪廓表示為首尾相接一系列位移的集合,每一位移可能的方向有8個,因此,用整數(shù)0~7表示集合中每一個位移。
4)遍歷得到的輪廓,因?qū)嶋H得到的輪廓通常具有褶皺的細(xì)節(jié),在遍歷的同時對每個輪廓采用Douglas-Peucker(DP)的多邊形逼近算法[8],若搜索到的多邊形面積達(dá)到足夠的磚面大小,而且具有矩形模式的特征,該多邊形即為磚面區(qū)域。其中矩形特征指多邊形為凸多邊形,邊數(shù)為4,并且4個內(nèi)角以一定的誤差近似為90°
5)標(biāo)準(zhǔn)化仿射變換,將該矩形區(qū)域從原始圖像中分割出來并且旋轉(zhuǎn)平移到本系統(tǒng)所需的標(biāo)準(zhǔn)化圖像的正中央的位置,保證用于匹配的圖像是標(biāo)準(zhǔn)化處理過的,圖像匹配的結(jié)果與磚面在圖像中的位置是否相同、是否與旋轉(zhuǎn)無關(guān),只與磚面的紋理相關(guān),如圖3所示為具有方形突起紋理異型磚的矩形模式和標(biāo)準(zhǔn)化圖像。
本文算法充分考慮了生產(chǎn)線場景的特點,該場景的背景復(fù)雜噪聲信息大,若只用圖像閾值分割的方法并不能得到很好的結(jié)果,閾值若不合適往往造成欠分割或過分割,而墻地磚面的矩形特征十分明顯,通過結(jié)合搜索圖像中的矩形模式,則加大了算法的魯棒性,使得磚面區(qū)域能夠完整準(zhǔn)確地分割出來。
圖3 圖像分割結(jié)果Fig 3 Image segmentation results
如本文提到的全局性灰度閾值T有明顯的局限性,當(dāng)生產(chǎn)線場景的明暗程度變化的時候,如場景從白天的光線情況緩慢地過渡到夜晚的光線情況,T并不能最佳地反映圖像中磚面與背景區(qū)分的灰度界線。
因提取的磚面的區(qū)域是實時更新的,每次對獲得的磚面區(qū)域做直方圖分析,使磚面區(qū)域的直方圖分布在該灰度閾值之上,則T表示磚面灰度分布的下界。新的T值,用Tnew表示,則更新用帶權(quán)重的濾波式子表示
其中,下標(biāo)n表示更新的次數(shù)。因此,T能實時的反映場景光線的變化,自適應(yīng)地反映磚面與背景的閾值界線。圖4所示為不同的場景光線下,Tnew值的不同。Tnew的2個值分別為64和82。
圖4 不同場景下灰度直方圖Fig 4 Gray scale histograms in different scenes
如軟件結(jié)構(gòu)框圖所示,新來的磚面圖像需與加載到各個分道的磚面圖像進行紋理的匹配,本系統(tǒng)采用基于共生矩陣的匹配算法。
灰度共生矩陣是統(tǒng)計法的一種,能夠很好地反映像素間的灰度級與空間位置的相關(guān)規(guī)律[8]。設(shè)圖像的灰度值為I(x,y),為定義共生矩陣,將灰度值分為N個灰度級,則共生矩陣是一系列N階方陣,記為
其中,d為一位移向量(dr,dc),絕對值符號表示取集合元素個數(shù),i,j取值范圍為0到N-1,表示有N個灰度級。假設(shè)在二維像素平面內(nèi),有dr=0,dc=1,表示位移方向為豎直方向不變化,水平方向右移一個像素,則 C[0,1][i,j]統(tǒng)計了圖像上灰度級為j的像素出現(xiàn)在灰度級為i的像素的正右邊的次數(shù)。
本文針對待匹配的標(biāo)準(zhǔn)化的灰度圖像,計算上、下、左、右以及對角線總共8個方向的灰度共生矩陣,并從灰度矩陣中計算了數(shù)值特征,當(dāng)新類型的磚面圖像出現(xiàn)時,將該數(shù)值特征連同數(shù)字圖像一并存入數(shù)據(jù)庫。
其中,數(shù)值特征共有3個,描述如下
采用最小距離分類法評價匹配程度,對于每幅標(biāo)準(zhǔn)化圖像,總共有8個方向的共生矩陣,對應(yīng)著一個24維的特征向量,計算該特征向量,將其歸一化之后,度量它與各分道所屬磚面的特征向量的歐氏距離,將圖像匹配為距離最小的種類。
本系統(tǒng)采用關(guān)系數(shù)據(jù)庫存儲標(biāo)準(zhǔn)化的磚面圖像及其特征向量。操作界面上幾個通道對應(yīng)生產(chǎn)線輥道上實際的幾個分道,實現(xiàn)數(shù)據(jù)庫中標(biāo)準(zhǔn)化磚面的加載、清空操作。系統(tǒng)運行時,生產(chǎn)線實際采集到的磚面會與界面上各個通道里已加載的圖像進行匹配,判斷當(dāng)前磚面對應(yīng)是哪個通道里的類型。系統(tǒng)采用ADO(activeX data objects)構(gòu)建數(shù)據(jù)庫訪問的模塊,用戶隨時可以通過位于觸摸屏的操作界面加載各個分道里應(yīng)選擇的磚面類型,或清空該分道里的類型。
新進的磚面若一輪匹配均不成功,則對應(yīng)數(shù)據(jù)庫中會有新的磚面類型,并有提示界面等待操作員處理,若匹配成功找到對應(yīng)的分道,則系統(tǒng)將分道對應(yīng)的代碼通過串口模塊發(fā)往下位單片機,單片機接收到確認(rèn)代碼之后,則控制對應(yīng)PLC回路的動作。
分道系統(tǒng)的分類效果在瓷磚廠家的生產(chǎn)線現(xiàn)場進行實際的測試,現(xiàn)場的異型磚類型分別為平整、方形突起、魚形突起。將這3種類型分別加載到3個通道里,實際測試總共500塊坯磚,其分類的結(jié)果如表1所示,其中相同類型的坯磚特征向量的歸一化歐氏距離基本上均在0.1以內(nèi),與不同種類之間歐氏距離相差較大。
表1 系統(tǒng)實際運行結(jié)果Tab 1 Actual operation result of system
本文研究的是基于計算機視覺技術(shù)的異型磚在線分道系統(tǒng),就系統(tǒng)總體框架、圖像處理算法的各個模塊的設(shè)計進行了介紹,并給出了分道系統(tǒng)在實際工業(yè)現(xiàn)場運行的結(jié)果,該結(jié)果表明:系統(tǒng)對光線變化的魯棒性好、分類結(jié)果準(zhǔn)確,能實現(xiàn)工業(yè)生產(chǎn)現(xiàn)場的在線分道任務(wù)。
[1] 劉 巍,丁未思.基于計算機視覺的高精度瓷磚質(zhì)檢系統(tǒng)[J].微電子學(xué)與計算機,2007(1):55-58.
[2] 刑希東.墻地磚變形的計算機視覺檢測系統(tǒng)[J].陶瓷,2002(5):38-40.
[3] 戴哲敏,胡奇芳.基于ARM9的瓷磚尺寸檢測裝置研究[J].陶瓷學(xué)報,2009(2):235-237.
[4] 晁中元.瓷磚幾何尺寸在線檢測系統(tǒng)的研究[D].天津:天津大學(xué),2008.
[5] 羅 瑋,彭復(fù)員,柳 ?。噬纱u的自動分類系統(tǒng)[J].華中科技大學(xué)學(xué)報,2001(3):79-81.
[6] 李溫溫,王寶光,張 巖.瓷磚色差在線分類系統(tǒng)的研究[J].傳感器與微系統(tǒng),2010,29(3):13 -15.
[7] Gonzalez.Digital image processing[M].2 版.北京:電子工業(yè)出版社,2002.
[8] Douglas D,Peuker T.Algorithms for the reduction of the number of points required for represent a digitized line or its caricature[J].Canadian Cartographer,1973,10:112 -122.