劉 娣,周武能,張詳位
(東華大學信息科學與技術(shù)學院,上海 201620)
從20世紀70年代中期開始,計算機技術(shù)和人工智能、思維科學研究的迅速發(fā)展,人們開始研究運用計算機系統(tǒng)解釋圖像,數(shù)字圖像處理的先決條件是將圖像轉(zhuǎn)化為數(shù)字形式,存儲在計算機中,然后按特定的目標,運用特定的操作來“改造”圖像[1]。
傳統(tǒng)的繞繩包裝破損檢驗借助于人的視覺、主觀判斷能力或硬件設(shè)備,因而占用大量的人力,而且長時間勞動易產(chǎn)生視覺疲勞造成誤檢[2],嚴重影響出廠產(chǎn)品質(zhì)量,流通出去也會對生產(chǎn)廠商的企業(yè)形象造成負面影響[3]。與傳統(tǒng)工業(yè)檢測相比,數(shù)字圖像處理減少了成本,提高了檢測的準確性。近年來工業(yè)檢測中運用數(shù)字圖像處理增強圖像的特征信息,灰度圖像的變換主要涉及直方圖均衡化、邊緣檢測、閾值分割、對比度拉伸等,由于灰度圖像丟失了彩色圖像中的許多信息,其檢測結(jié)果準確性不高。對于彩色空間的圖像處理,主要涉及小波變換[4-6]、Retine x理論[7-9]、彩色邊緣等方式。這些算法都能增強圖像的特征信息,但容易受環(huán)境干擾,影響檢測的準確性,不能滿足工業(yè)繩團包裝的實時檢測。
針對這一情況,本文提出一種基于計算機視覺的薄膜破損檢測方法:在取連續(xù)2幀圖像的基礎(chǔ)上,運用Hough變換分割出ROI區(qū)域,將對應(yīng)的ROI區(qū)域通過小波變換,圖像融合后轉(zhuǎn)化到HSI(色度、飽和度、亮度)空間進行閾值分割,判斷是否存在破損。
本文的算法實現(xiàn)了工業(yè)繩團包裝中破損的實時檢測,能夠有效地降低時間,節(jié)約成本,提高檢測的準確性。
本文中,計算機視覺就是運用計算機、攝像頭等成像系統(tǒng)代替視覺器官作為輸入敏感手段,由計算機代替大腦完成處理和解釋,實現(xiàn)對透明薄膜包裝的實時檢測。
本文針對透明塑料薄膜的工業(yè)檢測,設(shè)計出一套檢測薄膜破損方案,具體流程如圖1所示。
圖1 檢測流程圖
如圖1所示,利用計算機視覺代替?zhèn)鹘y(tǒng)的人工檢測,當勻速傳送帶將包裝繩團傳送至碗狀光源正下方時,進行連續(xù)2幀圖片的拍攝。首先運用Hough變換提取感興趣區(qū)域(ROI),由于拍攝時間隔時間很短,分割后的區(qū)域是互相對應(yīng)的,其次參考各個像素點的能量和可見度,最大限度地增加特征區(qū)域和背景區(qū)域的對比度,運用連續(xù)的2幅圖像進行處理,可以減少噪聲對結(jié)果產(chǎn)生的影響,同時增加破損區(qū)域和周圍區(qū)域的對比度,最后在S空間進行閾值分割,判別透明薄膜是否存在破損。
該方案中,包裝材料是透明塑料薄膜,包裝過程采用熱處理,因此拍攝視頻時,需要在暗黑的環(huán)境中,運用廣角鏡頭、同軸光源和碗狀光源進行拍攝。同軸光源可以有效地減少薄膜反射率,碗狀光源主要是自動設(shè)置光源模式,將繩團和光線對比,拍攝效果更好[3]。即當繩團為紅色時,碗狀光源可設(shè)置為藍光,當繩團是藍色時,設(shè)置光源模式為紅光。
霍夫變換(Hough)是圖像處理中識別幾何形狀的一種方法,霍夫變換不受圖形旋轉(zhuǎn)的影響,易于進行幾何圖形的快速變換[10]。最基本的霍夫變換是從黑白圖像中檢測直線(線段)[9]。圖像中的一個點對應(yīng)參數(shù)平面中的一條正弦曲線,圖像中的一條直線對應(yīng)參數(shù)平面中的一個點。對圖像上所有的點作霍夫變換,最終檢測出的直線是在參數(shù)平面中直線相交最多的那個點所對應(yīng)的直線。但在進行Hough變換時,所檢測的幾何形狀必須為規(guī)則圖形,不然結(jié)果會產(chǎn)生錯誤。
繩團的工業(yè)檢測中,在同軸光源上方拍攝視頻,同軸光源的可視區(qū)域是規(guī)則圓形,繩團在其圓內(nèi),可以運用Hough變換對連續(xù)2幀進行圓分割。這樣可以更有針對性地對ROI區(qū)域進行處理,在進行圖像處理時,減少了非感興趣區(qū)域的像素干擾。
Hough圓變換的基本原理是將影像空間中的曲線變換到參數(shù)空間中,通過檢測參數(shù)空間的極值點,確定出該曲線的描述參數(shù)。
對于圖像中任意確定的一點均有參數(shù)空間的1個三維的錐面與之對應(yīng)。對于圓周上的任何點集合{(xi,yi)},這些三維錐面構(gòu)成圓錐面簇。若集合中的點在同一個圓周上,則這些圓錐簇相較于參數(shù)空間上的某一點,這點恰好對應(yīng)于圖像平面的圓心坐標及圓的半徑。對于數(shù)字圖像,則可寫為:
其中ξ是考慮到對圖像進行數(shù)字化和量化的補償。
運用Hough變換提取出圓區(qū)域,對于后續(xù)的圖像處理降低了干擾,減少了運行時間,提高了運行效率,更有利于孔洞破損的檢測。
小波分析的數(shù)學思想來源于調(diào)和分析,其形成于20世紀50年代初的純數(shù)學領(lǐng)域。“小”是指其具有衰減性;稱之為“波”則是指它具有波動性,其振幅呈正負相間的震蕩形式。小波變換有利于增強圖像細節(jié),突出特征區(qū)域。
采用二維離散小波進行圖像增強,即對二維圖像信號在水平和垂直方向做一維離散小波變換[14]。
進行二維變換時,需要一個尺度函數(shù)φ(x,y)和3 個二維小波 ΨH(x,y),ΨV(x,y)和 ΨD(x,y)。小波度量函數(shù)ΨH,ΨV,ΨD,表達了圖像沿列方向的灰度變化(例如水平邊緣),沿行方向的灰度變化(例如垂直邊緣),沿對應(yīng)對角線方向的灰度變化[18]。和可分離的“方向敏感”小波
定義一個尺度和平移基函數(shù):
其中,上標i指出式(2)~式(4)中的方向小波。i是假定值H,V和D的上標。于是,大小為M×N的圖像f(x,y)的離散小波變換是:
WiΨ(j,m,n)系數(shù)對尺度 j≥j0附加了水平、垂直和對角方向的細節(jié)。通常令j0=0,并且選擇,因此有j=0,1,2,…,J-1 和 m=n=0,1,2,…,2j-1。給出式(5)和式(8)中的Wφ和,f(x,y)可通過小波反變換得到:
二維DWT可以使用數(shù)字濾波器和下取樣器來實現(xiàn)。先簡單地取f(x,y)的行的一維FWT,然后,取結(jié)果列的一維FWT,可以得到水平、垂直和對角線細節(jié)系數(shù),得到基于小波變換的子圖像和在每個尺度處的方向特征。反向進行處理,近似子圖像和細節(jié)子圖像被上取樣,并在行和列上和一維濾波器進行卷積,得到j(luò)+1的近似,重復該過程,直至重建原圖像。如圖2所示。
圖2 圖像增強過程
圖2中,↓2表示間隔性的采樣,↑2表示在每個樣本點間插入0值。
工業(yè)繩團包裝中的破損為閉合圖像,ΨH(x,y),ΨV(x,y),ΨD(x,y)保留原圖像中的各個邊緣等細節(jié)部分,突出了破損檢測中的細節(jié)部分。
圖像融合是把從同一場景獲得的多幅圖像綜合成一幅圖像的圖像處理技術(shù)[12]。圖像融合可以根據(jù)需要有效地突出源圖像的共有部分、特征部分,強化融合后圖像的對比度信息。本文中,圖像融合采用連續(xù)的2幀,這樣在圖像融合時可減少噪聲的干擾,并且較少了圖像中有用信息的丟失,對圖像的特征增強起到了疊加作用,更有利于進行圖像判別。
小波變換后的圖像f(x,y)是大小為M×N的數(shù)字圖像,二維傅里葉變換(DFT):
截止頻率在距頻率矩形中心距離為D0的濾波器傳遞函數(shù)如下,其中D0是一個正常數(shù),D(u,v)是頻率域中點(u,v)與頻率矩形中心的距離:
其中,令P=2M,Q=2N,在該濾波中,低頻分量減少,高頻分量未發(fā)生改變,高頻是感興趣特征。
在分割出的ROI區(qū)域中,繩團包裝中可能存在的孔洞破損是高頻分量,運用高頻濾波可淡化背景區(qū)域的影響,突出高頻與背景部分的差異。
作為顯著性特征,源圖像中像素的梯度能量作為圖像融合的系數(shù)值[15]。通過比較分析,拉普拉斯能量(Energy of Laplacian,EOL)比梯度能量更能有效地增加感興趣區(qū)域的清晰度,拉普拉斯能量越大,放映的局部圖像越清晰,本文是以小波變換后的圖像為主,利用像素的EOL和可見度(Visibility,VI)進行圖像融合??梢姸确从沉薘OI區(qū)域局部灰度對比度,可見度越大,ROI區(qū)域的灰度對比度越大。
像素點(x,y)處的EOI和VI定義為:
在EOL公式中,有:
其中,f(u,v)為(u,v)處的像素值,w 是以(x,y)為中心大小為l×l的窗口(l一般為3或5),mk為窗口w中所有像素灰度平均值,N為窗口w中像素總數(shù),α為常數(shù)(0.6 ≤α ≤0.7)。
圖像加權(quán)平均融合g(x,y)規(guī)則算法:
1)將小波變換后的 RGB 圖像 f(x,y),g(x,y)進行歸一化處理。
2)將大小為M×N的圖像f(x,y)與圖像g(x,y)填充為(M+2)×(N+2),分別在上下2行,左右2列進行填充,填充部分的像素值為:
g(x,y)也采用如下形式填充,f(x,y),g(x,y)填充后的圖像記為 f'(x,y),g'(x,y),進行填充的主要目的是為了使融合后的圖像和ROI區(qū)域的大小一致。
3)計算 f'(x,y),g'(x,y)中各像素點的 EOL 和VI,進行歸一化處理后,記為 Efij,Vfij和 Egij,Vgij,將其作為圖像融合的各點系數(shù)強度值。
4)記輸出圖像為O1,融合過程中的圖像為:
其中 i,j分別表示 ROI圖像 f(x,y),g(x,y)中像素點的位置。融合后的圖像O1=w1g1ij+w2f1ij,其中w1+w2=1,w1=w2=0.5。
5)將融合后的RGB圖像轉(zhuǎn)化到HSI空間,記為HSI_RGB。
6)將HSI_RGB圖像在H,S,I空間進行閾值分割,設(shè)定閾值T=0.15時,效果最好。
輸出圖像結(jié)合了圖像中的拉普拉斯能量和可見度作為加權(quán)融合的系數(shù),加強了圖像中的特征信息以及邊緣細節(jié),使人眼更容易識別。
自然情況下的彩色圖像運用RGB(紅、綠、藍)彩色模型,該模型中3個分量組成了日常生活中最常見的彩色圖像。HSI(色調(diào)、飽和度、亮度)空間模型是由人為制定的,解除了圖像中顏色和灰度信息的聯(lián)系,更符合人類描述和解釋顏色的方式[16]。本文將融合過的RGB空間圖像運用HSI空間,圖像的結(jié)果更加直觀,更便于閾值分割,進行破損判別,在HSI空間中,H是描述純色的屬性,S能夠表示純色被白光稀釋的程度,I表示圖像紅、綠、藍分量的平均值。
HSI空間的顏色系統(tǒng)更能接近于人們視線的感知,得到的圖像結(jié)果更直觀,檢測的準確性更高。
為比較融合后的圖像效果,運用Matlab進行了大量的仿真實驗,實驗結(jié)果取得了一定效果,由于篇幅的限制,給出一組結(jié)果來進行分析。
如圖3所示,將分割后的ROI區(qū)域,即圖3(a)、圖3(b)兩幅圖像進行融合,找出其中的破損,見圖3(c)。
圖3 不同算法圖像對比
圖3(a)、圖3(b)對應(yīng)2幅原圖中的ROI區(qū)域,圖3(c)采用的是普通像素級的融合方法,圖3(d)將對比度拉伸后進行圖像融合,圖3(e)將均衡化的圖像進行融合,圖3(f)為運用本文算法融合后的圖像,圖3(g)為融合后圖像的HSI空間。圖3(h)為在HSI空間進行閾值分割后的圖像。
目前評價圖像融合效果的方法主要可以分為2類,即主觀評價方法和客觀評價方法[13]。主觀評價方法是由人直接對圖像進行質(zhì)量評價,具有簡單直觀的特點,但是人的主觀意識可能會影響評價效果。
客觀評價融合后的圖像,需要將融合后的圖像與原圖中所包含的信息量進行比較,找出2幅圖像中相關(guān)性或一幅圖像包含另外一幅圖像的信息量,如果相關(guān)性越大,則證明圖像的融合質(zhì)量越好。
對于圖像質(zhì)量的評價,本文采用不同圖像融合算法,比較結(jié)果如表1所示。
表1 融合效果性能評價指標
通過數(shù)據(jù)分析,運用本文算法的圖像經(jīng)融合后在信息熵、標準差、平均梯度上的交互信息量的總和均比前3種方法大,圖像在邊緣、能量以及可視度方面均取得了很好的效果。如圖3(f)所示,融合后的圖像更有利于人眼對破損的判別。
數(shù)字圖像處理將模擬圖像信號轉(zhuǎn)換為離散的數(shù)字信號并利用計算機對其進行處理,目前在航空航天、生物醫(yī)學工程、工業(yè)檢測、機器人視覺、公安司法、軍事制導、文化藝術(shù)等眾多領(lǐng)域取得發(fā)展。
傳統(tǒng)檢測破損中很多運用的都是硬件檢測[11]。硬件檢測的準確率高,速度快,但硬件檢測也有其自身的缺陷,如占地空間大、成本高、通用性低等[12]。本文將圖像處理技術(shù)運用于工業(yè)產(chǎn)品的檢測,首先對拍攝的光源有要求,是運用同軸光源、碗狀光源、廣角鏡頭來拍攝圖像,減少了塑料透明薄膜表面的反射率。其次對圖像的分割,將Hough變換與小波變換,圖像融合相結(jié)合,減少了計算機的運行時間,加強了抗干擾性,提高了檢測效率和檢測結(jié)果的準確性。在該方法中,筆者運用軟件進行判別。這一判別節(jié)約空間、節(jié)約成本、通用性強、易操作、綜合運用各個領(lǐng)域的知識,設(shè)計具有綜合性等優(yōu)點。將數(shù)字圖像處理運用到工業(yè)檢測,雖然現(xiàn)在這一領(lǐng)域未得到廣泛運用,但是其發(fā)展具有廣闊的前景。
在實踐中,筆者運用軟件算法來代替硬件的檢測。這要求必須了解算法的原理,在此基礎(chǔ)上進行編程,再將得出的結(jié)果進行比較,除了考慮圖像的處理效果,在圖像處理系統(tǒng)中,需要考慮的一個最基本、最重要的問題就是圖像實時處理需要的時間。所以需要進行算法的設(shè)計,不然會因為時間問題而不能實時采用。因此,對于本文的研究,筆者將不斷改進,開發(fā)出高速率、高準確率檢測的圖像處理實時檢測系統(tǒng)。
[1]黃愛民,安向京,駱力.數(shù)字圖像處理與分析基礎(chǔ)[M].北京:中國水利水電出版社,2010:6-9.
[2]劉朋瑞.數(shù)字圖像預(yù)處理的硬件設(shè)計實現(xiàn)方法[D].上海:上海交通大學,2007.
[3]代勤,王延杰,韓廣良.基于改進Hough變換和透視變換的透視圖像矯正[J].液晶與顯示,2012,27(4):1-59.
[4]Huang Kaiqi,Wang Qiao,Wu Zhenyang.Natrual color image enhancement and evaluation algorithm based on human visual system[J].Comput.Vis.Image Underst.,2006,103(1):52-63.
[5]李天剛,王素品,秦辰.基于信息熵窗的小波低頻子帶弱目標圖像的增強[J].西安交通大學學報,2006,40(2):187-190.
[6]何宏,唐志航,張細致,等.基于小波多尺度積的圖像增強新算法[J].計算機應(yīng)用與軟件,2007,24(3):163-165.
[7]景曉軍,周賢偉,付婭麗.圖像處理技術(shù)及其應(yīng)用[M].北京:國防工業(yè)出版社,2008:6-33.
[8]李小霞,李鋮果,鄒建華,等.一種新的低照度彩色圖像增強算法[J].計算機應(yīng)用研究,2011,28(1):22-25.
[9]Ding C,Ren X F,Zha H,et al.Spectral min-max cut for graph partitioning and data clustering[C]//Proc.of the IEEE Conference on Data Mining.2011:51-55.
[10]Soille P.The Analysis Principles of Morphological Image and Applications[M].Publishing House of Qinghua Universiy,2011.
[11]劉松濤,周曉東.圖像融合技術(shù)研究最新進展[J].激光與紅外,2006,36(8):627-631.
[12]狄紅衛(wèi),劉顯峰.基于結(jié)構(gòu)相似度圖像融合質(zhì)量評價[J].光子學報,2009,33(6):728-731.
[13]倪國強.基于視覺神經(jīng)動力學的圖像融合與處理技術(shù)若干新進展[J].激光與紅外,2005,35(11):817-821.
[14]周金萍.圖像處理與應(yīng)用實例[M].北京:科學出版社,2010.
[15]苗啟廣,王寶數(shù).一種自適應(yīng)PCNN多聚集圖像融合新方法[J].電子與信息學報,2006,28(3):466-470.
[16]張猛,余仲秋,姚紹文.手寫體數(shù)字識別中圖像處理的研究[J].微計算機信,2006,22(6):256-258.
[17]Rafael C Gonzalez,Richard E Woods.Digital Image Processing[M].Third Edition.Publishing House of Electronics Industry,2010:89-91.