許 強,謝維成,陳 佳,黃 超,張 雪
(西華大學電氣信息學院,四川 成都 610039)
抓拍傳送帶上運動的產品時,運動會使圖像模糊,導致圖像清晰度下降[1]。究其原因是攝像機與目標間產生了相對運動。這種模糊圖像給工業(yè)生產中的器件計數(shù)、識別時圖像特征提取帶來困難,因此需要對模糊圖像恢復才可使后續(xù)工作更加準確。
當下模糊圖像處理的算法[2-4]很多是基于目標物體與相機的相對運動的,如經典模糊圖像處理算法、線性代數(shù)復原法(有、無約束最小二乘法)、頻域法(如逆濾波、維納濾波)、非線性代數(shù)法(如投影迭代、最大熵復原)、反卷積恢復方法(盲復原法)等。大多數(shù)算法是建立已知的退化模型,求出擴散函數(shù)PSF(point spread function)。盲復原恢復法是在運動模型未知的情況下對圖像進行恢復。它主要是對PSF不斷地迭代更新,最終盡可能恢復運動的模糊圖像。降質圖像恢復效果較好的有維納濾波法和投影迭代法?;诖耍疚囊詳z像機抓拍傳送帶上運動的電子元器件的模糊圖像為研究對象,比較維納濾波法和投影迭代法在圖像恢復效果上的優(yōu)劣。
模糊圖像的分析,離不開對系統(tǒng)模型的研究,只有準確理解系統(tǒng)的模型,才能更好地實現(xiàn)降質圖像的恢復。
如圖1所示,當生產線上的電子元器件在攝像機下經過時,其圖像被抓捕,采集到的圖像交給后臺圖像處理系統(tǒng)處理。在采集過程中,由于電子元器件與成像系統(tǒng)間存在相對運動,圖像就會模糊。生產線傳送帶運動模型一般可以理解為速度在0.3 m/s至1.0 m/s之間的勻速直線運動。攝像機抓拍圖像的時間越短產生的模糊度越?。环粗?,相對速度愈快、抓拍時間長產生的模糊度就越大。一般情況下,雖然它們的相對運動速度較小,產生的模糊度較小,但是仍給后續(xù)的圖像處理工作造成誤差。
圖1 圖像采集示意圖
圖1所示的圖像采集系統(tǒng)中,攝像頭是不可以轉動的,即運動模糊圖像產生是因為場景中有運動的物體,這種情形可稱為運動物體場景模糊。如圖2所示,相機與運動的物體間的相對運動讓圖像有了拉長(偏移量)的趨勢。偏移量是導致圖像模糊的直接原因。
圖2 圖像退化的成像原理示意圖
圖3是傳輸速度為0.5 m/s的傳送帶上電子元器件的模糊圖像,為運動場景的模糊圖像。因為傳送帶傳輸速度不快,圖像模糊程度不算太嚴重,同時考慮到生產線上退化模型相對簡單,所以為使后續(xù)圖像處理的準確度更高,一般采用頻域法和非線性代數(shù)法。
(a)
(b)
處理模糊圖像一般有2種方式。 1)縮小曝光時間。照相機的曝光時間不可能無限制的減小,因此這種方法的使用受到了限制。2)建立運動圖像復原模型。本文通過建立數(shù)學模型來解決圖像的復原問題,這種方案也是目前工程實例中主要解決方法。
降質的一個因素是隨機噪聲。噪聲信號復雜,因此實際上只考慮白噪聲(頻譜密度為常數(shù)),且在噪聲不相關的基礎上得出運動模糊退化模型[5-9]。將退化過程用一個模型來表示,即原圖像Q(A,B)通過系統(tǒng)H后,與噪聲N(A,B)相加得到退化的圖像P(A,B)。退化過程示意圖如圖4所示。
圖4 降質模型
由圖4模型得出圖像降質公式
(1)
假設H是線性不變性系統(tǒng),產生的退化圖像P(A,B)可表示為
P(A,B)=h(x,y)*Q(A,B)+N(A,B)
(2)
該公式可理解為一個退化函數(shù)h(x,y)和原圖像Q(A,B)卷積后再和噪聲N(A,B)求和,生成退化的圖像P(A,B)。
式(3)是頻域的乘積。如果噪聲忽略不計,式(3)可簡化為式(4)。
P(u,v)=H(u,v)Q(u,v)+N(u,v)
(3)
P(u,v)=H(u,v)Q(u,v)
(4)
生產線傳送帶可以理解為勻速的直線運動。在攝像機抓拍圖像瞬間,由于攝像頭與傳送帶有相對運動,產生了運動模糊圖像。模糊圖像P1(A,t)可表示為實際圖像Q1(A,t)的積分
(5)
如果傳送帶的速度為零,Q1(A,t)=Q(A,B),式(5)就可理解為Q(A)與曝光時間的乘積,只影響成像的反差;但在實際的情況中傳送帶是運動的,Q1(A,t)與時間的積分就會使得圖像變得模糊起來,并且時間越長,模糊程度就愈大,即把Q1(A,t)變?yōu)镼(A,B-vt)。勻速直線運動模糊成像關系可表示為
(6)
可以看出,運動模糊圖像是由拍攝目標在不同的時間點疊加而形成的。
拍攝目標與攝像機鏡頭的相對運動的方向和速率影響著勻速直線運動退化模型的確定。
假設圖像Q(A,B)是一個二維運動目標,a0(t)和b0(t)分別是在水平和垂直方向變化的分量,T表示運動時間,模糊圖像P(A,B)可表示為
(7)
生產線模型可以簡化為水平方向勻速直線運動,故式(7)簡化為式(8)。若圖像在時間T內的位移量為m,,則運動速率a0(t)=mt/T。式(9)是對它求頻域的變換,即勻速直線運動模糊退化模型。
(8)
(9)
由于本文中的運動速率和方向已知,水平方向為勻速直線運動,所以可以考慮用模糊圖像的頻域下的黑帶條紋的個數(shù)來確定。對這2個參數(shù)的確定就是估計PSF過程。
逆濾波法也稱為去卷積算法。它是直接將退化過程H逆變換與降質圖像反卷積。模糊圖像是原圖像經過H系統(tǒng)后加噪聲而得到,如圖4所示。逆濾波在對其結果進行反卷積,利用傅里葉變換轉到頻域,如圖5所示。
圖5 逆濾波的恢復模型
考慮噪聲情況下,由式(3)知,Q^(u,v)就是恢復后圖像的傅里葉頻域變換。P(u,v)表示輸入的頻域變換;N(u,v)是噪聲函數(shù)的頻域變換;H(u,v)是退化的擴散函數(shù)。為克服H(u,v)為零的情況,在分母加上K,Q^(u,v)改為
(10)
逆濾波算法對無噪聲污染的圖像恢復很有效,但是對有噪聲的污染圖像,對噪聲有放大作用,處理的圖像可能比未處理的圖像還要模糊,同時往往還會伴有振鈴效果。實際應用中噪聲常常是無法估算的,因此逆濾波只適合無噪聲的恢復。
維納濾波法(最小均方誤差)在恢復模糊圖像領域應用廣泛。投影迭代法是一種非線性算法,把圖像描述成了多維空間的一個向量,對模糊圖像不斷投影迭代得出清晰圖像。
維納濾波最先應用于一維信號的領域且取得了很好的效果,后來這種算法引入到二維信號,也取得了很好的濾波效果[7]。維納濾波法是以原圖像Q(A,B)與恢復后圖像Q^(A,B)的均方誤差最小為準則,即
E2=min{[Q(A,B)-Q^(A,B)]2}
(11)
滿足條件的轉移函數(shù)如式(12)所示。Sq(u,v)和Sn(u,v)分別表示原圖Q(A,B)和噪聲N(A,B)的功率頻譜密度。
(12)
λ=1是維納濾波器表達式,此時式(11)取得最小值。Sq(u,v)和Sn(u,v)在未知的情況下用K值表示它們的比值,得出維納濾波器的表示為
(13)
在忽略噪聲的情形下,由式(2)除去N(A,B)后寫為矩陣形式可得下面的表達式:
(14)
(15)
其中,h1=(h11,h12,…,h1n)。
類似于式(15),q1對q2進行估計運算,取q1在P2上的投影,表示為h21q1+h22q2+h23q3+…+h2mqm=P2。以此類推最后得出qm,這樣就實現(xiàn)了迭代的第1次循環(huán)。下一步再取qm投影到第1個平面,直到最后1個方程式,實現(xiàn)第2次循環(huán)。假設大小為m×n的圖像,按上述方法便可求出q0,qm,q2m,…,它們收斂于q。
本文選取的是速度為0.5 m/s、底色為白色的電子元器件傳輸帶,抓拍傳送輸帶上的運動產品的圖像,攝像頭靜止不動。實驗對抓取的模糊圖像分別用維納濾波法和投影迭代法在VC++2008進行恢復仿真。對圖3中生產線上2模糊運動圖像分別用維納濾波k=0.1進行處理,得到圖6。為保證實時性,對不同的生產線傳送帶速度和實際的電子元器件的間隔選不同的迭代次數(shù);因此,本文投影迭代法取迭代次數(shù)為30進行處理,得到圖7。
(a)
(b)
(a)
(b)
下面進行圖像的清晰度評價。由文獻[10]知,邊緣能量越大,圖像清晰度越高。本文選取恢復前尺寸大小一樣的圖像,采用Laplacian模板[9]求出邊緣能量的大小。式(16)為Laplacian函數(shù)計算公式,計算結果見表1。
(16)
表1 2種算法的清晰度和恢復時間
由表1可知,在實驗圖片來自于背景顏色單一且輕微模糊和適度噪聲的情況下,投影迭代法的清晰度比維納濾波算法的清晰度高,投影迭代法的恢復效果更好。
在投影迭代算法中,選擇一個初始值帶入式(14)計算出q1,即計算出第1個平面上的投影,以此類推,總共計算m次,完成1次循環(huán)。由于圖像模糊長度不大,本文循環(huán)次數(shù)取為3,故投影迭代法的時間復雜度公式為T(m)=O(f(m3))。在傳送帶傳送速度為0.5 m/s的情況下,當計算機CPU單核主頻為1.8 GHz,圖像尺寸為512×512時, 處理時間在1 s左右;當CPU主頻提升2.5GHz和圖像尺寸縮小為256×256時,處理時間在0.4 s以內??梢钥闯觯队暗惴ㄍ耆珴M足實時性要求。
生產線上產品圖像模糊是影響產品監(jiān)控和計數(shù)等方面的一個關鍵問題。本文采用維納濾波法和投影迭代法對生產線上的模糊圖像進行處理,并從實時性和清晰度方面對恢復效果的優(yōu)劣進行比較。仿真結果表明,投影迭代法對生產線上運動產品抓拍產生的輕微模糊圖像的恢復效果比維納濾波方法更優(yōu)。
[1]Wang wei,Zheng jin-jin,,Liu Xing, et al.Adaptive Detection Method of Degraded Parameters in Motion Blur Image[C]// Fuzzy Systems and Knowledge Discovery.Shanghai:IEEE,2011:2158-2162.
[2]Helstrom C W.Image Restoration by the Method of Least Squres[J].Joural of the Optical Society of America,1967,57(3),273-303.
[3]Yang Y,Galatsanos Np,Stank H. Projection-based Blined Deconvolution[J].Joural of the Optical Society of America A,1994,11(9): 2401-2409.
[4]Babacan S, Molina R, Katsaggelos A. Parameter Estimation in TV Image Restoration using Variational Distribution Approximation[J].IEEE Transaction on Image Processing, 2008,17(3):326-339.
[5]徐飛,施曉紅 .Matlab應用圖像處理[M].西安:西安電子科技大學出版社, 2002:150-200.
[6]張變蓮.一種基于Hough變換的運動模糊圖像復原方法[J].科學技術與工程, 2010,10(28):7018-7021.
[7]明文華,孔曉東,屈磊,等.運動模糊圖像的恢復方法研究[J]. 計算機工程,2004,30(7):133-135.
[8]吳振宇.模糊圖像復原方法研究[D]. 長沙:國防科學技術大學, 2009.
[9]Li Hui, Fu Chengyu . An Improved Focusing Algorithm based on Image Definition Evaluation[C]// 2011 2nd International Conference on Artificial Intelligence, Management Science and Electronic Commerce.Deng Leng:IEEE,2011:3743-3746.
[10]Yi Li, Guanzhong Liu . Digital Images Clarity Quality Evaluation Using Non-subsampled ContourletTransform[C]//Computational Intelligence and Design. Changsha:IEEE,2009:318-321.