葉建雄,Jonathan Wu,李志剛,彭星玲
(1.江西省精密驅(qū)動與控制重點實驗室,江西南昌330099;2.Computer Vision&Sensor Lab.,Windsor Canada N9B 3P4;3.華東交通大學(xué)機(jī)電工程學(xué)院,江西南昌330013)
基于雙邊濾波的焊接圖像去噪
葉建雄1,Jonathan Wu2,李志剛3,彭星玲1
(1.江西省精密驅(qū)動與控制重點實驗室,江西南昌330099;2.Computer Vision&Sensor Lab.,Windsor Canada N9B 3P4;3.華東交通大學(xué)機(jī)電工程學(xué)院,江西南昌330013)
焊接自動化中大量使用圖像處理技術(shù),但焊接過程中產(chǎn)生的飛濺、電弧和煙塵會干擾圖像質(zhì)量。雙邊濾波算法在去噪時引入圖像灰度信息,能夠保留圖像的邊緣信息。但該算法的參數(shù)設(shè)置是個難點,在深入分析各參數(shù)作用的基礎(chǔ)上,提出了全面的參數(shù)設(shè)定方案,重點分析空域、灰度域中,不同的方差取值與作用效果的關(guān)系,提出提高計算效率的途徑。本方法已成功應(yīng)用于焊接圖像處理,試驗證明了此方法的有效性和可靠性。
雙邊濾波器;焊接圖像;圖像去噪;參數(shù)設(shè)置
雙邊濾波是在高斯濾波函數(shù)的基礎(chǔ)上,結(jié)合灰度信息對圖像進(jìn)行濾波處理的一種方法。由于各個像素最終得到的結(jié)果,既取決于高斯函數(shù)的形狀,還取決于其與相鄰像素的灰度值之差,所以能夠在濾波后保留圖像邊緣信息。
目前,雙邊濾波器在圖像處理中得到了大量應(yīng)用。文獻(xiàn)[1]利用雙邊濾波保持邊緣的平滑特性得到大氣耗散函數(shù),然后通過弱化明亮區(qū)域去霧的方法得到清晰的無霧圖像;文獻(xiàn)[2]將其應(yīng)用于醫(yī)學(xué)超聲圖像中的斑點噪聲去除中;還被使用在衛(wèi)星高光譜影像處理、激光共焦掃描顯微成像噪復(fù)原及圖像融合去模糊等眾多場合[3-5]。
焊接過程會產(chǎn)生飛濺、弧光,強大的焊接電流也會對圖像采集帶來影響,水下濕法焊接更會帶來汽泡和紊流。焊接自動化不但要求去除圖像中的噪聲,而且要使焊縫坡口邊緣盡可能清晰,因而將雙邊濾波器應(yīng)用于焊接圖像處理意義重大。與中值濾波、形態(tài)學(xué)濾波等方法不同[6-7],雙邊濾波的原理是構(gòu)造一鄰域,在鄰域內(nèi)結(jié)合空域信息和灰度信息完成對各像素的處理[8],如何確定其工作參數(shù)是應(yīng)用關(guān)鍵。
針對不同場合提出了多種設(shè)置方法。文獻(xiàn)[9]針
對紅外圖像中混合的強噪聲無法完全濾除的現(xiàn)象,在雙邊濾波的基礎(chǔ)上進(jìn)行像素間相似度評判,以相似度為基礎(chǔ)標(biāo)記不能濾除的強噪聲點,然后針對這些特定點采用中值濾波,此方法在強化濾波效果的同時進(jìn)一步加大了運算工作量,不適合焊接自動化等實時性要求較高的場合。文獻(xiàn)[10]將一幅圖像在概念上分成高對比度和低對比度兩部分,對前一部分采用雙邊濾波方法,對后一部分進(jìn)行頻域濾波,每處理完一個像素點后通過累加法得到最后的圖像。本研究還提出了迭代方法,使結(jié)果不斷趨近真實圖像,但主要利用試湊的方法進(jìn)行雙邊濾波器的參數(shù)設(shè)置,迭代使之耗時更長。
在借鑒已有成果并比較分析的基礎(chǔ)上,本研究先確定空域參數(shù),通過梯度運算求取噪聲方差,進(jìn)而確定灰度域參數(shù),此方法不需迭代,適應(yīng)性強。
雙邊濾波器在對像素處理時,需要綜合考慮空域信息和灰度信息對濾波效果的影響。連續(xù)函數(shù)條件下的定義為[11]
式中f(x,y)為待處理像素;s(ξ,η,x,y)為f(x,y)鄰域內(nèi)各點到它的空間距離函數(shù);ks為歸一化系數(shù)見式(2)。式(1)中,針對灰度圖像中的特定點f(x,y),應(yīng)用基于空間距離的低通濾波核,得到對應(yīng)的輸出值h(x,y)。
采用歐氏空間距離時,各像素點間的距離完全取決于各點的坐標(biāo),即只與(x-ξ,y-n)相關(guān)。在確定了距離計算公式后,它表現(xiàn)為一常數(shù),其作用是保持圖像總體亮度不變。
類似的有基于灰度距離的低通濾波器
式中f(x,y)為待處理點;r(ξ,η,x,y)為f(x,y)的鄰域內(nèi)各點到它的距離函數(shù);kr為歸一化系數(shù)。
式中r(ξ,η,x,y)是鄰域內(nèi)各點與中心點的灰度差之間的函數(shù)。
如果鄰域內(nèi)各點灰度相同,則kr為一常數(shù),算法退化為普通的高斯濾波??紤]了灰度差信息,因此雙邊濾波才能具有保留邊緣信息的能力。
結(jié)合離散形式的雙邊濾波器,可以更好地理解空間域和灰度域濾波系數(shù)的作用。
式中wD為綜合歸一化系數(shù)。
空間距離和灰度距離形式上均為高斯分布,兩者為乘法關(guān)系,運算范圍限定在以P點為中心的鄰域D上。由此可進(jìn)一步分析雙邊濾波器各參數(shù)的作用。ws(p)是一個D空間上的離散高斯曲面,形狀由δs2決定,δs2大時曲面跨度增加,峰值下降,有效參與計算的像素增多,結(jié)果是圖像變得平滑,邊界被模糊,反之噪聲濾除效果變差,但邊界受平滑影響變??;wr(p)的引入使最終的濾波效果還要受制于灰度差和δr,如果灰度差或δr使wr(p)中的系數(shù)越小,則綜合平滑作用越小,當(dāng)wr(p)小到一定程度時,可以認(rèn)為像素間不進(jìn)行平滑運算,沒有濾除的噪聲同樣會掩蓋邊緣。
D一般?。?n+1)×(2n+1)(3≤n≤8)的矩形框,wr(p)基本要覆蓋鄰域D,由式(5)可知,[-2δr,2δr]所占空間約為整個D空間的95%,故由式(4)可知,在相同的灰度差下,δr逐漸變小時wr(p)會逐漸趨近于0,此時雙邊濾波器的平滑作用減弱,但不利于后續(xù)的提??;反之隨著δr的增大,去噪效果好但又會模糊邊緣。
文獻(xiàn)[12]通過大量實驗提出δr與圖像的噪聲方差δn成正比,其合理取值為后者的2~3倍,過大會使邊緣保留功能退化。但實際應(yīng)用中并沒有模板圖像作為參考,要從理論上求得δn是不可能的,雖然可以采用備用圖像作模板、多圖平均作模板等方法,但焊接過程的非穩(wěn)定性使這些方法適應(yīng)性不強,較好的方法是利用水平和垂直方向的梯度算子去除圖像的基本信息,由此計算出噪聲的直方圖,最后估算出噪聲方差[13],根據(jù)焊接過程不穩(wěn)定的特點,
所取方差應(yīng)是估算方差的4~8倍。
3.1 圖像加窗
攝像機(jī)、紅光一字形激光器與焊槍固定在焊接小車上,攝像機(jī)與視場之間設(shè)有一濾光片,可將清晰的模擬視覺信號傳送給圖像采集卡。由于感興趣的部分局限于激光所處的區(qū)域,而該區(qū)域的灰度值明顯高于其他區(qū)域,據(jù)此可完成圖像加小窗處理。焊接圖片加窗如圖1所示。
圖1 焊接圖片加窗
3.2 時間復(fù)雜度分析及對策
式(8)是程序設(shè)計的基礎(chǔ),針對加窗小圖中的每一個像素點,均構(gòu)建一個以該點為中心的矩形區(qū)D,當(dāng)像素點為邊緣點時用對稱的方法將原圖擴(kuò)展,然后在D中分別計算式(5)和式(6)。由此可見,循環(huán)計算的次數(shù)為待處理加窗圖的像素點數(shù)與D中點數(shù)之積,而每一循環(huán)內(nèi)又包含式(5)、式(6)要求的高斯函數(shù)計算。
大量的指數(shù)及除法運算是耗時的關(guān)鍵,分析發(fā)現(xiàn),式(5)代表空間距離算式,式(6)代表的灰度距離,在數(shù)值計算上有完全不同的特點:灰度距離與各像素點及其附近像素密切相關(guān),必須在循環(huán)內(nèi)計算,而空間距離的分布是確定的,可以在循環(huán)開始前完成相關(guān)計算。根據(jù)以上分析結(jié)論,可以得到減少時間開銷的策略:
(1)減少循環(huán)次數(shù)。通過減小小窗圖像和區(qū)間D的大小來實現(xiàn)。前者提取焊槍附近圖像,其所含信息應(yīng)滿足后續(xù)處理需要,根據(jù)原圖灰度分布特點進(jìn)行加窗;但后者太小會導(dǎo)致去噪效果變差,一般應(yīng)大于7×7。
(2)減少循環(huán)體內(nèi)的計算量。在循環(huán)外完成空間距離高斯分布的計算,在循環(huán)內(nèi)只進(jìn)行灰度高斯函數(shù)值及其與距離分布的點積運算。
(3)算法優(yōu)化。包括硬件及算法優(yōu)化兩方面,硬件方面可采用多核CPU分布式計算,改進(jìn)的算法可借鑒文獻(xiàn)[14]所用的域變換方法。
通過減小待分析圖像像素的方法,能夠顯著提高處理速度,當(dāng)圖像像素為100×500時,處理時間約為100 ms。
3.3 試驗效果
在窗口圖像中加入噪聲后,首先分析不同參數(shù)對濾波及邊緣保留效果的影響,當(dāng)圖形噪聲方差檢測值為0.06時,鄰域D為邊長30的方形窗且δs=7時,δr分別取0.69、0.40、0.22時的結(jié)果如圖2所示。
圖2 灰度域參數(shù)對濾波效果的影響
鄰域D和噪聲方差相同,當(dāng)δr=0.4,空域方差δs分別取2、5、9時,濾波效果如圖3所示。
在實驗中發(fā)現(xiàn),某些數(shù)據(jù)的組合也能獲得良好的效果,其原因在于雙邊濾波由不同的兩部分共同作用,在沒有約束的前提下有眾多可行解,但不同參數(shù)對于不同噪聲的濾除性能相差很大[7]。實際使
用時,應(yīng)該在明確鄰域后先確定δs,然后根據(jù)梯度算子確定δr,實際焊接中會有大量不均勻的弧光產(chǎn)生,所采集圖像的噪聲方差較大,通過對比試驗,認(rèn)為δr取噪聲方差的3~4倍時效果更好。
圖4為在相同的有效濾波面積下,本研究算法和幾種常用濾波算法的比較。試驗條件為:D設(shè)為(31×31)矩形框,δs=7,所加為方差0.04的混合型高斯、椒鹽噪聲。
圖3 空域參數(shù)對濾波效果的影響
圖4 相同條件下的濾波對比
雙邊濾波器是一種性能良好的濾波器,其難點是工作參數(shù)的設(shè)置。提出了一種有效的參數(shù)設(shè)置方法,鄰域D的大小設(shè)置具有一定的獨立性,雖然空間域和灰度域的參數(shù)存在相互耦合,應(yīng)采用先行確定空間域參數(shù),然后確定灰度域的方法,其中灰度域參數(shù)需借助梯度運算求取噪聲方差獲得。試驗證明,基于雙邊濾波器的焊接圖像處理,能夠在濾除噪聲的基礎(chǔ)上,較好地保留焊縫坡口信息。
[1]王一帆,尹傳歷,黃義明,等.基于雙邊濾波的圖像去霧[J].中國圖象圖形學(xué)報,2014,19(3):386-392.
[2]張聚,王陳,程蕓.小波與雙邊濾波的醫(yī)學(xué)超聲圖像去噪[J].中國圖象圖形學(xué)報,2014,19(1):126-132.
[3]楊永發(fā),李琦.雙邊濾波算法的太赫茲共焦掃描圖像去噪應(yīng)用[J].中國激光,2015,42(1):121101.
[4]王春陽,郭增長,王雙亭,等.雙邊濾波與矩匹配融合的高光譜影像條帶噪聲去除方法[J].測繪科學(xué)技術(shù)學(xué)報,2014,31(2):153-156.
[5]周志強,汪渤,李立廣,等.基于雙邊與高斯濾波混合分解的圖像融合方法[J].系統(tǒng)工程與電子技術(shù),2016,38(1):8-13.
[6]高向東,趙傳敏,白天翔,等.傅立葉變換在熔池圖像特征提取中的應(yīng)用[J].焊接學(xué)報,2008,29(8):13-16.
[7]QianQian Wu,JongPyo Leea,Min-Ho Parka,et al.A study on Development of Optimal Noise Filter Algorithm for Laser Vision System in GMA Welding[J].Procedia Engineering,2014(97):819-827.
[8]Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C].InternationalConferenceonComputerVision,1998.
[9]余博,郭雷,趙天云,等.紅外圖像的自適應(yīng)混合雙邊濾波算法[J].紅外與激光工程,2012,41(1):3102-3107.
[10]Knaus C,Zwicker M.Dual-domain image denoising[C]. Image Processing(ICIP),2013.
[11]謝勤嵐.結(jié)合雙邊濾波和多幀均值濾波的圖像降噪[J].計算機(jī)工程與應(yīng)用,2009,45(27):154-156.
[12]Zhang Ming.Bilateral filter in image processing[D].Baton Rouge:Louisiana State University,2009.
[13]Rank K,Lendl M,nbehauen R.Estimation of image noise variance[J].VisionImageandSignalProcessing,1999,146(2):80-84.
[14]李俊峰.雙邊濾波算法的快速實現(xiàn)及其在圖像處理的應(yīng)用[D].廣州:南方醫(yī)科大學(xué),2013.
Welding image denoising based on bilateral filter
YE Jianxiong1,Jonathan Wu2,LI Zhigang3,PENG Xingling1
(1.Jiangxi Province Key Laboratory of Precision Drive and Control,Nanchang 330099,China;2.Windsor Computer Vision&Sensor Lab.,Canada N9B 3P4;3.School of Mechanics Engineering,East China Jiaotong University,Nanchang 330013,China)
Image processing technology is widely used in welding automation,but welding splash,arc and gas take an adverse effect on the images and bringmuch more difficult in treating the photos.By considering the intensity information ofthe image,bilateral filter may retain the edge information while removing the noise,but it is difficult to determine the proper working parameters,the function of each variable have been discussed,especially in the discussion of the variance parameters of the functions of space domain and gray domain,and an effective method is proposed in finding out the proper value of each parameters,and the way of promoting calculation efficiency is also suggested in addition,tests in processingweldingimages have proved its rightness,and can be applied in further work.
bilateral filter;welding image;image denoising;parameters setting
TG409
A
1001-2303(2016)07-0086-04
10.7512/j.issn.1001-2303.2016.07.20
2016-01-19;
2016-04-12
江西省自然科學(xué)基金項目(20151BAB207047);江西省重點研發(fā)項目(20151BBE50040);江西省教育廳科技項目(GJJ151129,GJJ14745)
葉建雄(1969—),男,江西樂平人,教授,博士,主要從事焊接自動化的研究工作。