,, ,,, ,學華
(1.武漢工程大學 材料科學與工程學院, 武漢 430200;2.縱橫皆景(武漢)信息技術有限公司, 武漢 430204)
機器視覺系統(tǒng)在精密加工過程中得到廣泛應用,定焦相機在實際使用中會出現(xiàn)失焦現(xiàn)象,對精密加工過程如激光焊接、激光打標等產生影響,甚至導致焊接不良、打標模糊等產品缺陷。在條碼二維碼識別、符號識別、缺陷檢測等過程中會出現(xiàn)識別和檢測錯誤[1]。同時,如果存在產品類型或工藝變更則需要人工調整相機位置,重新設置視覺系統(tǒng)參數(shù),為現(xiàn)場操作帶來諸多不便,也不能滿足生產線自動化生產的需要。因此對定焦相機增加自動對焦功能顯得尤為重要[2-4]。自動對焦技術又分為主動對焦和被動對焦,其中主動對焦精度較高,但相機價格高,加大了工業(yè)使用的成本。對于定焦相機的自動對焦技術,國內外學者從機構設計、算法設計等方面做了一些有益的嘗試:如Schlangen[5]設計了一種基于空間光調制器的無掩模光刻自動聚焦系統(tǒng),能有效提高聚焦精度而不影響光刻膠的性能;Liu等[6]為了解決曲面下高精度對焦問題,設計了一種由音圈電機驅動的自動對焦系統(tǒng),該系統(tǒng)采用圖像灰度差作為對焦清晰度評價依據,通過窮舉法確定聚焦點,能有效的實現(xiàn)曲面下的精準對焦;Harada[7]提出了一種在掃描電子顯微鏡(SEM)下使用多帶通濾波器的自動對焦算法,有效解決了SEM自動對焦技術噪音大效率低的問題。Mo C等人[8]通過采用一種新的自適應閾值去除圖像中噪聲和背景污染的像素,然后利用改進的Sobel算子提取圖像預處理后的最大灰度梯度,并計算評價值,提高了圖像對比度及自動對焦圖像清晰度;金雪等人[9]則基于自相關原理和圖像對比度變化率,改進了自動對焦過程中的圖像清晰度評價函數(shù),有效解決了環(huán)境噪聲的問題。
為了克服傳統(tǒng)自動對焦算法實時性差、抗噪聲能力弱、易受對比度和背景像素的影響等缺點,本文提出了一種定焦相機的自動對焦技術,利用圖像清晰度作為評價標準,將相機配置在運動系統(tǒng)中,通過上位機對實時采集的圖像進行清晰度評價,實現(xiàn)了清晰度最高時相機位置的實現(xiàn)對焦。結果表明,本文的改進算法具有實時性好、單峰性強、靈敏度高、抗噪能力強等優(yōu)點。
本文設計了如圖1所示的運動控制平臺,主要包括主機、相機、運動控制卡、驅動器和電機。其中主機CPU型號為I5-6500,顯卡為英偉達GTX750TI,同時配置PCI-1240運動控制卡和安川伺服系統(tǒng),主要完成圖像處理、清晰度評價和收發(fā)運動指令;工業(yè)相機安裝在Z軸上,垂直于工作臺,負責圖像的實時采集并發(fā)送給主機。運動控制系統(tǒng)負責完成相機的位置調整。實際工作中,當相機在運動時,計算機根據相機采集的圖像設置ROI區(qū)域并進行快速傅里葉變換濾波,利用清晰度評價函數(shù)對ROI區(qū)域圖像的焦點性能進行客觀評估和分析,得到每次對焦相對應的對焦評價函數(shù)曲線,達到評價函數(shù)極值點時即完成相機的對焦過程。
圖1 系統(tǒng)構成示意圖
圖像清晰度評價被廣泛用于數(shù)字圖像的被動式自動調焦。常用的圖像清晰度評價函數(shù)有以下4種:
(1)Brenner評價函數(shù)。
D(f)B=Σ]∑y∑x|f(x+2,y)-f(x,y)|2
(1)
式中,f(x,y)代表每個像素的坐標,Brenner評價函是通過相鄰像素值的方差來判定清晰度的。
(2)Tenengrad梯度函數(shù)。
D(f)T=∑y∑x|G(x,y)|(G(x,y)>T)
(2)
(3)
(3)Canny梯度函數(shù)
D(f)C∑y∑x|G(x,y)|(G(x,y)>T)
(4)
Canny梯度函數(shù)表達式與Tenengrad梯度函數(shù)表達式相同,但是引入了Canny算子進行邊緣檢測[10]。 Canny算子自帶增強濾波檢測等多功能,采用雙閾值確定圖像邊緣,大于高閾值的像素點歸于強邊緣點,高于低閾值的點歸于弱邊緣點,小于低閾值的則被排除檢測外,因此也不容易受到噪聲干擾,能檢測到真正的弱邊緣,與Sobel算子相比靈敏度要高上許多,但靈敏度過高容易把噪點誤認為邊界,檢測的邊緣往往也是不連續(xù)封閉的,應用于自動對焦時還需對圖像做一下膨脹運算,使邊界連續(xù)。
(4)Laplacian梯度函數(shù)。
D(f)L=∑y∑x|G(x,y)|(G(x,y)>T)
(5)
Laplacian梯度函數(shù)采用Laplacian算子卷積來表達G(x,y)。相比Sobel算子和Canny算子,Laplacian算子對孤立點或端點較為敏感,因此特別適用于以突出圖像中的孤立點、孤立線或線端點為目的的場合。但Laplacian算子也會增強圖像中的噪聲,因此用Laplacian算子進行清晰度評價時,需要對圖像先進行平滑處理。
相機在自動對焦過程中由傳動裝置帶動并通過圖像清晰度評價函數(shù)確定焦點位置,因此在對焦過程中存在欠焦、正焦和過焦三個階段。圖2是將評價函數(shù)的結果歸一化后得到的理想對焦函數(shù)曲線,在曲線的峰值點即為對焦的最佳位置。理想的對焦函數(shù)計算量較小,對噪聲敏感度不高,函數(shù)曲線具有無偏性,單峰性,能夠明顯的區(qū)分離焦和對焦狀態(tài)。
圖2 標準對焦曲線
實驗條件:CCD工業(yè)相機型號DH-HV3151UC,工作分辨率為1027*768dpi,幀率為12fps,像素分辨率為3.2μm × 3.2μm。圖像處理算法采用C#語言與OpenCV庫函數(shù)[11]結合,運動控制采用PCI-1240運動控制卡編程實現(xiàn)。系統(tǒng)工作流程如圖3所示。
圖3 系統(tǒng)工作流程圖
系統(tǒng)工作時首先由相機采集對象圖像并實時傳送給PC端,然后在PC端首先對圖像做ROI區(qū)域裁剪(大小512*512像素),接著進行灰度化處理和DFT濾波,再使用清晰度評價函數(shù)計算預處理后的圖像清晰度。為了對比不同評價函數(shù)的效果,將值采用式(6)和(7)所示的方法進行歸一化處理。
(6)
(7)
在收集圖像清晰度值的過程中,傳動裝置連續(xù)帶動CCD相機朝著靠近對焦物體的方向移動,當計算機采集到的D(f)值出現(xiàn)一個明顯的由小到大再變小的變化時,整個自動對焦流程完成,傳動裝置帶動相機回到D(f)最大值處,即自動對焦焦點處。
在實現(xiàn)自動對焦功能的過程中,相機隨Z軸移動,距工作平臺的距離也隨之不斷變化,所以并不能保證相機所采集到的剛好是工作平臺的待處理產品的信息,因此需要對相機采集到的圖像進行前期處理。前處理首先要設置ROI區(qū)域,只保留需要處理的圖像窗口,以減少計算量同時減少不必要的環(huán)境噪聲干擾;其次采用DFT濾波對ROI區(qū)域的圖像進行背景噪聲優(yōu)化,為后期進行清晰度評價計算減少噪聲干擾。圖4是ROI區(qū)域預處理過程中得到的圖像效果。
圖4 ROI區(qū)域預處理效果圖
從圖4(b)和(d)可以看出DFT處理去除了圖像中的低頻干擾信號和噪音,增強了圖像的灰度對比,有利于清晰度評價的計算[12]。
在自動對焦過程中,采集了清晰度從離焦-對焦-離焦的十張圖像序列,以此來模擬自動對焦過程中的圖像清晰度狀態(tài),采集到的圖片如圖5所示。
圖5 相機在不同位置時的圖像序列
從圖5的圖像序列中可以看出,隨著相機的移動,圖像的清晰度經歷了模糊-清晰-模糊的過程。為了評估該過程中圖像的清晰度,用不同評價函數(shù)處理上述圖像序列得到的數(shù)據結果歸一化后的清晰度曲線如圖6所示,橫坐標表示上圖采集的圖像序列,縱坐標表示歸一化后評價函數(shù)值。由圖6可以看出3種評價函數(shù)的極值點位置相同且曲線只有一個極大值,即具有單峰性,表明系統(tǒng)的自動對焦功能準確可靠。同時最清晰的圖像位于圖像序列6,此時相機??康奈恢谜窍鄼C的焦點位置,表明每種評價函數(shù)具備無偏性。通過比較不同的評價函數(shù),都具備了單峰性和無偏性,能夠明顯的區(qū)分對焦和離焦狀態(tài),能夠作為自動對焦系統(tǒng)的圖像清晰度評價判據。其區(qū)別在于Laplacian梯度評價函數(shù)得到的曲線半高寬低于其他評價函數(shù),表明該評價函數(shù)相比其它評價函數(shù)的靈敏度更高,更適合作為本系統(tǒng)的圖像清晰度評價函數(shù)。
圖6 對焦過程中不同評價函數(shù)歸一化曲線
為比較DFT濾波對對梯度評價函數(shù)的影響,針對圖5所示的實驗圖像系列,先進行DFT濾波后再以Laplacian梯度評價函數(shù)分別進行清晰度計算,得到圖7所示的原始圖像和經DFT濾波圖像清晰度評價曲線??梢钥闯鼋涍^DFT濾波后評價函數(shù)的歸一化曲線變得更加陡峭,表明DFT濾波后評價函數(shù)對相機位置的變化更加敏感[13],DFT變換有助于提高評價函數(shù)的靈敏度。
圖7 DFT濾波后對焦評價函數(shù)歸一化曲線
為了驗證自動對焦效果,采用標準樣張與實驗圖像的峰值信噪比(PSNR)和結構相似性(SSIM)來驗證對焦圖像的準確性[14]。PSNR是目前使用最為廣泛的圖像質量評價標準,雖然有一定的局限性,但是其計算方便,內存占用率小,能大致的反應圖像清晰度,通常PSNR值越高圖像清晰度也越高,一般高于30說明兩張圖片差異不大,高于40肉眼分辨不出明顯差異。但PSNR會有實際圖像清晰度與人眼觀察的清晰度差異過大的情況,因此同時引入SSIM作為參考,SSIM是基于人眼視覺系統(tǒng)(HVS)的圖像清晰度對比測量方法,有效改進了PSNR的缺點,但是當圖片存在位移縮放等非結構性失真時會導致計算結果與實際不符,因此本實驗同時采用互補的兩種評價方式能夠較客觀的評價自動對焦圖像的清晰度。SSIM主要從亮度、對比度和結構相似度三個方面作為圖像清晰度評價依據,計算所得結果在-1到1之間,當SSIM值為1時,說明圖像清晰度與標準樣張完全一致。標準樣張采用式(8)計算相機焦點到被測物體的標準距離來獲取。
D=fH/h
(8)
式中,D代表鏡頭焦點離物體的距離,f代表焦距(8 mm);h代表相機靶面水平寬度(6.4 mm);H代表被觀測物體寬度(101.6 mm),計算得D值為127 mm。在此物距條件下將相機所采集到的圖片作為標準圖片(圖8a)與圖像序列6(圖8b)進行對比,結果如表2。
圖8 標準樣張與自動對焦圖像
從表2的數(shù)據可以看出,采用不同的評價函數(shù)實現(xiàn)自動對焦后的圖片PSNR值均大于30,表明實驗設計的自動對焦方法可行,同時Laplacian梯度評價函數(shù)所獲得的自動對焦圖片PSNR值最大,表明采用改進后的Laplacian評價函數(shù)獲取對焦圖片的質量要高于其他評價函數(shù),同時4種評價函數(shù)所得圖像的SSIM值均在0.6~0.8之間,明說自動對焦的圖像清晰度與實際人眼觀察到的清晰度相似,其中Laplacian梯度評價函數(shù)所得的自動對焦圖片與標準樣張的SSIM值最接近,表明該評價函數(shù)具有較好的可靠性。
表2 PSNR與SSIM結果比較
圖9顯示了采用Laplacian梯度評價函數(shù)獲取的6種不同高度的對象自動對焦后的結果。從圖中可以看出,在相機可移動范圍內,采用Laplacian梯度評價函數(shù)均能完成自動對焦過程,獲取的圖像具有較高的清晰度。圖10是對焦后相機的位置與評價函數(shù)歸一化值與對象高度之間的曲線,從圖中可以看出,隨著對象高度的變化,相機的位置呈線性變化,表現(xiàn)了較好的跟隨能力,評價函數(shù)的歸一化值均在0.99~1之間,表明隨著對象高度的變化,對焦系統(tǒng)均能獲得良好的對焦性能。
(物體高度a.3 mm; b.5 mm; c.7 mm; d.9 mm) e.14 mm; f.16 mm圖9 不同對象高度時對焦后的圖片
圖10 不同對象高度時對焦后相機位置和評價函數(shù)歸一化值
使用離散傅里葉變換與Laplacian清晰度評價函數(shù)相結合的相機自動對焦方法能夠較快實現(xiàn)對運動控制平臺上復雜物件進行快速自動對焦處理。與未經離散傅里葉變換后的直接對焦技術相比,使用DFT處理后的對焦更加快速高效,且能有效去除周圍噪聲干擾。對多種清晰度評價函數(shù)的比較發(fā)現(xiàn)Laplacian梯度評價函數(shù)在清晰度評價方面具有較高的靈敏度。本文提出的對焦方法在工業(yè)生產中實現(xiàn)了無參考圖庫情況下的相機自動對焦,具有較好的實際應用效果。