李 璐,王 高,師鈺璋,郝爭輝
LI Lu1,WANG Gao1,SHI Yuzhang1,HAO Zhenghui2
〈系統(tǒng)與設計〉
基于紅外自動聚焦過程的最優(yōu)函數(shù)選取
李 璐1,王 高1,師鈺璋1,郝爭輝2
(1. 中北大學,山西 太原 030051;2. 山西戴德測控技術有限公司,山西 太原 030006)
與可見光自動聚焦系統(tǒng)相比,紅外自動聚焦系統(tǒng)的核心問題在于因紅外探測器特殊的成像原理,聚焦過程被分為由遠及近聚焦和由近及遠聚焦。針對這兩個過程所使用的自動聚焦函數(shù),在分析各自聚焦函數(shù)曲線特征的基礎上,運用靈敏度、陡峭區(qū)寬度、陡峭度、平緩區(qū)波動量和時間5個針對性的評價指標,對常用的13個典型的清晰度評價函數(shù)進行定量分析,提出適合兩個聚焦過程的最優(yōu)函數(shù)。結論表明:在由近及遠的聚焦過程中,Laplace可作為該過程的最優(yōu)函數(shù);而由遠及近的聚焦過程中,Laplace和SML可作為最優(yōu)函數(shù)的選取。
紅外;自動聚焦;聚焦函數(shù);評價指標
隨著紅外技術的不斷發(fā)展,紅外成像技術已經被廣泛應用于紅外精確制導、預警、視頻監(jiān)控、搜索和跟蹤等多種軍事及民用領域的成像系統(tǒng)中[1]。如今,隨著紅外技術和電子技術的發(fā)展,在紅外圖像處理的基礎上進行自動聚焦也得到了較為廣泛的應用,特別是夜間無人駕駛技術。
和可見光自動成像過程不同,由于紅外自動探測系統(tǒng)是根據目標物表面及背景的熱量輻射轉換成紅外圖像,以此自動識別物體特征,但是根據紅外成像技術的特點,如果系統(tǒng)聚焦程度達不到聚焦最清晰處,不僅對識別目標特征有不小的損耗,而且對溫度精度的獲取也有影響[2]。各類調焦方法的調焦精度、調焦方式、系統(tǒng)復雜度、系統(tǒng)集成度和系統(tǒng)靈活性不同。目前,常用的自動聚焦技術主要有兩種方法,其一是基于測距原理的主動式聚焦,但由于受機械系統(tǒng)運動誤差的影響一般無法滿足要求[3];其二是基于圖像處理的被動式聚焦方式,該方法僅利用已獲取的序列數(shù)字圖像分析當前系統(tǒng)的聚焦狀態(tài),直到獲取最清晰的圖像,并且根據上述不同的評價指標,圖像處理方法具有其他調焦方法無可比擬的優(yōu)勢,在未來的發(fā)展中,該方法最具有發(fā)展前景。
本文結合紅外圖像處理和自動聚焦技術,分別根據由遠及近聚焦和由近及遠兩個聚焦過程,對被動式聚焦方法中最常用的一部分——圖像清晰度評價函數(shù)進行最優(yōu)分析和選取:在分析各自聚焦函數(shù)曲線特征的基礎上,運用靈敏度、陡峭區(qū)寬度、陡峭度、平緩區(qū)波動量和聚焦函數(shù)值的計算時間5個針對性的評價指標,對常用的13個典型的清晰度評價函數(shù)進行定量分析,提出適合兩個聚焦過程的最優(yōu)函數(shù)。
常用的聚焦清晰度評價函數(shù)有梯度函數(shù)、頻域函數(shù)[4]、統(tǒng)計學函數(shù)。
1)基于梯度算法的應用最為廣泛,種類較多,根據計算方法的不同主要有灰度差分函數(shù)[5]、能量梯度函數(shù)、Sobel算子的函數(shù)、Tenengrad函數(shù)[6]、Robert的差分絕對值和函數(shù)、Robert的梯度能量函數(shù)、拉普拉斯能量的函數(shù)、SML函數(shù)和Brenner函數(shù)。該類算法在一定程度上有很高的靈敏性,計算量也很小,是一種很值得研究的算法[7]。
2)頻域函數(shù)相當于一個低通濾波過程。常用的函數(shù)有二維離散傅里葉變換函數(shù)、離散余弦變換函數(shù)(Discrete Cosine Transform,DCT)。由于清晰圖像的邊緣較為尖銳,表現(xiàn)為高頻分量較多。所以在頻域中,可以將圖像內容高頻成分的多少作為評價標準。
3)基于統(tǒng)計學函數(shù)。這類函數(shù)最典型有Variance方差函數(shù)、Vollaths函數(shù)。從統(tǒng)計學角度來說,處于聚焦位置的圖像包含更多信息,即灰度值分布多樣化,而處于離焦的圖像的灰度分布較少。
上述幾種方法將在本文中分別討論。根據紅外探測器在兩個聚焦過程中的序列圖像,運用5個評價指標,分析其聚焦函數(shù)曲線特征,選擇最優(yōu)函數(shù)。
目前,針對自動聚焦函數(shù)的評價函數(shù)還沒有客觀的定量指標,只能根據圖像序列的聚焦特征曲線,定量對比各聚焦處的清晰度值,曲線的峰值處就是紅外聚焦系統(tǒng)成像的最清晰處。
除了前面所述5種評價指標外,還有清晰度比率和局部極值因子,但這兩者常用于可見光自動聚焦系統(tǒng)。根據兩個指標原理,其并不適用于紅外自動聚焦,所以,應根據本次實驗的具體原理,針對性地選擇合適的評價指標。并且按照實驗目的,各自分析兩個聚焦過程的特征,分別選取最優(yōu)函數(shù)。
1)靈敏度[8]
在聚焦函數(shù)峰值附近,不同聚焦函數(shù)曲線的橫坐標同時改變時,曲線的縱坐標變化量不同。較大表明:最大值附近函數(shù)值變化越劇烈,越容易找到真實的焦平面。靈敏度定義式如下:
式中:為橫坐標變化量,即聚焦距離變化量;max為最大聚焦函數(shù)值;max為最大聚焦函數(shù)值所處的位置;(max+)為橫坐標變化后的聚焦函數(shù)值;L、R分別為聚焦峰值左右兩側的靈敏度。
2)陡峭區(qū)寬度
在調焦過程中,隨著離開聚焦峰值,圖像越來越模糊,聚焦函數(shù)值迅速下降,直到幾乎看不清任何內容,繼而進入一個平緩區(qū),該階段函數(shù)值無明顯變化。為了表征聚焦函數(shù)曲線的這種特性,我們將曲線劃分為陡峭區(qū)和平緩區(qū)。
在陡峭區(qū)域,聚焦函數(shù)值對橫坐標聚焦距離的變化非常敏感,而在平緩區(qū)域,縱坐標幾乎沒有任何變化。平緩區(qū)又可分為左平緩區(qū)和右平緩區(qū),左右平緩區(qū)跟陡峭區(qū)的分界點分別稱為左臨界點和右臨界點,其坐標分別為(l,l)、(r,r)。找臨界點要滿足一定的條件,從左至右滿足如下第一個點為左臨界點:
=|l-r|(3)
3)陡峭度
聚焦過程的第一離焦階段和第二離焦階段不同,因為探測器前后景深的差異和前后接受的輻射量的不同,因此聚焦曲線峰值左右陡峭程度也不同。定義左陡峭度為:
式中:l為左臨界點的聚焦函數(shù)值;為陡峭區(qū)寬度。定義右陡峭度為:
式中:r為右臨界點的聚焦函數(shù)值。
4)平緩區(qū)波動量
由于外界輻射噪聲會對評價函數(shù)的曲線形狀造成影響,所以非理想狀況下,平緩區(qū)的函數(shù)值會出現(xiàn)一定的波動情況,用平緩區(qū)波動量來描述波動的大小。該區(qū)域的波動量能反映該函數(shù)的抗噪性:波動量越小,說明該函數(shù)的抗噪性越穩(wěn)定。
5)時間
計算時間表征某個函數(shù)聚焦的速度。由于各函數(shù)的計算結果是在特定條件下測試獲得的,所以當測試條件改變時,該結果也會改變。
本次實驗的目的是針對紅外探測器特殊成像原理,分別對由遠及近和由近及遠兩個聚焦過程的聚焦曲線特征分析,利用合適的評價指標,選擇最優(yōu)函數(shù)。
基于上述目的,理論上要分別對兩個過程的紅外序列圖像進行截取,但為了便于對比,本次采用相同熱源黑體。如果得到其中一個過程的序列圖像,那么按照兩個過程的條件和區(qū)別,完全可以將該次實驗得到的序列圖像的函數(shù)曲線左右轉置,作為另一個過程的函數(shù)曲線,進行特征分析,這樣可以保證實驗條件的相同,避免誤差對曲線對比分析有較大影響。
實驗截取100幅由近及遠聚焦過程的紅外圖像作為分析對象。圖1是整個實驗的其中5幅。(a)、(b)為聚焦前的圖像,(d)、(e)為聚焦后的,(c)為處于聚焦位置的圖像,此時熱源邊緣輪廓清晰。在整個實驗過程中,所得到的圖像背景是有一定的灰度值,這是在輻射過程中,由相機本身的輻射誤差和外界其他的輻射誤差造成的,導致每張圖片背景都呈現(xiàn)一定的灰度值。由于紅外探測系統(tǒng)的聚焦程度主要是由其前端的光學透鏡與紅外探測器之間的位置所決定,所以當紅外探測系統(tǒng)聚焦起步時,此時離熱源較近,鏡頭視場內的場景經過光學成像系統(tǒng)時,探測器所處位置與光學透鏡聚焦平面位置不一致,則會出現(xiàn)離焦現(xiàn)象;通過調節(jié)鏡頭與探測器之間的位置,隨著探測器逐漸接近光學透鏡的聚焦平面,所成像的邊緣輪廓更加清晰銳利;當探測器慢慢遠離光學透鏡的聚焦平面,點光源在探測器上所成圖像不再是清晰的點光源。
該過程的第一離焦階段離熱源較近,進入透鏡視場的熱源的聚焦程度較??;越過圖1(c)的聚焦峰值,進入離焦第二階段,此時的聚焦面處于熱源之前,進入透鏡的熱源摻雜過多其他來自外界的輻射噪聲,由此形成如圖1(d)(e)的狀態(tài)。
為了易于各函數(shù)的比較,要縮小各指標之間的相對關系,通常需要進行歸一化處理。將原始數(shù)據線性變換到[0, 1],增加指標之間的可比性,轉換函數(shù)如下:
式中:為某個聚焦函數(shù)的樣本離散值;max和min分別為樣本值的最大值和最小值。
本次實驗基于5個評價指標,對13個聚焦函數(shù)的曲線特征進行分析;針對兩個不同的聚焦過程,選取各自最優(yōu)函數(shù)。
如圖2為13個聚焦函數(shù)的特征曲線,圖3為圖2(a)和(b)的局部特征圖,表1詳細羅列了各個聚焦函數(shù)的評價值。
圖1 不同離焦程度情況下的紅外圖像
圖2 13個聚焦函數(shù)的聚焦特征曲線
圖3 部分聚焦函數(shù)的局部特征曲線
表1 各聚焦函數(shù)曲線的評價指標值
由表1列出由近及遠的聚焦特征曲線,并且計算了前后離焦的函數(shù)評價指標,將該過程的指標左右置換,作為另一聚焦過程的函數(shù)的評價標準。
1)由整體評價指標可以看出,除了Variance函數(shù)的陡峭區(qū)寬度明顯較小外,其他函數(shù)都相差無幾。由圖2的(a)、(b)、(c)可以分析出,無論是由遠及近,還是由近及遠的聚焦過程,相比于該函數(shù),其他函數(shù)都較早地進入陡峭區(qū),這對自動聚焦系統(tǒng)快速尋找聚焦峰值是有利的。
自該過程聚焦起步,第一離焦階段的函數(shù)評價指標為靈敏度L、陡峭度L和平緩區(qū)波動量L。
2)靈敏度L較高的幾個函數(shù)依次為Laplace、SML、DCT、Tenengrad和RbtEnergy。其他函數(shù)在該階段的靈敏度較小,且相互之間相差較大,不適合接近特征曲線峰值處的精細搜尋。
3)每個函數(shù)曲線之間都有顯著差異,由圖2可以看出,在由近及遠的第一聚焦階段EOG、Tenengrad和Brenner的陡峭度L較大,說明在該階段聚焦時,該3個聚焦函數(shù)對不同離焦程度圖像的分辨能力是較強的。
4)由表1和圖2可以看出平緩區(qū)波動量L中Vollaths和Fourier的較大,SML和Laplace的最小。該評價指標較低時說明當受輻射及其它噪聲的影響,在由近及遠的第一聚焦階段,此函數(shù)的波動劇烈程度越小,則抗噪性能就越好。
5)最后給出的是各函數(shù)的計算時間。在兩個不同聚焦過程中可以看出Brenner的用時最短,Sobel和Tenengrad所用時間都較長,這對于自動聚焦系統(tǒng)的工作效率是較為不利的。
考慮由遠及近的聚焦過程,可將表1中的右側指標、和作為該聚焦過程的第一離焦階段的評價標準??梢钥闯觯红`敏度R中Laplace、SML、EOG、Tenengrad、RbtEnergy和Brenner的都較高;很多函數(shù)曲線的右半部分比左半部分顯得更為“陡峭”,除了DCT和Vollaths,其他函數(shù)的陡峭度R相差無幾;該過程的平緩區(qū)波動量R中Variance的最高,其次是SMD、Robert、Sobel和Vollaths。
相比于可見光自動聚焦設備,紅外自動聚焦系統(tǒng)所用的聚焦函數(shù)的選取更為復雜。因為紅外成像系統(tǒng)特殊的作用原理,其聚焦程度主要是由前端的光學透鏡與紅外探測器之間的位置所決定它接收的是進入探測器視場的一切輻射,所以本文的核心問題是用針對性的評價標準,對由近及遠聚焦過程的13個函數(shù)曲線左右特征進行分析,選取適合兩個相反方向的聚焦過程的最優(yōu)函數(shù)。紅外熱成像系統(tǒng)進行由近及遠的自動聚焦時,根據函數(shù)特征曲線的第一聚焦階段的性能,結合指標定量分析發(fā)現(xiàn):Laplace可作為該過程的最優(yōu)函數(shù);并且由圖2的曲線右側和表1的右側指標可看出:Laplace和SML可作為由遠及近的聚焦過程的最優(yōu)函數(shù)選取。
在實際應用中,自動聚焦系統(tǒng)的聚焦程度不僅取決于硬件標準,系統(tǒng)的程序控制也是重要因素。由于特殊的成像原理,紅外自動成像系統(tǒng)的聚焦部分函數(shù)的選取,并不能像可見光設備那樣整體分析。應根據不同的聚焦過程,具體分析聚焦過程特征,選取合適的最優(yōu)函數(shù)。因此,本文所提的5個評價指標為兩個聚焦過程的函數(shù)性能的評估及最優(yōu)函數(shù)的選取提供了基本的理論依據。
[1] 陳玉群, 范典, 胡俊, 等. 紅外透鏡檢測中的自動聚焦技術[J]. 紅外與激光工程, 2013, 42(8): 2120-2125.
CHEN Yuqun, FAN Dian, HU Jun, et al. Auto-focus technology in the detection of infrared lens[J]., 2019, 42(8): 2120-2125.
[2] 李眾, 郝爭輝, 王高, 等. 熱像儀聚焦程度對紅外輻射檢測的影響研究[J]. 紅外技術, 2019, 41(3): 245-250.
LI Zhong, HAO Zhanenghui, WANG Gao, et al. The Influence of Degree of Thermal Imager Focusing on the Detection Accuracy of Infrared Radiation[J]., 2019, 41(3): 45-250.
[3] 翟永平, 周東翔, 劉云輝, 等. 聚焦函數(shù)性能評價指標設計及最優(yōu)函數(shù)選取[J]. 光學學報, 2011, 31(4): 0418002-1-0418002-11.
ZHAI Yongping, ZHOU Dongxiang, LIU Yunhui, et al. Design of Evaluation Index for Auto-Focusing Function and Optimal Function Selection[J]., 2011, 31(4): 0418002-1-0418002-11.
[4] 原育凱. 光學系統(tǒng)的自動調焦方法[J]. 紅外, 2004(6): 15-21.
YUAN Yukai. Auto-Focusing methods of optical system[J]., 2004(6): 15-21.
[5] Jarvis R A. Focus optimization criteria for computer image processing[J].1976, 24(2): 163-180.
[6] Tenenbaum J M. Accommodation in Computer Vision[D]. USA: Stanford University,1970.
[7] ZHANG X, Fukuda N, Obuchi Y, et al. A signal processing system on chip for digital cameras[C]//2000.26th, 2000: 1243-1248.
[8] 屈玉福, 浦昭邦, 趙慧潔, 等. 調焦評價函數(shù)靈敏度的影響因素分析[J]. 光學學報, 2005, 25(7): 902-906.
QU Yufu, PU Zhaobang, ZHAO Huijie et al. Influence Factor Analysis of Sensitivity of Focus Criteria Function[J]., 2005, 25(7): 902-906.
Optimal Function Selection Based on Infrared Auto-Focusing Processes
LI Lu1,WANG Gao1,SHI Yuzhang1,HAO Zhenghui2
(1.,030051,;2.,030006,)
Unlike the visible light auto-focusing system, the infrared auto-focusing system is divided into far-to-near focusing and near-to-far focusing owing to the special imaging principle of the infrared detector. The auto-focusing functions in the two processes are based on the analysis of the characteristics of the respective focusing function curves. To this end, five targeted evaluation indexes are used: sensitivity, the width of the steep part of the focusing curve, steepness, variance of the flat part of the focusing curve, and time. The 13 typical sharpness evaluation functions that are commonly used in quantitative analysis are conducted, and an optimal function suitable for the two focusing processes is proposed. The results show thatLaplacecan be used as the optimal function in the focusing process from near to far, andLaplaceand FSML can be used as the optimal function in focusing from near to far.
infrared, autofocus, focusing-function, evaluation index
山西省回國留學人員科研資助項目(2014054);總裝基礎研究項目;國家自然基金(61573323);山西應用基礎研究項目(201701D121061)。
A
1001-8891(2020)11-1017-05
2019-12-02;
2020-09-08.
李璐(1993-),女,青海省西寧市人,碩士研究生,主要研究方向:紅外測量與圖像處理。E-mail: 2169199062@qq.com。
王高(1973-),男,山西侯馬人,教授,主要研究方向為兵器測試。E-mail: llslbw3323@163.com。