李長春,程國民,曹永剛
(1. 91245部隊,遼寧 葫蘆島 125001;2. 中國科學院長春光學精密機械與物理研究所,吉林 長春 130033)
能夠清晰成像是成像觀測設備的關鍵性能,是后續(xù)分析處理的首要前提。在實際使用過程中,往往由于觀測距離發(fā)生變化或光學系統(tǒng)的不當調(diào)整,而導致采集的圖像處于離焦狀態(tài),影響成像質(zhì)量。因此,成像設備中一般需要增設調(diào)焦系統(tǒng)及相應的處理算法,以實現(xiàn)設備的自動調(diào)焦。目前常用的自動調(diào)焦方法主要有兩種:測距法和圖像法。測距法一般是根據(jù)測距設備的物距反饋信息進行光學系統(tǒng)調(diào)整,該種方法雖然簡單,但是往往由于測量誤差或測量環(huán)境的干擾而導致無法準確對焦[1]。圖像法則是通過評估圖像序列的離焦程度而進行光學系統(tǒng)的自動調(diào)整[2]。由于基于圖像的自動調(diào)焦方法直接以圖像信息作為反饋,結(jié)構(gòu)簡單,無需其他輔助測量設備,因此該方法漸已得到廣泛應用。
基于圖像的自動調(diào)焦方法又分為離焦深度法(Depth from defocusing, DFD)和對焦深度法(Depth from focusing, DFF)[3]。其中,對焦深度法由于具有相對較高的準焦精度,在基于圖像的自動調(diào)焦中應用較多。因此,基于自動調(diào)焦領域展開的研究,多圍繞著與其相關的清晰度評價函數(shù)設計[4-6]、搜索策略優(yōu)化以及調(diào)焦窗口選擇[7-10]等領域。然而,該類方法在實驗驗證過程中,往往需要結(jié)合具體硬件結(jié)構(gòu)的相應調(diào)整,來獲得預期的實驗結(jié)果。在實際研究或調(diào)試過程中,此種硬件依賴存在如下弊端:一是在算法研究過程中,會因硬件條件限制(如光學系統(tǒng)、調(diào)焦結(jié)構(gòu)、調(diào)焦驅(qū)動無法滿足實驗要求)或觀測條件限制,而無法還原出實際調(diào)焦狀態(tài);二是因難以預測實驗效果,而無法預先對調(diào)焦系統(tǒng)的設計提供較為貼切的設計指標。鑒于上述問題,本文提出了一種自動調(diào)焦性能評估與仿真方法,并結(jié)合該方法研制了一套評估仿真系統(tǒng)。該系統(tǒng)可以根據(jù)預設的光電參數(shù),生成不同離焦程度的圖像,以實現(xiàn)對調(diào)焦過程的多項評估與仿真,有效的擺脫了硬件結(jié)構(gòu)的限制,并可以根據(jù)模擬結(jié)果為調(diào)焦系統(tǒng)的設計提供一定的參考依據(jù)。
由幾何光學的高斯公式(式(1))可知,當觀測目標與探測器靶面位置相對于光學系統(tǒng)滿足共軛關系時,探測器所處的位置為準焦位置v,該位置處采集的圖像為清晰的準焦圖像。與準焦位置v偏離越遠,則離焦量越大,采集的圖像越模糊,如圖1所示。
(1)
圖1 光學成像系統(tǒng)示意圖Fig.1 Schematic diagram of the optical imaging system
對于點源目標,非準焦位置處所成的像將退化為一個圓斑。那么,圖像的離焦過程,可以理解為清晰圖像與點擴散函數(shù)的卷積,如式(2)所示。
g(x,y)=f(x,y)*h(x,y),
(2)
其中f(x,y)為處于準焦位置時清晰圖像的空間分布函數(shù),h(x,y)為成像系統(tǒng)空間點擴散函數(shù)PSF,g(x,y)為處于離焦位置時的空間分布函數(shù)。
理想情況下,點擴散函數(shù)h(x,y)的表達式如式(3)所示。
(3)
其中,R為彌散斑半徑對應的像素數(shù)(以下簡稱為彌散斑半徑),表征其模糊程度。
由幾何光學原理可知,彌散斑半徑R的表達式為:
(4)
其中,D為孔徑光闌直徑,vx為探測器位置,v為準焦位置(即像距),s為像元尺寸。
仿真過程中,假定觀測目標與設備之間的距離為u(即物距),焦距為f,那么由式(1)可以計算出準焦位置v,設此處對應的清晰圖像為f(x,y)。將v帶入式(4),可得到探測器處于vx時對應的彌散斑半徑R。將R代入式(3),可得到空間點擴散函數(shù)h(x,y)。將h(x,y)帶入式(2),即可模擬出探測器處于vx時的離焦圖像g(x,y)。
基于圖像的自動調(diào)焦過程是通過設定不同的探測器位置實現(xiàn)圖像準焦面的檢索。而在具體實現(xiàn)過程中,探測器位置一般是由驅(qū)動電機編碼器的碼值cx來表征。由式(4)可知,要獲得探測器指定位置處離焦圖像,需要首先由碼值cx計算處實際位置vx,二者的計算關系如式(5)所示。
(5)
其中,cR為編碼器調(diào)整范圍最大值,DR為驅(qū)動電機調(diào)整范圍的實際距離最大值(該調(diào)整范圍是以光學系統(tǒng)焦點為起點、沿光軸至焦點以外指定長度范圍內(nèi))。
自動調(diào)焦效果的優(yōu)劣,除了調(diào)焦算法本身的影響,調(diào)焦電機的驅(qū)動性能也是一項關鍵因素。其中最為直接的影響因素是調(diào)焦電機的調(diào)整速度及響應能力。調(diào)整速度即電機由當前位置調(diào)整至設定位置的調(diào)整時間。響應能力則是電機啟動及停止過程的響應速度,該項指標由電機的多項性能決定,本系統(tǒng)暫由啟動/停止時間ts整體表征。因此,自動調(diào)焦過程的仿真中,應引入調(diào)焦電機的調(diào)整、響應耗時,以更好的逼近真實效果。本系統(tǒng)中,調(diào)焦電機由位置vx1,調(diào)整至位置vx2所用時間Δt如式(6)所示:
(6)
其中,cx1為位置1碼值,cx2為位置2碼值,Ttotal為電機走完整個行程的調(diào)整耗時,ts為電機單次啟動或停止耗時。
如前文所述,基于圖像的自動對焦法的研究主要分為3個方向:清晰度評價函數(shù)的設計,搜索策略的制定與優(yōu)化,以及調(diào)焦窗口的選取方法。針對上述3個研究領域,研制了如下自動調(diào)焦評估與仿真系統(tǒng)(以下簡稱評估仿真系統(tǒng)),如圖2所示。
圖2 自動調(diào)焦評估仿真系統(tǒng)Fig.2 Auto-focus evaluation and simulation system
該系統(tǒng)通過輸入指定的光電參數(shù),實現(xiàn)自動調(diào)焦過程的相關評估與仿真。歸納起來,主要實現(xiàn)如下3個功能。
理想的清晰度評價函數(shù),應具備良好的單峰性、無偏性、高靈敏度及良好的實時性。評估仿真系統(tǒng)對于清晰度評價函數(shù)的性能評價,則是針對上述4個特性進行統(tǒng)計。具體實現(xiàn)過程如下:
首先,按照第2節(jié)所述方法,生成一組包含準焦位置的等間隔模糊圖像序列;其次,按照指定的清晰度評價函數(shù),依次對生成的圖像序列進行清晰度值計算,并將得到的各清晰度評價值進行歸一化處理,以便于與其他清晰度評價函數(shù)進行性能比較;最后,將歸一化后的清晰度評價值數(shù)組繪制成評價曲線并進行性能分析。
對于單峰性的評價主要是查看生成的由離焦到準焦、再到離焦的圖像序列對應的清晰度評價曲線是否具有單峰形式,如圖3所示。無偏性的評價則是查看清晰度峰值位置是否對應實際的準焦位置附近(景深范圍內(nèi))。靈敏度的評價則是統(tǒng)計清晰度評價值大于峰值有效值的曲線寬度δw。實時性評價則是統(tǒng)計清晰度評價函數(shù)的單幀圖像計算時間。
圖3 理想清晰度評價函數(shù)曲線Fig.3 Ideal definition evaluation function curve
搜索策略仿真的基本原理是,根據(jù)輸入的光電參數(shù)(圖2)、評價函數(shù)以及探測器靶面的初始位置,按照預設的搜索路徑模擬調(diào)整電機位置(按照設定的光電參數(shù),進行電機速度、位置的仿真),并按照指定的電機位置計算該位置對應的離焦圖像、清晰度評價值、并實時顯示。最終,按照設定的搜索策略和清晰度評價值模擬完成整個自動調(diào)焦過程。
搜索策略的仿真一方面可以直觀反饋設定的搜索策略對應的整個調(diào)焦過程的視覺效果,為調(diào)焦策略的優(yōu)化、清晰度評價值的評價效果提供調(diào)整依據(jù)。另一方面通過輸入不同的光、機參數(shù)模擬執(zhí)行自動調(diào)焦過程,根據(jù)模擬過程反饋的超調(diào)量、調(diào)整時間、調(diào)焦效果,進一步為調(diào)焦系統(tǒng)的設計提供一定的技術參考。
調(diào)焦窗口選取的性能評估,是通過選定不同的調(diào)焦區(qū)域進行模擬調(diào)焦效果驗證。即通過評估該區(qū)域內(nèi)的清晰度評價曲線以及調(diào)焦效果,對調(diào)焦窗口的選取提供反饋指導。
為了驗證評估仿真系統(tǒng)對于清晰度評價曲線性能的評估功能,假定圖4中目標相對于成像設備的物距為0.5 km,成像設備焦距設為1 000 mm,通光孔徑設為400 mm,像元尺寸設為10 μm,調(diào)焦范圍設為焦點以外0~5 mm,調(diào)焦電機碼值調(diào)節(jié)范圍為0~1 024。
圖4 準焦位置圖像Fig.4 Image at focal position
由式(1)可以計算出,目標準焦位置為1 002 mm處,對應的位置碼值為409,即該位置對應的圖像為圖4(分辨率為256×256的8位灰度圖像)。按照第3.1節(jié)所述方法,分別對4種典型的清晰度評價函數(shù)(能量梯度函數(shù)、Brenner函數(shù)、Robert函數(shù)、方差函數(shù))進行性能評價,評價曲線及評價結(jié)果分別如圖5、表1所示。從該組圖表可知,評估仿真系統(tǒng)能夠?qū)χ付ㄇ逦仍u價函數(shù)進行較為全面的定性及定量評價。
圖5 典型清晰度評價函數(shù)歸一化曲線Fig.5 Normalization curve of classical definition evaluation functions
Tab.1 Evaluation values of definition evaluation function performance
評價函數(shù)峰值位置曲線峰寬算法耗時/ms 能量梯度401350.059Brenner401350.046Robert401350.067方差4011570.084
4.2.1 搜索策略制定
為了驗證自動調(diào)焦準焦位置搜索策略的仿真功能,首先需要制定搜索策略。簡單起見,本實驗采用如下搜索策略,整個搜索過程如圖6所示。
圖6 搜索路徑示意圖Fig.6 Sketch map of search path
(1)首先將調(diào)焦電機按照設定的速度調(diào)整至起調(diào)整起始端;
(2)將電機按照設定步長依次向終點端步進,同時計算電機每個設定位置處對應的離焦圖像并計算該圖像的清晰度評價值;
(3)重復步驟(2),直至電機到達調(diào)整端點;
(4)統(tǒng)計電機各步進位置的清晰度評價值峰值,找到峰值位置對應的電機碼值PP;
(5)調(diào)整電機至PP位置,并顯示出該位置對應的圖像;
(6)單次調(diào)焦結(jié)束。
4.2.2 光電參數(shù)設定
搜索策略制定后,即可通過手動輸入各光電參數(shù),進行自動調(diào)焦過程仿真,以驗證不同參數(shù)下的調(diào)焦效果。本實驗中設定的調(diào)焦參數(shù)如表2所示。
表2 光電參數(shù)設定值Tab.2 Optical machine parameter setting values
4.2.3 評估結(jié)果
利用4.2.1節(jié)與4.2.2節(jié)中制定的搜索策略與設定參數(shù),進行自動調(diào)焦效果驗證。自動調(diào)焦執(zhí)行前電機不同起始位置設定值條件下,單次調(diào)焦耗時及最終調(diào)整位置如表3所示。
表3 不同電機起始位置條件下調(diào)焦評估結(jié)果Tab.3 Evaluation results at different initial positions
從表3可知,在現(xiàn)有的參數(shù)條件下,按照4.2.1節(jié)制定的搜索策略,理想情況下單次調(diào)焦最大耗時不大于2 s,最終調(diào)整位置碼值為250。部分電機搜索位置對應圖像如圖7所示。
圖7 電機設定位置對應的圖像序列Fig.7 Images at different motor setting position
針對大多數(shù)自動調(diào)焦算法研究無法擺脫對調(diào)焦結(jié)構(gòu)的依賴問題,以及在調(diào)焦光機結(jié)構(gòu)設計之前無法初步預知自動調(diào)焦效果的問題,本文提出了基于圖像自動對焦的仿真與評估方法,并實現(xiàn)了具有相應功能的仿真評估系統(tǒng)。該系統(tǒng)通過對清晰度評價函數(shù)性能、搜索策略、調(diào)焦效果等功能的定性及定量評估,可以更為簡便直觀的為相關自動調(diào)焦研究提供評估信息。通過人工設定各光電參數(shù)的方式對調(diào)焦過程進行反復仿真驗證,可以為調(diào)焦系統(tǒng)光機結(jié)構(gòu)的設計提供設計參考。因此,本文方法的提出可以在一定程度上為自動調(diào)焦算法研究的驗證提供技術保障。