寇小明,劉上乾,洪 鳴,盧 泉
(1.西安電子科技大學技術(shù)物理學院,西安710071,casscamm@126.com;2.中船重工第705研究所,西安710075)
光電成像系統(tǒng)其性能評價離不開人類視覺系統(tǒng)的參與,人類視覺系統(tǒng)不但包含著空間和時間的積分過程,還有大腦視覺中樞的認知過程.紅外熱像儀用于重建空間溫度場分布,其性能主要取決于兩個參數(shù):1)空間分辨率;2)溫度靈敏度,即圖像信噪比.這兩個指標綜合反映了熱像儀的目標探測與識別能力.紅外熱像儀的綜合性能是指描述其整體性能和預(yù)測其外場性能的總體指標,該指標將紅外目標源、傳輸信道、熱像儀和觀測者作為一個整體,構(gòu)成一個紅外成像觀測系統(tǒng),測量結(jié)果包括了熱像儀的熱靈敏度、空間分辨率和觀測性能,因而可用于評價熱像儀的總體性能,并對新技術(shù)的效果進行評估.
由于早期對感知過程建模存在問題和難以測量噪聲譜,包括觀測者在內(nèi)的主觀測量方法廣泛應(yīng)用在實驗室中對紅外成像觀測系統(tǒng)進行性能評價,針對第1代和第2代掃描熱像儀,美軍紅外與夜視實驗室提出了MRTD(Minimum Resolvable Temperature Difference)綜合指標,MRTD描述了紅外成像觀測系統(tǒng)在帶有噪聲的圖像中分辨四桿靶的能力,是靶的空間頻率的函數(shù),同時又包括了觀測者對噪聲的空間與時間積分以及眼睛的分辨率,測量結(jié)果直接與視覺感知能力和目標探測識別能力相關(guān),比較適合于諸如在噪聲中進行目標識別等實際任務(wù).MRTD測量過程是由經(jīng)過訓練的觀測人員采用被測熱像儀觀測不同空間頻率和溫差的四桿靶,記錄剛好能夠分辨四桿靶時的溫差和空間頻率,四桿靶及典型測量曲線如圖1所示[1],橫坐標是目標大小(S/c·mr-1),縱坐標是最小分辨溫差(ΔT/K).
圖1 典型的MRTD曲線
MRTD既是一個全面反映紅外成像觀測系統(tǒng)綜合性能和成像質(zhì)量的指標,同時也是一個最受爭議的指標,主要不足為:1)在預(yù)測熱像儀的目標探測識別任務(wù)的能力時,對于早期的掃描熱像儀預(yù)測結(jié)果和試驗數(shù)據(jù)比較吻合,但凝視陣列熱像儀出現(xiàn)后,兩者的偏離非常大;2)MRTD測量是在適當優(yōu)化的條件下進行的,測量過程非常耗時且有較大的主觀性,觀測人員的決策判斷是無法驗證的,在不同的人之間或同一個人在不同的時間之間判斷準則都有可能是漂移的,學習訓練的程度、注意力是否集中、以及心理變化等都會影響決策的結(jié)果,一般MRTD指標的測量離散度大約在±20%范圍內(nèi)[2].
凝視陣列熱像儀由于欠采樣的存在,仍然沿用MRTD指標有明顯的缺陷,表現(xiàn)為:1)高頻模式靶的觀測結(jié)果很大程度上依賴于它和傳感器像素陣列的相位,即相對位置[3];2)MRTD測量限定在奈奎斯特頻率以內(nèi)進行,但無法確定有意義的MRTD空間頻率范圍;3)采用非均勻性校正技術(shù)時熱像儀的性能指標是時變的,特別是對于動態(tài)場景圖像,事先并能確知奈奎斯特頻率[4-5].
為此,學界提出了多種MRTD改進指標:1) MTDP(Minimum TemperatureDifferencePerceived)指標[6],它是在優(yōu)化的相位上觀測模式靶,不要求要看到全部四個靶,在奈奎斯特頻率以外能夠分辨兩個靶桿時就作為該頻點的對比度閾值,從而將測量范圍擴展到奈奎斯特頻率之上,這種改進使得距離預(yù)測性能和實際測量結(jié)果較為接近,但由于受到相位優(yōu)化的限制,仍然不適合于動態(tài)場景應(yīng)用.2)DMRT(Dynamic MRT)指標[7],它是將模式靶以一個優(yōu)化的速率相對于傳感器的采樣柵格移動(大約是每幀1/4像素),觀察員可以在變化的位置上進行積分從而在奈奎斯特頻率之上感知到四桿靶.它可適用動態(tài)場景,但移動速度和幀頻是相關(guān)的,而采用超級采樣等信號處理技術(shù)時事先不可能確定優(yōu)化的速度,熱像儀和模式靶的相對運動還會帶來圖像模糊,對觀測員來說同時對模式靶進行調(diào)制和移動也是難以實現(xiàn)的.
由于最佳感知相位的存在和采用四桿靶的調(diào)制作為空間頻率,MRTD及其改進指標測量過程仍離不開人的主觀參與,導致測量結(jié)果的離散度較大.目前,紅外熱像儀的應(yīng)用已從遠距離靜態(tài)探測發(fā)展到近距離的動態(tài)使用,凝視陣列熱像儀采用了微掃描[8]、超級采樣、動態(tài)非均勻性校正等多種技術(shù)措施提高欠采樣陣列的性能.以MRTD為代表的靜態(tài)綜合性能指標已不能適應(yīng)新技術(shù)和新應(yīng)用的發(fā)展需要,為了定量分析新技術(shù)對紅外成像觀測系統(tǒng)觀測性能的效果,應(yīng)研究更為客觀有效的紅外熱像儀綜合性能指標及其測量技術(shù).
三角方向鑒別閾值法方法(Triangle Orientation Discrimination threshold,TOD)由 P.Bijl和J.M.Valeton提出,其目的是減小MRTD指標中由主觀視覺判別的不確定性引入的差異.TOD方法是由觀測人員采用被測熱像儀觀測一系列大小和溫差不同的等邊三角形靶標,判斷三角形的頂點指向是向上、向下、向左還是向右[9-11].
觀測人員判斷正確的比率是三角靶標大小和對比度的函數(shù),隨靶標尺寸的增大和對比度的增強而單調(diào)增加,將這樣的心理學感知過程用Weibull函數(shù)來描述,曲線如圖2所示.由于采用的是4選1的模式,判斷正確的比率范圍為25%~100%.
圖2 Weibull曲線擬合示意圖
式中:x為激勵強度(大小或溫差),a為激勵強度閾值,β為曲線陡峭程度適配參數(shù)(取值范圍為3~8),γ為猜測比率(4選1的猜測比率為0.25),δ為人為出錯的概率(一般取0.02).這個函數(shù)表達了依賴于激勵強度的從低概率到高概率的連續(xù)響應(yīng),在激勵強度為75%的正確水平時為
TOD基于一種統(tǒng)計過程,保持一個參數(shù)固定下改變另一個參數(shù),對判定結(jié)果統(tǒng)計后按Weibull函數(shù)做曲線擬合,取曲線上概率為75%的點作為閾值點,即觀察員取得75%正確判定概率時的閾值,測量時對比度一般按15%遞增,靶標面積按25%遞增,4個方向均勻分布.在測量TOD時,樣本展現(xiàn)過程激勵一般從大到小,激勵點的間隔取決于心理學函數(shù)的斜率,a75/a的范圍一般在1.06~1.18,每次觀測中樣本相對于焦平面都有一個微小的位移.
TOD閾值曲線定義為在判定正確率為75%水平上的對比度或大小的擬合曲線,對比度用對數(shù)尺度,大小用三角形面積開平方的倒數(shù)表示,典型的TOD閾值曲線如圖3所示.
TOD評價方法提出的初衷是通過采用4選1的感知實驗降低主觀因素的影響,但三角形靶標的傅立葉變換無論在笛卡爾坐標系還是在極坐標系中都是不可分離的,難以用信號傳輸理論進行分析.
圖3 典型的TOD曲線
隨著熱像儀技術(shù)的不斷進步和應(yīng)用范圍的不斷擴展,TOD評價方法的用途不斷擴大,主要體現(xiàn)為:
1)客觀性和重復性好,通過采用非周期的模式靶消除了相位影響,測量結(jié)果和觀測者的內(nèi)部決策準則無關(guān),觀測者的感知可信度可通過統(tǒng)計驗證,測量結(jié)果的離散度大為縮小;
2)測量過程沒有四桿靶那樣的空間頻率限制關(guān)系,更加接近實際使用情況,可用于預(yù)測熱像儀的外場觀測性能,受探測器類型的影響較小,通用性好;
3)評價方法適用于動態(tài)場景,可用于動態(tài)場景應(yīng)用場合下預(yù)測熱像儀的性能;
4)可適用于預(yù)測微掃描、超分辨重建、動態(tài)非均勻性校正等新技術(shù)的應(yīng)用效果.
圖4比較了MRTD和TOD評價方法的測量結(jié)果因人而異的統(tǒng)計離散度,所采用的設(shè)備包括差分黑體、平行光管、四桿靶標、三角靶標、中波熱像儀、長波熱像儀等.在高頻處MRTD評價方法的離散度在均值的40%范圍內(nèi),而此時TOD評價方法的離散度只有8%,因此TOD方法在不同的觀測人員之間具有很好的一致性.
類似于 STANAG4349中詹森準則[12]用MRTD指標預(yù)測熱像儀的目標探測能力,在得到TOD參數(shù)后,也可采用TOD準則預(yù)測外場探測性能.覆蓋目標臨界尺寸的等效三角形靶標的周期數(shù)為
式中:S為目標在視場角內(nèi)的面積,R為目標與探測器之間的距離,S'為目標在系統(tǒng)入瞳處的表觀溫差與TOD曲線的交點對應(yīng)的空間頻率.M75為對應(yīng)75%的正確判別概率時,目標角平方根面積與三角形靶標角平方根面積的比率,不同目標獲取任務(wù)所對應(yīng)的M75值是不同的.
圖4 主觀因素引起的離散度比較
近年來,凝視陣列熱像儀不斷采用內(nèi)部NUC校正(Non-Uniformity Correction)、基于場景的NUC校正、超級掃描等技術(shù)提高性能,此時其綜合性能是時變的,MRTD評價方法對此已無能為力,只有TOD方法可以預(yù)測動態(tài)性能.
分析表明,采用TOD方法評價紅外熱像儀的圖像質(zhì)量和綜合性能具有較小的離散度,而且靶標形狀比較規(guī)則,使得可以采用機器視覺技術(shù)進行客觀評判,不但可以進一步降低綜合性能參數(shù)的離散度,還可以提高判讀的速度,從而得到當前的動態(tài)綜合性能.
鑒于圖象質(zhì)量評價離不開人的主觀視覺感受,因此在客觀評價方法中將人類視覺系統(tǒng)的能力和限度模型化,人類眼睛的點擴展函數(shù)PSF (Point Spread Function)來自于3個物理效應(yīng)環(huán)節(jié)的綜合:光學、視網(wǎng)膜和視神經(jīng)震顫,人類眼睛的傳遞函數(shù)為
眼睛的光學傳遞函數(shù)為
眼睛的光學傳遞函數(shù)是顯示亮度的函數(shù),因為眼睛瞳孔直徑隨著光亮度水平而自適應(yīng)改變,io和fo是兩個依賴于瞳孔直徑的參數(shù).
視網(wǎng)膜的傳遞函數(shù)為
眼睛視神經(jīng)震顫的傳遞函數(shù)為
對得到的圖像按照視覺模型模糊化處理后用機器視覺識別技術(shù)進行TOD檢測,這里采用了模式匹配的方法,模式匹配有模板灰度匹配和模板幾何匹配兩種,它們分別用灰度信息和幾何信息作為主要特征.TOD檢測方法使用的目標靶為等邊三角形,檢測過程目標的大小和溫差是變化的,但具有確定的幾何形狀,因此采用了模板幾何匹配方法.
模板幾何匹配過程包括了學習和匹配兩個階段.學習過程從模板中提取幾何特征并得到這些特征的空間關(guān)系,包括了曲線提取、特征提取和特征之間的空間關(guān)系表達3個操作步驟.曲線提取過程提取模板圖像的邊緣輪廓點,細分為3個步驟:尋找曲線種子點、跟蹤曲線和細化曲線;特征提取過程從曲線中提取高級幾何特征,并按照曲線的類型、力度和顯著性排序,得到特征排序后,用特征之間的空間關(guān)系建立模板特征模型以描述模板.匹配過程用模板特征模型在圖像中尋找匹配對象,主要包括5個操作步驟:曲線提取、特征提取、特征匹配、模板模型匹配和匹配細化,前兩個步驟和學習過程一樣.特征匹配建立初始的潛在匹配并用進一步的信息或參數(shù)(位置、角度、長度)進行細化;模板模型匹配是將模板模型疊加在潛在匹配上,找到進一步的目標特征及其空間關(guān)系以確認潛在匹配,并產(chǎn)生進一步的信息用于更新和提高匹配精度;匹配細化提高匹配的位置、尺度和角度精度,利用從模板和檢測圖像中提取的曲線確保匹配的準確度和精度.
模板幾何匹配完成后返回一個判讀結(jié)果,包括數(shù)量、位置、大小、朝向、準確度.大小給出尺寸變化的百分比,準確度的范圍為0~1000,內(nèi)含了下列因素:
1)模板圖像幾何特征匹配目標對象的數(shù)量.
2)各特征匹配的單獨分值.
3)邊緣曲線的匹配力度.
這里邊緣閾值和準確度是兩個非常關(guān)鍵的指標,通過調(diào)整邊緣閾值和準確度指標的接受范圍可以使客觀檢測方法和主觀判斷方法的評價結(jié)果保持統(tǒng)計意義上的一致性.
為了驗證TOD客觀方法的有效性,采用仿真方法生成了TOD熱靶圖像,并在視覺系統(tǒng)模型之前對圖像添加了高斯噪聲,將圖像和模糊函數(shù)卷積然后進行抽樣采樣,抽樣過程圖像不斷縮小近似于三角形尺寸的變化,模糊函數(shù)為
式中:b為以像素表示的模糊函數(shù)寬度大小,用式(8)在圖像的x和y方向分別進行卷積可以模擬圖像的模糊過程及程度.圖5是采用模板幾何匹配方法識別加噪和模糊化后的仿真圖像的結(jié)果,圖像對比度減小到閾值附近時無法給出正確判別.
圖5 模板幾何匹配方法識別結(jié)果
通過建立熱像儀綜合性能檢測的客觀評價方法,機器判讀時間比人工判讀時間大為減少,處理判讀時間在5 s以內(nèi),通過細化和調(diào)整參數(shù),判讀結(jié)果的一致性,即在圍繞均值分布的離散度,也得到了進一步提高,比人工判讀方法提高約1倍,將離散度縮小到了約4%.
1)采用TOD檢測方法可將熱像儀綜合性能指標的測量不確定度由±20%改善到8%,采用幾何模板匹配過程實現(xiàn)機器判讀時可進一步減小約1/2.
2)通過在成像觀測環(huán)節(jié)用人類視覺傳遞函數(shù)及心理認知模型取代人類視覺觀測過程,用模糊函數(shù)抽取模擬熱像儀信道模糊過程,用幾何模板匹配取代視覺認知過程,可實現(xiàn)TOD指標檢測過程的客觀化.
3)TOD檢測方法滿足統(tǒng)計意義上的客觀性,而且適用于動態(tài)場景圖像,因而將逐步取代MRTD成為紅外成像觀測系統(tǒng)的綜合性能評價指標,并成為預(yù)測紅外熱像儀外場觀測性能的圖像質(zhì)量準則.
[1]KOSTRZEWA J,LONG J,GRAFF J H,et al.TOD versus MRT when evaluating thermal imagers that exhibit dynamic performance[J].Proc.of SPIE,2003,5076:220-232.
[2]IRWIN A,GAULITNEY P,WHITE S.Discussion of IR Testing Using IRWindowsTM2001[M].Santa Barbara: Santa Barbara Infrared,Inc FLIR Systems,Inc,2002.
[3]BIJL P,SCHUTTE K,HOGERVORST M A.Applicability of TOD,MTDP,MRT and DMRT for dynamic image enhancement techniques[C]//Infrared Imaging Systems: Design,Analysis,Modeling,and Testing XVII.Washington,CA:Proc.of SPIE,2006,6207:1-12.
[4]李慶,劉上乾,賴睿,等.一種基于場景的紅外焦平面陣列非均勻性校正算法[J].光子學報,2006,35(5): 720-723.
[5]姜光,劉上乾.紅外焦平面陣列非均勻性自適應(yīng)校正算法研究[J].紅外與毫米波學報,2001,2(2): 93-96.
[6]WITTENSTEIN W.Minimum temperature difference perceived—a new approach to assess undersampled thermal imagers[J].Optical Engineering,1999,38(5): 773-781.
[7]WEBB C,HALFORD C.Dynamic minimum resolvable temperature testing for staring array imagers[J].Optical Engineering,1999,38(5):845-851.
[8]吳新社,蔡毅.紅外凝視成像系統(tǒng)中的光學微掃描技術(shù)[J].紅外與毫米波學報,2007,26(1):11-14.
[9]BIJL P,VALETON J M.Triangle orientation discrimination:The alternative to minimum resolvable temperature and minimum resolvable contrast[J].Optical Engineering,1998,37(7):1976-1983.
[10]MCHUGH S W,IRWIN A,VALETON J M,et al.TOD test method for characterizing electro-optical system performance[J].Proc.of SPIE,2001,4372:39-45.
[11]HOGERVORST M A,BIJL P,VALETON J M.Capturing the sampling effects:A TOD sensor performance model[J].Proc.of SPIE,2001,4372:62-73.
[12]RATCHES J A.Night vision modeling:historical perspective[J].Proc.of SPIE,1999,3701:2-12.