萬釔良,王建立,張 楠,姚凱男,王昊京
(1.中國科學院 長春光學精密機械與物理研究所,吉林 長春130033;2.中國科學院大學,北京 100049;3.中國科學院國家天文臺長春人造衛(wèi)星觀測站,吉林 長春 130117)
偏振探測作為光學研究的一個新興領域,近年來已經引起了國內外的廣泛關注。偏振成像可以提供目標更多維度的信息,是一種具有巨大應用價值的先進技術[1]。偏振成像對于目標的邊緣信息更加敏感,并且能夠有效減少背景噪聲,提高目標的識別率,同時還可以反映出目標的不同材質特點。偏振成像的這些特點使得其可以被應用在軍事反偽裝遮蔽、空間遙感以及光學監(jiān)測等許多方面[2]。偏振圖像可以采用多通道相機同時采集不同偏振角的光強圖像來計算得到。這種方法不會受到目標或者相機移動的影響,具有較高的探測精度,響應速度以及可靠性,因此成為了偏振探測的主要發(fā)展方向[3]。由于不同相機的光軸位置存在差異,所以必須對圖像進行準確的配準,才能獲得準確的偏振信息。
圖像配準算法是一種對于多個相機獲取的同一場景的不同圖片進行對準的一種算法,其主要是通過計算待配準圖像與參考圖像之間的單應性矩陣來達到配準的目的。比較常用的圖像配準算法有基于灰度信息法、基于變換域法和基于特征法3類[4],但沒有一種普遍通用的配準算法。具體使用時通常要根據圖像的特點來進行選擇。汪方斌等人提出了一種基于KAZE特征點的偏振圖像配準算法[5],但是這種方法對于噪聲比較敏感,在噪聲比較大的情況下容易誤配。Han等人通過提取與分析圖像中的邊緣信息來對紅外遙感圖像進行配準[6],但是這種方法只對邊緣特征比較明顯的圖像有效。岳文濤[7]提出了一種結合區(qū)域分割的SIFT圖像匹配方法,這種方法速度較快,但是不能得到理想的配準結果。
結合上述情況,本文提出了一種改進的相位相關算法。算法針對偏振圖像分辨率較低,細節(jié)信息不明顯,噪聲較大的特點,在預處理的基礎上,將對圖像分割為多個子圖,并對噪聲較大的子圖進行剔除,并進行進一步的配準,從而降低了背景區(qū)域噪聲的影響,提高了配準的準確度。
紅外偏振圖像本身的清晰度較差,噪聲較大,且背景區(qū)域往往包含了大量的噪聲,這些問題都會給圖像的配準精度造成影響。因此在進行圖像配準之前,需要先對圖像進行預處理,一方面可以抑制圖像的噪聲,另一方面可以增強圖像的細節(jié)信息。
高斯濾波是一種簡單、快速的局部平滑濾波算法,其主要采用低通濾波的方法,對圖像中所包含的高頻噪聲進行有效的抑制[8]。實際計算中,通過選擇固定大小的高斯濾波模板來對圖像進行操作,可以有效提高計算的速度。高斯濾波的模板函數可以表示為:
(1)
其中,Wx,y表示以像素(x,y)為中心的M×M(M為奇數)大小的鄰域;為高斯分布的權重因子,其表達式為:
(2)
采用高斯濾波方法對圖像進行去噪,也會丟失部分圖像的邊緣信息。因此在圖像預處理的過程中,還需要一種對邊緣信息進行提取與增強的方法。
Canny算法[9]是一種高效的邊緣提取算法,對于噪聲有較強的抗干擾能力,提取的邊緣只有一個像素,準確度較高。算法通過一階偏導算子,提取高斯濾波之后的圖像提取水平與垂直方向的邊緣信息。再通過極大值抑制以及高低閾值檢測的方法,來排除一些錯誤的邊緣信息,從而獲得準確的邊緣信息。
最后將Canny算法提取的邊緣圖像與高斯濾波得到的兩幅圖像進行相加,得到最終的預處理結果。
相位相關算法是由Kuglin和Hines提出的一種配準算法[10]。算法首先通過快速傅里葉變換將圖像從空域變換到頻域,然后通過計算兩幅圖像的互功率譜來得到兩幅圖像的平移關系。具體計算過程如下:
對于兩幅存在如下關系的兩幅圖像f(x,y)與g(x,y):
g(x,y)=f(x-dx,y-dy),
(3)
其中:dx、dy分別為圖像的水平方向與豎直方向的位移。
假設圖像的大小是M×N,F(ωx,ωy)與G(ωx,ωy)是傅里葉變換后的兩幅圖像。它們的表達式如下:
(4)
(5)
則F(ωx,ωy)與G(ωx,ωy)的關系可以表示為:
G(ωx,ωy)=e-j2π(ωxdx+ωydy)F(ωx,ωy),
(6)
通過上面的變換,可以看到兩幅圖像在頻域上只是相位存在不同。兩幅圖像的相位差可以通過計算他們的互功率譜得到?;スβ首V的計算公式如下:
(7)
其中:*運算表示取F(ωx,ωy)或G(ωx,ωy)的復共軛。通過進行傅立葉反變換,可以得到沖激函數:
F-1{e-j2π(ωxdx+ωydy)}=δ(x-dx,y-dy).
(8)
根據沖激函數峰值位置就可以得到平移參數dx、dy。
傳統(tǒng)的相位相關算法只能用來求取圖像的平移變換,Fourier-Mellin算法[11-12]在此基礎上進行了改進,從而能夠應對圖像之間存在的尺度變換與旋轉變換。
對于存在旋轉與尺度變換的圖像,通過把原圖像先變換到對數極坐標系下,這樣在直角坐標系下的旋轉與尺度變換參數就能夠轉化為對數極坐標下的平移變換參數,從而使用相位相關算法進行配準。
對于紅外偏振圖像,其背景區(qū)域的噪聲通常較大,會影響配準的精度。而圖像的目標區(qū)域的噪聲通常較小,同時目標區(qū)域配準效果的好壞也是決定圖像配準結果的質量關鍵。如果想要進一步地提高配準的效果,就需要減少背景區(qū)域噪聲對配準精度的影響,而只使用噪聲較小的目標區(qū)域的信息進行配準。為了實現這一目標,本文提出了一種基于子圖像的配準方法,具體實現步驟如下:
首先,將待配準圖像與參考圖像劃分為M×N個子圖,并對對應位置的子圖分別配準來得到各自的配準參數。
對于一對配準參數為dx、dy的子圖,他們之間的平移距d可以通過式(9)計算:
(9)
因為已經完成了粗配準,所以此處d應該是一個比較小的值。而那些噪聲較大的背景區(qū)域子圖,會因為噪聲的影響存在錯配,會使得d的取值偏大。
所以第二步,通過選擇合適的閾值,對d大于閾值的子圖進行剔除,就可以減小噪聲較大的背景區(qū)域子圖對于最后配準結果的不良影響。
最后根據剩余子圖的中心坐標位置計算單應性矩陣來得到配準結果。
待配準圖像與參考圖像對應位置的子圖中心坐標存在以下關系:
(x2,y2,1)T=H-1(x1,y1,1)T,
(9)
其中:x1、y1是參考圖像子圖中心的坐標,x2、y2是待配準圖像子圖中心的坐標。H為3×3的單應矩陣,其表達式如下:
(10)
圖1 算法流程圖Fig.1 Flowchart
圖1為算法的流程圖,具體步驟包括:
(1)對采集到的紅外偏振圖像進行預處理,包括使用高斯濾波來降低圖像的噪聲,使用Canny邊緣增強算法來增強圖像的邊緣與細節(jié)紋理信息。
(2)使用相位相關算法來針對圖像的平移參數進行粗配準
(3)將粗配準的圖像劃分為M×N個子圖,每個子圖大小相等(本文中劃分為3×3個子圖),對于對應位置的子圖通過相位相關法來獲取平移參數。
(4)通過設置閾值的方法來對那些因為噪聲產生誤配的子圖進行剔除,從而減少背景區(qū)域噪聲對于配準結果的影響,而只是用噪聲相對較小的目標區(qū)域進行配準。
(5)使用剩余子圖的平移參數來計算配準圖像與參考圖像間單應性矩陣,完成配準工作。
實驗圖像使用三通道紅外偏振相機進行采集,相機構造如圖2,上方黑色部分內為3臺DRS TAMARISK-640紅外相機,相機分辨率為640×480,探測頻帶為8~14 μm,分別加裝有0°,60°,120°三個角度的偏振片,可以同時采集3個偏振角度的光強圖像。下方為控制計算機,可以對相機鏡頭的焦距與倍率進行控制。圖像處理程序使用vc14與opencv3.4.1實現,計算機CPU為Intel i7-8700k 3.7 GHz,內存32G。
圖2 偏振相機Fig.2 Polarized camera
實驗分別選取了室內人物、室外停車場以及室外機場3種不同的場景來驗證本文方法對于近距離、中距離以及遠距離目標圖像的配準效果。實驗以偏振角為0°的圖像作為參考圖像,將偏振角為60°與120°的圖像與其進行配準。根據配準后得到的紅外強度圖像以及偏振度圖像,可以直觀地看到圖像的配準效果。
圖3(g)中,Fourier-Mellin方法的人物右臂位置邊緣出現了模糊,這是因為場景中大部分為
圖3 室內人物Fig.3 Indoor human
噪聲較大的背景區(qū)域,Fourier-Mellin算法在配準時受到了這些噪聲的影響從而無法準確配準。對于圖4(h)中汽車右側邊緣位置,文獻[5]的圖像有一定的錯位,造成這一結果的主要原因是3個偏振角度的光強圖像細節(jié)存在差異,使得他們在提取的特征點位置與數量存在一定差異,最終導致了配準結果出現了較大的誤差。圖5(g)中Fourier-Mellin方法的欄桿有一定的錯位,遠處目標上的幾個點也存在一定的重合,造成這一結果的原因與圖3(g)類似,是因為天空背景區(qū)域所包含的噪聲引起的,而文獻[5]中的方法在提取特征點的時候,由于圖像的背景比較空曠,有將近半數的特征點集中在欄桿附近,同時又因為欄桿的特征具有較高的重復性,在進行特征點匹配時這一重復性導致了特征點的誤配,最終使得算法無法輸出有效的結果。從對3個場景的配準圖像可以看出,本文方法在面對多種場景時都能準確配準,獲得的偏振度圖像邊緣也更清晰,而且能夠有效地應對背景區(qū)域噪聲的不良影響。
圖4 室外停車場Fig.4 Outdoor car park
圖5 室外機場Fig.5 Outdoor airport
圖中a~i為圖3~5對應位置的圖像標號,其中圖a~c分別為0°,60°,120°3個偏振角度的圖像,d~f依次為使用Fourier-Mellin方法、文獻[5]方法、本文方法配準的光強圖像結果,g~i分別為使用Fourier-Mellin方法、文獻[5]方法與本文方法配準的偏振度圖像結果。圖6 圖像編號Fig.6 Image number
為了進一步驗證方法的有效性,本文選取了歸一化互信息[13]作為配準效果的評價指標。歸一化互信息能夠描述兩幅圖像像素概率分布的相似度,通常用來衡量圖像配準的精度,其取值在1~2之間,值越大表明兩張圖片的相似度越高,配準效果越好。表1表示了Fourier-Mellin方法,文獻[5]方法與本文方法對圖像進行配準之后的歸一化互信息值(以0°偏振圖像作為基準)。
表1 歸一化互信息結果
從表1中可以看出,相比于Fourier-Mellin算法和文獻[5]算法,本文算法的歸一化互信息值更高。這說明本文算法具有更高的配準精度。這主要是因為本文算法通過剔除配準效果較差的子圖,降低了原先圖像中噪聲較大的背景區(qū)域對于配準結果的影響。同時本文算法中的預處理過程,也對提高配準精度有所幫助。
針對紅外偏振圖像具有分辨率低,清晰度低,噪聲大的特點,使用常用的配準方法效果較差的問題,本文提出了一種基于子圖像的相位相關配準算法,并且使用了實際設備所采集的偏振圖像來測試算法性能。實驗結果表明,相比于傳統(tǒng)的Fourier-Mellin配準算法,本文提出的配準算法的歸一化互信息值至多提高0.067%,配準后得到的偏振度圖像邊緣特征也更明顯。使用本文方法,能夠獲得更為準確的配準結果,進而獲取到更準確的偏振圖像信息。