廖　婷　蒲國林　彭小利

(四川文理學院智能制造學院　四川 達州 635000)

0　引　言

圖像配準指的是將不同時間、不同成像設備或不同條件下(天氣、照度、攝像位置和角度等)獲取的同一對象或場景的兩幅或多幅圖像進行匹配、疊加的過程[1]。它是目標追蹤、遙感影像處理以及計算機視覺等多個領域的基礎性問題，對醫(yī)學影像處理、多傳感器數(shù)據(jù)融合、視頻監(jiān)控以及圖像處理質(zhì)量評價等關系國計民生與信息科技前沿的重大應用的性能有不可忽視的影響。

近年來圖像配準引起機器學習相關領域眾多學者的深入關注，成為一個活躍的、富有生命力的科研課題。研究者們針對圖像配準提出各種方法[1,14-17]。北卡羅來納大學的Jia等學者提出了一種基于圖論的圖像配準方法，該方法基于訓練圖像對之間的非對稱距離建立有向圖，以判斷測試圖像的配準關系[1]。 IRG-SDLE是一種基于隱式引用的線性可變配準方法。它通過對圖像集的聯(lián)合概率估計，求得圖像配準的解[2]。國內(nèi)學者梁棟等提出了一種基于NSCT和SIFT的遙感圖像配準算法，該算法綜合利用了NSCT在圖像分解上的靈活性和SIFT算法在特征描述上的有效性來進行遙感圖像配準[3]。然而以上方法在處理拉伸、位移、旋轉(zhuǎn)等多類型圖像配準的通用性方面都存在困難。

NRI是一種基于互信息的圖像配準方法，在大腦影像配準領域取得了不錯的性能，然而算法在其他格式的圖像配準中性能一般。阿姆斯特丹自由大學的Velden教授等提出了一種結合圖像光學特征與統(tǒng)計學習的配準方法[4]，該方法有著嚴謹?shù)睦碚摶A，在X光影像配準實驗中的效果很出色。但該方法在噪聲環(huán)境中的魯棒性較低。易盟博士提出了幾套圖像配準的完整框架[6]，在提取特征點、匹配特征點以及選擇映射變換模型等方面都做了大量工作，取得了較好的準確度，不過該方法的實現(xiàn)較為復雜, 難以在實際系統(tǒng)中使用。

針對現(xiàn)有方法在圖像配準方法的局限性，本文提出了一種基于Radon變換[18]和快速傅里葉變換FFT(Fast Fourier Transform)[19]的圖像配準方法。首先將原始輸入圖像A,B進行FFT變換，其次對變換后的圖像進行平移伸縮矯正。再對圖像進行逆FFT迭代求參。接著對圖像進行Radon變換和旋轉(zhuǎn)矯正。最后進行扭曲矢量估計輸出配準結果。

為了驗證本文提出方法的有效性，本文設計了若干實驗并將結果與現(xiàn)有方法進行比較。實驗結果表明，本文提出的MDR-IR算法對多張實驗圖像都能達到優(yōu)異的配準結果。在無噪聲的情況下，本文提出的MDR-IR對旋轉(zhuǎn)配準的平均準確率，高于其他對照算法約2～6個百分點；對伸縮配準的平均準確率，高于其他對照算法約3～7個百分點?？梢?，本文實現(xiàn)了具有魯棒性圖像配準，提高了噪聲環(huán)境中圖像配準的穩(wěn)定性。并且本文提出方法可用于多種畸變類型圖像如位移、伸縮旋轉(zhuǎn)等變換的一體化匹配。

1　基于兩種變換的初步配準

本節(jié)介紹基于兩種變換的初步配準。假設有圖像A,B。 設B為經(jīng)過旋轉(zhuǎn)、拉伸等畸變變換的圖像，A是B的原圖像，或稱參考圖像。若A與B的像素不同，則對像素較小的圖像補零元素，使其均為M×N像素的圖像，則它們的傅里葉變換如下：

(1)

在極坐標系中，它們的關系如式(2)：

(2)

式中：σ是圖像在水平和垂直方向的變換系數(shù)，θ0是兩幅圖像之間的旋轉(zhuǎn)角度。由極坐標的變換關系可得變換系數(shù)σ的定義如式(3)：

(3)

無需對圖像進行快速傅里葉變換，我們就可以得到公式：

(4)

此時可以構建一個mask圖像，使其滿足式(5)：

(5)

式中：τ是經(jīng)驗參數(shù)，經(jīng)過大量實驗及統(tǒng)計，其值在40左右最佳。本文選取τ為40。則B0的中心點計算如式(6)：

(6)

如果將點(r(B),θ(B))移動到圖像B的中心，則新圖像可以通過式(7)表達：

B1(i,j)=B(i-r(B)+M/2,j-θ(B)+N/2)

(7)

式中：i∈[1,M]，j∈[1,N]。當(i-r(B)+M/2,j-r(B)+N/2)超出[1,M]×[1,N]的范圍時，我們設B1(i,j)=0。 然后可以通過計算的出的比例系數(shù)σ來重定義B1的尺寸，使其與圖像A具有相同的尺寸，從而便于求解旋轉(zhuǎn)角度。變換尺寸后的圖像定義如式(8)所示：

(8)

式中：i∈[1,M]，j∈[1,N]，σ為計算出的比例系數(shù)。

2　快速互相關旋轉(zhuǎn)角求解

變換之后的圖像B2與參考圖像A之間的旋轉(zhuǎn)角度θ0可由Radon變換求解[7]。如我們所知，Radon變換的一般公式如式(9)所示：

(9)

式中：δ()代表狄拉克函數(shù)。

在此定義離散Radon變換中的A和B2分別為RA(r,θ)和RB(r,θ)。 可見RA(r,θ)與RB(r,θ)除了有一定的角度旋轉(zhuǎn)，其余是一樣的，即RA(r,θ)=RB(r,θ+θ0)。 雖然可以通過循環(huán)互相關方法來求解θ0，但這種方式的時間效率較低。由于我們在每一步計算中都需要變換圖像B，并且計算A與B2的差值，因此直接用循環(huán)互相關方法的時間復雜度為O(MN2)。

在此我們提出一種快速互相關方法。 兩個離散實值函數(shù)f(x)與g(x)之間的互相關函數(shù)如式(10)所示[8]：

(10)

易知f(x)與g(x)與的卷積如式(11)所示：

(11)

設h(x)=f(-x)，則函數(shù)f(x)與g(x)的互相關可由h(x)與g(x)的卷積表示如下：

(12)

與卷積定理類似，互相關的性質(zhì)也滿足式(13)的定義：

FFT{f×g}=FFT{h⊕g}=

FFT{h}·FFT{h}=

conj{FFT(f)}·FFT(g)

(13)

式中：FFT是快速傅里葉變換，conj是共軛算子，通過逆傅里葉變換就可以得到的f×g的快速求解。

基于以上分析，我們可以通過快速互相關方法求解旋轉(zhuǎn)角度θ0，由傅里葉變換的性質(zhì)易知其時間復雜度僅為O(M×L×lnL)。設RA和RB的每一個像素行分別為rA(n)和rB(n)，我們的目標是求解互相關的最大值，也就是最匹配的rA(n)和rB(n)。 通過對rA(n)和rB(n)做一維快速傅里葉變換，可以得到共軛算子r′(u)={FFT(rA)·FFT(rB)}。通過對r′(u)進行一維快速傅里葉變換的逆變換，可以得到r″(n)=IFFT{r′(u)}。 從而可以通過每一行像素變換的最大值得到旋轉(zhuǎn)位移參數(shù)以及旋轉(zhuǎn)角度。旋轉(zhuǎn)角度θ0如式(14)所示：

(14)

更一般地，設B3(i,j)是經(jīng)過位移和旋轉(zhuǎn)變換之后的圖像，A(i,j)是參考圖像，從而：

(15)

因此快速互相關公式可最終定義如式(16)：

fFC(i,j)=IFFT{conj[FA(x,y)gFB(x,y)]}

(16)

從而可得圖像的運動矢量估計如式(17)：

(17)

通過以上步驟，可實現(xiàn)完整的多類畸變圖像的高魯棒性配準，本文提出的方法稱為MDR-IR(Multi Distorted Robust Image Registration)。算法的完整流程如圖1所示。首先將原始輸入圖像A、B進行初步FTT變換，即第2節(jié)所述方法。其次對變換后的圖像進行平移伸縮矯正。再對圖像進行逆FFT迭代求參。接著對圖像進行Radon變換和旋轉(zhuǎn)矯正。最后進行扭曲矢量估計輸出配準結果。

圖1　MDR-IR算法的總體流程圖

3　實驗及分析

為了驗證本文提出方法的有效性，本文設計了若干實驗并將結果與現(xiàn)有方法進行比較。實驗選取兩個數(shù)據(jù)集：數(shù)據(jù)集一采用ImageNet。ImageNet含有15 000 000有標記的高清圖片，這些圖片隸屬于超過22 000個類別。實驗中我們從ImageNet中隨機抽取1 200 000個圖像作為訓練集，另外抽取50 000作為參照圖片。數(shù)據(jù)集二來自于LIVEImage Quality Assessment 數(shù)據(jù)庫[9]中的Relaease 1 數(shù)據(jù)集，包含808張圖像，其中有29張為原始的參考圖像。這些圖像中包含JPEG格式的圖像、JPEG2000格式的圖像，含有高斯白噪聲的圖像以及瑞利快速衰落信號的圖像。實驗將原始圖像進行扭曲、加噪。圖2顯示了數(shù)據(jù)集樣例。樣例中包括Monroe、Lena以及貓咪等圖像處理的效果測試領域國際通用的圖片。這類圖片被廣泛應用于現(xiàn)有技術的評估中。其中第二列的圖像為扭曲圖像，第三列圖像為加高斯噪聲的扭曲圖像。算法代碼由C++實現(xiàn)，實驗硬件平臺為普通2核PC機，軟件環(huán)境為Windows 7 Pro+Visual Stadio 2008。

圖2　實驗數(shù)據(jù)集示例

3.1　噪聲環(huán)境下的圖像配準測試

除了基本的圖像配準測試，本節(jié)還測試了不同噪聲環(huán)境下，本文提出算法對于經(jīng)典測試圖像的配準效果，并與IRG-SDLE[2]、NRI[4]以及形態(tài)學聚類圖像匹配[10]等方法進行了比較。為了模擬噪聲環(huán)境，本文參照文獻[8]對畸變圖像在水平和垂直方向設置5個像素位移，并旋轉(zhuǎn)0.12弧度，并縮放到原圖的75%[8]。

表1顯示了不同算法在ImageNet圖像數(shù)據(jù)集上的配準效果。其中，Translation表示對圖像進行變換配準的準確性，Rotation 表示進行旋轉(zhuǎn)配準的準確性，Scale代表圖像規(guī)模。實驗結果表明，本文提出的MDR-IR算法無論對于Translation、Scale還是Rotation變換的配準都是比較精確的，更重要的是，其圖像配準性能在噪聲環(huán)境下是各算法中最穩(wěn)定的，顯示出了明顯的魯棒性。

表1　不同算法在ImageNet數(shù)據(jù)集上的配準效果對比

表2顯示了不同算法在LIVEImage數(shù)據(jù)集上的的配準效果對比。其中，Translation表示對圖像進行變換配準的準確性，Rotation 表示進行旋轉(zhuǎn)配準的準確性，Scale代表圖像規(guī)模。本文同時考慮不同的噪聲下的效果，取噪聲值分別為0, 40, 80。 從表2可以看出，本文方法對于圖像的處理也具有最高的準確度和魯棒性。在噪聲為0的情況下，本文提高現(xiàn)有方法2到6個百分點。表明本文提出方法對噪聲環(huán)境，多類型畸變圖像配準的有效性。

表2　不同算法在LIVEImage圖像數(shù)據(jù)集上的配準效果對比

3.2　實驗結果討論

由實驗結果可知，本文提出的MDR-IR算法在多張實驗圖像的配準中取得較高的精度和魯棒性。在無噪聲的情況下，本文提出的MDR-IR對兩幅圖像的位移配準都是完全精確的；旋轉(zhuǎn)配準的平均準確率高于其他對照算法約2～6個百分點；伸縮配準的平均準確率高于其他對照算法約3～7個百分點。在噪聲因子為σn=40的環(huán)境中，本文提出算法的配準準確率優(yōu)勢更加明顯，旋轉(zhuǎn)配準的準確率比其他方法高約9～21個百分點，伸縮配準的準確率高約13～18個百分點。當圖像噪聲高達σn=80時，兩種對照算法已無法完成配準任務，MDR-IR依然有著可接受的圖像配準性能。

此外，本文提出算法在旋轉(zhuǎn)配準方面的準確率是與像素點數(shù)目M，N相關的。在實驗中我們使用了360個樣本點來描述角度的旋轉(zhuǎn)，如果選擇更多的樣本點，旋轉(zhuǎn)角度配準的Radon將會取得更高的精度。

4　結　語

本文提出了一種多類畸變圖像的高魯棒性配準方法。該方法首先在Radon變換的技術上提出了互相關方法的低時間復雜度部署策略，其次提出了通過快速傅里葉變換與快速傅里葉變換的逆變換估計圖像配準因子的方法，最終通過逐行迭代實現(xiàn)了算法的參數(shù)估計，達到了多類畸變圖像的配準。

實驗結果表明，本文提出算法對位移、旋轉(zhuǎn)和伸縮等多種形式的畸變圖像都有較高的配準精度，并且隨著圖像噪聲的增強，配準性能優(yōu)勢愈發(fā)明顯。因此本文提出算法是具有高度魯棒性的高精度圖像配準算法，對提高相關應用的性能有著積極的作用。特別是對于目前互聯(lián)網(wǎng)信息中圖像數(shù)據(jù)的比重日益增大的現(xiàn)狀[11]，本文提出的方法有更為重大的意義。

[1] Jia Hongjun,Wu Guorong,Wang Qian,et al.Directed graph based image registration[J].Computerized Medical Imaging and Graphics,2012,36(2):139-151.

[2] Smailovic Jasmina,Grcar Miha,Lavrac Nada,et al.Stream-based active learning for sentiment analysis in the financial domain[J].Information Science,2014,285(11):181-203.

[3] 梁棟,顏普,朱明,等.一種基于NSCT和SIFT的遙感圖像配準算法[J].儀器儀表學報,2011,32(5):1083-1088.

[4] van Velden F H,Nissen I A,Hayes W,et al.Effects of reusing baseline volumes of interest by applying (non-)rigid image registration on positron emission tomography response assessments[J].Plos One,2014,9(1):e87167.

[5] Cambria E,Olsher D,Rajagopal D.SenticNet 3:a common and common-sense knowledge base for cognition-driven sentiment analysis[C]//Twenty-Eighth AAAI Conference on Artificial Intelligence.AAAI Press,2014:1515-1521.

[6] 易盟.基于特征點的圖像配準及其在穩(wěn)像中的應用[D].西安電子科技大學,2013:10-15.

[7] Averbuch A,Coifman R R,Donoho D L,et al.A Framework for Discrete Integral Transformations I-The Pseudopolar Fourier Transform[J].Siam Journal on Scientific Computing,2007,30(2):764-784.

[8] Nikolic D,Muresan R C,Feng W,et al.Scaled correlation analysis:a better way to compute a cross-correlogram[J].The European journal of neuroscience,2012,35(5):742-762.

[9] http://live.ece.utexas.edu/research/quality/subjective.htm.

[10] 彭紅.基于形態(tài)學聚類算法圖像配準仿真研究[J].計算機仿真,2012,29(2):257-260.

[11] 戴禮燦.大數(shù)據(jù)檢索及其在圖像標注與重構中的應用[D].中國科學技術大學,2013:25-28.

[12] 倪國強,劉瓊.多源圖像配準技術分析與展望[J].光電工程,2004,31(9):1-6.

[13] 張銳娟,張建奇,楊翠.基于SURF的圖像配準方法研究[J].紅外與激光工程,2009,38(1):160-165.

[14] 劉斌,彭嘉雄.圖像配準的小波分解方法[J].計算機輔助設計與圖形學學報,2003,15(9):1070-1073.

[15] 周鵬,譚勇,徐守時.基于角點檢測圖像配準的一種新算法[J].中國科學技術大學學報,2002,32(4):455-461.

[16] 劉小軍,楊杰,孫堅偉,等.基于SIFT的圖像配準方法[J].紅外與激光工程,2008,37(1):156-160.

[17] 蘇娟,林行剛,劉代志.一種基于結構特征邊緣的多傳感器圖像配準方法[J].自動化學報,2009,35(3):251-257.

[18] Herman G T,Natterer F.Mathematical Aspects of Computerized Tomography[M]//Lecture Notes in Medical Informatics.Mathematical Aspects of Computerized Tomography.Springer Berlin Heidelberg,1981.

[19] Kent R D,Majmudar N,Schlesinger M.Distributing Fast Fourier Transform Algorithms for Grid Computing[M]//High Performance Computing Systems and Applications.Springer US,2002:407-424.