遲英朋，劉 暢

(中國科學院電子學研究所，北京 100190； 中國科學院大學，北京 100049)

合成孔徑雷達(synthetic aperture radar, SAR)圖像配準是圖像融合、地物分類、三維重構(gòu)以及地圖修正等工作的基礎，近年來國內(nèi)外學者一直在不斷進行研究和探索。目前，SAR圖像配準技術根據(jù)配準要素的不同可以分為基于灰度的方法、基于變換域的方法和基于特征的方法[1-2]。基于灰度的方法利用圖像的灰度信息對圖像的相似程度進行度量，該方法實現(xiàn)簡單，易于操作，但其應用范圍較窄，計算量較大[3]；基于變換域的方法通常以傅里葉變換或者小波變換為基礎，進行頻域或小波域內(nèi)的配準，該方法對于圖像幅度存在微小平移、旋轉(zhuǎn)和縮放時效果較好，其運算速度快，易于硬件實現(xiàn)，并且具有一定程度的抗噪性[4-5]；基于特征的方法是遙感圖像配準中應用最多的配準方法，該方法不受灰度的影響，通過提取點特征、線特征或者面特征對圖像進行匹配，魯棒性強，匹配效果好[6-8]。其中，尺度不變特征變換(scale invariant feature transform, SIFT)算子是目前公認的最為穩(wěn)定的特征匹配算子。但是，該算子由于使用高斯差分(difference of Gaussian, DoG)算子，因而具有很強的邊緣響應，雖然在算法中采用主曲率的方法進行邊緣點剔除，但檢測出的特征點中仍存在邊緣響應點殘留。針對上述問題以及SAR圖像存在陰影和斑點噪聲等問題，本文通過增加邊緣檢測和剔除、陰影檢測和剔除以及預處理等模塊對SIFT算法進行改進。通過多次實驗驗證，該算法能夠提升配準的準確度。借助該算法，本文對同一區(qū)域的多幅SAR圖像進行配準和非相干疊加融合，可有效提升SAR圖像的等效視數(shù)，抑制相干斑噪聲。

1 SIFT算法簡介

SIFT算法是Lowe教授提出并完善的圖像特征點檢測和描述算法[9-11]。該算法在圖像發(fā)生平移、旋轉(zhuǎn)以及尺度變換時仍然具有較好的魯棒性，且對噪聲也具有一定的穩(wěn)定性，其主要流程可以分為：尺度空間的構(gòu)建、特征點的檢測和描述、特征點的匹配。

實現(xiàn)尺度變換的唯一線性核是高斯尺度核，因此可以用原始圖像與一個可變尺度二維高斯函數(shù)的卷積運算定義圖像的尺度空間：

L(x,y,σ)=G(x,y,kσ)*I(x,y)，

(1)

式中：G(x,y,kσ)為尺度可變高斯函數(shù)，I(x,y)為原始圖像，*為卷積運算，k為尺度變化量。為保證檢測到的特征點的穩(wěn)定性，一般采用不同的高斯差分核與圖像卷積生成高斯差分尺度空間：

D(x,y,σ) =(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ).

(2)

故采用相應的降采樣方法與尺度空間相結(jié)合構(gòu)建圖像的高斯差分金字塔結(jié)構(gòu)。在進行特征點檢測時，每個檢測點必須與相鄰的所有點，即其本層的8鄰域點以及上下兩層各9個像素點共26個點比較，以保證檢測出的特征點的準確性。對檢測到的特征點，統(tǒng)計鄰域梯度方向直方圖，確定其主方向。需要注意的是，有些特征點除主方向外，還存在輔方向，它對于后續(xù)匹配的穩(wěn)定性至關重要。

特征點的描述是在特征點周圍取16像素×16像素的區(qū)域，然后將該區(qū)域劃分為多個4像素×4像素的區(qū)域，在每個區(qū)域內(nèi)計算8方向梯度方向直方圖，得到128維特征描述子。最后，將描述子向量門限化和規(guī)范化，從而改善圖像灰度值整體漂移的情況。得到圖像的特征向量后，采用歐氏距離對兩幅圖像進行特征點匹配，當距離小于預設的閾值時就將其作為匹配特征點。

2 基于邊緣檢測和陰影檢測的改進SIFT算法

通過多次實驗可以發(fā)現(xiàn)，將SIFT算法直接應用到SAR圖像中檢測出的特征點數(shù)量有限，并且質(zhì)量不好，錯誤匹配情況出現(xiàn)概率很高。為解決這個問題，本文提出基于邊緣檢測和陰影檢測的改進SIFT算法。算法的流程圖如圖1所示，首先對SAR圖像進行相干斑抑制和圖像增強預處理，在構(gòu)造高斯尺度空間時對邊緣和陰影進行檢測并剔除，然后對特征點檢測和描述，最后同名點進行匹配并計算變換矩陣對待配準圖像進行幾何變換得到配準后圖像。

圖1 算法流程圖Fig.1 Flow chart of the algorithm

2.1 圖像預處理

由于SAR系統(tǒng)固有的成像模式，相干斑噪聲總是伴隨著圖像的形成而產(chǎn)生，這些斑點噪聲會干擾圖像中特征點的檢測，降低特征點檢測的準確性，進而影響到SAR圖像配準的效果。本文采用增強Lee濾波[12]對SAR圖像進行平滑處理，Lee濾波的基本思想是利用圖像局部統(tǒng)計特性控制濾波器的輸出，使濾波器自適應于圖像的變化。增強Lee濾波算法在SAR圖像均勻區(qū)域采用均值濾波進行平滑處理；在不均勻區(qū)域采用Lee濾波進行平滑處理，保持圖像的細節(jié)信息；在包含分離點目標的區(qū)域不進行任何平滑處理，因此，增強Lee濾波算法在平滑SAR圖像時還具有一定的細節(jié)保持能力。

SAR圖像的灰度分布集中在較窄的范圍內(nèi)，為展寬灰度，突出圖像特征，需要對圖像進行增強處理。本文采用直方圖均衡化對圖像進行增強處理，SAR圖像在經(jīng)過直方圖均衡化后，圖像對比度變大，灰度分布變得更加均衡，而在原圖像中難以分辨的細節(jié)信息也有了一定的加強。

2.2 邊緣檢測和剔除

在構(gòu)建高斯尺度空間時，SIFT算法使用DoG算子，其邊緣響應會嚴重地影響SAR圖像配準算法的準確性，如果不消除這種響應，采用該算法檢測到的特征點在SAR圖像邊緣處分布較多，并且這些點的存在都是近鄰的，這樣會造成一定程度的失配、錯配現(xiàn)象。在SIFT算法中采用主曲率的方法檢測邊緣響應點并剔除。表1列出部分實驗結(jié)果，對其進行分析可知，主曲率方法僅可去除一部分邊緣響應點，SIFT算法檢測出的特征點中仍然含有較多的邊緣響應點。

表1 SIFT特征點與邊緣點數(shù)量對比Table 1 Comparison of the numbers of SIFT feature points and edge points

針對主曲率方法不能將檢測到的特征點中邊緣響應點完全消除的問題，本文首先采用指數(shù)加權均值比(ratio Of exponentially weighted averages, ROEWA)算子[13-14]對SAR圖像的邊緣區(qū)域進行檢測并剔除。ROEWA算子是由Fj?rtoft提出的一種適用于SAR圖像的邊緣檢測算子。該算子使用在多邊緣模型基礎上設計的一種基于最小均方誤差的指數(shù)平滑濾波器進行均值估計，使用該濾波器計算得到的均值是根據(jù)一定權值計算出來的均值。在離散的情形下，可以通過一個因果濾波器f1(x)和一個非因果濾波器f2(x)來實現(xiàn)該濾波器，此時該濾波器可表示為

x=1,2,…,N.

(3)

式中：0

f1(x)=ae1(x)+bf1(x-1),x=1,2,…,N，

(4)

f2(x)=ae2(x)+bf2(x+1),x=N,N-1,…,1.

(5)

式中：e1(x)和e2(x)為濾波器的輸入信號；b=e-α；a=1-b。

該濾波器又被稱為無限對稱指數(shù)濾波器，可以將其擴展到二維空間，表達式如下

f2d(x,y)=f(x)f(y).

(6)

在計算水平方向邊緣強度分量時，采用一維平滑濾波器f(y)對圖像的每一列進行濾波，再利用因果濾波器f1(x)和非因果濾波器f2(x)對每一行進行濾波，這樣便可以獲得水平方向邊緣強度因果和非因果指數(shù)加權均值：

μX1=f1(x)*[f(y)?I(x,y)]，

(7)

μX2=f2(x)*[f(y)?I(x,y)].

(8)

式中：I(x,y)為原始圖像；*表示X向(水平方向)的卷積運算，?表示Y向(垂直方向)的卷積運算。在式(7)和式(8)中，輸入信號與f1和f2的卷積運算可以簡化成遞歸運算。假設濾波器f1和f2的輸入信號為e1和e2，則卷積s1和s2的遞歸式如下所示：

s1(x)=a[e1(x)-s1(x-1)]+

s1(x-1),x=1,2,…,N，

(9)

s2(x)=a[e2(x)-s2(x+1)]+

s2(x+1),x=N,N-1,…,1.

(10)

X方向和Y方向的4種指數(shù)加權均值都可以由式(7)～式(10)與(3)式聯(lián)立求得。這樣，水平方向的邊緣強度分量可以得到

(11)

同理，可以得到垂直方向的邊緣強度分量，在得到水平和垂直方向的邊緣強度分量之后，通過簡單地運算就可以得到最終的邊緣強度為

(12)

采用ROEWA算子對SAR圖像進行邊緣檢測的效果如圖2所示，其中，黑色部分代表邊緣區(qū)域，白色部分代表非邊緣區(qū)域。SIFT算法需要構(gòu)建高斯差分金字塔，該過程可以分為圖像高斯平滑、圖像降采樣以及同組圖像相鄰層相減3部分完成。為了將邊緣檢測圖像融入該過程，對邊緣檢測得到的圖像進行降采樣處理。

圖2 邊緣檢測效果Fig.2 Edge detection results

值得注意的是，本文算法在進行邊緣檢測和剔除時，并沒有對檢測到的邊緣進行細化處理。如果對邊緣進行細化的話，為保證徹底消除邊緣響應的影響，在剔除邊緣的同時需要檢測邊緣的鄰域并進行剔除操作，這樣不僅在邊緣細化時會耗費大量的時間，而且在邊緣鄰域檢測時也會耗費一定的時間，極大地降低算法的效率。而且在使用SIFT算法檢測特征點時能夠得到足夠的特征點，因此剔除未經(jīng)細化處理的邊緣不會對算法產(chǎn)生顯著的影響。

2.3 陰影檢測和剔除

在對SAR圖像進行配準時，由于在不同圖像中，陰影區(qū)域的大小、形狀以及方向會隨著入射角度以及照射方向的不同等發(fā)生改變，從而直接影響SAR圖像配準的精度。因此，為降低陰影對配準精度的影響，改進算法對SAR圖像陰影區(qū)域通過最大類間方差法[15-16](OTSU)進行檢測并剔除。最大類間方差法能夠自適應地確定閾值，將SAR圖像分為前景區(qū)域和背景區(qū)域兩部分。

g=ω0ω1(μ0-μ1)2.

(13)

式(13)就是類間方差的表達式。式中：ω0表示前景區(qū)域占整幅圖像的比例，μ0表示其平均灰度，ω1表示背景區(qū)域占整幅圖像的比例，μ1表示其平均灰度。遍歷整個灰度級，找到使類間方差最大的灰度值，即為陰影分割所需閾值T。在遍歷時多次重新計算前景、背景占比及其平均灰度，會耗費大量的時間，因此，本文采用前一閾值下的計算結(jié)果迭代計算新閾值下的結(jié)果。

(14)

(15)

(16)

(17)

(18)

式中：N0表示前景區(qū)域的像素個數(shù)，N表示整幅圖像總像素個數(shù)，SUM0表示前景區(qū)域像素總灰度值，μ0表示前景區(qū)域平均灰度值，GT+1表示灰度為T+1的像素個數(shù)，T是從0到254的灰度值。上述表達式迭代求出前景占比及其平均灰度，同理，背景占比及其平均灰度也可迭代求解，遍歷整個灰度級得出類間方差的結(jié)果，當使得g最大時，T+1就是進行陰影分割時所需閾值。在一定程度上，該方式能夠節(jié)省運算時間，提升算法效率。

使用改進的最大類間方差法對SAR圖像進行陰影檢測的效果如圖3(b)所示，其中，黑色部分代表陰影區(qū)域，白色部分代表非陰影區(qū)域。但是使用OTSU算法得出的分割結(jié)果中含有偽陰影點和偽非陰影點，同時在陰影區(qū)域和非陰影區(qū)域內(nèi)部還存在斷裂結(jié)構(gòu)和空洞，可以通過形態(tài)學閉運算改善分割效果，連接斷裂結(jié)構(gòu)，形成較大連通區(qū)域，形態(tài)學處理結(jié)果如圖3(c)所示。

圖3 陰影檢測效果Fig.3 Shadow detection results

得到陰影檢測圖像之后，同樣對其進行降采樣處理，然后與邊緣檢測降采樣處理結(jié)果一起融入到尺度空間的構(gòu)建過程中。在特征點檢測之前首先判斷待檢測像素點是否屬于邊緣區(qū)域或陰影區(qū)域，如果判斷該點屬于此區(qū)域，則將該點舍棄，不對該點進行檢測；相反，如果判斷該點不屬于此區(qū)域，則保留該點并繼續(xù)判斷該點是否為極值點，值得注意的是，在確定極值點時，要使用未經(jīng)邊緣和陰影剔除的尺度空間進行判斷。遍歷整個空間，得到特征點集，為后續(xù)配準工作奠定基礎。

2.4 跳過第一尺度檢測

使用SIFT算法對SAR圖像多次進行特征點檢測實驗，部分實驗結(jié)果如圖4和表2所示，其中，綠色圓圈表示最終被認定為匹配點的特征點，而紅色圓圈表示最終未被認定為匹配點的特征點。對比實驗結(jié)果可以發(fā)現(xiàn)，在高斯金字塔第一尺度空間進行檢測時，雖然能夠檢測出大量的特征點，但是其中匹配點所占比例不高，在后續(xù)的處理工作中，該尺度空間檢測到的特征點即使被認定為匹配點，也存在很大比例的錯誤匹配點。而且在SAR圖像中存在著不可避免的相干斑噪聲，在構(gòu)建尺度空間時，采用高斯級聯(lián)濾波器，所以尺度越大，噪聲被濾除的效果越明顯。因此，去掉第一尺度空間進行檢測雖然使檢測出的特征點數(shù)量減少，但基本上不會影響正確匹配點的數(shù)量，反而能夠提高正確匹配點的比例，降低相干斑噪聲的影響，同時減少特征點檢測的耗時。

圖4 特征點檢測效果Fig.4 Detection results of feature points

評價指標 圖像1(保留) 圖像1(去除)圖像2(保留)圖像2(去除)檢測特征點數(shù)量13093252512434匹配點數(shù)量1325413254特征點與匹配點之比9.92∶16.02∶119.03∶18.04∶1

2.5 待配準圖像的幾何校正

完成特征點檢測之后，使用128維特征描述子對特征點進行描述，然后以歐氏距離作為其相似性度量，利用KD樹的數(shù)據(jù)結(jié)構(gòu)搜索最近鄰點和次近鄰點，再使用隨機抽樣一致(random sample consensus, RANSAC)算法剔除錯誤匹配點，從而生成同名特征點對。考慮到配準效果與算法效率的平衡，采用仿射變換模型[17]對待配準圖像進行幾何校正。其變換模型如下

(19)

將得到的同名特征點對代入仿射變換模型中，求得仿射變換矩陣，再將待配準圖像代入上式進行變換完成幾何校正，得出配準后圖像。

3 實驗結(jié)果與分析

本文所選用的實驗數(shù)據(jù)為中國科學院電子學研究所實測的多組SAR圖像，采用SIFT算法與改進SIFT算法分別對其進行實驗，圖5所示為其中兩組圖像使用在同一參數(shù)下的兩種算法進行特征點檢測和匹配的結(jié)果。

圖5 特征點匹配對比效果Fig.5 Comparison of feature point matching results

改進SIFT算法消除邊緣響應點占總特征點的比例如圖6所示，其中，橫坐標為圖像編號，縱坐標為消除的邊緣響應點占比?？梢园l(fā)現(xiàn)，改進SIFT算法能夠消除25%左右的邊緣響應點，使算法檢測出的特征點更加穩(wěn)定，利于后續(xù)配準工作的進行。

圖6 消除邊緣響應點占比Fig.6 Proportion of eliminated edge response points

對特征點匹配結(jié)果通過匹配對數(shù)、正確匹配對數(shù)、匹配正確率、空間分布質(zhì)量、均方根誤差以及執(zhí)行時間進行評價，其結(jié)果如表3所示。其中，空間分布質(zhì)量表征算法檢測出的特征點分布的分散程度，其計算公式如下

(20)

(21)

式中：R和F分別為配準前后的圖像灰度值，M和N則為圖像的高度和寬度。

表3 特征點匹配評價結(jié)果Table 3 Evaluation results of feature point matching

將改進算法應用于SAR圖像配準，其中，第1組圖像的像素分別為793×321和669×301，匹配對數(shù)量由20對增加到59對，正確匹配率由55%提升至98%，第2組圖像的像素分別為450×287和424×246，匹配對數(shù)量由53對增加到197對，

正確匹配率由74%提升至99%，且兩組圖像的RMSE減小，空間分布質(zhì)量增大。該實驗結(jié)果表明，兩種算法相比，在同一參數(shù)下，改進算法能夠大幅度提高匹配對數(shù)量和匹配的正確率，而且空間分布質(zhì)量較改進之前也有大幅度的提升，配準精度也隨之提高。由于增加了預處理、邊緣檢測和剔除以及陰影檢測和剔除等3個模塊，對算法進行分析并且對比表3執(zhí)行時間可知，改進算法的時間復雜度與SIFT算法仍在同一個量級上，但有所增加，所以實時性效果并不是特別理想。

將第1組SAR圖像進行配準最終的結(jié)果如圖7所示。其中，圖7(a)是參考圖像，圖7(b)是待配準圖像1，圖7(c)是待配準圖像1配準之后的結(jié)果，圖7(g)是將參考圖像和配準后圖像1進行非相干疊加融合之后的結(jié)果。

圖7 圖像配準和融合結(jié)果Fig.7 Image registration and fusion results

借助于本文算法，在參考圖像指定的前提下，還可以對多幅SAR圖像進行配準，圖7(d)是待配準圖像2，圖7(e)是待配準圖像2與參考圖像檢測出的特征點的匹配結(jié)果，圖7(f)是待配準圖像2以圖7(a)作為參考圖像配準之后的結(jié)果，圖7(h)是將3幅圖像進行非相干疊加融合的結(jié)果。對非相干疊加融合圖像采用等效視數(shù)作為評價指標進行評價的結(jié)果如表4所示，通過對比可以發(fā)現(xiàn)，將圖像配準后非相干疊加，圖像的等效視數(shù)增大，類似于多視處理的效果，而且在疊加后其等效視數(shù)接近于理論值，進一步印證了改進SIFT算法的配準精度。

表4 圖像非相干疊加評價結(jié)果Table 4 Evaluation results of image incoherent superposition

4 結(jié)束語

本文算法是在SIFT算法基礎上，針對SAR圖像的特點進行相應預處理并將邊緣檢測與陰影檢測融合到算法中，提高算法的配準精度和穩(wěn)定性，使算法能夠更好地適用于SAR圖像的配準工作，為后續(xù)圖像融合、地物分類、三維重建以及地圖修正等工作提供了很好的基礎。但該算法僅適用于多幅SAR圖像之間的配準，對光學圖像與SAR圖像之間的配準有待進一步研究。