周方圓 楊鵬舉

摘 要：道路交通領(lǐng)域的不斷發(fā)展需要足夠清晰和大量的路面圖像作支持。以往在路面圖像獲取和拼接過程中，由于相似圖片數(shù)量較大，配準(zhǔn)正確率始終無法有效提升，同時存在操作時間較長、工作效率和質(zhì)量低下的問題。在此背景下，針對航拍路面圖像的拼接算法應(yīng)運而生，使得圖像處理變得更加準(zhǔn)確迅速，對促進(jìn)道路交通領(lǐng)域的發(fā)展具有積極作用。因此，全面分析尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法，并闡述其在航拍路面圖像處理中的應(yīng)用效果，以便為相關(guān)從業(yè)者提供一定的參考。

關(guān)鍵詞：無人機（UAV）;航拍圖像;路面;圖像拼接;尺度不變特征變換（SIFT）算法

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：1003-5168（2021）28-000-03

Abstract： The continuous development of the field of road traffic needs enough clear and a large number of road images as support. In the past， in the process of road image acquisition and splicing， due to the increase in the number of similar images， the registration accuracy can not be effectively improved. At the same time， the operation time is long， and the work efficiency and quality are low. In this context， the mosaic algorithm for aerial pavement images came into being， which makes the image processing more accurate and rapid， and plays a positive role in promoting the development of road traffic field. This paper makes a comprehensive analysis of SIFT algorithm and expounds its effect in aerial pavement image processing， so as to provide some reference for relevant practitioners.

Keywords： Unmanned Aerial Vehicle（UAV）;aerial images;pavement;image mosaic;Scale-Invariant Feature Transform（SIFT） algorithm

我國經(jīng)濟的快速發(fā)展與道路交通建設(shè)的完善密不可分。伴隨我國道路交通網(wǎng)絡(luò)的基本完善，現(xiàn)階段道路養(yǎng)護(hù)已經(jīng)成為主要工作內(nèi)容。通過全面檢測道路病害情況，及時對病害進(jìn)行處理，可達(dá)到降低損害的目的。路面檢測主要應(yīng)用機器視覺方式，效果顯著?，F(xiàn)階段的檢測手段仍然以檢測車為主，檢測過程容易受到路面狀況的影響，使得檢測速度和效果無法達(dá)到預(yù)期。在此背景下，無人機以其便捷、高速的優(yōu)點在路面檢測中被廣泛應(yīng)用，但是漏檢、錯檢的情況也時有發(fā)生。為了有效提升檢測效率，筆者將尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法與稀疏匹配進(jìn)行有機結(jié)合，以達(dá)到最終目的。

1 SIFT算法

1.1 SIFT算法簡介

SIFT算法在進(jìn)行特征檢測時，先從尺度空間著手，確定關(guān)鍵點位置和尺度，將關(guān)鍵點領(lǐng)域梯度作為其方向特征，實現(xiàn)算子對尺度和方向的無關(guān)性[1]。利用SIFT算法進(jìn)行圖像特征的提取，其可靠匹配適用于同一目標(biāo)物體的不同視角。在特征提取的過程中，圖像尺寸和旋轉(zhuǎn)角度是靜止不變的，對光線變化、噪聲以及仿射變化都具有魯棒性。同時，利用SIFT算法提取的特征點，其獨特性十分顯著。因此，使用該特征點進(jìn)行圖像匹配的正確率十分可觀。SIFT算法在特征點提取時的初步工作是進(jìn)行計算量相對較大的操作，能夠降低后續(xù)的計算工作量，進(jìn)而提升計算效率。

1.2 DOG尺度空間

SIFT特征匹配算法主要包括特征生成和特性向量匹配兩個階段。一幅圖像在進(jìn)行特征向量生成的過程中，需要經(jīng)過以下過程：首先，進(jìn)行尺度空間極值的檢測，初步確定關(guān)鍵位置和尺度;其次，對二者進(jìn)行精確確定，由于DOG算子具有強烈的邊緣響應(yīng)，可通過擬合三維二次函數(shù)進(jìn)行計算，同時去除低對比度和不穩(wěn)定的邊緣響應(yīng)點，使得匹配穩(wěn)定性和抗噪聲能力得到提升;最后，保障算子的旋轉(zhuǎn)不變形，即在方向參數(shù)確定時充分利用關(guān)鍵點鄰域像素的梯度方向分布特性[2]。DOG尺度空間如圖1所示。

1.3 尺度空間極值求取

在進(jìn)行尺度空間極值求取時，需要構(gòu)建圖像尺寸空間函數(shù)。首先，將圖像尺度空間函數(shù)定義為L（x，y，α），卷積核為高斯函數(shù)，由此可以得出高斯函數(shù)：

使用I（x，y）表示輸入圖像，對其進(jìn)行卷積，得到：

為了在檢測過程中能夠更好地檢查尺度空間中的穩(wěn)定特征，圖像的卷積操作主要利用高斯函數(shù)之差進(jìn)行計算，最終獲得高斯差分函數(shù)DOG：

通過上述高斯差分函數(shù)，獲得的圖像特征點最穩(wěn)定[3]。

1.4 特征點位置確定

在進(jìn)行特征點位置確定的過程中，先要過濾掉低對比度的特征點和邊緣處的特征點，最終得到的特征點才具有穩(wěn)定性，再進(jìn)行特征方向的確定，提升圖像匹配率。進(jìn)行低對比度和邊緣處特征點的過濾，主要原因是如果將其作為特征點進(jìn)行匹配，會使得匹配結(jié)果出現(xiàn)一定的誤差，因此需要將其取出，使用相對穩(wěn)定的特征點進(jìn)行匹配，有效提升結(jié)果的正確率。在特征方向確認(rèn)時，需要進(jìn)行梯度直方圖的求取，并將其作為重要依據(jù)。

1.5 稀疏匹配

SIFT算法匹配描述向量時，主要是對描述向量中的歐氏距離進(jìn)行比較，但是以此進(jìn)行向量匹配產(chǎn)生誤差的概率相對較大。尤其是在對路面圖像進(jìn)行比對時，圖像的相似區(qū)域十分廣泛，描述向量的相似程度較高，如果僅僅將歐氏距離作為描述向量的判斷依據(jù)，則地點特征匹配的準(zhǔn)確性得不到有效保障[4]。為了有效彌補SIFT算法的這一缺陷，在進(jìn)行描述向量計算的過程中使用稀疏表示進(jìn)行計算。在圖像特征點匹配時，以稀疏系數(shù)能量譜作為主要依據(jù)。在匹配中，需要以特征點的局部不變描述字進(jìn)行參考詞典的構(gòu)建，計算字典與信號之間的關(guān)系，進(jìn)而進(jìn)行同名點的判斷：

式中：X表示稀疏系數(shù)矩陣;Y表示觀測數(shù)據(jù);D表示字典;x表示待估稀疏向量;λ表示正則參數(shù);k（1≤k<2）表示稀疏度量。稀疏表示是通過對各個樣本之間的比對操作求取稀疏系數(shù)，計算出的樣本與信號的一致性最強。

如果利用描述向量間的歐氏距離進(jìn)行圖像特征點的匹配，主要是對歐氏距離值進(jìn)行判斷，比對其數(shù)值是否在標(biāo)準(zhǔn)閾值之內(nèi)。當(dāng)圖像特征相似性較弱時，該種方式能夠有效保障匹配準(zhǔn)確度。一旦圖像中出現(xiàn)的相似結(jié)構(gòu)數(shù)量巨大，特征點的描述向量和局部信息的相似程度也會大幅度提升。這時以歐氏距離作為匹配標(biāo)準(zhǔn)會增加匹配工作的失誤率，即便匹配完成后對其進(jìn)行二次檢測，由于特征點的相似性較強，也不會對錯誤匹配結(jié)果進(jìn)行校正，最終使得圖像變換關(guān)系錯誤，直接影響拼接結(jié)果。

采用稀疏匹配進(jìn)行描述向量的匹配。在字典中，與信號值進(jìn)行匹配的稀疏系數(shù)是唯一相對的，且具有稀疏性。在稀疏系數(shù)能量譜中，只有一種表現(xiàn)形式。如果匹配結(jié)果出現(xiàn)錯誤，稀疏系數(shù)的能量譜會展現(xiàn)出不同的表現(xiàn)形式，通過其表現(xiàn)情況能夠直觀獲取匹配結(jié)果。在特征點的相似程度較強時，稀疏能量譜會出現(xiàn)多個峰值。對相似點進(jìn)行隔離匹配，能夠有效降低匹配錯誤的概率，同時系數(shù)匹配能夠有效解決由于結(jié)構(gòu)相似而出現(xiàn)匹配失誤的問題[5]。

2 圖像重疊融合

2.1 重疊區(qū)確定

應(yīng)用無人機進(jìn)行航拍作業(yè)時，根據(jù)作業(yè)類型和應(yīng)用場景的不同，不斷調(diào)整飛機參數(shù)，包括飛機運行速度、飛行高度以及拍照間隔時間等。在進(jìn)行圖像特征提取前，需要根據(jù)本次作業(yè)的飛機飛行參數(shù)，精確計算相鄰圖像之間的重疊區(qū)域。特征提取工作需要在重疊區(qū)域內(nèi)進(jìn)行，不僅能夠有效縮短特征提取的作業(yè)時間，而且能夠避免無效提取的影響。

2.2 圖像融合

完成圖像配準(zhǔn)后，利用空間投影的關(guān)系將準(zhǔn)備拼接的圖像都轉(zhuǎn)換在同一個坐標(biāo)系中，這樣在圖像融合過程中能夠有效提升其便捷性。在圖像融合過程中，要對航拍圖像的特點進(jìn)行全面考慮。在拼接過程中，圖像的亮度會對實際拼接結(jié)果產(chǎn)生影響。為了保障在圖像融合后其對比度不會明顯下降，降低圖像的可分辨率，在融合的過程中要采用小波變換。在低頻處進(jìn)行圖像融合，其中細(xì)節(jié)部分融合時使用距離比作為權(quán)值，所得拼接圖像的視覺效果更加顯著。在高頻處進(jìn)行圖像融合，融合后選擇保留較大的系數(shù)值。

3 試驗與結(jié)果分析

本次研究中，使用大疆無人機Mavic2專業(yè)版相機進(jìn)行圖像采集。該設(shè)備的最大飛行速度是72 km/h，照片尺寸為5 472 px×3 648 px。本次采集的路面環(huán)境為雙向兩車道，單向車道寬度為4 m，無人機的飛行高度為6 m，檢測精度可達(dá)到2 mm。每張圖像大約能夠覆蓋的道路面積為50 m2，每張圖片能夠覆蓋的道路裂痕長度在6 m左右。為了保障拼接后圖像的完整性和清晰性，每次拼接圖像的數(shù)量控制為2張。增加拼接試驗，將圖像數(shù)量增加至4張，證明隨著圖像數(shù)量的增加，算法的準(zhǔn)確性并不會降低。

在對公路路面圖像進(jìn)行拼接的過程中，受多方因素的影響，拼接結(jié)果可能會產(chǎn)生誤差，因此需要進(jìn)行多次試驗，以保證結(jié)果的準(zhǔn)確性。本次研究主要對以下幾種因素進(jìn)行具體說明。

①光線因素。在對路面圖像進(jìn)行采集的過程中，無人機進(jìn)行連續(xù)拍攝，但是每次拍攝光線都在不斷變化，造成相鄰的圖片光亮程度不一致。所以，同一物體會呈現(xiàn)出不同的表現(xiàn)形式，進(jìn)而使得拼接變得相對困難。

②物體因素。在對路面圖像進(jìn)行采集的過程中，路面會有車輛等顯著物體的存在，與背景之間的對比程度較為明顯。如果采用傳統(tǒng)方式進(jìn)行拼接，會使拼接后的圖片出現(xiàn)鬼影、錯位等情況。

③環(huán)境因素。在對路面圖像進(jìn)行采集的過程中，設(shè)備參數(shù)或者采集路面等因素會使圖像的視角變大，這樣在拼接過程中難以進(jìn)行精細(xì)化展現(xiàn)。

此外，在對路面圖像進(jìn)行拼接的過程中，如果選用4張連續(xù)的圖片進(jìn)行拼接，得到的拼接圖像中路面范圍相對較大，不能夠有效體現(xiàn)其精準(zhǔn)性。

如果單純采用SIFT算法對其進(jìn)行拼接，拼接工作能夠順利完成。但是，當(dāng)拼接圖像中光照程度相差較大時，拼接圖片中會存在明顯的拼接帶。同時，隨著拼接頻率的不斷提升，拼接后的圖像質(zhì)量會下降。當(dāng)圖像視角變化較大時，其錯位現(xiàn)象較為顯著。而使用本文中的算法對圖像進(jìn)行拼接，在圖像的各個重疊區(qū)域都分布了配準(zhǔn)特征，拼接后的圖像中沒有出現(xiàn)拼接帶、鬼影以及錯位等情況。即便拼接次數(shù)不斷增加，拼接后的圖片質(zhì)量仍然保持在最初水準(zhǔn)。

本文拼接算法采用圖像配準(zhǔn)正確率和拼接總時長作為評價指標(biāo)。配準(zhǔn)正確率的計算公式為：

式中：Nc表示正確匹配點數(shù)對;Ne表示錯誤匹配點數(shù)對。兩張或多張圖像的拼接運行時間為總體耗時計算區(qū)間。為了更好地表述配準(zhǔn)正確率和拼接時間的關(guān)系，對以上4種情況進(jìn)行拼接試驗，具體數(shù)值如表1所示。

通過表1可知，本文算法與SIFT算法相比，配準(zhǔn)正確率有顯著提升。除去試驗3中圖片的視角具有較大變化的情況，其配準(zhǔn)正確率都在94%以上。即便視角變化較大，它的配準(zhǔn)正確率也在87%以上，遠(yuǎn)遠(yuǎn)高于SIFT算法的63%。拼接時間的結(jié)果顯示，改良后的算法拼接效率明顯提高。

4 結(jié)語

本文以路面圖像的特點為依據(jù)，與無人機航拍進(jìn)行有機結(jié)合，對傳統(tǒng)SIFT算法進(jìn)行了全面概述，并在其基礎(chǔ)上結(jié)合稀疏匹配和小波變換融合，使得路面圖像拼接算法得到了一定改進(jìn)，并將此種拼接算法應(yīng)用于實際操作。試驗結(jié)果表明，稀疏匹配能夠有效降低匹配失誤的概率，同時明顯提高了其配準(zhǔn)正確率和拼接效率。對在路面圖像采集中可能遇見的情況進(jìn)行全方位試驗，試驗結(jié)果表明，該種算法的穩(wěn)定程度相對優(yōu)良，不易受到外界因素的影響，能夠高質(zhì)量地完成路面圖像拼接工作，因此在路面圖像拼接中值得推廣。

參考文獻(xiàn)：

[1]石祥濱，賈賀林.基于控制點網(wǎng)格優(yōu)化的航拍圖像拼接算法[J].計算機應(yīng)用與軟件，2020（5）：302-308.

[2]邱燕玲.GPU架構(gòu)的航拍艦船圖像拼接算法[J].艦船科學(xué)技術(shù)，2020（6）：82-84.

[3]李振宇，田源，陳方杰，等.基于改進(jìn)ORB和PROSAC的無人機航拍圖像拼接算法[J].激光與光電子學(xué)進(jìn)展，2019（23）：91-99.

[4]韓敏，閆闊，秦國帥.基于改進(jìn)KAZE的無人機航拍圖像拼接算法[J].自動化學(xué)報，2019（2）：305-314.

[5]孫世宇，張巖，胡永江，等.改進(jìn)模型估計的無人機偵察視頻快速拼接方法[J].紅外與激光工程，2018（9）：382-390.

3015500338284