楊東方，趙家瑋，李永飛，肖 鵬，楊晶嵐

1. 火箭軍工程大學(xué)導(dǎo)彈工程學(xué)院，陜西 西安 710025； 2. 火箭軍工程大學(xué)研究生院，陜西 西安 710025

道路是一種重要的地物特征，在地理信息測繪、抗災(zāi)減災(zāi)、事故救援、認(rèn)知導(dǎo)航、區(qū)域監(jiān)視等軍事和民用領(lǐng)域扮演著重要的角色。如何利用無人機等空基平臺，對所采集航拍圖像中的地表道路進(jìn)行快速、智能提取，是上述領(lǐng)域所關(guān)注的關(guān)鍵共性問題。

當(dāng)前對航拍圖像進(jìn)行道路提取主要采用人工輔助的方式，以測繪領(lǐng)域為例，對航拍圖像進(jìn)行道路、建筑等地理信息的提取，需要大量人力輔助，煩瑣低效[1-2]。近年來，隨著機器學(xué)習(xí)方法和計算機視覺領(lǐng)域的研究發(fā)展，以深度學(xué)習(xí)圖像處理技術(shù)為代表的遙感圖像道路提取技術(shù)得到越來越多的關(guān)注[3]。相比于現(xiàn)有的道路提取方法，利用深度學(xué)習(xí)的方法來提取圖像中的道路信息能夠極大提升道路等地物信息的提取效率，但是深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動技術(shù)，其泛化性能受到訓(xùn)練數(shù)據(jù)多樣性的制約，所以訓(xùn)練數(shù)據(jù)集的制作是利用深度學(xué)習(xí)的方法來實現(xiàn)道路提取的重要環(huán)節(jié)[4-7]。相比于道路提取網(wǎng)絡(luò)和算法的研究工作層出不窮，研究人員往往忽視了對道路數(shù)據(jù)集制備問題的研究。事實上，隨著高分辨率航拍圖像的大量投入使用，如何準(zhǔn)確、快速地制備道路數(shù)據(jù)集是制約道路智能提取技術(shù)發(fā)展的一個共性問題。從當(dāng)前已有的道路數(shù)據(jù)集制備方法研究成果來看，現(xiàn)有道路數(shù)據(jù)集制備方法主要存在以下兩個問題：①圖像分割的道路數(shù)據(jù)集制備成本高，時間長[8-9]。傳統(tǒng)的道路數(shù)據(jù)集制備方法，通常要借助標(biāo)注工具對原始圖像做人工標(biāo)注來獲取標(biāo)簽數(shù)據(jù)。人工標(biāo)注工作量大，對原始圖像需要進(jìn)行點、線、面等操作，過程復(fù)雜，制備時間過長。②航拍圖像道路分割數(shù)據(jù)分布單一導(dǎo)致道路提取技術(shù)泛化能力不足[10]。傳統(tǒng)的解決方法是對原有的數(shù)據(jù)進(jìn)行數(shù)據(jù)集增廣，包括形狀、尺寸變化、旋轉(zhuǎn)、伸縮、顏色通道抖動等，這種增廣方式難以提升遙感數(shù)據(jù)本身的特征空間分布，無法有效提升道路提取技術(shù)的泛化能力。

針對上述存在的問題，本文提出了一種邊緣特征輔助的航拍圖像道路數(shù)據(jù)集自動制備方法。該方法利用地理信息系統(tǒng)中已有的衛(wèi)星影像數(shù)據(jù)和道路圖層數(shù)據(jù)，再根據(jù)實際航拍的圖像，制作與航拍圖像序列對應(yīng)的道路分割數(shù)據(jù)集。該方法相比于傳統(tǒng)的道路數(shù)據(jù)集制備方法，能夠大大節(jié)省人工標(biāo)注所花費的時間和資源，為航拍圖像道路數(shù)據(jù)集的快速制備提供了一種思路。

1 基于迭代最近邊緣算法的航拍圖像道路數(shù)據(jù)集制備方法

迭代最近邊緣特征優(yōu)化的航拍圖像道路數(shù)據(jù)集制備方法包括兩個步驟：①基于人工特征點匹配的航拍圖像粗配準(zhǔn)；②基于邊緣特征對齊的航拍圖像精確配準(zhǔn)。其中，基于人工特征點匹配的航拍圖像粗配準(zhǔn)算法采用單應(yīng)性變換的原理[11-13]，首先尋找N對(N≥4)航拍圖像和衛(wèi)星圖像的對應(yīng)點，通過N對特征點在航拍圖和衛(wèi)星圖中的像素坐標(biāo)，對衛(wèi)星圖像與航拍圖像進(jìn)行粗配準(zhǔn)計算；在此基礎(chǔ)上，為了進(jìn)一步提高航拍圖像和衛(wèi)星圖像的配準(zhǔn)精度，本文提出邊緣特征對齊的航拍圖像配準(zhǔn)優(yōu)化算法，利用航拍圖像和粗配準(zhǔn)后的衛(wèi)星圖像的邊緣特征，采用ICE算法對其進(jìn)行配準(zhǔn)優(yōu)化，從而實現(xiàn)航拍圖像和衛(wèi)星圖層的精確匹配。由于衛(wèi)星圖層和道路網(wǎng)絡(luò)圖層(例如高德地圖、Openstreet map等)具有一一對應(yīng)關(guān)系，可以得到和航拍圖像所對應(yīng)的道路網(wǎng)絡(luò)分布數(shù)據(jù)，完成航拍圖像道路分割數(shù)據(jù)集的制備。該方法的基本流程如圖1所示。

圖1 航拍圖像道路數(shù)據(jù)集制作Fig.1 Aerial image road dataset production

由圖1可知，經(jīng)過粗配準(zhǔn)單應(yīng)變換后得到的衛(wèi)星圖投影結(jié)果和實際航拍圖之間存在明顯誤差，無法將其作為航拍圖像道路的標(biāo)注結(jié)果。為此，本文在粗配準(zhǔn)基礎(chǔ)上，引入邊緣特征，并提出了迭代最近邊緣算法，對粗配準(zhǔn)單應(yīng)變換矩陣H進(jìn)行優(yōu)化，以得到更加準(zhǔn)確可靠的航拍圖像道路數(shù)據(jù)集制作結(jié)果。

1.1 基于人工特征點匹配的航拍圖像粗配準(zhǔn)算法

本文提出的邊緣特征輔助的航拍圖像道路數(shù)據(jù)集制備方法分為粗配準(zhǔn)和精配準(zhǔn)兩個步驟，本節(jié)首先對粗配準(zhǔn)算法進(jìn)行介紹。粗配準(zhǔn)過程實際上是人工特征點輔助的航拍RGB圖像和衛(wèi)星RGB圖像粗對齊的過程，該過程是在人工輔助下，在航拍圖像RGB圖像和飛行區(qū)域衛(wèi)星RGB圖像中找到相同的N對點，一般N≥4即可。利用這N對點分別在航拍圖像和衛(wèi)星圖像中的像素坐標(biāo)，可以描述航拍圖像和衛(wèi)星圖像之間的單應(yīng)變換關(guān)系，在齊次坐標(biāo)下，它們之間的單應(yīng)性變換關(guān)系表達(dá)式為

(1)

式中，(xai,yai)是航拍圖像上的點；(xsi,ysi)是衛(wèi)星圖像上的點；k表示單應(yīng)變換過程中存在的尺度縮放比例。此時，H矩陣表示單位單應(yīng)變換矩陣，其行列式為1，h1～h9表示H矩陣的9個元素。

將式(1)展開，可以得到

(2)

對式(2)進(jìn)行化簡，可以得到

(3)

將式(3)寫成矩陣的形式Aih=0(i是航拍圖像和衛(wèi)星圖像對應(yīng)點的序號，i=1,2,…,N),其中

(4)

式中，單應(yīng)變換矩陣有9個未知數(shù)，加上約束條件‖H‖=1，H矩陣則變成了8個自由度，因此，至少需要4組相對應(yīng)的點，就可以算出H矩陣。把n組點對代入Aih=0，可以得到n個方程組成的方程組

(5)

對于上述方程組Ah=0，加上H矩陣的行列式約束，可以構(gòu)建一個有約束的優(yōu)化問題

(6)

為了求解上述含約束優(yōu)化問題，首先對矩陣A進(jìn)行SVD分解，A的大小是2i×9，i代表點對，可得

A=UΣVT

(7)

式中，U為2i×2i的方陣，U中的正交向量被稱為左奇異向量；Σ為2i×9的矩陣，Σ除了對角線其他元素都為0，對角線上的元素稱為奇異值，按從大到小的順序排列；VT為V的轉(zhuǎn)置矩陣，是一個9×9的矩陣。U和V都是酉矩陣，由正交矩陣的保范性可得

J=min‖Ah‖=min‖UΣVTh‖=min‖ΣVTh‖

(8)

‖VTh‖=‖h‖

(9)

令

y=VTh

(10)

則式(6)所描述的含約束優(yōu)化問題可以轉(zhuǎn)化為如下新的有約束的優(yōu)化問題

(11)

當(dāng)y=[00…1]T時，滿足約束條件‖y‖=1，而且由于Σ是奇異值組成的對角矩陣，按照從大到小排列，因此取y=[00…1]T可以使得‖Σy‖最小，即y=[00…1]T是最優(yōu)解。由于V是酉矩陣，由式(11)可知

h=Vy

(12)

即h的值是Σ矩陣中最小的奇異值對應(yīng)的V矩陣中的特征向量，即V矩陣的最后一列，式(6)中的最優(yōu)單應(yīng)矩陣得解。

利用上述求解得到的H單應(yīng)變換矩陣，可以把衛(wèi)星圖像投影到航拍圖像上，得到與航拍圖像對應(yīng)區(qū)域的衛(wèi)星影像映射結(jié)果，即實現(xiàn)航拍圖像和衛(wèi)星圖像的粗配準(zhǔn)。

1.2 基于迭代最近邊緣算法的航拍圖像配準(zhǔn)優(yōu)化算法

由于人工選點不可避免會存在操作誤差，導(dǎo)致衛(wèi)星圖映射結(jié)果和航拍圖實際區(qū)域存在較大偏差，無法直接作為標(biāo)注數(shù)據(jù)集。對此，本文在粗配準(zhǔn)基礎(chǔ)上，提出利用邊緣特征等圖像穩(wěn)健描述進(jìn)行優(yōu)化，提高配準(zhǔn)精度。該方法在粗配準(zhǔn)變換矩陣計算結(jié)果的基礎(chǔ)上，實現(xiàn)航拍圖像和衛(wèi)星圖像的邊緣特征對齊，進(jìn)而實現(xiàn)兩種模態(tài)圖像的精確配準(zhǔn)。由于優(yōu)化對齊過程中利用了邊緣特征迭代優(yōu)化計算的方法，使得衛(wèi)星圖和航拍圖中相同位置的邊緣距離最近，因此，本文將該方法稱為迭代最近邊緣算法。

1.2.1 算法流程

在完成了上述粗配準(zhǔn)過程得到單應(yīng)變換矩陣H后，得到的航拍圖像和衛(wèi)星圖像之間存在細(xì)微的差異，此時需要對航拍圖像和衛(wèi)星圖像進(jìn)行精確配準(zhǔn)。由于邊緣是遙感圖像中顯著而穩(wěn)健的特征，因此本文選用Canny算子對航拍圖像和粗配準(zhǔn)后的衛(wèi)星圖像進(jìn)行邊緣提取[14]。然后利用其邊緣圖像提取的邊緣集合，在ICP優(yōu)化算法框架下實現(xiàn)邊緣點集的匹配，完成單應(yīng)性變換矩陣的優(yōu)化計算。相應(yīng)的優(yōu)化變換矩陣記為H1，則精配準(zhǔn)變換矩陣可以表示為H′=H×H1，算法流程如圖2所示。

由圖2可知，該算法主要包括以下5個步驟：

圖2 航拍圖像配準(zhǔn)優(yōu)化流程Fig.2 Aerial image registration optimization process

(1) 將航拍圖像和粗配準(zhǔn)后的衛(wèi)星圖像轉(zhuǎn)換為灰度圖像，并進(jìn)行平滑處理。

(2) 利用Canny算法對平滑后的灰度圖像進(jìn)行邊緣檢測，獲得邊緣圖像。

(3) 對邊緣圖像進(jìn)行形態(tài)學(xué)處理，即進(jìn)行連通性測試，搜索所有的連通點，如果連通點數(shù)量過少，消除所有連通點，以濾掉小的邊緣片段。

(4) 從形態(tài)學(xué)處理后的邊緣圖像中提取邊緣點集。

(5) 利用ICE優(yōu)化算法實現(xiàn)邊緣點集的匹配，計算優(yōu)化后的精配準(zhǔn)結(jié)果H′。得到精配準(zhǔn)變換矩陣H′后，對GIS中的道路分布圖進(jìn)行變換，可以直接得到和航拍圖對應(yīng)的道路分割標(biāo)注結(jié)果。

1.2.2 基于迭代最近邊緣的配準(zhǔn)優(yōu)化算法

(5) 計算新的源點集和目標(biāo)點集之間的平均距離dk+1

(13)

(6) 如果dk+1不小于給定的閾值δ，返回步驟(2)，利用目標(biāo)點集A和新的源點集Bk+1再次運算，直到dk+1<δ或迭代次數(shù)k大于預(yù)設(shè)的最大迭代次數(shù)為止。此時的Hk就是優(yōu)化變換矩陣H1。

為了使點集之間的配準(zhǔn)更加精確，本文結(jié)合邊緣特征分布的特點，對迭代最近鄰算法做了如下處理：

(1) 為了保證單應(yīng)性變換的準(zhǔn)確性，采用去除兩點間距離大于給定閾值的點對的策略，去除偽點(偽點對是指實際上并不存在對應(yīng)關(guān)系的點對)；

(2) 不使用平均距離作為度量準(zhǔn)則，而利用平均距離變化率的波動次數(shù)作為度量準(zhǔn)則；

(3) 因為單應(yīng)性變換是自由地，為了防止源點集因單應(yīng)性變換后發(fā)生畸變， 利用正方形經(jīng)過優(yōu)化變換矩陣H1變換后的形狀的相鄰兩邊夾角小于某一閾值來保證單應(yīng)性變換的合理性。

需要的精配準(zhǔn)變換矩陣為H′=H×H1，利用單應(yīng)性變換，把道路網(wǎng)絡(luò)圖層投影到航拍圖像上，便可以得到和航拍圖像同樣大小的道路圖像映射結(jié)果，即獲得與航拍圖像匹配的道路標(biāo)簽圖像。按照此方法，制作航拍圖像序列一一對應(yīng)的道路標(biāo)簽圖像序列，實現(xiàn)航拍圖像道路數(shù)據(jù)集制備。

2 試驗驗證

2.1 試驗數(shù)據(jù)

針對實際應(yīng)用中存在的航拍圖像數(shù)據(jù)集智能制備問題，現(xiàn)有方法以人工標(biāo)注為主，為此本文在試驗部分從數(shù)據(jù)集標(biāo)注精度和標(biāo)注耗時來和現(xiàn)有方法進(jìn)行對比。本文的驗證試驗選用了西安不同地區(qū)的高德衛(wèi)星圖像數(shù)據(jù)和國產(chǎn)高分衛(wèi)星圖像數(shù)據(jù)及它們所對應(yīng)的道路網(wǎng)絡(luò)圖層數(shù)據(jù)。航拍圖像數(shù)據(jù)一共14 433張，每張圖像大小為1920×1080像素，分辨率約為1 m，數(shù)據(jù)示例如圖3所示。高德衛(wèi)星圖像數(shù)據(jù)和高德道路網(wǎng)絡(luò)圖層數(shù)據(jù)，圖像大小都為6691×3283像素，分辨率約為1 m，如圖4(a)、(b)所示。國產(chǎn)高分衛(wèi)星圖像數(shù)據(jù)和對應(yīng)道路網(wǎng)絡(luò)圖層數(shù)據(jù)圖像大小都為24 292×13 866像素，分辨率約為0.5 m，如圖5(a)、(b)所示。

圖3 航拍圖像數(shù)據(jù)Fig.3 Aerial image data

圖4 高德衛(wèi)星圖像數(shù)據(jù)和高德道路網(wǎng)絡(luò)圖層數(shù)據(jù)Fig.4 Gaode satellite image data and Gaode road network layer data

圖5 高分衛(wèi)星圖像數(shù)據(jù)和高分道路網(wǎng)絡(luò)圖層數(shù)據(jù)Fig.5 High-resolution satellite image data and high-resolution road network layer data

2.2 試驗結(jié)果和分析

在粗配準(zhǔn)階段，通過人工選取4對以上特征點計算粗配準(zhǔn)單應(yīng)變換矩陣。需要說明的是，為保證單應(yīng)變換矩陣計算的唯一性，標(biāo)注選取的3個點不能共線，如圖6所示。

圖6 航拍圖像和衛(wèi)星圖像標(biāo)注示例Fig.6 Examples of aerial image and satellite image annotation

在粗配準(zhǔn)基礎(chǔ)上，按照本文提出的優(yōu)化配準(zhǔn)方法，針對待標(biāo)注的航拍圖像，利用衛(wèi)星圖像(圖4(a)、圖5(a))及其對應(yīng)的道路網(wǎng)絡(luò)圖層數(shù)據(jù)(圖4(b)、圖5(b))獲取與航拍圖像匹配的道路標(biāo)簽圖像，自動標(biāo)注結(jié)果如圖7所示。

圖7 航拍圖像道路自動標(biāo)注結(jié)果Fig.7 Automatic road marking results of aerial images

圖7中第1行是待標(biāo)注的航拍圖像，第2行是經(jīng)過ICE算法精配準(zhǔn)變換后的衛(wèi)星圖像，第3行是利用該精配準(zhǔn)變換矩陣H′配準(zhǔn)后的道路標(biāo)注圖像。為了驗證本文所述方法對于不同質(zhì)量衛(wèi)星影像的有效性，此處選擇了谷歌地圖、高德地圖等公開衛(wèi)星影像數(shù)據(jù)，以及我國國產(chǎn)高分衛(wèi)星得到的非公開影像數(shù)據(jù)進(jìn)行對比。圖7(a)、(b)是谷歌地球數(shù)據(jù)集所公開的衛(wèi)星圖像，圖7(c)、(d)是國產(chǎn)高分衛(wèi)星圖像。可以看出，選擇不同的衛(wèi)星影像作為基準(zhǔn)數(shù)據(jù)，都可以實現(xiàn)航拍圖像道路標(biāo)注數(shù)據(jù)集的制備。圖7的第1行和第3行便構(gòu)成了成對的航拍圖像序列和道路標(biāo)簽圖像序列，即航拍圖像的道路提取數(shù)據(jù)集。上述試驗表明了本文方法能夠滿足不同應(yīng)用場合下，不同航拍圖像、不同分辨率及不同來源的衛(wèi)星圖像道路數(shù)據(jù)集制作需求。

2.2.1 道路標(biāo)注數(shù)據(jù)的一致性分析

在理想情況下，道路網(wǎng)絡(luò)圖層數(shù)據(jù)準(zhǔn)確與衛(wèi)星圖吻合度高，此時可以直接采用本文前述方法進(jìn)行航拍圖像道路數(shù)據(jù)集的智能制備。然而，受到地表道路由于施工或者錯誤標(biāo)注等因素的影響，某些標(biāo)簽圖像中會存在明顯的道路缺失問題，如圖7(a)所示。如果直接用錯誤標(biāo)注的數(shù)據(jù)對道路提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可能會對道路提取網(wǎng)絡(luò)訓(xùn)練結(jié)果引入較大的誤差。事實上，對于所有強監(jiān)督深度學(xué)習(xí)任務(wù)而言，標(biāo)注數(shù)據(jù)的不一致性是深度學(xué)習(xí)任務(wù)面臨的共性問題，對于該問題，通常采用標(biāo)注自選擇技術(shù)進(jìn)行處理，利用新標(biāo)注樣本和已有訓(xùn)練結(jié)果之間的一致性判斷標(biāo)注數(shù)據(jù)的可靠性。類似地，本文面向?qū)嶋H應(yīng)用環(huán)境，假設(shè)道路在一定時間窗口范圍內(nèi)的變化較小，提出一種數(shù)據(jù)集和道路提取結(jié)果交叉驗證的方法，對數(shù)據(jù)集制備結(jié)果進(jìn)行校正，具體步驟如下：

(1) 用現(xiàn)有的道路提取數(shù)據(jù)集(如Massachusetts、Deepglobe等數(shù)據(jù)集)訓(xùn)練道路提取網(wǎng)絡(luò)，如UNet、ENet等[19-22]，得到航拍圖像道路提取網(wǎng)絡(luò)，假設(shè)該網(wǎng)絡(luò)為網(wǎng)絡(luò)A。

(2) 用網(wǎng)絡(luò)A對本文自動制備方法得到的道路數(shù)據(jù)集進(jìn)行驗證，即用網(wǎng)絡(luò)A對數(shù)據(jù)集中的可見光航拍圖像進(jìn)行推理，得到對應(yīng)的道路推理結(jié)果，如圖8(a)所示。

(3) 將該網(wǎng)絡(luò)推理結(jié)果與自動制備方法得到的道路標(biāo)注結(jié)果(圖8(b))進(jìn)行對比，對二者的一致性進(jìn)行判斷，如果二者的一致性指標(biāo)超過閾值，就認(rèn)為該組標(biāo)注數(shù)據(jù)有效，保留該標(biāo)注數(shù)據(jù)；否則，認(rèn)為該標(biāo)注數(shù)據(jù)誤差較大，舍棄該組標(biāo)注數(shù)據(jù)。

圖8 航拍圖像道路預(yù)測結(jié)果和自動制備結(jié)果對比示例Fig.8 Comparison example of road prediction results and automatic preparation results from aerial images

(4) 用更新的道路標(biāo)注數(shù)據(jù)集對網(wǎng)絡(luò)A進(jìn)行微調(diào)訓(xùn)練，得到新的航拍圖像道路提取網(wǎng)絡(luò)，利用更新后的道路提取網(wǎng)絡(luò)，對新的標(biāo)注數(shù)據(jù)進(jìn)行一致性檢驗，重復(fù)步驟(2)和步驟(3)。

通過上述方法，最終可以得到校正后的航拍圖像道路提取數(shù)據(jù)集及對應(yīng)的道路提取網(wǎng)絡(luò)訓(xùn)練結(jié)果。

2.2.2 數(shù)據(jù)集制備的有效性分析

為了實際評估本文制備道路數(shù)據(jù)集方法的性能，選用圖像標(biāo)注工具labelme來制作航拍圖像的道路標(biāo)簽圖像[23]，將其與本文方法制作的道路標(biāo)簽圖像進(jìn)行對比分析，從制備時間和道路標(biāo)簽數(shù)據(jù)的精度兩個方面評估本文方法的性能。其次，通過對比粗配準(zhǔn)和精配準(zhǔn)的航拍圖像道路數(shù)據(jù)集精度，考察配準(zhǔn)優(yōu)化算法的有效性。

(1) 制備方法效率。首先利用標(biāo)注工具labelme制作圖7中航拍圖像的道路標(biāo)簽圖像，即：①列標(biāo)注完成時間為7 min 5 s；②列標(biāo)注完成時間為31 min 14 s；③列標(biāo)注完成時間為14 min 20 s；④列標(biāo)注完成時間為20 min 32 s，標(biāo)注結(jié)果如圖9所示。標(biāo)注過程中發(fā)現(xiàn)，道路信息越復(fù)雜越難標(biāo)注，而且花費時間更長。然后選用本文的方法制作圖7中航拍圖像的道路標(biāo)簽圖像，4幅圖的標(biāo)注完成時間均約為20s，不受道路稠密程度的限制，標(biāo)注結(jié)果如圖7中第3行所示。本文方法標(biāo)注過程簡單，只需人工選取4對特征點，花費時間更少。通過比較兩種方法所花費的時間，發(fā)現(xiàn)利用本文方法制作道路標(biāo)簽圖像效率更高。

圖9 labelme工具標(biāo)注結(jié)果Fig.9 Labeling results from labelme tool

(2) 道路數(shù)據(jù)集制備精度指標(biāo)說明。為驗證道路制備精度的可靠性，選取精確率(Precision)、召回率(Recall)及F1score作為評價指標(biāo)[24-28]。其中精確率表示預(yù)測是正確的正樣本占所有預(yù)測為正樣本的概率，召回率表示預(yù)測是正確的正樣本占所有真正為正樣本的概率，F(xiàn)1score是精確率和召回率的調(diào)和平均，公式定義如下

(14)

(15)

(16)

式中，TP表示預(yù)測為正確的正樣本；FP表示預(yù)測為錯誤的正樣本；FN表示預(yù)測為錯誤的負(fù)樣本。

傳統(tǒng)的道路數(shù)據(jù)集制作方法，通常以標(biāo)注工具對原始圖像做人工標(biāo)注來獲取標(biāo)簽數(shù)據(jù)，因此本文以標(biāo)注工具制作的道路標(biāo)簽圖像為真實道路圖像，將評價問題看成道路區(qū)域的像素歸類問題，考察利用本文方法制作的道路標(biāo)簽圖像的精度，以此來衡量道路數(shù)據(jù)集制備的精度。由于真實道路圖像中道路的形狀、寬度受人為標(biāo)注的影響，因此選擇松弛化的評價方式。試驗中，把屬于道路區(qū)域的像素歸類為正樣本，而非道路像素歸類為負(fù)樣本，TP表示正確分類的道路像素的數(shù)目，F(xiàn)P代表錯誤分類的道路像素數(shù)目，F(xiàn)N代表錯誤分類的非道路像素數(shù)目，精確率表示在真實道路像素的ρ像素范圍內(nèi)的預(yù)測為道路像素的比例，召回率表示在預(yù)測道路像素附近ρ像素范圍內(nèi)的真實道路像素的比例[26]。路網(wǎng)自動標(biāo)注結(jié)果示例如圖10所示，其中，粗配準(zhǔn)的路網(wǎng)標(biāo)注結(jié)果是利用粗配準(zhǔn)單應(yīng)性變換矩陣H，將道路網(wǎng)絡(luò)圖層數(shù)據(jù)投影到航拍圖像上得到的；精配準(zhǔn)的路網(wǎng)標(biāo)注結(jié)果是在粗配準(zhǔn)的基礎(chǔ)上，采用本文所提出的迭代最近邊緣算法對H進(jìn)行優(yōu)化，然后將路網(wǎng)圖層數(shù)據(jù)投影到航拍圖像上得到的。

圖10 道路標(biāo)注數(shù)據(jù)集自動制備方法和人工標(biāo)注方法結(jié)果對比Fig.10 Comparison of results between automatic preparation method and manual annotation method of road marking dataset

如圖10所示，粗配準(zhǔn)的路網(wǎng)標(biāo)注數(shù)據(jù)存在明顯的道路方向偏差，為此需要利用精配準(zhǔn)進(jìn)行自動校正。為了對粗配準(zhǔn)標(biāo)注結(jié)果和精配準(zhǔn)標(biāo)注結(jié)果進(jìn)行量化分析，證明精配準(zhǔn)的必要性，本節(jié)以手工標(biāo)注結(jié)果作為真值，對粗配準(zhǔn)和精配準(zhǔn)自動標(biāo)注結(jié)果的精度進(jìn)行了量化統(tǒng)計，結(jié)果分別見表1和表2。

表1 粗配準(zhǔn)航拍圖像道路數(shù)據(jù)集精度評價指標(biāo)Tab.1 Accuracy evaluation index of coarse registration of aerial image road dataset (%)

表2 精配準(zhǔn)航拍圖像道路數(shù)據(jù)集精度評價指標(biāo)Tab.2 Accuracy evaluation index of precise registration of aerial image road dataset (%)

由上述試驗結(jié)果可以看出，配準(zhǔn)優(yōu)化算法有效提高了道路數(shù)據(jù)集制備的精度，而且采用本文提出的道路數(shù)據(jù)集自動制備方法，自動得到的標(biāo)注結(jié)果可以保持和人工標(biāo)注相當(dāng)?shù)木取Ｅc此同時，本文提出的自動制備方法可以提高數(shù)據(jù)集制作效率，相比傳統(tǒng)人工標(biāo)注制作道路數(shù)據(jù)集的方法時間上花費更少，大大提高了制備道路數(shù)據(jù)集的效率，為遙感圖像智能處理技術(shù)的算法研究提供了數(shù)據(jù)支撐。

2.2.3 數(shù)據(jù)集制備的可靠性分析

為了驗證本文道路數(shù)據(jù)制備的可靠性，將本文方法與公開的道路提取數(shù)據(jù)集進(jìn)行對比。首先，從馬薩諸塞州道路數(shù)據(jù)集中隨機選擇了20張圖像，利用本文的方法制作對應(yīng)的道路標(biāo)簽；然后，安排5名人員對該道路標(biāo)簽和原始的道路標(biāo)簽質(zhì)量進(jìn)行打分，分?jǐn)?shù)區(qū)間為0～10分，分?jǐn)?shù)越高表明標(biāo)簽的完整性越好；最后，用平均值作為標(biāo)注得分，統(tǒng)計結(jié)果見表3，標(biāo)注結(jié)果展示如圖11所示。

表3 馬薩諸塞州道路標(biāo)簽與本文方法制作標(biāo)簽結(jié)果對比Tab.3 Comparison of road labels in Massachusetts and the label made by the proposed method

圖11 自制數(shù)據(jù)集與公開數(shù)據(jù)集道路標(biāo)簽對比結(jié)果示例Fig.11 An example of the comparison of road labels between the self-made dataset and the public dataset

從上述試驗結(jié)果可以看出，采用本文方法制備的數(shù)據(jù)集中道路標(biāo)注完整性優(yōu)于人工標(biāo)注的馬薩諸塞州道路提取數(shù)據(jù)集，證明了本文道路數(shù)據(jù)集制備的有效性。

3 結(jié) 論

本文面向道路數(shù)據(jù)集快速制備的需求，提出了基于邊緣特征ICE對齊的航拍圖像道路快速標(biāo)注方法。試驗結(jié)果表明，與人工標(biāo)注數(shù)據(jù)相比，在平均標(biāo)注精度超過96.5%的前提下，標(biāo)注時間從7 min提高到20 s，標(biāo)注效率提升了21倍。為遙感測繪等領(lǐng)域的道路等地物智能提取任務(wù)提供了一種高效、精確的標(biāo)注方法，具有重要的實用價值。