金國(guó)棟, 譚力寧,*, 王小龍, 趙建偉

(1. 火箭軍工程大學(xué)核工程學(xué)院, 陜西 西安 710025; 2. 中國(guó)科學(xué)院空天信息創(chuàng)新研究院, 北京 100190)

0 引 言

道路作為交通系統(tǒng)的重要組成部分,在國(guó)民經(jīng)濟(jì)和軍事領(lǐng)域均具有重要監(jiān)測(cè)價(jià)值[1-2]。與傳統(tǒng)的光學(xué)遙感相比,合成孔徑雷達(dá)(synthetic aperture radar, SAR)具備全天時(shí)、全天候的工作特點(diǎn),可以發(fā)揮出可見(jiàn)光等其他遙感技術(shù)所不具備的優(yōu)勢(shì),已被證明可以作為道路目標(biāo)監(jiān)測(cè)和提取的重要技術(shù)手段[3-6]。

在低分辨率SAR圖像中,道路大多呈現(xiàn)黑色線狀特征,而在高分辨率SAR圖像中,道路則多為亮的、雙邊緣包裹的黑色條狀區(qū)域。因此,基于SAR圖像的道路提取的核心思想是從SAR圖像中提取暗黑的線狀或條狀特征[7]。SAR道路提取研究與SAR成像技術(shù)的發(fā)展息息相關(guān),早期以中低分辨率圖像提取為主,道路呈現(xiàn)為線特征,提取方法以邊緣檢測(cè)結(jié)合線段編組連接獲得線狀道路目標(biāo)為主[8-9]。隨著SAR圖像分辨率的提升,道路目標(biāo)逐漸向面狀特征發(fā)展,圖像中的干擾在高分辨率SAR圖像中被放大,環(huán)境背景變得更加復(fù)雜,涌現(xiàn)出了以均值比(ratio of averages, ROA)、指數(shù)加權(quán)均值比(ratio of exponentially weighted averages, ROEWA)為代表的多種邊緣檢測(cè)算子[10-13]。當(dāng)前的研究多采用層進(jìn)式提取方式:先采用圖像分割算法將候選的道路從SAR圖像中分割出來(lái),在此基礎(chǔ)上運(yùn)用Hough算法、Markov隨機(jī)場(chǎng)模型、遺產(chǎn)算法等自動(dòng)或半自動(dòng)連接算法實(shí)現(xiàn)道路片段的銜接并去除冗余,進(jìn)而實(shí)現(xiàn)路網(wǎng)重構(gòu)和目標(biāo)提取[4-6]。但當(dāng)SAR道路背景存在河流、溝壑等線狀干擾目標(biāo)時(shí),現(xiàn)有算法會(huì)出現(xiàn)檢測(cè)能力不足、虛警率偏高等應(yīng)用問(wèn)題。

近年來(lái),將深度學(xué)習(xí)方法運(yùn)用到SAR道路檢測(cè)和提取已取得了初步的成果[14-18]。然而,當(dāng)前基于深度學(xué)習(xí)的SAR道路提取多集中在圖像去噪、特征檢測(cè)以及分類分割方面,在路網(wǎng)連接和重構(gòu)方面仍未見(jiàn)相關(guān)報(bào)道[5,19]。此外,不同的SAR圖像道路特征多變,基于大樣本訓(xùn)練的機(jī)器學(xué)習(xí)方法仍存在樣本庫(kù)構(gòu)建困難、效果一致性差、部署和應(yīng)用困難等問(wèn)題[20-22]。

綜上所述,目前基于SAR圖像的道路提取算法研究仍相對(duì)較弱,研究多存在魯棒性不強(qiáng)、虛警率偏高、速度不快等問(wèn)題。為此,本文以不同等級(jí)道路兼顧提取為目標(biāo),基于傳統(tǒng)算法和方法,探索構(gòu)建了一個(gè)由粗漸精的層進(jìn)式SAR道路多尺度提取框架方法,為解決上述部分問(wèn)題提供了一種簡(jiǎn)捷可行的方法。

1 道路提取模型方法

基于SAR圖像的道路提取,其基本思想是從SAR圖像中檢測(cè)暗黑、線狀特征的道路目標(biāo)并進(jìn)行分割提取。一般而言,由于SAR圖像噪聲及環(huán)境背景的影響,提取結(jié)果中往往存在諸多非道路的干擾目標(biāo),且道路多呈現(xiàn)片段化。此外,不同等級(jí)道路的寬窄差異也往往會(huì)影響算法的適應(yīng)性,導(dǎo)致難以兼顧等問(wèn)題。為此,本文基于Duda算子與形態(tài)學(xué)處理相結(jié)合的方法,提出了一種新的、由粗漸精的層進(jìn)式SAR道路多尺度提取框架和方法,以期實(shí)現(xiàn)不同等級(jí)SAR道路目標(biāo)的兼顧提取。

圖1所示即為本文所提框架方法,主要由多尺度道路檢測(cè)、小尺度濾波、形態(tài)學(xué)濾波、道路片段鏈接和大尺度濾波5個(gè)層進(jìn)式處理環(huán)節(jié)組成。其中,基于Duda的多尺度檢測(cè)主要通過(guò)不同尺度窗口檢測(cè)不同等級(jí)道路,可以有效地降低非道路區(qū)域背景混入帶來(lái)的影響,增大不同等級(jí)道路的檢測(cè)幾率,盡可能地保證后續(xù)道路提取的最大化。

圖1 本文提出的流程框圖Fig.1 Flowchart of the proposed method

但多尺度道路檢測(cè)在增大不同等級(jí)道路檢測(cè)能力的同時(shí),也不可避免地給檢測(cè)結(jié)果帶來(lái)了更多的雜波虛警,包括斑塊虛警、線狀虛警和片狀虛警,這些虛警的存在會(huì)影響后續(xù)的道路片段鏈接,需預(yù)先進(jìn)行消除。其中,斑塊虛警量多且與道路尺度相差較大,可采用接近斑噪尺度的小尺度濾波進(jìn)行處理;片狀虛警在外形上遠(yuǎn)遠(yuǎn)偏離道路目標(biāo),可設(shè)計(jì)基于形態(tài)學(xué)的濾波對(duì)其進(jìn)行去除。其他的線狀虛警則一般很難與道路片段進(jìn)行有效區(qū)分,故在此階段需暫做保留。經(jīng)上述處理后,結(jié)果圖一般由線性片段構(gòu)成。其中,部分道路目標(biāo)因雜波干擾、成像角度等原因?qū)е聶z測(cè)斷裂,需進(jìn)行道路片段鏈接,以盡可能使之恢復(fù)為整體。經(jīng)道路片段鏈接處理后,未能鏈接的、尺度相對(duì)較小的線性片段,則大多為自然地物產(chǎn)生的線狀虛警。此時(shí),采用尺度相對(duì)較大的大尺度濾波處理即可完成去除。

上述遞進(jìn)式設(shè)計(jì)針對(duì)性地解決了SAR道路檢測(cè)、提取層進(jìn)式處理中伴隨出現(xiàn)的點(diǎn)狀、面狀和線狀虛警去除問(wèn)題以及SAR道路提取中的片段化問(wèn)題。各環(huán)節(jié)處理詳述如下。

1.1 多尺度道路檢測(cè)

Duda檢測(cè)算子是專門用于SAR道路等線型特征檢測(cè)的算子[21],采用如圖2所示的n×n檢測(cè)窗口,并將其內(nèi)部劃分為3個(gè)相互平行的區(qū)域A、B、C,每個(gè)區(qū)域包含n個(gè)獨(dú)立的像元Ai、Bi和Ci(i=1, 2,…,n)。

圖2 Duda檢測(cè)算子模板Fig.2 Templates of the Duda operator

當(dāng)灰度值較低的區(qū)域C處于中心,通過(guò)分別計(jì)算中心區(qū)域C與區(qū)域A和區(qū)域B的比值,得到用于表征區(qū)域C的邊緣特征,表達(dá)式如下:

(1)

在此基礎(chǔ)上,定義對(duì)比度分值函數(shù)Fj(I):

(2)

式中:T1為對(duì)比度門限。此處,Fj(I)的值越小越好。此時(shí),將中心區(qū)域C平均分為兩段,則兩段各自的灰度均值比為

(3)

于是,中心區(qū)域C的對(duì)比度分值函數(shù)可表示為

(4)

式中:T2為均勻度門限。此處,G(I)的值越大越好。最后,定義屋脊邊緣強(qiáng)度為

H(x)=(1-F1(x))·(1-F2(x))·G(x)

(5)

當(dāng)H(x)大于某一預(yù)設(shè)門限T時(shí),則判定該像素屬于道路,否則判定其為非道路點(diǎn)。

由上述Duda算子檢測(cè)原理可以看出,其道路檢測(cè)適應(yīng)性與窗口大小的選擇有關(guān),檢測(cè)窗口越大,區(qū)域C越寬[21]。對(duì)于SAR圖像而言,由于其本身固有的斑點(diǎn)噪聲和雜波干擾,圖像中道路邊緣往往界限不清,當(dāng)使用Duda算子檢測(cè)時(shí),不同等級(jí)道路下,采用不同寬度區(qū)域C進(jìn)行道路特征統(tǒng)計(jì),可以有效地抑制非目標(biāo)區(qū)域背景雜波混入帶來(lái)的影響,提高相應(yīng)寬度道路的提取率。因此,本文在考慮了不同寬度道路提取需求的前提下,設(shè)計(jì)采用基于多尺度窗口的提取方案,即采用多種尺度的檢測(cè)窗口,對(duì)不同寬度的道路進(jìn)行多次提取。最后,通過(guò)對(duì)多次提取結(jié)果的整合,獲得最終的Duda道路檢測(cè)二值圖。

通過(guò)多尺度提取、整合設(shè)計(jì),不僅可提升不同等級(jí)道路目標(biāo)的檢測(cè)幾率,而且還可增加潛在道路片段的鏈接概率,降低道路的片段化程度。

1.2 小尺度濾波

采用上述多尺度提取策略,通?？梢詫?shí)現(xiàn)SAR圖像中各級(jí)道路目標(biāo)的有效提取。但是,由于SAR圖像背景復(fù)雜,圖像中非道路目標(biāo)的干擾信息較多,多尺度提取在提升各級(jí)道路提取幾率的同時(shí),也會(huì)增加對(duì)各類干擾信息的提取,導(dǎo)致最終的Duda提取二值圖中存在大量的非道路目標(biāo)和噪聲。

為了抑制提取結(jié)果二值圖中的小斑條、斑點(diǎn)等噪聲,本文設(shè)計(jì)了小尺度濾波處理,即采用尺度濾波的方法,將一定像素或長(zhǎng)度以下的目標(biāo)直接去除。尺度濾波采用目標(biāo)長(zhǎng)度閾值法,即在提取結(jié)果二值圖中,針對(duì)各潛在目標(biāo),逐一提取其最小外接矩形,然后根據(jù)目標(biāo)的最小外接矩形計(jì)算其長(zhǎng)度,通過(guò)閾值設(shè)置,剔除掉閾值以下的細(xì)小目標(biāo),進(jìn)而達(dá)到濾除雜波噪聲的目的。

1.3 形態(tài)學(xué)濾波

雖然Duda算子主要用于線狀特征的提取,但是經(jīng)多尺度處理結(jié)果整合后,提取結(jié)果的二值圖中可能存在部分明顯不屬于道路片段的條塊狀目標(biāo)或紋理致密的雜波區(qū)域。對(duì)于這些非線性區(qū)域或目標(biāo),需要設(shè)計(jì)形態(tài)學(xué)的方法進(jìn)行濾除。

在形態(tài)學(xué)算法中,腐蝕和膨脹是形態(tài)學(xué)處理中最基本的運(yùn)算[23]。形態(tài)學(xué)腐蝕運(yùn)算具有收縮目標(biāo)圖像的作用,可以消除圖像中的噪點(diǎn),而形態(tài)學(xué)膨脹運(yùn)算具有擴(kuò)張目標(biāo)圖像的作用,可以消除圖像中的細(xì)小空洞。在本研究中,首先,通過(guò)形態(tài)學(xué)膨脹方法,將一些致密的紋理雜波區(qū)域連接成片,從而使其片狀特征偏離線狀特征。然后,采用面積、長(zhǎng)度、寬度等聯(lián)合信息,剔除形態(tài)上明顯不符合道路特征的非線性目標(biāo),保留潛在的道路目標(biāo)或道路片段。最后,對(duì)結(jié)果二值圖進(jìn)行形態(tài)學(xué)腐蝕運(yùn)算,恢復(fù)二值圖中因膨脹操作而擴(kuò)張的線特征原始形態(tài)。

1.4 道路片段鏈接

盡管多尺度提取、整合設(shè)計(jì)降低了道路提取的片段化程度,但由于SAR圖像噪聲及雜波等影響,在提取的結(jié)果二值圖中,道路的片段化還是不可避免。因此,有效的鏈接這些道路片段,使之成為一條道路或形成路網(wǎng),對(duì)于道路的完整提取而言尤為重要。

本文考慮到道路目標(biāo)局部呈現(xiàn)直線的特點(diǎn),采用經(jīng)典的Hough變換方法進(jìn)行道路片段鏈接,其具體原理和方法參見(jiàn)文獻(xiàn)[24-25],此處不再贅述。在檢測(cè)直線時(shí),由于Hough變換不需要考慮直線是否連續(xù),因此該方法對(duì)噪聲、間斷以及非直線結(jié)構(gòu)并不敏感。此外,在SAR圖像中,道路目標(biāo)相對(duì)于其他目標(biāo)的長(zhǎng)度較長(zhǎng),且經(jīng)多尺度整合后,道路片段相對(duì)較長(zhǎng),因而可以利用Hough變換的特性,通過(guò)設(shè)置較大的線段長(zhǎng)度和合適的間隔參數(shù),對(duì)道路片段進(jìn)行鏈接。

1.5 大尺度濾波

經(jīng)片段鏈接處理后,原提取結(jié)果二值圖中未能鏈接的較大線狀片段,一般均為非道路目標(biāo)的其他地物或環(huán)境雜波,如水渠、溝壑等。對(duì)于這類線狀目標(biāo),可以采用數(shù)值較大的尺度濾波對(duì)其進(jìn)行濾除,最后得到的結(jié)果即為最終的SAR道路提取結(jié)果。

2 試驗(yàn)和結(jié)果

為了驗(yàn)證本文方法的有效性,下文采用由簡(jiǎn)單到復(fù)雜的試驗(yàn)方法進(jìn)行SAR道路提取試驗(yàn)。試驗(yàn)中,Duda算子的多尺度處理窗口大小設(shè)置為5,7,…,17共7個(gè)等級(jí);檢測(cè)門限T的取值大小采用經(jīng)驗(yàn)性取值方法,對(duì)圖3和圖4分別預(yù)設(shè)為0.30和0.15。此外,針對(duì)尺度濾波處理環(huán)節(jié),其參數(shù)的取值大小基于真實(shí)道路目標(biāo)與自然雜波的尺度對(duì)比,小尺度濾波的門限設(shè)置為20個(gè)像素,大尺度濾波的門限設(shè)置為100個(gè)像素。

下文首先選用一幅道路及背景相對(duì)簡(jiǎn)單的郊野道路SAR圖像對(duì)本文算法進(jìn)行測(cè)試,測(cè)試結(jié)果如圖3所示,其目的是展示本文算法各處理環(huán)節(jié)的作用。圖3(a)所示SAR圖像主要包含了兩條不同等級(jí)的道路:一條為主干道,斜向貫穿圖像上下;另一條為支路,位于圖像左下方。這兩條道路寬窄程度不同,且靠下的支路存在岔路和較多的彎曲走向,給道路提取增加了一定難度。

圖3(b)～圖3(f)逐級(jí)展示了本文方法由粗漸精的提取結(jié)果。從圖3(b)不難看出,采用多尺度Duda提取策略實(shí)現(xiàn)了對(duì)不同寬窄等級(jí)道路的預(yù)期提取,且對(duì)于彎曲程度較大的支路提取效果也較理想。然而,道路提取同時(shí)也混入了大量的虛警;而尺度濾波和形態(tài)濾波則較好地濾除了非道路目標(biāo)的點(diǎn)狀、塊狀雜波虛警,特別是如圖3(c)和圖3(f)所示的小、大兩級(jí)尺度濾波設(shè)計(jì),極大地剔除了初始提取結(jié)果中的雜波目標(biāo)。最后,道路片段鏈接處理則保證了在大尺度濾波處理前將部分道路片段盡可能地鏈接為一個(gè)整體,防止了其被后續(xù)大尺度濾波處理所濾除。從最終提取結(jié)果來(lái)看,本文方法的道路提取效果較為理想。

為了進(jìn)一步驗(yàn)證本文方法的性能,在上述簡(jiǎn)單場(chǎng)景試驗(yàn)的基礎(chǔ)上,下文選用復(fù)雜程度較高的SAR城區(qū)道路圖像進(jìn)行試驗(yàn)。

圖4首先給出的是針對(duì)該復(fù)雜場(chǎng)景的算法消融試驗(yàn)結(jié)果,用于進(jìn)一步闡明本方法層進(jìn)式處理的作用。其中,圖4(b)為SAR圖像道路的參考圖,圖4(c)～圖4(e)分別為形態(tài)濾波消融結(jié)果、片段鏈接消融結(jié)果和完整算法提取結(jié)果。通過(guò)對(duì)比不難看出,形態(tài)濾波和片段鏈接處理環(huán)節(jié)的設(shè)置起到了明顯提升道路提取性能的作用。具體表現(xiàn)在:①在圖4(c)所示紅框區(qū)域內(nèi),因SAR圖像中成片建筑所導(dǎo)致的片狀提取虛警在圖4(e)的結(jié)果中被形態(tài)濾波處理有效地剔除了。②在圖4(d)所示紅框區(qū)域內(nèi),道路提取的斷裂和缺失在圖4(e)結(jié)果中被片段鏈接處理較好地進(jìn)行了銜接和彌補(bǔ)。此外,通過(guò)對(duì)圖4(d)和圖4(e)的進(jìn)一步比較還可以發(fā)現(xiàn),片段鏈接處理還起到了對(duì)所提取的道路的平滑作用,使得提取的道路更加平滑、流暢。

圖4 SAR城區(qū)道路消融試驗(yàn)Fig.4 Ablation results of SAR urban road

為了進(jìn)一步檢驗(yàn)本文算法性能,本文還選用兩類不同算法進(jìn)行了性能對(duì)比試驗(yàn)。其中,一類是近年報(bào)道的具有多類窗口處理的傳統(tǒng)算法——加權(quán)局部熵(the weighted local entropy, WLE)算法[26];另一類是當(dāng)前在圖像處理領(lǐng)域較熱的深度學(xué)習(xí)方法,本文從中選取了兩種近年來(lái)在圖像分割領(lǐng)域廣泛使用且表現(xiàn)優(yōu)秀的算法模型:Mask區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(mask region convolutional neural network, Mask R-CNN)和U-Net,算法詳見(jiàn)文獻(xiàn)[27-30]。為了支撐深度學(xué)習(xí)算法試驗(yàn),本文采用150余幅機(jī)載和星載SAR道路圖像構(gòu)建了算法訓(xùn)練樣本集。其中,SAR道路類型涵蓋了城鄉(xiāng)多種道路類型。

圖5所示是本文方法與深度學(xué)習(xí)方法Mask R-CNN、U-Net以及傳統(tǒng)WLE算法的結(jié)果對(duì)比。其中,圖5(a)和圖5(b)分別為深度學(xué)習(xí)方法檢測(cè)結(jié)果,圖5(c)和圖5(d)分別為傳統(tǒng)WLE算法和本文方法的提取結(jié)果。首先,通過(guò)宏觀對(duì)比不難看出,在虛警抑制方面,基于深度學(xué)習(xí)方法的提取結(jié)果虛警少,而基于傳統(tǒng)算法的提取結(jié)果虛警多。但是,在道路提取方面,基于深度學(xué)習(xí)的方法對(duì)對(duì)比度相對(duì)較弱的道路區(qū)域提取效果差,特別是同本文方法相比,其漏掉了較多對(duì)比度偏弱的道路片段。整體而言,本文算法提取效果較好,主要的城區(qū)道路基本都被檢測(cè)了出來(lái)。此外,就傳統(tǒng)算法對(duì)比而言,不論是從道路提取的完整性和連續(xù)性,或是從虛警抑制方面而言,本文方法提取的結(jié)果均比WLE算法在有明顯提升。

為了定量對(duì)比上述各算法的提取性能,本文以目前SAR道路提取研究中廣泛運(yùn)用的提取率、正確率和提取品質(zhì)[16-17]作為性能評(píng)判指標(biāo),各評(píng)判指標(biāo)的計(jì)算公式如下所示:

Pd=Nt/Ng

(6)

Pc=Nt/Nd

(7)

Q=Nt/(Ng+Nd-Nt)

(8)

式中:Pd、Pc和Q分別表示道路提取率、正確率和提取品質(zhì);Ng、Nt和Nd分別代表實(shí)際的、正確提取的和全部提取的(含虛警)道路目標(biāo)。

表1所列為各算法的提取性能結(jié)果。從結(jié)果來(lái)看,由于深度學(xué)習(xí)算法提取的虛警極少,反映在正確率上,具有明顯較高的提取正確率。但是,在道路提取率方面,本文算法與其他算法相比,具有較為明顯的優(yōu)勢(shì)。最后,從綜合的提取品質(zhì)上看,本文算法的綜合提取性能最好,其性能較深度學(xué)習(xí)方法略有提高,但與傳統(tǒng)的WLE算法相比,則有極大提升。

表1 道路提取性能對(duì)比Table 1 Performance comparison of road extraction

此外,在計(jì)算效率方面,針對(duì)圖5所示440×472像素大小的SAR圖像,本文算法與WLE算法由于采用類似的傳統(tǒng)構(gòu)架,在計(jì)算耗時(shí)方面兩者相差不大。其中,本文耗時(shí)為0.083 s。與之相比,基于深度學(xué)習(xí)的算法則耗時(shí)極為明顯,在同樣的I7處理器硬件環(huán)境下,Mask R-CNN算法和U-Net算法的計(jì)算耗時(shí)分別高達(dá)1.7 s和1.5 s,而在引入GEFORCE RTX 1080ti(11 GB)GPU顯卡加速之后,耗時(shí)才得以明顯下降,分別達(dá)到本文算法同等量級(jí)的0.092 s和0.074 s。

綜上所述,本文算法在城區(qū)復(fù)雜道路提取試驗(yàn)中表現(xiàn)優(yōu)異。通過(guò)分析,其原因大致如下:一是多尺度提取策略最大化地保證了不同等級(jí)道路的有效提取,有力地保障了道路目標(biāo)的高提取率;二是層進(jìn)式濾波處理設(shè)計(jì)遞進(jìn)式地剔除了多尺度提取帶來(lái)的雜波虛警,盡可能地避免了對(duì)真實(shí)道路的誤消除,較好地保持了目標(biāo)提取的正確率。

3 結(jié) 論

道路是SAR監(jiān)測(cè)應(yīng)用中較為重要的目標(biāo)之一,隨著高分辨率SAR技術(shù)以及計(jì)算機(jī)數(shù)字圖像處理技術(shù)的快速發(fā)展,基于計(jì)算機(jī)自動(dòng)處理的SAR道路檢測(cè)已經(jīng)引起了研究人員的足夠重視。盡管國(guó)內(nèi)外相關(guān)領(lǐng)域的研究人員已經(jīng)投入了大量的工作,但精確的SAR道路檢測(cè)仍然是一個(gè)巨大的挑戰(zhàn)。

本文從多尺度分析的角度出發(fā),基于Duda檢測(cè)算子,提出了一種基于多尺度檢測(cè)結(jié)合形態(tài)學(xué)處理的由粗漸精的層進(jìn)式SAR道路提取方法。該方法首先采用Duda算子對(duì)SAR圖像中的道路目標(biāo)進(jìn)行多尺度檢測(cè),在提升不同等級(jí)道路檢測(cè)幾率的同時(shí),可以降低道路檢測(cè)的片段化程度。在此基礎(chǔ)上,采用尺度濾波和形態(tài)學(xué)處理方法,對(duì)由多尺度提取引入的雜波干擾目標(biāo)進(jìn)行剔除,并對(duì)潛在的道路片段進(jìn)行鏈接,最終得到連續(xù)、完整的道路提取結(jié)果。通過(guò)實(shí)際的SAR圖像驗(yàn)證,本文方法可以較為準(zhǔn)確地從SAR圖像中檢測(cè)出不同寬度等級(jí)的道路目標(biāo)。