梅 超，曹 凱，王 杰，李亞偉

(山東理工大學(xué) 交通與車輛工程學(xué)院，山東 淄博 255049)

基于航拍圖像的道路提取算法

梅 超，曹 凱，王 杰，李亞偉

(山東理工大學(xué) 交通與車輛工程學(xué)院，山東 淄博 255049)

針對(duì)航拍圖像中的檢測道路問題，提出了一種多方法融合的道路提取算法.該算法根據(jù)建立的顏色模型，應(yīng)用圖像分析技術(shù)分析道路的連接特性和寬度特征.運(yùn)用Hough變換提取圖像中道路像素，使用交集處理方法去除圖像中的噪聲.通過道路陰影顏色分析，噪聲分類處理以及道路修復(fù)等技術(shù)，快速高效地從復(fù)雜的航拍圖像中提取出道路.實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的道路檢測方法相比，該算法具有檢測準(zhǔn)確、效率高等優(yōu)點(diǎn).

道路提取；Hough變換；圖像去噪；航拍圖像

近年來，繼航空遙感之后，采用無人機(jī)檢測已成為道路交通監(jiān)測研究熱點(diǎn).無人機(jī)航拍與遙感相比有下幾個(gè)方面的特殊性和優(yōu)勢：航拍可以快速靈活地獲取現(xiàn)場信息；航拍圖像分辨率更高，依據(jù)相機(jī)不同可達(dá)到米級(jí)、厘米級(jí)；航拍圖像以可見光為主，波段較少，色彩比較逼真.此外，與遙感圖像相比，航拍圖像受環(huán)境影響較小，適用于追蹤復(fù)雜環(huán)境中的目標(biāo).由于遙感數(shù)據(jù)量巨大，給數(shù)據(jù)的存儲(chǔ)、處理和應(yīng)用帶來較多困難.而無人機(jī)可針對(duì)感興趣的局部環(huán)境進(jìn)行航拍，避免了常規(guī)調(diào)查的盲目性和無效工作，因而數(shù)據(jù)量小，易于存儲(chǔ)和處理，且圖像穩(wěn)定，精度較高.所以適合利用無人機(jī)航拍技術(shù)進(jìn)行交通監(jiān)控.

對(duì)航拍圖像道路提取已有許多研究：Gruen A,Li H等提出了利用動(dòng)態(tài)規(guī)劃的最小二乘B樣條模型算法提取圖像中道路目標(biāo)[1]；Baumgartner A,C.Steger, H.Mayer.利用道路中上下文關(guān)聯(lián)特征進(jìn)行道路提取[2],但是需要獲取多種分辨率的遙感圖像,實(shí)用性不強(qiáng)；Peter D 采用聚類的方法對(duì)已分割的圖像中的道路中心線進(jìn)行提取[3],但是對(duì)圖像分割的精度要求很高也沒有充分利用道路的特征；結(jié)合光譜特征與形狀特征利用數(shù)學(xué)形態(tài)學(xué)的方法提取道路[4],此類方法主要還有 snake 模型、高階主動(dòng)輪廓、基于數(shù)學(xué)形態(tài)學(xué)、模板匹配等；也有學(xué)者利用近些年來提出的面向?qū)ο蠓诸惙椒▉硖崛〉缆穂5-6].為了提取空間目標(biāo)的運(yùn)動(dòng)和結(jié)構(gòu)信息，SHI W Z鄧提出了基于光流預(yù)測的空間目標(biāo)序列的線段匹配方法[7]；傅罡等提出了曲折道路遙感影像圓投影匹配改進(jìn)追蹤法[8].上述方法各有利弊,但都無法很好地解決從航拍圖像中提取道路的問題.

大多數(shù)道路提取方法都基于高質(zhì)量的圖像信息，即圖像含有的噪聲越少提取的道路信息越完整.本文針對(duì)小型無人航拍圖像中道路檢測容易受到建筑物、道路陰影以及其他噪聲的干擾，提出了一種快速提取道路的算法.

1 道路特征分析

道路系統(tǒng)是一個(gè)非常復(fù)雜的系統(tǒng).它既沒有固定的形狀，也沒有統(tǒng)一的顏色.唯一重要的特點(diǎn)是連接特性和寬度特征.

航拍圖像中的道路易受到非道路因素的干擾，可以把干擾分為3種類型：

(1)房屋屋頂.它主要分為兩種:小型建筑屋頂和大型建筑屋頂.，因?yàn)槲蓓旑伾煌孕⌒徒ㄖ蓓敽苋菀着c道路區(qū)分.由于光的反射，屋頂和道路有著相似的光譜特性，所以在二進(jìn)制圖像中屋頂就變成了噪聲.多數(shù)大型建筑的屋頂與道路采用了相同的建筑材料，它們具有相同的光譜特性，導(dǎo)致了在二進(jìn)制圖像中產(chǎn)生了大的噪聲.

(2)與道路連通的開放區(qū)域，如小型停車場，籃球場等.因?yàn)楣庾V特性相同，所以在二進(jìn)制圖像中很難與道路區(qū)分.然而，由于開放區(qū)域的面積大于道路，利用面積特性可以有效去除噪聲.

(3)道路上的噪聲干擾，比如陰影和車輛.這種噪聲直接影響路面，它影響道路的兩個(gè)重要特征(寬度特征和連通特征).尤其是公路旁的樹木遮擋以及建筑的陰影將嚴(yán)重影響道路的寬度特征，有時(shí)甚至破壞道路的連通性.

2 道路提取方法

2.1 獲取道路閾值

霍夫直線檢測作為直線提取的經(jīng)典算法，被廣泛應(yīng)用于直線檢測領(lǐng)域.霍夫變換基于以下思想：對(duì)于點(diǎn)(xi,yi)，直線方程yi=axi+b可以描述所有通過該點(diǎn)的直線.若改寫該式為b=-xia+yi，并考慮參數(shù)平面ab平面，此時(shí)對(duì)每一個(gè)固定點(diǎn)(xi,yi)唯一確定一條直線，稱作直線l1.同理，另一點(diǎn)(xj,yj)在參數(shù)平面上也可以確定一條與之相關(guān)的直線l2，l1與l2相交于點(diǎn)(a',b')，其中a'和b'分別是xy平面上包含點(diǎn)(xi,yi)和點(diǎn)(xj,yj)的直線的斜率和截距.事實(shí)上，直線l1上的所有點(diǎn)都可以確定一條直線，這些直線在參數(shù)空間都經(jīng)過點(diǎn)(a',b').這種關(guān)系如圖所示.根據(jù)這樣的特點(diǎn)，xy平面上的一個(gè)像素點(diǎn)映射到ab平面上就成為了一條直線.

霍夫變換利用圖像空間中線與霍夫參數(shù)空間中點(diǎn)的對(duì)應(yīng)性，用參數(shù)空間實(shí)現(xiàn)圖像空間中直線的檢測，通過在霍夫參數(shù)空間中完成簡單的累加統(tǒng)計(jì)并尋找累加峰值的方法，來達(dá)到直線檢測的目的.其實(shí)質(zhì)是將圖像空間中具有某種相關(guān)性的像素進(jìn)行聚類，然后再想辦法找到一種解析形式將這些像素聯(lián)系起來的參數(shù)空間累計(jì)對(duì)應(yīng)點(diǎn).

(a)xy平面映射關(guān)系 (b)ab平面映射關(guān)系圖1 參數(shù)平面映射關(guān)系Fig.1 The parameter plane mapping relationship

在航拍圖片中， 受許多外界因素影響如光照強(qiáng)度、能見度等，每張圖片的道路顏色均不同，因此根據(jù)不同圖像調(diào)整參數(shù).為了提前獲取道路參數(shù)，首先需要計(jì)算道路顏色的平均值，然后把這個(gè)平均數(shù)傳輸給主程序作為分割閾值.原始圖像是一個(gè)未知的圖像，很難找出道路顏色的平均值.因此，隨機(jī)選擇一些道路圖像作為樣本，計(jì)算道路顏色平均值.

首先，選取一個(gè)較小閾值，把樣本圖像轉(zhuǎn)換成二進(jìn)制圖像.利用Hough變換方法提取圖像中直線.選取的直線要大于等于150個(gè)像素并且道路不能有破損.通過使用霍夫變換可以找出3條直線，并且滿足上述條件.記錄下二值圖像中這三條直線的坐標(biāo)位置，然后在樣本圖像中找到這三條直線對(duì)應(yīng)的坐標(biāo)位置，計(jì)算出這些點(diǎn)的平均值，并把計(jì)算的平均值作為提取道路主程序的閾值.

2.2 圖像預(yù)處理

在二值圖像中道路區(qū)域受到了大量噪聲干擾，許多建筑屋頂經(jīng)過二值化處理后和道路顏色一樣，因?yàn)槭艿疥幱暗挠绊?，道路圖像變得支離破碎.所以圖像預(yù)處理顯得尤為重要，圖像預(yù)處理的好壞直接影響到后面的實(shí)驗(yàn)結(jié)果，要盡可能去掉噪聲并保留道路信息.但并非去掉的噪聲越多越好，因?yàn)樵肼曋邪S多有用信息并且程序是不可逆轉(zhuǎn)的，一旦去除了過多的噪聲，在后面的道路修復(fù)中就變的非常困難.

僅僅通過二值化方法很難獲得完整的道路區(qū)域，還需解決去除由建筑屋頂產(chǎn)生的噪聲和修復(fù)破損的道路兩個(gè)問題：

在二進(jìn)制圖像中建筑屋頂是一個(gè)比較大的噪聲，但是在彩色圖像中它們和道路顏色并不相同.

在彩色圖像中，有三個(gè)顏色通道：紅色、綠色和藍(lán)色，每個(gè)通道值的范圍是0 ～ 255.當(dāng)這三個(gè)顏色值接近時(shí)會(huì)成為灰色圖像，例如RGB(20，21，22)、RGB(134，130，136).取一個(gè)閾值來比較這三個(gè)通道的值，如果差異小，在灰度圖像中該像素標(biāo)記為灰色，在二進(jìn)制圖像中標(biāo)記為白色；否則，在灰度級(jí)別中該像素標(biāo)記為彩色，在二值圖像中標(biāo)記為黑色.灰度圖像和二值圖像取并集去除由建筑屋頂產(chǎn)生的噪聲.

由于陰影面積很大，道路被嚴(yán)重破壞，很難判斷這是不是一條道路.本文給出了解決這一問題的一個(gè)簡單方法.道路上陰影的顏色并不是用肉眼看到的黑色或灰色，實(shí)際上他們是藍(lán)色.所以在RGB圖像中陰影在藍(lán)色通道的數(shù)值略高于其他兩個(gè)渠道20到40左右.

圖2 RGB空間中B分量中的影子圖像Fig.2 The shadow image in the B component of RGB space

在RGB空間中提取出B分量，并根據(jù)B分量顏色直方圖選取合適的閾值，由B分量顏色直方圖可知當(dāng)取峰值(Fmax=76)時(shí)效果最好.在二值圖像中的B分量(影子圖像)中很容易區(qū)分出了含有陰影的部分.因此，設(shè)定一個(gè)閾值，當(dāng)陽光強(qiáng)烈、陰影明顯時(shí)可以通過此步操作完善道路，反之則跳過此步.灰度圖像和二值圖像做交集后的圖像與影子圖像合并，得到道路輪廓圖像.

2.3 去噪處理

經(jīng)過預(yù)處理后的圖像包含的噪聲可以分為三類：

1) 小噪聲 其特點(diǎn)是噪聲像素點(diǎn)的個(gè)數(shù)小于50個(gè)并且與道路像素點(diǎn)斷開，通常由突出的物體或樹葉及其它物體反射而成.

2) 較大噪聲 其特點(diǎn)是噪聲像素點(diǎn)的個(gè)數(shù)大于50個(gè)并且與道路像素點(diǎn)斷開，通常由小型或中型屋頂反光而成.

3) 大噪聲 其特點(diǎn)是與道路像素點(diǎn)連通，通常由一些空曠的開闊區(qū)域或小型停車場組成.

對(duì)于第一種噪聲，計(jì)算出噪聲點(diǎn)像素的個(gè)數(shù)，如果像素個(gè)數(shù)小于50，利用像素點(diǎn)個(gè)數(shù)的特征直接刪除掉.

絕大多數(shù)道路都成長條狀，房屋屋頂?shù)男螤铑愃朴诰匦?對(duì)于同等面積的長條型和矩形，長條形的周長要長得多.所以，用周長與面積的比值(LS值)來區(qū)分第二種噪聲與破損的路段.實(shí)驗(yàn)結(jié)果表明當(dāng)LS值取0.056時(shí)可以有效的去除類似矩形(屋頂)的噪聲，當(dāng)LS值小于0.056時(shí)該區(qū)域?yàn)樵肼?ZS)，當(dāng)LS值大于等于0.056時(shí)該區(qū)域?yàn)榈缆?DL).

(1)

第三類噪聲特點(diǎn)是噪聲與道路連通，利用道路的寬度特性來去除噪聲.判斷這類噪聲是否滿足道路寬度特性.計(jì)算每一個(gè)像素點(diǎn)到邊緣的長度判斷這個(gè)像素點(diǎn)是否在道路里面.

取射線長度分別為40、50、60、70、80、90，以及取10個(gè)、20個(gè)、40個(gè)和80個(gè)方向(360度均分).實(shí)驗(yàn)結(jié)果表明，當(dāng)射線長度取70個(gè)像素、取40個(gè)方向時(shí)實(shí)驗(yàn)效果最好，在所有射線中，最短的射線是道路的寬度，最長的射線則是我們所取道路的長度.把最短射線長度Lmin與最長射線長度Lmax的比值B作為判斷該像素點(diǎn)是否在道路上的標(biāo)準(zhǔn)，B的值非常小，當(dāng)像素點(diǎn)在道路上時(shí)它的比值應(yīng)該很接近于標(biāo)準(zhǔn)值B，否則就不在道路上.

B=Lmin/Lmax

(2)

(3)

式中:1表示在道路上;0表示不在道路上;Bij表示某一點(diǎn)最短射線長度與最長射線長度比值.

2.4 修復(fù)道路

經(jīng)過上文處理后的圖像可以發(fā)現(xiàn)道路是不完整的，由于樹木遮擋或拍攝角度等問題，導(dǎo)致部分路段被遮擋.

在此步操的主要目的是修復(fù)破損的道路.其基本原理是根據(jù)道路的連通特性檢測間斷點(diǎn).算法中設(shè)計(jì)了一條長度為70個(gè)像素的射線，并選取40個(gè)不同方向(360度均分)，利用射線尋找含有大量白色像素的像素點(diǎn).如果某一條射線含有的白色像素點(diǎn)多余40個(gè)，就判斷為道路間斷點(diǎn)，用白色覆蓋該點(diǎn).如果該射線含有的白色像素點(diǎn)少于30個(gè)，那么就判斷這不是道路上的像素點(diǎn)，用黑色覆蓋該點(diǎn).

(4)

式(4)中1為道路上的像素點(diǎn)，并用白色像素覆蓋，0為道路上的像素點(diǎn)，Number_white(pij)為某一點(diǎn)發(fā)出的射線所含白色像素的個(gè)數(shù).

根據(jù)上述描述，航拍圖像道路提取可以簡要概括為以下8個(gè)步驟.

Step 1 輸入原始道路航拍圖f1(x,y)

Step 2 用Hough變換得到航拍圖像道路像素平均值MeanVale，并作為分割閾值得到二值圖像f2(x,y).

Step 3 由于帶顏色建筑屋頂在二值圖像f2(x,y)和灰度圖像f3(x,y)中表達(dá)方式不同，通過f2(x,y)∩f3(x,y)操作，可以有效去除屋頂噪聲，去噪后圖像為f4(x,y).

Step 4 在RGB圖像中陰影在藍(lán)色通道的數(shù)值略高于其他兩個(gè)渠道20到40度左右，取B分量顏色直方圖峰值作為閾值Fmax，得到影子圖像f5(x,y)，通過f4(x,y)∪f5(x,y)操作去除道路陰影，去除陰影后圖像為f6(x,y).

Step 5 判斷噪聲大小，并根據(jù)上文三種不同的去噪方法得到去噪后圖像f7(x,y).

Step 6 根據(jù)某一像素點(diǎn)發(fā)出射線中白色像素點(diǎn)的個(gè)數(shù)Number_white(pij)，得到修復(fù)后的圖像f8(x,y).

Step 7 輸出提取道路后的圖像f8(x,y).

Step 8 重復(fù)Step 3～Step 7.

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)圖像為DJI多旋翼無人機(jī)拍攝，圖像大小為1024×681，如圖3所示.

圖3 航拍原始圖像Fig.3 The original image

根據(jù)實(shí)驗(yàn)樣本得到的分割閾值把原始圖像轉(zhuǎn)換為二值圖像，由于與道路顏色不同的建筑屋頂在二值圖像中和灰度圖像中的表現(xiàn)形式不同，二者做交集運(yùn)算可以有效去除彩色噪聲，把得到的二值圖像再與影子圖像做并集運(yùn)算，可以有效的填補(bǔ)由于樹木陰影等產(chǎn)生的空洞，如圖4所示.

在圖4的基礎(chǔ)上進(jìn)行去噪處理以及道路修復(fù)，實(shí)驗(yàn)結(jié)果如下圖5.

由圖5中可以看出，經(jīng)過上述4步處理成功的從航拍圖像中提取了道路，圖像中的大小噪聲以及陰影完全被去除，雖然道路網(wǎng)有部分殘缺，但根據(jù)文獻(xiàn)[11]給出的提取道路準(zhǔn)確度的定義“準(zhǔn)確度=正確提取的道路長度/道路總長度×100%”，本文算法提取道路的準(zhǔn)確度為93.1%.

4 結(jié)束語

本文提出了一種多方法融合的航拍圖像道路提取算法.該算法利用Hough變換提取道路閾值，在此基礎(chǔ)上結(jié)合多種去噪方法，有效的去除了道路陰影和各種噪聲并修復(fù)了破損的道路，成功的從航拍圖像中提取出了道路.實(shí)驗(yàn)表明，在復(fù)雜的道路環(huán)境中，該算法能有效的去除各種非道路信息.但從實(shí)驗(yàn)結(jié)果中可以看出，在道路修復(fù)環(huán)節(jié)中，無法有效的修復(fù)彎曲道路，該算法還需進(jìn)一步改善.

圖4 去除道路陰影后的二值圖像Fig.4 Remove the binary image after the road shadow

圖5 道路檢測圖像Fig.5 Road detection image

[1]GRUEN A, LI H. Semi- automatic linear feature extraction by dynamic programming and LSB-snakes[J].Photogrammetric Engineering and Remote Sensing, 1997, 63(8):985-995.

[2]BAUMGARTNER A,STEGER C,MAYER H. Automatic road extraction based on multi-scale, grouping, and context[J].Photogrammetric Engineering and Remote Sensing, 1999,65(7):777-785.

[3] PETER D, PEGGY A.Self-organised clustering for road extraction in classified imagery[J]. Journal of Photogrammetry and Remote Sensing, 2001(55):347-358 .

[4]羅慶洲,尹球,匡定波.光譜與形狀特征相結(jié)合的道路提取方法研究[J].遙感技術(shù)與應(yīng)用, 2007,22(2):339-344.

[5]唐偉,趙書河,王培法.面向?qū)ο蟮母呖臻g分辨率遙感影像道路信息的提取[J].地球信息科學(xué), 2008,10(2):257-262.

[6]胡進(jìn)剛,張曉東,沈欣,等.一種面向?qū)ο蟮母叻直媛视跋竦缆诽崛》椒╗J].遙感技術(shù)與應(yīng)用, 2006,21(3):184-188.

[7]SHI W Z,ZHU C Q. The line segment match for extracting road network from high resolution satellite images [J]．IEEE Transaction on Geoscience an Remote Sensing,2002,40(2):511-514.

[8]傅罡,趙紅蕊,李聰,等. 曲折道路遙感影像圓投影匹配改進(jìn)追蹤法[J].測繪學(xué)報(bào),2014,43(7):724-730.

Aroadextractionmethodbasedontheaerialimage

MEI Chao， CAO Kai， WANG Jie， LI Ya-wei

(School of Transportation and Vehicle Engineering，Shandong University of Technology，Zibo 255049，China)

In order to detect the roads in the aerial images more accurately， a road extraction algorithm composed by several methods was proposed. First， an image analysis technology was used to analyze the connectivity feature and width feature of the road based on a color model. Then， the road pixels were extracted through the method of Hough transform. Next， the intersection processing method was used to eliminate the noise in the image. At last， the road was extracted from the complex aerial images through the road shadow color analysis， noise classification processing and road renovation technology quickly and efficiently. The experimental results show that the algorithm is more accurate and efficient compared with the existing road detection methods.

road extraction；Hough transform；eliminate noise; aerial image

2016-11-07

國家自然科學(xué)基金項(xiàng)目(61573009)

梅超，男，862895655@qq.com；

曹凱，男，caokailiu@sdut.edu.cn

1672-6197(2018)01-0005-05

TP391

A

(編輯：劉寶江)