卷積神經(jīng)網(wǎng)絡(luò)下的高分二號衛(wèi)星影像道路提?、?/h1>
2020-11-24 05:46:26李冬偉趙澤賓張倩倩
計算機(jī)系統(tǒng)應(yīng)用 2020年11期
孫 卓,李冬偉,趙澤賓,張倩倩
(中國礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院,北京 100083)
隨著我國遙感衛(wèi)星的更新?lián)Q代,國內(nèi)高分辨率遙感衛(wèi)星影像星下點(diǎn)分辨率已經(jīng)達(dá)到亞米級別,能夠識別更為精準(zhǔn)的路況信息.但是目前地理信息庫中的道路更新問題大多數(shù)仍然采用費(fèi)時費(fèi)力的人工更新方式,而利用遙感影像數(shù)據(jù)實(shí)現(xiàn)道路識別的結(jié)果越來越精確,有逐漸代替人工更新的趨勢[1,2].
目前對遙感影像道路提取多采用傳統(tǒng)方式,如模
板匹配法[3-6],特定模型法[7-10],多源數(shù)據(jù)法[11,12]等.這些方法對低級別道路的提取效果很難達(dá)到生產(chǎn)的要求.在各類遙感影像道路提取方法中,基于深度學(xué)習(xí)領(lǐng)域的高分辨率遙感衛(wèi)星道路提取方法能夠應(yīng)對各種復(fù)雜的遙感影像成像情況,具有十分廣闊的發(fā)展前景.近年來,基于深度學(xué)習(xí)的圖像分割鄰域不斷涌現(xiàn)出優(yōu)秀的算法結(jié)構(gòu),Long 等[13]提出使用全卷積神經(jīng)網(wǎng)絡(luò)解決圖像語義分割問題,U-Net[14]網(wǎng)絡(luò)用于解決小樣本簡單圖像的分割問題,Seg Net[15]網(wǎng)絡(luò)解決多次池化造成位置信息丟失的問題,Deep Lab[16,17]系列網(wǎng)絡(luò)通過組合各網(wǎng)絡(luò)優(yōu)化點(diǎn)有效提高語義分割精確度等,為神經(jīng)網(wǎng)絡(luò)在高分辨率遙感衛(wèi)星道路提取方面的應(yīng)用打下基礎(chǔ).
在遙感衛(wèi)星影像道路的提取上,國內(nèi)外研究人員對基于深度學(xué)習(xí)的圖像語義分割算法已經(jīng)有了深入研究,Mnih 和Hinton[18]提出了一種采用受限玻爾茲曼機(jī)從高分辨率航拍圖像中探測道路區(qū)域的方法.為了獲得更好的結(jié)果,采用預(yù)處理以減少輸入數(shù)據(jù)的維度,采用后處理用于去除斷開的斑點(diǎn)并填充在道路中的缺孔中.Saito 等[19]采用卷積神經(jīng)網(wǎng)絡(luò)直接從原始遙感圖像中提取建筑物和道路.這種方法比特定道路數(shù)據(jù)集中的Mnih 和 Hinton 方法[18]獲得了更好的結(jié)果.Cheng等[20]使用兩級編碼-解碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)同時完成道路檢測和道路中心線提取任務(wù),他同時測試了多種神經(jīng)網(wǎng)絡(luò)的提取效果,取得了優(yōu)秀的綜合性能.Zhang 等[21]提出使用殘差單元結(jié)合U-Net 網(wǎng)絡(luò)提取道路影像,得到了較為良好的遙感衛(wèi)星影像道路提取效果.
由于高分遙感影像標(biāo)簽數(shù)據(jù)集難以獲取且手工制作成本較高,本文以部分高分二號衛(wèi)星遙感影像瓦片為樣本,借鑒殘差網(wǎng)絡(luò)加深網(wǎng)絡(luò)層次的思想,以在小樣本數(shù)據(jù)集上表現(xiàn)良好的U-Net 網(wǎng)絡(luò)為基礎(chǔ),結(jié)合殘差單元改善高分遙感衛(wèi)星道路提取效果.
1 算法基本原理
1.1 U-Net
U-Net 網(wǎng)絡(luò)由全卷積神經(jīng)網(wǎng)絡(luò)發(fā)展而來,詳細(xì)網(wǎng)絡(luò)特征見圖1.U-Net 網(wǎng)絡(luò)分為上采樣和下采樣兩部分,是典型的編碼-解碼結(jié)構(gòu),下采樣通過卷積和池化操作提取圖像特征信息,上采樣則通過恢復(fù)細(xì)節(jié)特征和填充空白信息得到邊緣分割圖.它繼承了全卷積神經(jīng)網(wǎng)絡(luò)的簡潔、通用的優(yōu)點(diǎn),同時優(yōu)化了上采樣網(wǎng)絡(luò)流程,改變了跳躍連接的方式,采用維度拼接的方式增加了圖像信息的“厚度”,使得卷積核在同樣的圖層上有了更多的選擇,優(yōu)化邊緣分割的效果.
1.2 殘差單元
通過在神經(jīng)網(wǎng)絡(luò)中疊加卷積、池化等操作能夠得到更加深層的網(wǎng)絡(luò),深層網(wǎng)絡(luò)能夠整合低、中、高不同層次的輸入特征,通過更深的網(wǎng)絡(luò)提取更為豐富的特征,這是由于將神經(jīng)網(wǎng)絡(luò)后面若干層作為恒等映射,這一網(wǎng)絡(luò)將等同于一個淺層網(wǎng)絡(luò).但是隨著層次的加深,神經(jīng)網(wǎng)絡(luò)會產(chǎn)生梯度消失、梯度爆炸、和網(wǎng)絡(luò)退化等問題,嚴(yán)重影響網(wǎng)絡(luò)訓(xùn)練和測試的效果.通過輸入數(shù)據(jù)的初始化和神經(jīng)網(wǎng)絡(luò)正則化層能夠?qū)崿F(xiàn)幾十層以內(nèi)的網(wǎng)絡(luò)的收斂,繼續(xù)增加網(wǎng)絡(luò)層數(shù),仍然存在梯度消失或爆炸的問題,即前若干層網(wǎng)絡(luò)權(quán)值參數(shù)更新停滯或過大導(dǎo)致后面的網(wǎng)絡(luò)層不再起作用.He 等[22]通過對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)深入研究之后發(fā)現(xiàn),傳統(tǒng)神經(jīng)網(wǎng)絡(luò)架構(gòu)層次越深訓(xùn)練集上效果不一定越好,隨著網(wǎng)絡(luò)層次的加深,訓(xùn)練變得越來越困難,網(wǎng)絡(luò)參數(shù)無法再得到優(yōu)化,訓(xùn)練效果反而不如淺層網(wǎng)絡(luò),即產(chǎn)生了網(wǎng)絡(luò)退化問題.而使用殘差網(wǎng)絡(luò)能夠有效改善這一問題.
圖1 U-Net 神經(jīng)網(wǎng)絡(luò)架構(gòu)
常規(guī)卷積單元和殘差單元見圖2.其中,線性激活采用ReLU 函數(shù),加操作使用Addition 函數(shù).x作為輸入,F(x)為輸入x經(jīng)過卷積操作之后的輸出.在殘差網(wǎng)絡(luò)結(jié)構(gòu)中,通過捷徑連接的方式將輸入x與原輸出F(x) 相加作為新的輸出H(x),即H(x)=F(x)+x,當(dāng)F(x)=0 時,H(x)=x,該卷積層輸入等于輸出,形成恒等映射,則該卷積層只具有完整傳遞信息的作用,增加網(wǎng)絡(luò)深度的同時,誤差不會增加.由于F(x)=H(x)-x,網(wǎng)絡(luò)學(xué)習(xí)F(x)相當(dāng)于學(xué)習(xí)輸入和輸出的差值.
1.3 本文神經(jīng)網(wǎng)絡(luò)架構(gòu)
Zhang 等[21]提出了加入殘差模塊的方法,其提出的神經(jīng)網(wǎng)絡(luò)架構(gòu)總共有7 個殘差模塊,分為3 個下采樣、3 個上采樣和1 個橋連接.該網(wǎng)絡(luò)架構(gòu)由于網(wǎng)絡(luò)深度不足,殘差單元對于圖像細(xì)節(jié)補(bǔ)充作用難以顯現(xiàn),而殘差結(jié)構(gòu)增加了冗余信息的傳遞,阻礙了對道路細(xì)節(jié)的提取,提取效果不理想.通過增加深度,使用隨機(jī)失活(dropout),調(diào)整網(wǎng)絡(luò)結(jié)構(gòu),本文提出一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu),見圖3.
圖2 兩種結(jié)構(gòu)對比
圖3(a)為本文殘差單元的基本結(jié)構(gòu),由兩個3×3卷積層和一個從輸入到輸出的恒等映射組成,卷積操作之前加入批量歸一化層(BN) 和ReLU 激活函數(shù).BN 層主要作用是把在網(wǎng)絡(luò)傳遞中逐漸偏移的輸入分布強(qiáng)制拉回到均值為0 方差為1 的比較標(biāo)準(zhǔn)的正態(tài)分布,使得非線性變換函數(shù)的輸入值落入對輸入比較敏感的區(qū)域,以此避免梯度消失問題.將激活函數(shù)放在卷積操作之前,并加入批量歸一化層.經(jīng)He 等研究證明,這一殘差單元結(jié)構(gòu)目前是最優(yōu)的,本文除輸入端的殘差單元有所差異外,其余部分均采用這一結(jié)構(gòu).殘差單元與單元之間卷積核數(shù)量翻倍,具體見表1.
由圖3(b)可見,本文神經(jīng)網(wǎng)絡(luò)算法中共有11 個殘差單元,其中有5 個下采樣層、5 個上采樣層和1 個橋連接層.其中,上采樣層中的上采樣操作由上采樣和一個帶有線性激活函數(shù)的卷積組成,卷積參數(shù)在表1中顯示.由于采用的殘差單元增加,在橋連接層中加入隨機(jī)失活,防止網(wǎng)絡(luò)的過擬合和梯度消失等問題.上采樣使用Upsampling 函數(shù),跳躍連接的方式為級聯(lián),使用Concatenate 函數(shù),將下采樣和上采樣過程中的特征信息結(jié)合在一起,與U-Net 的跳躍連接方式相同.在神經(jīng)網(wǎng)絡(luò)的輸出端采用1×1 的卷積核將最終級聯(lián)的圖像融合,并采用Sigmoid 激活函數(shù)將輸出值限定在0～1之間.
圖3 本文神經(jīng)網(wǎng)絡(luò)架構(gòu)
本文神經(jīng)網(wǎng)絡(luò)架構(gòu)中,通過采用卷積步進(jìn)為2 的方式代替池化層的作用,將圖像尺寸減半[22].同時該網(wǎng)絡(luò)卷積過程中使用了Padding 操作保持卷積過程中的圖像尺寸不變,取代了U-Net 網(wǎng)絡(luò)中的尺寸裁剪操作,可以保持輸入輸出圖像尺寸不變.
表1 本文卷積網(wǎng)絡(luò)層次
1.4 閾值濾波
由神經(jīng)網(wǎng)絡(luò)模型提取出來的圖像像素值在0～1 之間,為提升圖像提取效果,濾除道路提取過程中的部分噪聲.經(jīng)過測試,自定義二值化閾值0.94,當(dāng)像素值小于0.94 時設(shè)為道路像素,當(dāng)像素值大于0.94 時設(shè)為空白像素.
2 遙感圖像提取實(shí)驗(yàn)
2.1 技術(shù)路線
藉由本文提出的網(wǎng)絡(luò)算法模型,本文設(shè)計總的技術(shù)路線見圖4.
神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練樣本訓(xùn)練網(wǎng)絡(luò)權(quán)重參數(shù)實(shí)現(xiàn)對測試數(shù)據(jù)的預(yù)測,假設(shè)有一組樣本(xi,yi),xi為待訓(xùn)練圖像,yi為訓(xùn)練標(biāo)簽,樣本像素預(yù)測值為ai,樣本個數(shù)為N,則通過不斷減少預(yù)測值ai與樣本標(biāo)簽yi的誤差可以實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)重參數(shù)的訓(xùn)練,本文采用二分類交叉熵?fù)p失函數(shù),與U-Net 網(wǎng)絡(luò)相同,為:
本文選用Adam 優(yōu)化器來訓(xùn)練網(wǎng)絡(luò),這是應(yīng)用最為廣泛的優(yōu)化器,訓(xùn)練過程網(wǎng)絡(luò)參數(shù)收斂速度快,收斂效果好.優(yōu)化器初始學(xué)習(xí)率設(shè)為10-5.批處理樣本大小設(shè)置為2,迭代期(epoch)設(shè)置為100.
圖4 本文技術(shù)路線
2.2 實(shí)驗(yàn)樣本和平臺
本次實(shí)驗(yàn)采用重慶及上海地區(qū)部分高分2 號遙感影像作為訓(xùn)練數(shù)據(jù),由于單幅影像數(shù)據(jù)量過大,現(xiàn)有的硬件設(shè)施無法滿足處理?xiàng)l件,故將重慶及上海影像分幅輸出,尺寸定為640×640 像素,采用人工交互的方式制作對應(yīng)標(biāo)簽,共有圖像1017 張,其中訓(xùn)練集圖像912 張,驗(yàn)證集圖像75 張,測試集圖像30 張,訓(xùn)練集,驗(yàn)證集和測試集之間無重復(fù)影像,保證數(shù)據(jù)獨(dú)立性.圖像中包括山川、河流、隧道出入口、道路、大型橋梁、建筑、植被、車輛等對象,具有較強(qiáng)的代表性.本次實(shí)驗(yàn)采用Windows 10 操作系統(tǒng),采用基于Anaconda軟件的Tensorflow-GPU,Python 3.6 開發(fā)環(huán)境.GPU 型號為NVIDIA Quadro P5000,其專用內(nèi)存為16 GB.
2.3 道路提取評價指標(biāo)
目前圖像分割領(lǐng)域評價分割效果的指標(biāo)并不統(tǒng)一,本文除了采用基本的評價指標(biāo)-準(zhǔn)確率外,采用交并比(Intersection over Union,IoU)來作為主要評價指標(biāo).準(zhǔn)確率表示預(yù)測正確的像素占總像素的比例,而交并比表示預(yù)測圖像與標(biāo)簽圖像的像素交集占預(yù)測圖像與標(biāo)簽圖像像素并集的百分比,即預(yù)測圖像與標(biāo)簽圖像兩者的重疊部分的像素占重疊與非重疊部分像素總和的百分比.假設(shè)道路類像素值設(shè)為a,預(yù)測圖像像素值oi和標(biāo)簽圖像像素值yi,則
其中,∩(交集)表示邏輯和操作,∪(并集)表示邏輯或操作.本文通過統(tǒng)計像素i的值求交并比.
2.4 實(shí)驗(yàn)結(jié)果及比較
本文先使用987 張圖片對U-Net 網(wǎng)絡(luò)模型和Res-Unet 網(wǎng)絡(luò)模型和本文模型進(jìn)行訓(xùn)練和驗(yàn)證,之后從樣本庫中抽取不同于訓(xùn)練樣本的30 張遙感影像圖片作為預(yù)測樣本,圖像尺寸同樣為640×640 像素,使用本文訓(xùn)練好的網(wǎng)絡(luò)模型對其進(jìn)行道路提取并評估結(jié)果.之后將分別網(wǎng)絡(luò)模型替換為U-net 網(wǎng)絡(luò)模型和Res-Unet 網(wǎng)絡(luò)模型,訓(xùn)練參數(shù)配置與本文保持一致,使用訓(xùn)練好的模型對預(yù)測樣本進(jìn)行道路提取,經(jīng)過后處理閾值濾波后得到的道路提取效果見圖5.道路提取效果評估指標(biāo)見表2.
圖5 測試集道路提取效果圖
表2 道路提取效果評估指標(biāo)
在圖5中,方框位置各種提取方法提取下的道路圖像存在顯著差異.以道路標(biāo)簽為標(biāo)準(zhǔn),U-net (圖5(c))提取的道路較Res-Unet (圖5(d))和本文方法(圖5(e))出現(xiàn)許多多余的毛刺和非道路線段;Res-Unet 比之Unet 增加了圖像噪聲,使得提取的道路曲線表現(xiàn)粗糙;本文方法比之U-net 和Res-Unet,所提取道路的與標(biāo)簽相似度更高,減少了大量毛刺、非道路線段和噪聲,但也存在道路線形中斷的問題.從表2的實(shí)驗(yàn)數(shù)據(jù)看出,U-net 的準(zhǔn)確率和交并比均優(yōu)于Res-Unet 及本文方法,但由于網(wǎng)絡(luò)參數(shù)的增加,也犧牲了的圖像處理速度.
3 結(jié)論
本文通過對各種基于深度神經(jīng)網(wǎng)絡(luò)的遙感影像道路提取方法進(jìn)行分析和實(shí)驗(yàn),提出深層殘差U-net 網(wǎng)絡(luò),有效提取圖像淺層信息的同時增強(qiáng)殘差單元對圖像細(xì)節(jié)的補(bǔ)充效果,提高了圖像的提取精度.但是本文的方法也存在道路截斷的問題,存在改進(jìn)的空間,怎樣進(jìn)一步增強(qiáng)道路線形特征是下一步研究的重點(diǎn).另外,整景遙感影像分幅會造成所提取道路的不一致性.造成道路錯位或缺失,有待進(jìn)一步的研究解決.
孫 卓,李冬偉,趙澤賓,張倩倩
(中國礦業(yè)大學(xué)(北京) 機(jī)電與信息工程學(xué)院,北京 100083)
隨著我國遙感衛(wèi)星的更新?lián)Q代,國內(nèi)高分辨率遙感衛(wèi)星影像星下點(diǎn)分辨率已經(jīng)達(dá)到亞米級別,能夠識別更為精準(zhǔn)的路況信息.但是目前地理信息庫中的道路更新問題大多數(shù)仍然采用費(fèi)時費(fèi)力的人工更新方式,而利用遙感影像數(shù)據(jù)實(shí)現(xiàn)道路識別的結(jié)果越來越精確,有逐漸代替人工更新的趨勢[1,2].
目前對遙感影像道路提取多采用傳統(tǒng)方式,如模
板匹配法[3-6],特定模型法[7-10],多源數(shù)據(jù)法[11,12]等.這些方法對低級別道路的提取效果很難達(dá)到生產(chǎn)的要求.在各類遙感影像道路提取方法中,基于深度學(xué)習(xí)領(lǐng)域的高分辨率遙感衛(wèi)星道路提取方法能夠應(yīng)對各種復(fù)雜的遙感影像成像情況,具有十分廣闊的發(fā)展前景.近年來,基于深度學(xué)習(xí)的圖像分割鄰域不斷涌現(xiàn)出優(yōu)秀的算法結(jié)構(gòu),Long 等[13]提出使用全卷積神經(jīng)網(wǎng)絡(luò)解決圖像語義分割問題,U-Net[14]網(wǎng)絡(luò)用于解決小樣本簡單圖像的分割問題,Seg Net[15]網(wǎng)絡(luò)解決多次池化造成位置信息丟失的問題,Deep Lab[16,17]系列網(wǎng)絡(luò)通過組合各網(wǎng)絡(luò)優(yōu)化點(diǎn)有效提高語義分割精確度等,為神經(jīng)網(wǎng)絡(luò)在高分辨率遙感衛(wèi)星道路提取方面的應(yīng)用打下基礎(chǔ).
在遙感衛(wèi)星影像道路的提取上,國內(nèi)外研究人員對基于深度學(xué)習(xí)的圖像語義分割算法已經(jīng)有了深入研究,Mnih 和Hinton[18]提出了一種采用受限玻爾茲曼機(jī)從高分辨率航拍圖像中探測道路區(qū)域的方法.為了獲得更好的結(jié)果,采用預(yù)處理以減少輸入數(shù)據(jù)的維度,采用后處理用于去除斷開的斑點(diǎn)并填充在道路中的缺孔中.Saito 等[19]采用卷積神經(jīng)網(wǎng)絡(luò)直接從原始遙感圖像中提取建筑物和道路.這種方法比特定道路數(shù)據(jù)集中的Mnih 和 Hinton 方法[18]獲得了更好的結(jié)果.Cheng等[20]使用兩級編碼-解碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)同時完成道路檢測和道路中心線提取任務(wù),他同時測試了多種神經(jīng)網(wǎng)絡(luò)的提取效果,取得了優(yōu)秀的綜合性能.Zhang 等[21]提出使用殘差單元結(jié)合U-Net 網(wǎng)絡(luò)提取道路影像,得到了較為良好的遙感衛(wèi)星影像道路提取效果.
由于高分遙感影像標(biāo)簽數(shù)據(jù)集難以獲取且手工制作成本較高,本文以部分高分二號衛(wèi)星遙感影像瓦片為樣本,借鑒殘差網(wǎng)絡(luò)加深網(wǎng)絡(luò)層次的思想,以在小樣本數(shù)據(jù)集上表現(xiàn)良好的U-Net 網(wǎng)絡(luò)為基礎(chǔ),結(jié)合殘差單元改善高分遙感衛(wèi)星道路提取效果.
1 算法基本原理
1.1 U-Net
U-Net 網(wǎng)絡(luò)由全卷積神經(jīng)網(wǎng)絡(luò)發(fā)展而來,詳細(xì)網(wǎng)絡(luò)特征見圖1.U-Net 網(wǎng)絡(luò)分為上采樣和下采樣兩部分,是典型的編碼-解碼結(jié)構(gòu),下采樣通過卷積和池化操作提取圖像特征信息,上采樣則通過恢復(fù)細(xì)節(jié)特征和填充空白信息得到邊緣分割圖.它繼承了全卷積神經(jīng)網(wǎng)絡(luò)的簡潔、通用的優(yōu)點(diǎn),同時優(yōu)化了上采樣網(wǎng)絡(luò)流程,改變了跳躍連接的方式,采用維度拼接的方式增加了圖像信息的“厚度”,使得卷積核在同樣的圖層上有了更多的選擇,優(yōu)化邊緣分割的效果.
1.2 殘差單元
通過在神經(jīng)網(wǎng)絡(luò)中疊加卷積、池化等操作能夠得到更加深層的網(wǎng)絡(luò),深層網(wǎng)絡(luò)能夠整合低、中、高不同層次的輸入特征,通過更深的網(wǎng)絡(luò)提取更為豐富的特征,這是由于將神經(jīng)網(wǎng)絡(luò)后面若干層作為恒等映射,這一網(wǎng)絡(luò)將等同于一個淺層網(wǎng)絡(luò).但是隨著層次的加深,神經(jīng)網(wǎng)絡(luò)會產(chǎn)生梯度消失、梯度爆炸、和網(wǎng)絡(luò)退化等問題,嚴(yán)重影響網(wǎng)絡(luò)訓(xùn)練和測試的效果.通過輸入數(shù)據(jù)的初始化和神經(jīng)網(wǎng)絡(luò)正則化層能夠?qū)崿F(xiàn)幾十層以內(nèi)的網(wǎng)絡(luò)的收斂,繼續(xù)增加網(wǎng)絡(luò)層數(shù),仍然存在梯度消失或爆炸的問題,即前若干層網(wǎng)絡(luò)權(quán)值參數(shù)更新停滯或過大導(dǎo)致后面的網(wǎng)絡(luò)層不再起作用.He 等[22]通過對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)深入研究之后發(fā)現(xiàn),傳統(tǒng)神經(jīng)網(wǎng)絡(luò)架構(gòu)層次越深訓(xùn)練集上效果不一定越好,隨著網(wǎng)絡(luò)層次的加深,訓(xùn)練變得越來越困難,網(wǎng)絡(luò)參數(shù)無法再得到優(yōu)化,訓(xùn)練效果反而不如淺層網(wǎng)絡(luò),即產(chǎn)生了網(wǎng)絡(luò)退化問題.而使用殘差網(wǎng)絡(luò)能夠有效改善這一問題.
圖1 U-Net 神經(jīng)網(wǎng)絡(luò)架構(gòu)
常規(guī)卷積單元和殘差單元見圖2.其中,線性激活采用ReLU 函數(shù),加操作使用Addition 函數(shù).x作為輸入,F(x)為輸入x經(jīng)過卷積操作之后的輸出.在殘差網(wǎng)絡(luò)結(jié)構(gòu)中,通過捷徑連接的方式將輸入x與原輸出F(x) 相加作為新的輸出H(x),即H(x)=F(x)+x,當(dāng)F(x)=0 時,H(x)=x,該卷積層輸入等于輸出,形成恒等映射,則該卷積層只具有完整傳遞信息的作用,增加網(wǎng)絡(luò)深度的同時,誤差不會增加.由于F(x)=H(x)-x,網(wǎng)絡(luò)學(xué)習(xí)F(x)相當(dāng)于學(xué)習(xí)輸入和輸出的差值.
1.3 本文神經(jīng)網(wǎng)絡(luò)架構(gòu)
Zhang 等[21]提出了加入殘差模塊的方法,其提出的神經(jīng)網(wǎng)絡(luò)架構(gòu)總共有7 個殘差模塊,分為3 個下采樣、3 個上采樣和1 個橋連接.該網(wǎng)絡(luò)架構(gòu)由于網(wǎng)絡(luò)深度不足,殘差單元對于圖像細(xì)節(jié)補(bǔ)充作用難以顯現(xiàn),而殘差結(jié)構(gòu)增加了冗余信息的傳遞,阻礙了對道路細(xì)節(jié)的提取,提取效果不理想.通過增加深度,使用隨機(jī)失活(dropout),調(diào)整網(wǎng)絡(luò)結(jié)構(gòu),本文提出一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu),見圖3.
圖2 兩種結(jié)構(gòu)對比
圖3(a)為本文殘差單元的基本結(jié)構(gòu),由兩個3×3卷積層和一個從輸入到輸出的恒等映射組成,卷積操作之前加入批量歸一化層(BN) 和ReLU 激活函數(shù).BN 層主要作用是把在網(wǎng)絡(luò)傳遞中逐漸偏移的輸入分布強(qiáng)制拉回到均值為0 方差為1 的比較標(biāo)準(zhǔn)的正態(tài)分布,使得非線性變換函數(shù)的輸入值落入對輸入比較敏感的區(qū)域,以此避免梯度消失問題.將激活函數(shù)放在卷積操作之前,并加入批量歸一化層.經(jīng)He 等研究證明,這一殘差單元結(jié)構(gòu)目前是最優(yōu)的,本文除輸入端的殘差單元有所差異外,其余部分均采用這一結(jié)構(gòu).殘差單元與單元之間卷積核數(shù)量翻倍,具體見表1.
由圖3(b)可見,本文神經(jīng)網(wǎng)絡(luò)算法中共有11 個殘差單元,其中有5 個下采樣層、5 個上采樣層和1 個橋連接層.其中,上采樣層中的上采樣操作由上采樣和一個帶有線性激活函數(shù)的卷積組成,卷積參數(shù)在表1中顯示.由于采用的殘差單元增加,在橋連接層中加入隨機(jī)失活,防止網(wǎng)絡(luò)的過擬合和梯度消失等問題.上采樣使用Upsampling 函數(shù),跳躍連接的方式為級聯(lián),使用Concatenate 函數(shù),將下采樣和上采樣過程中的特征信息結(jié)合在一起,與U-Net 的跳躍連接方式相同.在神經(jīng)網(wǎng)絡(luò)的輸出端采用1×1 的卷積核將最終級聯(lián)的圖像融合,并采用Sigmoid 激活函數(shù)將輸出值限定在0～1之間.
圖3 本文神經(jīng)網(wǎng)絡(luò)架構(gòu)
本文神經(jīng)網(wǎng)絡(luò)架構(gòu)中,通過采用卷積步進(jìn)為2 的方式代替池化層的作用,將圖像尺寸減半[22].同時該網(wǎng)絡(luò)卷積過程中使用了Padding 操作保持卷積過程中的圖像尺寸不變,取代了U-Net 網(wǎng)絡(luò)中的尺寸裁剪操作,可以保持輸入輸出圖像尺寸不變.
表1 本文卷積網(wǎng)絡(luò)層次
1.4 閾值濾波
由神經(jīng)網(wǎng)絡(luò)模型提取出來的圖像像素值在0～1 之間,為提升圖像提取效果,濾除道路提取過程中的部分噪聲.經(jīng)過測試,自定義二值化閾值0.94,當(dāng)像素值小于0.94 時設(shè)為道路像素,當(dāng)像素值大于0.94 時設(shè)為空白像素.
2 遙感圖像提取實(shí)驗(yàn)
2.1 技術(shù)路線
藉由本文提出的網(wǎng)絡(luò)算法模型,本文設(shè)計總的技術(shù)路線見圖4.
神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練樣本訓(xùn)練網(wǎng)絡(luò)權(quán)重參數(shù)實(shí)現(xiàn)對測試數(shù)據(jù)的預(yù)測,假設(shè)有一組樣本(xi,yi),xi為待訓(xùn)練圖像,yi為訓(xùn)練標(biāo)簽,樣本像素預(yù)測值為ai,樣本個數(shù)為N,則通過不斷減少預(yù)測值ai與樣本標(biāo)簽yi的誤差可以實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)重參數(shù)的訓(xùn)練,本文采用二分類交叉熵?fù)p失函數(shù),與U-Net 網(wǎng)絡(luò)相同,為:
本文選用Adam 優(yōu)化器來訓(xùn)練網(wǎng)絡(luò),這是應(yīng)用最為廣泛的優(yōu)化器,訓(xùn)練過程網(wǎng)絡(luò)參數(shù)收斂速度快,收斂效果好.優(yōu)化器初始學(xué)習(xí)率設(shè)為10-5.批處理樣本大小設(shè)置為2,迭代期(epoch)設(shè)置為100.
圖4 本文技術(shù)路線
2.2 實(shí)驗(yàn)樣本和平臺
本次實(shí)驗(yàn)采用重慶及上海地區(qū)部分高分2 號遙感影像作為訓(xùn)練數(shù)據(jù),由于單幅影像數(shù)據(jù)量過大,現(xiàn)有的硬件設(shè)施無法滿足處理?xiàng)l件,故將重慶及上海影像分幅輸出,尺寸定為640×640 像素,采用人工交互的方式制作對應(yīng)標(biāo)簽,共有圖像1017 張,其中訓(xùn)練集圖像912 張,驗(yàn)證集圖像75 張,測試集圖像30 張,訓(xùn)練集,驗(yàn)證集和測試集之間無重復(fù)影像,保證數(shù)據(jù)獨(dú)立性.圖像中包括山川、河流、隧道出入口、道路、大型橋梁、建筑、植被、車輛等對象,具有較強(qiáng)的代表性.本次實(shí)驗(yàn)采用Windows 10 操作系統(tǒng),采用基于Anaconda軟件的Tensorflow-GPU,Python 3.6 開發(fā)環(huán)境.GPU 型號為NVIDIA Quadro P5000,其專用內(nèi)存為16 GB.
2.3 道路提取評價指標(biāo)
目前圖像分割領(lǐng)域評價分割效果的指標(biāo)并不統(tǒng)一,本文除了采用基本的評價指標(biāo)-準(zhǔn)確率外,采用交并比(Intersection over Union,IoU)來作為主要評價指標(biāo).準(zhǔn)確率表示預(yù)測正確的像素占總像素的比例,而交并比表示預(yù)測圖像與標(biāo)簽圖像的像素交集占預(yù)測圖像與標(biāo)簽圖像像素并集的百分比,即預(yù)測圖像與標(biāo)簽圖像兩者的重疊部分的像素占重疊與非重疊部分像素總和的百分比.假設(shè)道路類像素值設(shè)為a,預(yù)測圖像像素值oi和標(biāo)簽圖像像素值yi,則
其中,∩(交集)表示邏輯和操作,∪(并集)表示邏輯或操作.本文通過統(tǒng)計像素i的值求交并比.
2.4 實(shí)驗(yàn)結(jié)果及比較
本文先使用987 張圖片對U-Net 網(wǎng)絡(luò)模型和Res-Unet 網(wǎng)絡(luò)模型和本文模型進(jìn)行訓(xùn)練和驗(yàn)證,之后從樣本庫中抽取不同于訓(xùn)練樣本的30 張遙感影像圖片作為預(yù)測樣本,圖像尺寸同樣為640×640 像素,使用本文訓(xùn)練好的網(wǎng)絡(luò)模型對其進(jìn)行道路提取并評估結(jié)果.之后將分別網(wǎng)絡(luò)模型替換為U-net 網(wǎng)絡(luò)模型和Res-Unet 網(wǎng)絡(luò)模型,訓(xùn)練參數(shù)配置與本文保持一致,使用訓(xùn)練好的模型對預(yù)測樣本進(jìn)行道路提取,經(jīng)過后處理閾值濾波后得到的道路提取效果見圖5.道路提取效果評估指標(biāo)見表2.
圖5 測試集道路提取效果圖
表2 道路提取效果評估指標(biāo)
在圖5中,方框位置各種提取方法提取下的道路圖像存在顯著差異.以道路標(biāo)簽為標(biāo)準(zhǔn),U-net (圖5(c))提取的道路較Res-Unet (圖5(d))和本文方法(圖5(e))出現(xiàn)許多多余的毛刺和非道路線段;Res-Unet 比之Unet 增加了圖像噪聲,使得提取的道路曲線表現(xiàn)粗糙;本文方法比之U-net 和Res-Unet,所提取道路的與標(biāo)簽相似度更高,減少了大量毛刺、非道路線段和噪聲,但也存在道路線形中斷的問題.從表2的實(shí)驗(yàn)數(shù)據(jù)看出,U-net 的準(zhǔn)確率和交并比均優(yōu)于Res-Unet 及本文方法,但由于網(wǎng)絡(luò)參數(shù)的增加,也犧牲了的圖像處理速度.
3 結(jié)論
本文通過對各種基于深度神經(jīng)網(wǎng)絡(luò)的遙感影像道路提取方法進(jìn)行分析和實(shí)驗(yàn),提出深層殘差U-net 網(wǎng)絡(luò),有效提取圖像淺層信息的同時增強(qiáng)殘差單元對圖像細(xì)節(jié)的補(bǔ)充效果,提高了圖像的提取精度.但是本文的方法也存在道路截斷的問題,存在改進(jìn)的空間,怎樣進(jìn)一步增強(qiáng)道路線形特征是下一步研究的重點(diǎn).另外,整景遙感影像分幅會造成所提取道路的不一致性.造成道路錯位或缺失,有待進(jìn)一步的研究解決.
