陳天華，鄭司群，林宇驍

(北京工商大學(xué)人工智能學(xué)院，北京 100048)

1 引言

遙感技術(shù)是利用遙感器探測物體反射和輻射電磁波，并對其特性進行分析的一種新興技術(shù)[1]?，F(xiàn)如今隨著數(shù)據(jù)存儲和傳輸技術(shù)的不斷進步，遙感信息處理的方法越來越科學(xué)，遙感的應(yīng)用方面越來越寬，已經(jīng)滲透到國民經(jīng)濟的很多部門。我國目前的衛(wèi)星遙感數(shù)據(jù)已覆蓋了超過80%的國土面積[2]。通過獲取遙感數(shù)據(jù)、分析和處理，應(yīng)用到城市規(guī)劃、資源調(diào)查、導(dǎo)航、測繪、農(nóng)業(yè)監(jiān)測和交通等諸多領(lǐng)域[3]，這些技術(shù)為人們的生產(chǎn)生活帶來了巨大的便利。

目前，世界上超過50%的人口聚居在城市[4]，全球涌現(xiàn)出越來越多的超級城市。在現(xiàn)代城市基礎(chǔ)設(shè)施建設(shè)、城市規(guī)劃、大型裝備檢測、城市空間變化分析等區(qū)域范圍廣、耗時長、需要的人力物力資源多的大型工程中，衛(wèi)星遙感技術(shù)擁有獨特的優(yōu)勢。通過遙感影像信息分析能夠在較短的時間內(nèi)獲得大量有用信息，并可以動態(tài)監(jiān)測、持續(xù)檢測和連續(xù)數(shù)據(jù)更新，很好的解決了人工實地調(diào)查難以避免的低效率、高成本等問題[5]。目前，無論軍工或民用，建筑物已經(jīng)成為國民經(jīng)濟和軍事領(lǐng)域的重要目標(biāo)，因此，建筑物的特征提取和識別已成為航天遙感對城市信息獲取的一個重要環(huán)節(jié)。

對于建筑物等目標(biāo)的識別，至關(guān)重要的一個環(huán)節(jié)就是圖像分割。只有對圖像進行正確分割之后，才可以做出正確的識別。在過去幾十年中，已有大量的專家學(xué)者對圖像分割的研究做出巨大貢獻。閾值分割、邊緣分割等傳統(tǒng)算法取得了較好的效果[6]。

近幾年一直處于高熱度的深度學(xué)習(xí)在圖像分類、目標(biāo)檢測、圖像分割和機器視覺等領(lǐng)域不斷取得突破、越來越有優(yōu)勢。相比于傳統(tǒng)方法，深度學(xué)習(xí)的主要優(yōu)勢在于能夠兼具精度和速度，一些分類算法在精確度上甚至已經(jīng)超過了人類的辨識能力。不僅如此，深度學(xué)習(xí)的語義分割能夠提供傳統(tǒng)分割算法所不具備的語義信息，而且，遙感圖像不同于日常生活中的普通圖像，其海量數(shù)據(jù)是研究中的難題。因此，將深度學(xué)習(xí)方法應(yīng)用于遙感圖像的處理是一種技術(shù)發(fā)展的必然趨勢。本文以遙感影像中的建筑物作為研究對象，采用改進的高性能深度學(xué)習(xí)方法，對遙感數(shù)據(jù)進行圖像分割，并通過實驗驗證了所提方法具有可行性。

2 深度神經(jīng)網(wǎng)絡(luò)分析

2012年，Krizhevsky等人創(chuàng)造了AlexNet網(wǎng)絡(luò)[8]，改進了LeNet-5網(wǎng)絡(luò)[7]的缺點，提出了dropout方法降低了LeNet-5網(wǎng)絡(luò)容易出現(xiàn)的過擬合現(xiàn)象。隨后，牛津大學(xué)Simonyan等對AlexNet網(wǎng)絡(luò)深度對性能的影響進行了研究，提出了對圖像領(lǐng)域貢獻巨大的VGG網(wǎng)絡(luò)[9]。谷歌團隊Szegedy等人提出GoogLeNet網(wǎng)絡(luò)，并通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，增加網(wǎng)絡(luò)寬度，降低了網(wǎng)絡(luò)復(fù)雜度[10]。GoogLeNet網(wǎng)絡(luò)的核心結(jié)構(gòu)被稱為Inception結(jié)構(gòu)，其突出點是減少了訓(xùn)練的參數(shù)總數(shù)，進一步降低了網(wǎng)絡(luò)模型的復(fù)雜程度。

2014年提出的全卷積網(wǎng)絡(luò)(FCN)是CNN網(wǎng)絡(luò)模型一種提升和結(jié)構(gòu)改造，形成端到端，像素到像素的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[11]。FCN的重要特點是所有結(jié)構(gòu)都是卷積層，即去除了原有卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中的全連接層，并使用反卷積層將經(jīng)過多次卷積池化處理后分辨率減小的特征圖進行上采樣，得到與輸入圖像相同尺寸的特征圖，對輸入樣本的尺寸不再有任何限制。

2015年提出的SegNet網(wǎng)絡(luò)是由編碼器和解碼器構(gòu)成的深層分割網(wǎng)絡(luò)[12]。前半部分網(wǎng)絡(luò)結(jié)構(gòu)由卷積層和池化層組成，稱為編碼器；后半部分由卷積層和上采樣層組成解碼器。該網(wǎng)絡(luò)編碼器的作用主要是提取特征圖像，解碼器的主要功能是將特征圖像返回到輸入圖像的原始尺寸，以此方式實現(xiàn)端到端的網(wǎng)絡(luò)結(jié)構(gòu)。全卷積網(wǎng)絡(luò)主要是由以下幾部分構(gòu)成的。

2.1 卷積層

卷積網(wǎng)絡(luò)中，圖像通過卷積層來提取特征，每一個不同的卷積核能提取到的特征都不同。經(jīng)過大數(shù)量的圖像的處理，即學(xué)習(xí)過程，網(wǎng)絡(luò)逐漸學(xué)會選擇特定類型的特征，卷積核的數(shù)量越多，卷積提取到的特征就越多。通過一層一層的學(xué)習(xí)特征、提取特征，后接分類器分類后，以達到網(wǎng)絡(luò)對圖像進行分類的目標(biāo)。卷積的過程可表示為

(1)

假設(shè)輸入大小為：

W1*H1*D1

(2)

需要確定的超參數(shù)有：卷積核個數(shù)K，卷積核大小F，步長S和邊界填充P；則可以確定輸出的大小為

(3)

(4)

D2=K

(5)

2.2 池化層

池化層將前一層的特征圖作為輸入，對特征圖進行采樣，使得網(wǎng)絡(luò)的復(fù)雜度降低，減小特征圖的尺寸，簡化卷積網(wǎng)絡(luò)的計算量，其過程可表示為

(6)

2.3 激活函數(shù)層

在卷積神經(jīng)網(wǎng)絡(luò)中，需要解決非線性的分類問題，因此需要引入非線性函數(shù)作為激活函數(shù)。常見的激活函數(shù)有：tanh函數(shù)，f(x)=tanh(x)；Sigmoid函數(shù)，f(x)=(1+e-x)-1以及ReLU函數(shù)，f(x)=max(0，x)等。

2.4 反卷積層

也稱上采樣層，通過前面卷積、池化的步驟獲取特征后，由于池化層的作用，使得特征圖像尺寸小于原有的輸入圖像尺寸數(shù)倍。因此需要使用反卷積層將分辨率降低、尺寸變小的特征圖像恢復(fù)到原有的輸入圖像尺寸。如此便得到了與輸入圖像尺寸相同的分割圖像。

3 方法與網(wǎng)絡(luò)

本研究采用了一種性能優(yōu)越、成熟U-net網(wǎng)絡(luò)模型作為主體，并對其進行了改進，作為實驗中進行訓(xùn)練和測試的網(wǎng)絡(luò)模型。下面首先簡要介紹U-net模型基本原理，再探討對于U-net模型的改進方法。

3.1 U-net網(wǎng)絡(luò)

圖像的語義分割就是對圖像中的每一個像素進行分類，全卷積網(wǎng)絡(luò)的出現(xiàn)推廣了原有的DCNN結(jié)構(gòu)。隨后出現(xiàn)的幾種改良的語義分割網(wǎng)絡(luò)SegNet、U-net等都延續(xù)了FCN所采取的去除全連接層的做法以實現(xiàn)任意尺寸的輸入圖像的分割任務(wù)。其中，本文選用了表現(xiàn)優(yōu)秀的U-net網(wǎng)絡(luò)模型[13]，該網(wǎng)絡(luò)最初用以細胞為目標(biāo)，基于少量數(shù)據(jù)的進行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的模型結(jié)構(gòu)，在隨后的發(fā)展中，發(fā)現(xiàn)其對于其它目標(biāo)也能形成很好的分割效果。U-net的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 U-net網(wǎng)絡(luò)結(jié)構(gòu)

U-net分為下采樣(左側(cè))和上采樣(右側(cè))兩個部分，將其連接在一起，形成一個“U”字型的網(wǎng)絡(luò)結(jié)構(gòu)模型，故稱為“U-net”。左側(cè)的下采樣部分又卷積層Conv和池化層Pool組成，每一級的卷積核數(shù)量是上一級的二倍，以此來增加網(wǎng)絡(luò)對于特征提取的能力和效果。右側(cè)的上采樣部分疊加了左側(cè)下采樣部分相對應(yīng)尺寸的特征圖，以保證深度網(wǎng)絡(luò)在后面這一部分的分辨率的質(zhì)量，即特征圖像的精細程度。

表1中，Input為輸入層，Conv為卷積層，卷積核尺寸均為3×3。從第一層開始，卷積核數(shù)量分別為64、128、256、512、1024個。從第六層開始再逐漸由512、256、128至第九層64個卷積核。Pool為池化層，選用2×2最大池化Max Pooling，Upsampling為上采樣層，Merge為疊加層。

表1 U-net網(wǎng)絡(luò)結(jié)構(gòu)表

3.2 改進的U-net模型

研究中對U-net進行了改進，以實現(xiàn)更高的分割精度和更快的訓(xùn)練速度。根據(jù)遙感影像數(shù)據(jù)特點，主要改進包括：

1)提升上采樣特征圖的精細度

在上采樣階段，經(jīng)過卷積核的層層學(xué)習(xí)，細節(jié)信息轉(zhuǎn)化為抽象信息，而在此時需要增加一定的細節(jié)信息來保證特征圖的分辨率。

2)減少網(wǎng)絡(luò)計算負擔(dān)

深度神經(jīng)網(wǎng)絡(luò)靠前幾層結(jié)構(gòu)主要提取基本的幾何和輪廓信息，靠后層主要提取的信息為抽象意義的特征。遙感影像主要是區(qū)分輪廓為主要任務(wù)，并不需要提取過多抽象意義的信息，因而，并不需要靠后卷積層中過多的卷積核數(shù)量。因此可減少下采樣部分靠后層的卷積核數(shù)量，以減輕網(wǎng)絡(luò)計算負擔(dān)，提升網(wǎng)絡(luò)效率。

3)克服過擬合

過擬合和精度被稱為深度學(xué)習(xí)兩大難點。由于遙感影像可用的訓(xùn)練數(shù)據(jù)量較少，而深度學(xué)習(xí)本身需要建立在大量數(shù)據(jù)訓(xùn)練的基礎(chǔ)上。數(shù)據(jù)量不足的情況下容易產(chǎn)生過擬合問題。

首先，針對網(wǎng)絡(luò)結(jié)構(gòu)，減少中間部分的卷積核數(shù)量，將所有卷積層的卷積核數(shù)量都定為64個。針對遙感影像中的目標(biāo)，不需要中間部分大量的卷積核來提取抽象的特征，因此64個卷積核能夠完成對于目標(biāo)輪廓信息的提取。簡化網(wǎng)絡(luò)結(jié)構(gòu)后，參數(shù)數(shù)量明顯減少，降低了網(wǎng)絡(luò)運算壓力，可在相同硬件條件下增加訓(xùn)練中的Batch Size，有利于提升網(wǎng)絡(luò)訓(xùn)練精度。

其次，為了有效抑制過擬合問題，在網(wǎng)絡(luò)中加入BN層，將神經(jīng)元中非線性函數(shù)的輸入值歸一化，使其處在對輸入值敏感區(qū)域，可有效地提升收斂速度，防止梯度消失，抑制過擬合，提升訓(xùn)練的穩(wěn)定性，可以減少甚至省去此前對于過擬合問題大量使用的Dropout層[14]。

此外，針對深度神經(jīng)網(wǎng)絡(luò)提取特征的過程中，由于上采樣插值的原因造成細節(jié)模糊，通過引入前一半下采樣中的細節(jié)信息來彌補這個缺點。將Input層疊加到原有的Merge9層，即改進后的Merge9的輸入由Input、Conv1＿2和Upsampling9組成；將Pool1的結(jié)果特征圖疊加到原有Merge8層，即改進后的Merge8的輸入由Pool1、Conv2＿2和Upsampling8組成。并以同樣的方法將Pool2和Pool3分別疊加到Merge6和Merge7中。改進后的U-net深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 改進U-net網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實驗分析

硬件配置上，本文采用GPU進行深度網(wǎng)絡(luò)訓(xùn)練，其高效的運算速度與能力使深度學(xué)習(xí)在時間成本和效率考量中成為了當(dāng)前最炙手可熱的人工智能技術(shù)之一。

先采用VOC2012數(shù)據(jù)集對U-net網(wǎng)絡(luò)和改進的U-net網(wǎng)絡(luò)進行測試，可以得到改進的U-net網(wǎng)絡(luò)在相同的硬件條件與訓(xùn)練參數(shù)下比原始的U-net網(wǎng)絡(luò)速度有所提升，訓(xùn)練時間由19個小時縮短至約17.5個小時；測試1449張圖片的時間由原來的25分鐘縮短2分鐘，U-net網(wǎng)絡(luò)測試精度為79.8，改進的U-net網(wǎng)絡(luò)的測試精度為80.4，精度相近。

實驗運行環(huán)境為Ubuntu系統(tǒng)16.04版本，采用開源深度學(xué)習(xí)框架Keras，使用TensorFlow后端，硬件環(huán)境為Dell7910工作站，搭配NVIDIA GeForce GTX 1080Ti GPU。

改進的U-net網(wǎng)絡(luò)先使用前端CNN網(wǎng)絡(luò)部分對ImageNet的ILSVRC2012數(shù)據(jù)集進行預(yù)訓(xùn)練。ImageNet數(shù)據(jù)集規(guī)模達128萬幅256×256的訓(xùn)練圖像，包含1000個分類，使用ImageNet數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)可增加網(wǎng)絡(luò)的泛化能力，避免過擬合。之后，去掉全連接層，改為全卷積網(wǎng)絡(luò)對MS COCO數(shù)據(jù)集進行分割網(wǎng)絡(luò)的微調(diào)。再將預(yù)訓(xùn)練好的網(wǎng)絡(luò)用于目標(biāo)數(shù)據(jù)集，INRIA Aerial Image Dataset進行訓(xùn)練和測試。該數(shù)據(jù)庫采集了多個城市的遙感影像，覆蓋面積810平方公里，其中訓(xùn)練集、測試集各占405平方公里?？臻g分辨率0.3米，RGB三通道圖像。對于建筑物進行二分類，即類別包含建筑和非建筑。其中測試集中包含了五個城市遙感圖像數(shù)據(jù)，分別是Bellingham、Bloomington、Innsbruck、San Francisco和Tyrol，共180張圖像。

改進網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置，batch size設(shè)為64，初始學(xué)習(xí)率設(shè)為0.001，若連續(xù)5個epoch沒有提升學(xué)習(xí)效果，將學(xué)習(xí)率調(diào)低至原來的0.1倍，10個epoch后學(xué)習(xí)率恢復(fù)；若連續(xù)20個epoch沒有提升學(xué)習(xí)效果，則終止訓(xùn)練。其中，監(jiān)控指標(biāo)為val＿loss。初定最大學(xué)習(xí)epoch為100。

改進的U-net網(wǎng)絡(luò)分割2500×1700像素圖像的時間約2.63秒，比原U-net縮短8%以上。IoU(Intersection over Union)作為測量算法準(zhǔn)確度的一個標(biāo)準(zhǔn)，它體現(xiàn)了測量值與真實值之間的重疊程度，重疊比越高，IoU值越大。另一個測試標(biāo)準(zhǔn)為Kappa系數(shù)。Kappa系數(shù)是衡量分類精度的一種指標(biāo)。它是通過把所有地表真實分類中的像元總數(shù)乘以混淆矩陣對角線的和，再減去某一類地表真實像元總數(shù)與該類中被分類像元總數(shù)之積對所有類別求和的結(jié)果，再除以總像元數(shù)的平方減去某一類地表真實像元總數(shù)與該類中被分類像元總數(shù)之積對所有類別求和的結(jié)果所得到的[15]。實驗數(shù)值如表2所示。

表2 U-net和本文改進的U-net網(wǎng)絡(luò)在INRIA Aerial Image Dataset的訓(xùn)練結(jié)果

可以看到，改進的U-net網(wǎng)絡(luò)在對遙感圖像中的建筑物分割效果優(yōu)于原U-net網(wǎng)絡(luò)。改進網(wǎng)絡(luò)和原網(wǎng)絡(luò)的分割效果的對比示例如圖3所示。

圖3 改進網(wǎng)絡(luò)和原網(wǎng)絡(luò)的分割效果對比圖

使用改進U-net預(yù)測一張256×256像素圖像的速度測試成績優(yōu)于原U-net的測試速度，具體信息如表3所示。

表3 U-net和改進U-net在INRIA Aerial Image Dataset的測試速度對比

U-net網(wǎng)絡(luò)和改進U-net網(wǎng)絡(luò)的學(xué)習(xí)曲線如圖4所示。從圖中可分析出結(jié)果：改進的U-net比原U-net網(wǎng)絡(luò)有效的抑制了過擬合問題。

圖4 U-net(左)和改進U-net(右)的學(xué)習(xí)曲線網(wǎng)絡(luò)

通過實驗結(jié)果可看出，在將網(wǎng)絡(luò)中卷積層的卷積核數(shù)量全都定為64、在相應(yīng)位置增加了BN層、將網(wǎng)絡(luò)靠前位置的特征圖結(jié)合到上采樣部分之后，經(jīng)過改進的U-net網(wǎng)絡(luò)相比于原始的U-net網(wǎng)絡(luò)在訓(xùn)練速度上有8%的提升，精度也有明顯的提高，從結(jié)果圖像中可看出，預(yù)測結(jié)果的細節(jié)有明顯的優(yōu)化。證明了改進的網(wǎng)絡(luò)對于遙感影像的分割問題具有可行性，因此可以得出結(jié)論：本文改進的U-net網(wǎng)絡(luò)性能優(yōu)于原始的U-net網(wǎng)絡(luò)模型，在實踐中具有一定優(yōu)勢。

5 總結(jié)與展望

通過對U-net網(wǎng)絡(luò)進行適當(dāng)改進，使用ImageNet數(shù)據(jù)集和MS COCO數(shù)據(jù)集對網(wǎng)絡(luò)進行預(yù)訓(xùn)練，再對遙感影像數(shù)據(jù)集INRIA Aerial Image Dataset進行圖像分割訓(xùn)練。經(jīng)過實驗對比，改進U-net網(wǎng)絡(luò)模型比原型U-net網(wǎng)絡(luò)在訓(xùn)練速度和測試精度的具有明顯的優(yōu)勢，訓(xùn)練過程中可更快的收斂，可有效抑制過擬合，在預(yù)測結(jié)果中體現(xiàn)了更多的細節(jié)信息，證明該方法適用于遙感圖像的語義分割，研究結(jié)果也表明，若圖像邊界信息較少，在對目標(biāo)進行分割時，邊緣部分存在一定誤差，部分邊界區(qū)域的分割可能存在接縫，需通過邊緣連接方法進行改進。此外，由于多光譜和高光譜遙感圖像具有高維數(shù)據(jù)，能夠得到大量RGB遙感圖像所獲取不到的光譜信息，但是又存在著數(shù)據(jù)冗余和信號混疊問題，由此，深度學(xué)習(xí)技術(shù)的優(yōu)勢，同樣可以應(yīng)用于處理多光譜和高光譜的遙感數(shù)據(jù)，而不局限于RGB遙感圖像。