周陽， 張?jiān)粕?陳斯飏， 鄒崢嶸， 朱耀晨， 趙芮雪

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083)

0 引言

地震對(duì)于人類的生命和財(cái)產(chǎn)安全具有極大的威脅，震后的救援行動(dòng)刻不容緩?？焖俚貙?duì)震后建筑物損毀嚴(yán)重程度進(jìn)行評(píng)估不僅能及時(shí)給救援部門和應(yīng)急行動(dòng)組提供可靠的救援參考，而且可以為震后災(zāi)區(qū)重建提供依據(jù)[1-2]。因此第一時(shí)間掌握建筑物震害損毀信息十分重要。

近年來無人機(jī)技術(shù)的快速發(fā)展使得迅速獲取震后高空間分辨率遙感影像(以下簡稱高分遙感影像)成為可能[3]。因此，目前利用高分遙感影像進(jìn)行建筑物震害損毀的檢測(cè)逐漸受到越來越多的關(guān)注。傳統(tǒng)的建筑物損毀檢測(cè)方法一般基于手工設(shè)計(jì)的特征，分為基于單一特征和基于多特征結(jié)合的方法。其中單一特征包括顏色特征[4]、紋理特征[5-6]和地學(xué)紋理特征[7]等。單一特征局限性大，不能完整地描述地物的信息，精度也不夠可靠，所以很多學(xué)者在單一特征的基礎(chǔ)上研究了多特征結(jié)合的方法，如結(jié)合紋理特征和相互關(guān)系信息[8]、結(jié)合紋理特征和幾何特征[9-10]等。雖然多特征結(jié)合的方法比單一特征的精度有所提高，但也只是基于各種單一特征的簡單組合，精度提高的效果不是特別理想。因此如何得到更具表征能力的特征來進(jìn)行建筑物震害損毀評(píng)估仍需進(jìn)一步研究。

以上通過手工設(shè)計(jì)的特征表征能力依然較弱，近年發(fā)展起來的深度學(xué)習(xí)屬于一種端到端的特征學(xué)習(xí)、表征學(xué)習(xí)，在語音識(shí)別、目標(biāo)檢測(cè)和圖像分類上取得了很好的效果，在高分遙感影像的場景分類上也表現(xiàn)出了很強(qiáng)大的潛力[11-13]； 在震害損毀評(píng)估方面，Vetrivel等[14]提取無人機(jī)影像和航空影像的深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network,DCNN)特征，結(jié)合影像衍生的點(diǎn)云三維特征進(jìn)行多核學(xué)習(xí)實(shí)現(xiàn)震害損毀評(píng)估，但僅考慮了較早的AlexNet模型。這些成功的應(yīng)用表明DCNN強(qiáng)大的特征提取能力，但其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、訓(xùn)練時(shí)間長且需要大量的訓(xùn)練樣本。相比于深度學(xué)習(xí)，支持向量機(jī)(support vector machine,SVM)具有保證全局唯一性、避免陷入局部最優(yōu)的優(yōu)點(diǎn)，且訓(xùn)練速度和分類精度都具有明顯優(yōu)勢(shì)[15]，同時(shí)，目前有很多基于SVM的遙感影像分類與對(duì)象提取的研究工作表明SVM在遙感數(shù)據(jù)分類中的效果較好[16-17]，但是它屬于淺層結(jié)構(gòu)模型，對(duì)于原始輸入信息只能有較少層次的處理，很難完整地描述原始的輸入，故僅采用SVM分類具有很大的局限性。因此，如何將卷積神經(jīng)網(wǎng)絡(luò)的特征提取功能與常規(guī)的淺層分類結(jié)構(gòu)SVM結(jié)合并應(yīng)用到建筑物震害損毀檢測(cè)上具有重大的研究意義和價(jià)值。綜上，本文利用在ImageNet影像庫上已經(jīng)取得成功的DCNN模型來提取特征，結(jié)合SVM分類器來完成建筑物震害損毀區(qū)域的檢測(cè)，以期獲得更高的檢測(cè)精度。

1 DCNN模型

在深度學(xué)習(xí)中，DCNN是一種最基本的模型，可作為一種特征提取器，其基本結(jié)構(gòu)如圖1所示，它包括輸入層、若干個(gè)卷積層和池化層的組合以及全連接層。其中，卷積層輸出特征圖，其每個(gè)要素是通過計(jì)算由一些矩形排列的神經(jīng)元組成的若干個(gè)特征平面和卷積核之間的點(diǎn)積來獲得的，卷積核通常是以隨機(jī)小數(shù)矩陣的形式初始化，然后在網(wǎng)絡(luò)訓(xùn)練的過程中學(xué)習(xí)合理的權(quán)值； 池化層起到下采樣的作用，即沿著特征圖的空間維度，通過計(jì)算局部區(qū)域上的最大值來執(zhí)行采樣操作； 全連接層緊跟在若干個(gè)卷積層和池化層的組合之后，它連接所有卷積層和池化層中具有區(qū)分性的局部信息即局部特征，最后一層全連接層為輸出層(softmax層)。DCNN的參數(shù)(即卷積層和全連接層中的權(quán)重)通過基于反向傳播算法的經(jīng)典隨機(jī)梯度下降進(jìn)行訓(xùn)練[18]。

圖1 DCNN結(jié)構(gòu)

本文使用AlexNet模型和VGGNet模型進(jìn)行建筑物震害損毀檢測(cè)。AlexNet模型由Krizhevsky等開發(fā)[14]，與早期的DCNN模型相比，AlexNet模型由5個(gè)卷積層和3個(gè)全連接層組成，采用線性整流函數(shù)(rectified linear units，ReLu)作為激活函數(shù)代替Sigmoid非線性激活函數(shù)，來加快隨機(jī)梯度下降的收斂速度，并且AlexNet模型在全連接層中引入Dropout方法來降低過擬合，提高模型的泛化能力。VGGNet模型由牛津大學(xué)視覺幾何組的Simonyan等[19]提出，它由AlexNet模型發(fā)展而來，使用3個(gè)3像元×3像元(為表達(dá)簡潔，以下省略“像元”)卷積，不僅使決策函數(shù)更有判別性，而且減少了參數(shù)； 同時(shí)增加網(wǎng)絡(luò)深度，能夠有效提升模型的效果，并且VGGNet模型對(duì)其他數(shù)據(jù)集也有很好的泛化能力。

2 損毀區(qū)域檢測(cè)方法

本文方法流程如圖2所示，主要包括2部分： ①模型訓(xùn)練，選取損毀和未損毀區(qū)域的樣本，分為訓(xùn)練和測(cè)試樣本2部分，利用預(yù)訓(xùn)練的DCNN模型提取特征，然后將訓(xùn)練樣本的DCNN特征輸入SVM分類器中，對(duì)SVM進(jìn)行訓(xùn)練，并用測(cè)試樣本進(jìn)行測(cè)試和精度評(píng)定； ②區(qū)域檢測(cè)，基于第①部分訓(xùn)練得到的SVM分類器對(duì)待分類影像進(jìn)行建筑物損毀區(qū)域檢測(cè)。2部分的特征提取采用同樣流程。

圖2 方法流程

2.1 特征提取

利用ImageNet影像庫預(yù)訓(xùn)練的DCNN學(xué)習(xí)的高層次激活值已被證明是具有優(yōu)異性能的通用特征表達(dá)，可以遷移到遙感影像的特征提取中[20-21]。本文遵循已有工作的標(biāo)準(zhǔn)流程，移除預(yù)訓(xùn)練DCNN的最后一個(gè)全連接層，并將DCNN的其余部分視為固定特征提取器。將輸入影像塊輸入到DCNN中，以前饋方式直接從除輸出層以外的最后一個(gè)全連接層計(jì)算4 096維激活值(特征向量)，然后將該特征向量視為輸入影像的全局特征,用于表達(dá)輸入影像塊。因?yàn)樗蓄A(yù)訓(xùn)練的DCNN結(jié)構(gòu)需要一個(gè)固定尺寸的影像輸入，如本文比較的2種模型AlexNet和VGGNet(ImageNet預(yù)訓(xùn)練模型下載自https: //github.com/BVLC/caffe/wiki/Model-Zoo)，輸入影像尺寸分別為227×227和224×224，當(dāng)影像塊尺寸不符時(shí)，需進(jìn)行采樣，生成符合尺寸大小的影像。因此本文在生成樣本時(shí)，為了與滑動(dòng)窗口步長協(xié)調(diào)，影像塊大小設(shè)置為256×256，在訓(xùn)練過程中，先將256×256的影像降采樣成與輸入影像相同的大小。

2.2 模型訓(xùn)練

SVM是Cortes等[22]提出的一種線性分類器，它是根據(jù)帶標(biāo)簽的訓(xùn)練樣本，計(jì)算輸出一個(gè)最優(yōu)超平面對(duì)測(cè)試樣本進(jìn)行分類，在有限的樣本信息和強(qiáng)學(xué)習(xí)能力之間尋求最佳結(jié)果。為了處理非線性分類問題，可以通過非線性函數(shù)，將輸入映射至多維空間，在該空間中，可以產(chǎn)生一個(gè)泛化能力很強(qiáng)的線性分類器。本文采用LIBSVM工具來實(shí)現(xiàn)SVM運(yùn)算，核函數(shù)選擇徑向基函數(shù)。

2.3 區(qū)域檢測(cè)

在實(shí)際應(yīng)用中，需要對(duì)整幅影像進(jìn)行檢測(cè)，常規(guī)方法是截取分類器所需尺寸的影像塊進(jìn)行分類預(yù)測(cè)，然后將預(yù)測(cè)結(jié)果作為中心像素的分類結(jié)果，但影像較大時(shí)，此過程耗時(shí)較長。根據(jù)DCNN特征的表征能力，本文采用類似的方式，但滑動(dòng)窗口移動(dòng)步長采用32，在分類器窗口滑動(dòng)過程中，每一個(gè)32×32格網(wǎng)會(huì)被多個(gè)256×256的影像塊覆蓋，因此對(duì)于多個(gè)分類結(jié)果采用投票的形式確定最后的分類結(jié)果。整幅影像的檢測(cè)過程如下：

1) 開辟2個(gè)與影像大小一樣的類別累加器ACC[P(y=0)]和ACC[P(y=1)]，分別賦為0，其中y=0和y=1分別表示影像中未損毀和損毀區(qū)域。

2) 以32個(gè)像素作為滑動(dòng)步長，循環(huán)截取256×256大小的影像塊，記錄截取影像塊的左上角坐標(biāo)(x0,y0)。

3) 利用預(yù)訓(xùn)練的DCNN模型提取這些影像塊的DCNN特征，然后利用訓(xùn)練好的SVM分類器進(jìn)行分類預(yù)測(cè)，最后根據(jù)分類結(jié)果更新類別累加器，即

(1)

式中i,j∈(0,255)。

4) 比較每個(gè)32×32影像塊2個(gè)累加器的結(jié)果，以類別占多數(shù)的結(jié)果作為當(dāng)前影像塊的結(jié)果。

3 數(shù)據(jù)處理與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用的數(shù)據(jù)是在www.haiti-patrimoine.org下載的2010年海地雅克梅勒地區(qū)震后的傾斜航空影像，其東、南、西、北4個(gè)攝影方向的影像空間分辨率均為1 m。研究區(qū)影像如圖3所示，在這些影像中均勻選取1 500個(gè)樣本，每個(gè)樣本為256×256的影像塊，共包含500個(gè)損毀區(qū)域，1 000個(gè)未損毀區(qū)域。圖4(a)、(b)和(c)、(d)分別為損毀和未損毀區(qū)域樣本的示例。

(a)東 (b) 南

(c) 西 (d) 北

(a) 損毀區(qū)域1(b) 損毀區(qū)域2 (c) 未損毀區(qū)域1 (d) 未損毀區(qū)域2

實(shí)驗(yàn)中按4∶ 1比例隨機(jī)選擇訓(xùn)練集和測(cè)試集。為了進(jìn)一步驗(yàn)證方法的檢測(cè)精度，選取了如圖3(a)和(c)所示的紅色方框區(qū)域驗(yàn)證本文方法，放大顯示如圖5所示，大小分別為1 888×1 376和1 280×1 280。

(a) 驗(yàn)證區(qū)域1 (b) 驗(yàn)證區(qū)域2

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1 SVM分類器模型訓(xùn)練結(jié)果

分別利用訓(xùn)練樣本通過AlexNet模型和VGGNet模型學(xué)習(xí)的DCNN特征訓(xùn)練SVM分類器并進(jìn)行測(cè)試。為了進(jìn)行對(duì)比，本文還實(shí)現(xiàn)了基于詞袋模型(bag of words，BOW)的中層特征提取過程，即提取訓(xùn)練和測(cè)試樣本尺度不變特征變換(scale-invariant feature transform，SIFT)描述符，利用K-means聚類方法，采用1 100個(gè)聚類中心構(gòu)建BOW模型，訓(xùn)練SVM分類器并用測(cè)試樣本進(jìn)行測(cè)試[23]。3種特征訓(xùn)練結(jié)果如表1所示。從表1結(jié)果中可以看出，基于傳統(tǒng)SIFT特征的BOW模型的測(cè)試精度低于基于DCNN提取的特征，其中，VGGNet模型相對(duì)于AlexNet模型具有更高的測(cè)試精度。

表1 SVM訓(xùn)練結(jié)果

3.2.2 驗(yàn)證區(qū)域結(jié)果

利用上述DCNN特征訓(xùn)練的SVM模型分別對(duì)驗(yàn)證集進(jìn)行分類，結(jié)果如圖6和表2所示。圖6中紅色區(qū)域?yàn)檎_檢測(cè)的損毀區(qū)域、黃色區(qū)域?yàn)槁z區(qū)域、藍(lán)色區(qū)域?yàn)檎`檢區(qū)域，未標(biāo)記的區(qū)域?yàn)檎_檢測(cè)的未損毀區(qū)域。

(a) 驗(yàn)證區(qū)域1基于VGGNet模型提取特征的結(jié)果 (b) 驗(yàn)證區(qū)域1基于AlexNet模型提取特征的結(jié)果

(c) 驗(yàn)證區(qū)域2基于VGGNet模型提取特征的結(jié)果 (d) 驗(yàn)證區(qū)域2基于AlexNet模型提取特征的結(jié)果

表2 驗(yàn)證集分類結(jié)果

從表2中可以看出，在驗(yàn)證區(qū)域1中，一共選取了2 537塊，采用VGGNet模型提取的特征得到的結(jié)果中，漏檢150塊，誤檢129塊，正確檢測(cè)2 258塊，達(dá)到89.0%正確率，9.8%的誤檢率和12.8%的漏檢率； 而AlexNet模型提取的特征得到的結(jié)果中，漏檢156塊，誤檢291塊，正確檢測(cè)2 090塊，達(dá)到82.4%正確率，19.1%的誤檢率和15.4%的漏檢率。在驗(yàn)證區(qū)域2中，一共選取了1 600塊，采用VGGNet模型提取的特征得到的結(jié)果中，漏檢53塊，誤檢166塊，正確檢測(cè)1 381塊，達(dá)到86.3%正確率，20.0%的誤檢率和6.9%的漏檢率； 而AlexNet模型提取的特征得到的結(jié)果中，漏檢124塊，誤檢158塊，正確檢測(cè)1 318塊，達(dá)到82.4%正確率，19.1%的誤檢率和16.1%的漏檢率。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在建筑物損毀檢測(cè)領(lǐng)域能達(dá)到80%以上的正確率，其中VGGNet模型提取的DCNN特征的實(shí)驗(yàn)結(jié)果正確率高達(dá)89%，表明本文所提出的方法在建筑物震害損毀檢測(cè)領(lǐng)域是可行的，并且具有一定的潛力和研究價(jià)值。

由于本文實(shí)驗(yàn)所選影像的空間分辨率為1 m，所以分類精度不是很高，但是精度也能高達(dá)89%，這說明利用DCNN特征的方法是有優(yōu)勢(shì)的，可以應(yīng)用于建筑物震害損毀區(qū)域的檢測(cè)。實(shí)驗(yàn)結(jié)果中誤檢的區(qū)域成片地出現(xiàn)在損毀與未損毀區(qū)域的交界處，這與實(shí)驗(yàn)中采用重復(fù)區(qū)域有關(guān)，因?yàn)樵趽p毀和未損毀過渡區(qū)域，損毀和未損毀的比例是逐漸變化的，邊界區(qū)域容易出現(xiàn)誤檢和漏檢。

4 結(jié)論與展望

本文提出了利用DCNN特征來進(jìn)行建筑物震害損毀區(qū)域檢測(cè)的方法，比較了常用的AlexNet和VGGNet這2種模型的能力，利用海地地震的高空間分辨率影像進(jìn)行了實(shí)驗(yàn)，得出以下結(jié)論：

1) 利用DCNN特征結(jié)合SVM分類器來進(jìn)行建筑物震害損毀區(qū)域檢測(cè)的方法是有效的，該方法能夠快速獲取建筑物震害損毀信息。

2) 本文方法與基于SIFT特征的BOW方法進(jìn)行了對(duì)比，結(jié)果表明： 在面向建筑物震害損毀區(qū)域的檢測(cè)中，利用預(yù)訓(xùn)練DCNN提取的特征具有更好的表征能力。

3) 預(yù)訓(xùn)練的VGGNet模型比AlexNet模型在面向遙感影像的建筑物震害損毀評(píng)估應(yīng)用中更具潛力。

本文方法雖然能達(dá)到較高的檢測(cè)精度，但需要較多的訓(xùn)練樣本，在實(shí)際應(yīng)用時(shí)，常會(huì)遇到樣本有限的困難，因此后續(xù)研究將在本文研究基礎(chǔ)上，引入主動(dòng)學(xué)習(xí)來選取盡可能少但具有代表性的樣本以保證檢測(cè)精度。