丁子林,姚新強,李雅靜,張 勇

(1. 天津市地震局,天津 300201; 2. 云南省地震局,云南 昆明 650041)

0 引言

破壞性地震發(fā)生后,快速地獲取災區(qū)信息,對于救援指揮、救援物資運輸?shù)囊饬x重大。由于大部分人員傷亡是由于建筑物的破壞而引起的,所以建筑物的受損信息,對于應急救援非常重要。傳統(tǒng)的災情獲取方式包含現(xiàn)場調查[1]、基于GIS數(shù)據(jù)的評估技術[2]和遙感技術[3],其中,現(xiàn)場調查和評估技術,需要投入大量人力、物力,往往不能及時、準確地了解地震現(xiàn)場情況。另外,遙感技術僅能從受損的建筑物上方進行觀測,還受限于天氣等客觀因素,同時,通過遙感技術獲取的數(shù)據(jù),還需要相關的技術人員進行分析,這一般需要數(shù)小時的時間,造成這種技術往往難以滿足救災的需要。

近些年,智能手機和社交媒體軟件的廣泛使用,為實時的災情數(shù)據(jù)獲取提供了良好的環(huán)境,智能移動設備不僅可以采集和發(fā)送文字、聲音、圖像,還可以同時獲得智能移動設備的地理坐標數(shù)據(jù),這為災后快速地收集災情提供了基礎條件[4]。針對社交媒體災情數(shù)據(jù),有學者以多種自然災情現(xiàn)場的識別為主題,進行數(shù)據(jù)采集分析[5]。也有采用爬蟲方式對文本數(shù)據(jù)進行采集挖掘,進行主題識別[6],或者對災民的情緒判別[7]。有些學者針對某一類災情的數(shù)據(jù)進行收集分類,例如地震[8]、洪水[9]、颶風[10]。雖然也有學者對蘊含其中的空間位置信息進行提取[11],但可以看出,大部分學者的研究集中在社交媒體中的文字、圖像數(shù)據(jù)。由于圖像比文字蘊含更多的信息[12],并且更加客觀、真實,所以針對社交媒體的圖像獲取、分析的研究越來越多。

以大數(shù)據(jù)的視角[13],對社交媒體中圖像數(shù)據(jù)進行分析處理,是絕大部分學者的選擇。有學者采用支持向量機對火災進行識別分類[14],但更多的學者采用深度學習的方法,對圖像進行分類、檢測,例如,使用VGG[15]、ResNeT[16]、InceptionNet[17]等網(wǎng)絡模型進行分析。針對建筑物破壞,有學者采取結合ResNet和YOLO網(wǎng)絡,對鋼筋混凝土建筑物破損進行分析[18]。由于災害圖像數(shù)據(jù)在數(shù)量上有限,大部分學者采用了遷移學習的技術,以提高精度,有學者嘗試使用深度卷積生成對抗網(wǎng)絡,增加圖像數(shù)量,以提高數(shù)據(jù)集的數(shù)量和最終的訓練效果[19]。在上述研究中,由于災情信息的特殊性,相對于人臉識別、自動駕駛等領域,其數(shù)據(jù)量遠少于社會環(huán)境、自然環(huán)境處于正常狀態(tài)下采集的數(shù)據(jù)量,進而影響到2個方面,一是這些研究中,存在對災情識別、分類的粒度較大,例如,有對多個災種進行識別的研究,僅簡單地識別出火災、洪水、地震房屋倒塌,沒有進一步地分析,這影響到其進一步的應用價值;二是影響到了算法精度的提高,例如,有些數(shù)據(jù)集分類中,其數(shù)據(jù)量僅僅幾百張圖片。因此,有必要在擴大數(shù)據(jù)集和算法優(yōu)化上繼續(xù)努力。

文中主要工作聚焦于地震后建筑物受損的災情圖片數(shù)據(jù),并廣泛地收集,對圖像數(shù)據(jù)進行預處理后進行分類,建立了一個大型的地震受損建筑物災情的數(shù)據(jù)集,采用深度學習的方法分析處理,對建筑物破壞類型識別分類,訓練得到建筑物識別模型,然后基于QGIS平臺制作災情圖。文中編寫的程序模塊應用于天津市地震局災情收集系統(tǒng)的災情數(shù)據(jù)后臺處理,并針對青?，敹?.4級地震的受損建筑物圖片數(shù)據(jù)進行了分析。

1 研究方法

1.1 技術路線

文中提出的地震后受損建筑物災情分析方法,包括3個部分:1)收集國內外歷史破壞性地震后的受損建筑物圖片數(shù)據(jù),并進行預處理和數(shù)據(jù)增強;2)分別使用收集的數(shù)據(jù)集,對EfficientNet模型進行訓練,同時用檢測數(shù)據(jù)集進行檢測最后評估模型的效果;3)將模型分析的結果,結合空間數(shù)據(jù),制作災情分布圖。

1.2 神經(jīng)網(wǎng)絡模型EfficientNet介紹

EfficientNet是2019年谷歌大腦團隊提出的系列神經(jīng)網(wǎng)絡模型[20],包含B0～B7共8個模型,不同的模型分別對應不同的圖片分辨率。這些模型分別在網(wǎng)絡的寬度、深度和分辨率3個維度上,基于復合模型進行縮放,既實現(xiàn)了高效率,又節(jié)省了計算資源,如式(1)、式(2)所示:

(1)

(2)

式中:d、ω、γ分別為模型的深度、廣度和分辨率;φ是資源控制系數(shù),根據(jù)式中的約束條件,對3個維度上對應的系數(shù)α、β和γ進行調節(jié),在參數(shù)量和運算量不變的情況下,對網(wǎng)絡模型的深度、寬度和分辨率調節(jié),達到最優(yōu)的精度。EfficientNet模型的基礎模塊是MBConv,其結構如圖1所示。MBConv先用1×1的卷積增加維度,然后連接3×3或5×5卷積,再增加一個關于SE通道的注意力機制,最后用1×1的卷積降維,再添加一個殘差。通過對EfficientNet B0～B7共8個模型的實驗,發(fā)現(xiàn)EfficientNet B1模型更適合本數(shù)據(jù)集,為簡便起見,文中僅描述使用EfficientNet B1的實驗過程。

圖1 MBConv模塊結構Fig. 1 MBConv model constructure

1.3 模型訓練

模型在訓練的時候,由于數(shù)據(jù)量有限,為了避免造成過擬合,文中在EfficientNet B1模型中添加了Dropout算法。Dropout算法在訓練的時候,按照一定的概率對神經(jīng)網(wǎng)絡中的某些神經(jīng)元進行丟棄,這樣使模型不依賴局部特征,范化能力更強。

2 震后受災建筑物圖像數(shù)據(jù)

2.1 數(shù)據(jù)來源

文中所使用的震后受災建筑物圖像數(shù)據(jù),主要來源于近些年國內的一些較大破壞性地震的震后科考數(shù)據(jù),包括汶川地震、玉樹地震、九寨溝地震等20余個地震,這其中包含中國地震局工程力學研究所提供的工程震害數(shù)據(jù)。同時包括來自PHI(PEER Hub ImageNet Challenge,PHI)的開放數(shù)據(jù)[8,21],這個開放數(shù)據(jù)集包含8個數(shù)據(jù)集,文中主要使用了第1個場景識別數(shù)據(jù)集,并重新對這個數(shù)據(jù)集中的數(shù)據(jù)進行了分類。另外,也在網(wǎng)絡上收集了國外一些地震后的災情圖片。

2.2 建筑物震害類型劃分

我國有2個關于建筑物的震害類型劃分的標準,分別是用于地震現(xiàn)場調查的GB/T 24335—2009《建(構)筑物地震破壞等級劃分》[22]和用于遙感數(shù)據(jù)的建筑物破壞評估的DB/T 75—2018《地震災害遙感評估建筑物破壞》[23]。現(xiàn)場災害調查的標準規(guī)定,建(構)筑物綜合的破壞等級劃分是綜合考察建筑物的類型、是否承重構件和其破壞程度等多個因素,其依據(jù)的數(shù)據(jù)更加詳細,而社交媒體上的受損建筑物的圖像往往反映不出這些信息。而遙感數(shù)據(jù)評估震害的標準,由于其從高空中的視角查看建筑物,遙感數(shù)據(jù)展示的受損建筑物細節(jié)較少,其分類按照倒塌的程度來分,所以其分類標準也不適用于社交媒體上震害圖片的研究。因此,文中參考上述2個標準和以往的研究[8,21],根據(jù)地震對建筑物的破壞程度,結合震害在建筑物受損部位圖像的視覺特征,即線性特征、面狀特征和包含現(xiàn)狀和面狀破壞特征的綜合嚴重體破壞,將震害建筑物類型分為4類:沒有破壞、建筑物裂紋、部分墻皮或少量墻體脫落、墻體倒塌或整個建筑物倒塌。數(shù)據(jù)樣例如圖2所示。

圖2 建筑物受損類型示例Fig. 2 Examples of building destroyed types

2.3 數(shù)據(jù)預處理和數(shù)據(jù)增強

數(shù)據(jù)預處理包括圖像文件格式統(tǒng)一,圖像的大小統(tǒng)一為(240,240,3)和數(shù)據(jù)增強。數(shù)據(jù)集按照8∶1∶1的比例,分為訓練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)。

由于建筑物類型多樣,以及圖像拍攝采集環(huán)境多變,造成了建筑物震害在圖像的顏色、大小、形狀等方面表現(xiàn)多樣,為此,訓練集中的數(shù)據(jù)不能完全涵蓋今后實際地震受損的情況。文中采取數(shù)據(jù)增強的技術,以減少神經(jīng)網(wǎng)絡模型的過擬合現(xiàn)象,主要采用了幾何變換、亮度、對比度調整增強數(shù)據(jù)集。其中,幾何變換包括水平翻轉和在一定范圍內隨機旋轉角度。

3 實驗結果與分析

3.1 實驗平臺和模型訓練

在模型訓練階段中使用的實驗環(huán)境為Google Colaboratory,GPU型號為Tesla T4,深度學習平臺采用Tensorflow 2.5,在此環(huán)境中進行了受損建筑物分類識別模型的訓練、評估。

基礎模型采用Tensorflow Hub中的EfficientNet B1模型,其預訓練數(shù)據(jù)集為ILSVRC-2012-CLS。

3.2 模型訓練

經(jīng)過預訓練的EfficientNet B1,在震害建筑物數(shù)據(jù)集進行遷移訓練,采用優(yōu)化器RMSprop對模型進行參數(shù)優(yōu)化,其學習率設置為0.005,平滑常數(shù)設置為0.95。圖3是此模型在訓練時,模型的正確率和損失值在訓練集和驗證集上與迭代次數(shù)的關系。從圖3可以看到,從第7輪訓練之后,模型的檢測精度就不再增加了,最高達到87.45%。

3.3 模型性能評價

為了評估文中使用的模型對建筑物破壞程度識別的效果,使用精確率和混淆矩陣對其進行性能的評價。其中,精確率表示識別的建筑物受損類別是否正確,如式(3)所示:

(3)

式中:Tp表示識別為某種受損建筑物類型的樣本個數(shù);Fp表示錯誤判定為某種受損建筑物類型的樣本個數(shù)。

測試數(shù)據(jù)中包含5 922張圖像,其中全部完好的建筑物的圖片1 415張,含有建筑物裂縫的圖像1 507張,含有建筑物部分墻皮或少量墻體脫落的圖像1 500張,含有建筑物墻體嚴重破壞整體倒塌的圖片1 500張。根據(jù)測試數(shù)據(jù)的識別結果,在圖4中可以得到標準化混淆矩陣。可以看出模型的識別精確率為87.45%,Kappa系數(shù)為0.832 7,說明模型的識別效果與人眼識別是基本一致的,并且正確率較高。

3.4 青海瑪多地震災情數(shù)據(jù)分析

應用文中所訓練的模型,識別2021年5月22日青?，敹嗫h發(fā)生的7.4級地震的建筑物震害圖片,如圖5所示。收集到圖片共14張,其中5張包含坐標數(shù)據(jù)。正確識別的有12張,2張圖片識別錯誤,錯誤為將建筑物裂縫識別為部分墻皮或少量墻體脫落。識別的正確率為85.71%。

圖5 瑪多7.4級地震建筑物受損示例圖Fig. 5 Example of damaged buildings in Maduo Ms7.4 earthquake

實驗中,使用EfficientNet B1模型識別14張圖片,并將其中包含坐標的圖片制作成災情分布圖,整個過程用時2 s。

4 結語

文中為實現(xiàn)對地震后受損的建筑物進行自動識別,首先收集了大量的海內外相關機構的震害調查圖像和震后各個社交網(wǎng)絡上的相關圖片,結合國家相關標準和前人的研究,探討了針對這些圖片的分類原則,建立了一個大型專題數(shù)據(jù)集。然后建立了一個基于EfficentNet B1的建筑物受損情況識別網(wǎng)絡模型,使用文中建立的數(shù)據(jù)集進行訓練,得到比較優(yōu)秀的識別模型,并進行了震后受災建筑物受損程度的評估實驗,最后將成果應用于2021年5月22日的瑪多7.4級地震的建筑物震害數(shù)據(jù)。實驗結果表明:

1)EfficientNet B1網(wǎng)絡模型在地震受損建筑物受損程度評估識別效果明顯,實驗中的訓練精度為87.45%,Kappa系數(shù)為0.832 7。模型對于完好的和嚴重破壞的建筑物類型識別正確率更高,對于包含裂縫、部分墻皮或少量墻體脫落的建筑物識別正確率低些。因為部分墻皮或少量墻體脫落的圖片中,一般也包含裂縫,很容易造成誤判。這也是地震災害判別的一個特點,即破壞嚴重的類別中,會包含輕微破壞的圖像特征。

2)將此模型應用于2021年5月22日的青海瑪多7.4級地震的震害圖片識別。正確識別率為85.71%,與訓練時的識別正確率相當。災情圖片識別和制作災情分布圖的實時完成,相對于其他方法的災情處理,具有數(shù)據(jù)易采集,可以對數(shù)據(jù)實時處理的優(yōu)勢,并且其災情在空間描述和災情準確度上更加精準,有為地震后的抗震救災指揮提供信息支持的潛力。

3)基于對國內外地震受損建筑物數(shù)據(jù)的收集,建立了一個大型專題數(shù)據(jù)集,并建立了一個針對社交媒體的相關圖片數(shù)據(jù)的分類方法。

4)文中所采用的技術路線,具有智能化、自動化特征,因而可以有效應對地震的突發(fā)性的潛力,可以大幅的縮短從災情數(shù)據(jù)收集,到最終制作建筑物受損分布圖的時間。

5)本模型在識別部分墻皮或少量墻體脫落時的識別精度相對差一些,說明模型在不同尺度特征提取方面,還需要進一步提高,需要后續(xù)的進一步研究。另外,在將來的研究中,除了繼續(xù)擴大數(shù)據(jù)數(shù)量,還應該研究適合小數(shù)據(jù)量的算法模型。