何 欣，賀占勇

深度學(xué)習(xí)技術(shù)應(yīng)用于自動(dòng)識(shí)別崩塌滑坡體初探

何 欣，賀占勇

（四川省國(guó)土空間生態(tài)修復(fù)與地質(zhì)災(zāi)害防治研究院，成都 610081）

初步總結(jié)了基于無(wú)人機(jī)航拍影像使用深度學(xué)習(xí)技術(shù)對(duì)崩塌滑坡體進(jìn)行自動(dòng)識(shí)別的方法、效果以及存在問(wèn)題，對(duì)深度學(xué)習(xí)技術(shù)基于無(wú)人機(jī)航拍影像自動(dòng)識(shí)別崩塌滑坡體的可行性進(jìn)行了研究，采用多尺度移動(dòng)窗方法整合影像分類器以實(shí)現(xiàn)目標(biāo)對(duì)象的自動(dòng)識(shí)別。希望本文研究總結(jié)的深度學(xué)習(xí)技術(shù)應(yīng)用于地質(zhì)災(zāi)害隱患影像處理領(lǐng)域的可行性和困難能夠供同業(yè)人員借鑒。

崩塌體；滑坡體；無(wú)人機(jī)影像；深度學(xué)習(xí)技術(shù)；自動(dòng)識(shí)別

本研究對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)用于崩塌、滑坡體影像自動(dòng)識(shí)別進(jìn)行了探索。深度學(xué)習(xí)技術(shù)近年來(lái)取得突破性進(jìn)步，使計(jì)算機(jī)可有效將非結(jié)構(gòu)化影像數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化特征信息。應(yīng)用這項(xiàng)技術(shù)的機(jī)器學(xué)習(xí)模型在多個(gè)領(lǐng)域上已經(jīng)達(dá)到人類水平 (Goodfellow, Bengio, & Courville, 2016)。無(wú)人航空器小型化、智能化和經(jīng)濟(jì)化，使得航空攝影和遙感可以較低成本獲得更多高質(zhì)量的航空影像數(shù)據(jù)和遙感數(shù)據(jù)。

表1 研究樣本分布、數(shù)據(jù)表

本文初步總結(jié)基于無(wú)人機(jī)航拍影像使用深度學(xué)習(xí)對(duì)崩塌滑坡體進(jìn)行自動(dòng)識(shí)別方法、效果以及存在問(wèn)題。

1 數(shù)據(jù)和方法

1.1 工作數(shù)據(jù)概括

研究樣本，獲取無(wú)人機(jī)拍攝45處地質(zhì)災(zāi)害隱患點(diǎn)4774張影像。分布在7個(gè)縣18處滑坡和27處崩塌（表1）。

1.2 技術(shù)路線

研究的技術(shù)工作流程由三個(gè)部分組成：①影像數(shù)據(jù)的人工標(biāo)注和分類；②影像分類器的建立和訓(xùn)練；③自動(dòng)識(shí)別器的建立。

針對(duì)小樣本狀況，選擇“融合圖像分類器和多尺度移動(dòng)窗”技術(shù)方案。使用深度卷積神經(jīng)網(wǎng)絡(luò)內(nèi)化圖像特性提取，訓(xùn)練影像分類器，對(duì)多尺度移動(dòng)窗生成信號(hào)進(jìn)行疊加，給出識(shí)別結(jié)果（圖1）。

圖1 技術(shù)路線圖

1.3 影像數(shù)據(jù)的人工標(biāo)注和分類

生成用于監(jiān)督式機(jī)器學(xué)習(xí)的標(biāo)注數(shù)據(jù)集。專業(yè)地質(zhì)人員選取典型航拍影像進(jìn)行人工判讀，使用覆蓋目標(biāo)對(duì)象全部特征最小矩形框?qū)Ρ浪?、滑坡體進(jìn)行標(biāo)注，裁切標(biāo)注區(qū)影像。再使用計(jì)算機(jī)視覺(jué)方法對(duì)人工標(biāo)注的影像、其他影像進(jìn)行比對(duì)，確定被人工標(biāo)注覆蓋區(qū)域；對(duì)未覆蓋區(qū)域隨機(jī)裁切影像。

表2 數(shù)據(jù)生產(chǎn)的結(jié)果

專業(yè)地質(zhì)人員對(duì)裁切影像按照“崩塌”、“滑坡”、“破碎山體”、“人類活動(dòng)”、“其它”等組別進(jìn)行分類。整理分類結(jié)果用于分類器訓(xùn)練的標(biāo)注數(shù)據(jù)集。

1.4 影像分類器的建立和訓(xùn)練

建立、訓(xùn)練針對(duì)崩塌滑坡體影像分類器。本研究使用以深度卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的圖像特征提取器結(jié)合淺層分類器的方式建立分類器。

選擇在ImageNet比賽中表現(xiàn)良好的神經(jīng)網(wǎng)絡(luò)模型，對(duì)標(biāo)注數(shù)據(jù)集的圖像特征進(jìn)行提取。權(quán)衡性能、復(fù)雜度和新穎性，選擇 MobileNet v2 (Sandler, Howard, Zhu, Zhmoginov, & Chen, 2018)，Xception (Chollet, 2016)和 InceptionResNet v2 (Szegedy, Ioffe, Vanhoucke, & Alemi, 2016)為備選編碼器。因?yàn)楸狙芯恳?guī)模，淺層分類器種類不決定分類效果，研究基于標(biāo)注數(shù)據(jù)數(shù)據(jù)集的圖像特征，使用AdaBoost (Freund, Iyer, Schapire, & Singer, 2003)建立和訓(xùn)練影像分類器。

1.5 自動(dòng)識(shí)別器的建立

建立自動(dòng)識(shí)別器，可在航拍影像中將崩塌、滑坡體識(shí)別出來(lái)。本研究使用多尺度移動(dòng)窗建立自動(dòng)識(shí)別器。設(shè)定移動(dòng)窗尺寸和移動(dòng)步長(zhǎng)，按設(shè)定輸入影像范圍內(nèi)移動(dòng)窗口。在每個(gè)位置上，使用該窗口對(duì)輸入影像進(jìn)行截取，使用影像分類器對(duì)截取影像進(jìn)行類別判定。將影像不同位置類別判定結(jié)果作為信號(hào)，根據(jù)疊加信號(hào)強(qiáng)度對(duì)目標(biāo)對(duì)象及其在影像中位置進(jìn)行判定。

項(xiàng)目使用128、256、512三類尺寸移動(dòng)窗，移動(dòng)步長(zhǎng)為移動(dòng)窗尺寸的50%。自動(dòng)識(shí)別信號(hào)單元為64x64正方形。為了過(guò)濾噪聲，使用信號(hào)閾值n，即一信號(hào)單元需至少n個(gè)陽(yáng)性窗口有交集才能被激活。使用‘崩塌’或‘滑坡’作信號(hào)源，設(shè)定信號(hào)閾值為2；使用‘破碎山體’作為信號(hào)源時(shí)，設(shè)定信號(hào)閾值為4。

表 3 不同圖像特征編碼在分類任務(wù)上的表現(xiàn)

2 結(jié)果和分析

2.1 標(biāo)注數(shù)據(jù)數(shù)據(jù)集

本研究共產(chǎn)生1766張人工標(biāo)注、分類的影像用于監(jiān)督式機(jī)器學(xué)習(xí)。在“核心類別”：滑坡、崩塌、其他、破碎山體、人類活動(dòng)類型基礎(chǔ)上，將涉及類別交叉或判定困難情況進(jìn)行了分離（表2）。

表4 分類器在不同類別影像上的表現(xiàn)（測(cè)試組）

2.2 影像分類器

為控制數(shù)據(jù)量影響，本研究選擇“破碎山體”、“人類活動(dòng)”、“其他”三個(gè)類別作分析起點(diǎn)。這三類別覆蓋研究對(duì)象主要特征，又保持其間距離。

表 3展示三種編碼及監(jiān)督分類結(jié)果。三種編碼方式均有良好表現(xiàn)。綜合考慮模型大小和表現(xiàn)，本研究選擇 Xception為主力編碼器。

值得注意，沒(méi)有崩塌、滑坡兩個(gè)重要基礎(chǔ)特征類別。原因在采集可以清晰反映崩塌、滑坡全部圖像特征數(shù)據(jù)量太少（崩塌52張和滑坡56張），且變化不足。引入崩塌、滑坡類別后，分類器容易和其它組別（山體裂縫影像、農(nóng)地影像）混淆；在缺失部分圖像特征的崩塌影像和滑坡影像表現(xiàn)也較差（表 4）。綜合而言，分類器在訓(xùn)練集和測(cè)試集表現(xiàn)分別為0.999 和 0.919，仍處于可以接受的水平。

2.3 自動(dòng)識(shí)別器

為定量地衡量人工標(biāo)注和自動(dòng)識(shí)別間差異，本研究使用準(zhǔn)確率和回溯率評(píng)價(jià)。準(zhǔn)確率：一個(gè)對(duì)象同時(shí)被人工標(biāo)注和自動(dòng)識(shí)別所認(rèn)定，視為準(zhǔn)確（同一）。將人工標(biāo)注區(qū)自動(dòng)識(shí)別信號(hào)總面積與人工標(biāo)注區(qū)總面積之比作為回溯率。此外，為衡量自動(dòng)識(shí)別信號(hào)信噪比，還計(jì)算了人工標(biāo)注區(qū)和自動(dòng)識(shí)別區(qū)交集的面積和并集的面積比值IOU值。

圖2 信號(hào)強(qiáng)度和信噪比

圓點(diǎn)為滑坡影像，叉點(diǎn)為崩塌影像

多數(shù)情況，使用“滑坡”信號(hào)可以有效地識(shí)別滑坡體。滑坡體和崩塌體在“滑坡”信號(hào)上呈現(xiàn)不同模式。對(duì)滑坡體“滑坡”信號(hào)強(qiáng)度和IOU值呈現(xiàn)一定程度正相關(guān)性。對(duì)于崩塌體，“破碎山體”比“崩塌”表現(xiàn)更有效信號(hào)（圖2）。

崩塌體影像自動(dòng)識(shí)別時(shí)信號(hào)偏弱與拍攝視角有關(guān)。傾斜視角較垂直視角下崩塌體信號(hào)更強(qiáng)（圖3，信噪比也高。垂直視角下，弱信號(hào)情況多，還存在信號(hào)較強(qiáng)但信噪比低情況。

幾點(diǎn)體會(huì)：

（1）自動(dòng)識(shí)別和人工標(biāo)注結(jié)果呈現(xiàn)一致性。使用“破碎山體”為信號(hào)源可有效識(shí)別崩塌體，使用‘滑坡’作信號(hào)源可有效地識(shí)別滑坡體。

（2）使用傾斜視角拍攝影像可獲得較好效果。崩塌體更易受拍攝視角影響，使用垂直影像識(shí)別會(huì)有明顯負(fù)面影響。對(duì)滑坡體使用垂直影像會(huì)增加信號(hào)的不確定性。

（3）受多尺度移動(dòng)窗技術(shù)制約，自動(dòng)識(shí)別結(jié)果較于人工標(biāo)注有一定偏移，地質(zhì)災(zāi)害隱患更傾向于山腳一側(cè)。

圖3 拍攝視角的影響

圓點(diǎn)為傾斜視角，叉點(diǎn)為垂直視角

（4）值得注意的是，本研究使用AdaBoost基于人工標(biāo)注影像在“破碎山體”，“崩塌”和“滑坡”三種信號(hào)的信息強(qiáng)度上的模式建立分類器以區(qū)分崩塌體影像和滑坡體影像。訓(xùn)練組和測(cè)試組正確率分別達(dá)0.96和0.92的水平。絕大多數(shù)錯(cuò)誤出現(xiàn)在人工標(biāo)注有誤的影像上。

3 討論和結(jié)論

3.1 討論

深度卷積神經(jīng)網(wǎng)絡(luò)用于崩塌滑坡體影像自動(dòng)識(shí)別基于圖像特征，深度學(xué)習(xí)模型可有效從無(wú)人機(jī)拍攝山體影像中識(shí)別“破碎山體”、“人類活動(dòng)區(qū)域”，在一定程度上識(shí)別“崩塌”和“滑坡”區(qū)域。

實(shí)際應(yīng)用最有效的監(jiān)督式學(xué)習(xí)，需要大量標(biāo)注數(shù)據(jù)，獲取足夠量標(biāo)注數(shù)據(jù)成本高昂。原始影像數(shù)據(jù)采集，后續(xù)人工標(biāo)注成本測(cè)算，有經(jīng)驗(yàn)地質(zhì)工作者在一工作日僅能標(biāo)注100張左右影像。

受標(biāo)注數(shù)據(jù)量限制，本研究未使用YOLO式模型，使用低效多尺度移動(dòng)窗對(duì)目標(biāo)對(duì)象的自動(dòng)識(shí)別模型。對(duì)崩塌滑坡體由于目標(biāo)對(duì)象影像中無(wú)模版化幾何比例，需比其他目標(biāo)對(duì)象更多標(biāo)注數(shù)據(jù)。

崩塌、滑坡體最適合“語(yǔ)意分割式標(biāo)注”（勾勒出各目標(biāo)對(duì)象輪廓）。采用人工標(biāo)注方式時(shí)間成本至少是矩形框標(biāo)注的數(shù)十倍。

3.2 結(jié)論

本研究基于深度卷積神經(jīng)網(wǎng)絡(luò)分類器和建立在分類器基礎(chǔ)上的識(shí)別器組成。識(shí)別器以多尺度移動(dòng)窗的方式建立，在目標(biāo)類別上的信噪比以IOU計(jì)平均可以達(dá)到20%（滑坡）和40%（崩塌）。本研究表明，在地質(zhì)災(zāi)害隱患識(shí)別應(yīng)用深度學(xué)習(xí)技術(shù)是基本可行的。最大的制因素是標(biāo)注數(shù)據(jù)的數(shù)量和質(zhì)量。

Goodfellow, I., Bengio, Y., & Courville, A. 2016. Deep Learning: Adaptive Computation and Machine Learning. Cambridge, Massachusetts: MIT Press.

歐陽(yáng)朝軍. 2018. 成都山地所采用新技術(shù)提取北京房山區(qū)崩滑體動(dòng)力學(xué)特征. Retrieved from www.imde.cas.cn/yjld_2015/201808/ t20180814_5055778.html

Chen, L., Zhu, Y., Papandreou, G., Schroff, F., & Adam, H. 2018. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation. arXiv:1802.02611 [cs.CV].

Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. 2015. You Only Look Once: Unified, Real-Time Object Detection. arXiv:1506.02640 [cs.CV].

Tzutalin. 2015. LabelImg. Retrieved from Git code: https://github.com/tzutalin/labelImg

Lowe, D. 1999. Object recognition from local scale-invariant features. Proceedings of the Seventh IEEE International Conference on Computer Vision, (pp. 1150-1157). Kerkyra.

Lowe, D. 2004. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 91–110.

Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., & Chen, L. 2018. MobileNetV2: Inverted Residuals and Linear Bottlenecks. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 4510-4520.

Chollet, F. 2016. Xception: Deep Learning with Depthwise Separable Convolutions. arXiv:1610.02357 [cs.CV].

Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. 2016. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. arXiv:1602.07261 [cs.CV].

Freund, Y., Iyer, R., Schapire, R., & Singer, Y. 2003. An Efficient Boosting Algorithm for Combining Preferences. Journal of Machine Learning Research, 933-969.

A Preliminary Discussion on the Application of Deep Learning Technology to the Automatic Identification of Landslide

HE Xin and HE Zhan-yong

(Sichuan Research Institute of Land Space Ecological Restoration and Geohazard Prevention, Chengdu 610081)

This paper has a discussion on the method, effect and existing problems of automatic identification of landslide body based on aerial drone imagery and by means of deep learning technology and makes an approach to the feasibility of applying this automatic identification method.

landslide body; aerial drone imagery; deep learning technology; automatic identification

TP18；P641.21；P642.22

A

1006-0995（2021）03-0508-04

10.3969/j.issn.1006-0995.2021.03.032

2020-11-02

何欣（1982— ），男，成都人，工程師，研究方向：大數(shù)據(jù)和統(tǒng)計(jì)學(xué)