徐如意 王蘭洲

（1.河南理工大學(xué) 測(cè)繪與國(guó)土信息工程學(xué)院，河南 焦作 454003；2.河南省數(shù)聯(lián)測(cè)繪科技有限公司，河南 鄭州 450052）

1 引言

隨著城市化進(jìn)程的加快，我國(guó)城市建設(shè)高速發(fā)展，城市及城市周邊的建筑工地大量增加，由建筑工地施工造成的環(huán)境污染，已經(jīng)成為霧霾現(xiàn)象加重、PM2.5指數(shù)超標(biāo)的主要原因[1,2]。因此，建筑工地的環(huán)境管理對(duì)治理大氣揚(yáng)塵污染有著決定性影響。目前工地環(huán)境治理，主要通過(guò)噴淋設(shè)施和安裝防塵網(wǎng)等方式進(jìn)行預(yù)防和改善。由于工地環(huán)境復(fù)雜、工作量大等問(wèn)題，對(duì)于防塵網(wǎng)的鋪設(shè)具有局限，對(duì)于堆積的建筑材料無(wú)法提供及時(shí)有效的防塵措施。

無(wú)人機(jī)遙感影像具有快速獲取、高精度、廣視角等特點(diǎn)，利用相關(guān)方法能夠獲取關(guān)鍵信息，結(jié)合地理信息平臺(tái)，提供精準(zhǔn)的位置服務(wù)。近年來(lái)，深度學(xué)習(xí)方法由于能夠自動(dòng)提取深層抽象特征，在計(jì)算機(jī)視覺(jué)相關(guān)領(lǐng)域得到廣泛研究和應(yīng)用，極大推動(dòng)了遙感圖像智能解譯[3]。目前，在遙感圖像密集預(yù)測(cè)、目標(biāo)檢測(cè)、實(shí)例分割等細(xì)分領(lǐng)域，均有廣泛研究的成熟深度學(xué)習(xí)模型。例如面向密集預(yù)測(cè)任務(wù)的U-Net[4,5]、DeeplabV3+[6]，面向目標(biāo)檢測(cè)的R-CNN[7]，面向?qū)嵗指畹腗ask R-CNN[8,9]等。以上模型均可應(yīng)用于遙感圖像地物提取，取得優(yōu)于傳統(tǒng)方法的效果。

近年來(lái)，利用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）進(jìn)行對(duì)抗學(xué)習(xí)擴(kuò)充訓(xùn)練樣本的思路在遙感圖像解譯領(lǐng)域有著很大潛力[10,11]。GAN 通過(guò)深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像本質(zhì)特征，結(jié)合生成器和判別器對(duì)抗的博弈過(guò)程，可產(chǎn)生和原始標(biāo)記樣本分布接近的虛擬樣本，這種研究思路給小樣本遙感圖像地物提取問(wèn)題提供了解決方案。

本文基于城市無(wú)人機(jī)影像、環(huán)保信息、關(guān)聯(lián)時(shí)間和地理位置，采集試驗(yàn)區(qū)工地區(qū)域的黃土裸露、建筑材料堆積等多種影響環(huán)境的樣本。利用以上方法采集到少量樣本，基于GAN 和SAN 擴(kuò)充形成樣本數(shù)據(jù)集，建立工地環(huán)境要素的特征模型庫(kù)；然后用深層殘差網(wǎng)絡(luò)進(jìn)行特征提?。蛔詈笤贛ask R-CNN 的基礎(chǔ)上建立能夠準(zhǔn)確識(shí)別工地環(huán)境要素的網(wǎng)絡(luò)模型SE R-CNN，實(shí)現(xiàn)工地要素提取。本文以河南省某市為例利用無(wú)人機(jī)巡查采集數(shù)據(jù)，開展工地環(huán)境要素分析，為城市環(huán)保的規(guī)劃和管理、大氣治理提供幫助。

2 環(huán)境要素樣本庫(kù)建立

2.1 試驗(yàn)區(qū)域的確定

本文試驗(yàn)區(qū)域?yàn)楹幽鲜∧呈?，測(cè)試數(shù)據(jù)按照時(shí)相信息，選擇兩個(gè)不同年份的3 月、6 月、8 月、11 月數(shù)據(jù)為整個(gè)研究的數(shù)據(jù)集。樣本實(shí)際應(yīng)用效果如圖1所示。

圖1 樣本實(shí)際應(yīng)用效果

城市環(huán)境中，基于小樣本的城市工地環(huán)境要素提取的主要工作內(nèi)容包括3 個(gè)部分：基礎(chǔ)工地環(huán)境要素的定義和樣本標(biāo)注、基于GAN 網(wǎng)絡(luò)的樣本生成、無(wú)人機(jī)影像工地環(huán)境要素提取，提取框架如圖2所示。

圖2 工地環(huán)境要素提取框架

2.2 工地環(huán)境要素定義與樣本庫(kù)建立

（1）工地環(huán)境要素。工地環(huán)境要素是指在工地建設(shè)過(guò)程中，通過(guò)圖像分析可以獲取的對(duì)環(huán)境質(zhì)量具有負(fù)面影響的圖像信息。本文利用高精度、多時(shí)相的無(wú)人機(jī)數(shù)據(jù)，將黃土裸露、建筑材料堆積、建筑垃圾堆積定義為本研究的環(huán)境要素。

（2）樣本庫(kù)建立。結(jié)合數(shù)據(jù)標(biāo)簽工具，對(duì)城市數(shù)據(jù)進(jìn)行全面標(biāo)簽化。在識(shí)別階段，用以消除建筑物、道路、綠地植被等信息的干擾，提高識(shí)別精度。城市全要素定義如表1 所示，其中分類8、分類9 為本研究中定義的工地環(huán)境要素。人工標(biāo)記初始樣本集每個(gè)類別不超過(guò)50個(gè)標(biāo)簽。樣本標(biāo)注效果如圖3所示。

表1 城市全要素定義

圖3 樣本標(biāo)注效果

3 樣本庫(kù)擴(kuò)充和環(huán)境要素提取方法

3.1 基于GAN 和SAN 的樣本擴(kuò)充

利用工地環(huán)境要素的不規(guī)則形狀，在圖像中表現(xiàn)出的顏色和紋理，結(jié)合圖像視覺(jué)基礎(chǔ)及工地環(huán)境的目標(biāo)特征，采用GAN 網(wǎng)絡(luò)方法對(duì)工地環(huán)境要素的樣本數(shù)量進(jìn)行擴(kuò)充，數(shù)據(jù)擴(kuò)充過(guò)程如圖4 所示。

圖4 數(shù)據(jù)擴(kuò)充示意圖

3.1.1 GAN 模型

GAN 由兩個(gè)網(wǎng)絡(luò)組成，生成網(wǎng)絡(luò)Generator 和判別網(wǎng)絡(luò)Discriminator Generator 負(fù)責(zé)接收隨機(jī)的噪聲z，通過(guò)噪聲生成樣本，記為G(z)；Discriminator判定生成的樣本是否真實(shí)，接收輸入x，輸出D(x)代表x為真實(shí)樣本的概率。其數(shù)學(xué)表達(dá)為公式（1）：

3.1.2 選擇性GAN 模型（SAN）

本研究中，在標(biāo)注樣本數(shù)據(jù)集中，由于標(biāo)注的類別全面，為突出工地環(huán)境要素，將分類8、分類9 定義為工地環(huán)境要素Gf，利用選擇性對(duì)抗網(wǎng)絡(luò)Selective Adversarial Networks（SAN），增強(qiáng)其紋理特性。其主體框架如圖5 所示。

圖5 SAN示意圖

本研究定義全要素類別標(biāo)簽集為全域數(shù)據(jù)集，類別8、類別9 為子集。Gf是以工地要素的顏色特征、灰度共生矩陣、圖像深度特征構(gòu)建的特征提取器，用以約束遷移學(xué)習(xí)的結(jié)果表達(dá)。

3.2 工地環(huán)境要素提取方法

本文在候選區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（mask regionbased convolutional neural network，Mask R-CNN）[12]基礎(chǔ)上，建立能準(zhǔn)確識(shí)別工地環(huán)境要素的網(wǎng)絡(luò)模型（Site environment region-based convolutional neural network，SE R-CNN）。 將 深 度 殘 差 網(wǎng) 絡(luò)（ResNet50）[3]作為底層的特征提取網(wǎng)絡(luò)，并以人工標(biāo)注3000 張數(shù)據(jù)集作為目標(biāo)識(shí)別的基礎(chǔ)訓(xùn)練權(quán)重。對(duì)于工地環(huán)境要素檢測(cè)和分割，交并比（Intersection over Union，IoU）＞0.5 為有效分割。依賴Mask R-CNN定位精度高的特性，提升工地要素識(shí)別的精準(zhǔn)度。本研究設(shè)定IoU 為0.7。通過(guò)GAN、SAN 增強(qiáng)樣本后，經(jīng)過(guò)遷移訓(xùn)練得到SE R-CNN 模型的平均精度均值mAP（mean average precision）為85.6%，充分肯定了SE R-CNN 模型對(duì)工地環(huán)境要素提取的有效性。

4 試驗(yàn)結(jié)果分析

本研究在通過(guò)小樣本標(biāo)注后，利用樣本擴(kuò)充的方式，結(jié)合SE R-CNN 的目標(biāo)提取驗(yàn)證。對(duì)研究采用的兩種樣本庫(kù)擴(kuò)充方法，進(jìn)行特征庫(kù)構(gòu)建，然后將人工標(biāo)定的工地?cái)?shù)據(jù)集作為真實(shí)樣本集，對(duì)兩種特征庫(kù)提取的工地環(huán)境要素結(jié)果進(jìn)行統(tǒng)計(jì)和對(duì)比，用以評(píng)定樣本擴(kuò)充的有效性和準(zhǔn)確性。設(shè)Nc為采用本研究算法被正確分類為工地環(huán)境要素?cái)?shù)量，Nf為被誤檢為工地環(huán)境要素?cái)?shù)量；Nt為人工標(biāo)注的工地環(huán)境要素?cái)?shù)量，因此工地環(huán)境要素檢測(cè)的定量指標(biāo)為正確率和虛警率，計(jì)算方式如公式（2）和公式（3）：

根據(jù)上述評(píng)定方法，采用給出的兩種特征庫(kù)進(jìn)行同一方法識(shí)別的評(píng)定結(jié)果，如表2 所示，通過(guò)選擇性樣本擴(kuò)充的工地環(huán)境要素特征庫(kù)，具有更好的適應(yīng)性，檢出精度較高。

表2 檢出結(jié)果分析

5 結(jié)語(yǔ)

針對(duì)城市工地環(huán)境要素提取，本文建立了小樣本工地環(huán)境特征庫(kù)，首先利用GAN 和SAN 補(bǔ)充訓(xùn)練樣本，并增強(qiáng)樣本紋理特性；然后利用ResNet-50 提取深度特征，最后用Mask R-CNN 改進(jìn)的SE R-CNN 實(shí)現(xiàn)要素提取。試驗(yàn)表明，該方法有效提高了對(duì)無(wú)人機(jī)巡查數(shù)據(jù)的利用率，增強(qiáng)了環(huán)保巡查的精準(zhǔn)性和高效性，可為城市環(huán)境建設(shè)提供參考。后續(xù)研究計(jì)劃增強(qiáng)工地環(huán)境要素的相關(guān)特征，提高工地環(huán)境要素分割模型SE R-CNN 的泛化能力,利用多時(shí)相數(shù)據(jù)擴(kuò)展其在變化檢測(cè)方向的應(yīng)用，使工地環(huán)境要素特征庫(kù)更具實(shí)用意義。