蔡祥，李琦，羅言，齊建東

(1.北京林業(yè)大學信息學院,北京 100083; 2.國家林業(yè)草原林業(yè)智能信息處理工程技術中心，北京 100083)

0 引言

煤礦資源在推動經濟發(fā)展中具有重要作用，保證礦區(qū)的安全生產是采礦作業(yè)的重中之重[1]。準確高效地獲取礦區(qū)地物信息能有效輔助煤炭礦區(qū)生產工作的安排及部署，為安全生產奠定基礎，而礦區(qū)地物類型往往特殊且復雜，傳統(tǒng)人工野外調查手段獲取大面積礦區(qū)信息耗時耗力[2]。

近年來，國內外學者針對礦區(qū)的特點，在礦區(qū)地物提取方面進行了大量研究[3-5]。這些研究主要采用面向對象方法對礦區(qū)衛(wèi)星遙感影像進行地物提取，該方法以“同質均一”的多個像元為基礎分類對象，利用影像的形狀、光譜、空間紋理等特征進行分類。其基本分類方法中較為常用的有基于規(guī)則分類和最鄰近分類2種，前者對于一些特征相似的地物類別區(qū)分效果較差[6]，同時需要在一定專業(yè)基礎上多次制定規(guī)則和調整閾值進行實驗才能獲得合理的規(guī)則集； 后者通過計算地物對象與已知類別樣本在特征空間的距離來判斷類別，分類結果更客觀，但計算量較前者大。荊平平等[7]利用面向對象的多尺度分割技術等對礦區(qū)無人機影像進行地物分類，總體精度達89.92%。

隨著遙感技術的迅速發(fā)展，無人機低空遙感在礦區(qū)的應用越來越多。和衛(wèi)星遙感相比，無人機遙感成本低，時效性好，操作靈活，分辨率高，且富含更多空間信息[8]。張建勇等[9]利用低空無人機攝影測量快速構建礦區(qū)線狀地物信息； 韋國鈞[10]提出了一種無人機影像可疑變化地物快速發(fā)現(xiàn)方法； 徐曉萍[11]將無人機攝影測量技術應用于大寶山礦，提高了地形測量的速度與效率； 師文杰等[12]基于實例探討了無人機測量技術在礦山地質環(huán)境治理中的應用。

深度學習在分類任務上的高準確率體現(xiàn)了其特征提取的強大能力，為各領域的信息提取提供了新的思路。2010年Minh等[13]首次應用深度學習技術來提取道路信息，此后,深度學習技術逐漸被應用于高分影像的分類、信息提取、變化監(jiān)測等任務。鄭重等[14]提出了基于深度學習的地面塌陷遙感識別方法用于監(jiān)測礦區(qū)的地面塌陷情況； 向陽等[15]使用改進的U-Net孿生網絡對礦區(qū)遙感影像進行變化檢測并取得了較好的檢測效果。

針對現(xiàn)有的衛(wèi)星遙感影像處理繁瑣，消耗時間長，面向對象方法分類精度不高等問題，本文提出一種通過無人機低空遙感獲取煤炭礦區(qū)高清影像，利用基于面向對象分類方法和深度學習的語義分割模型進行高效煤炭礦區(qū)地物提取的方法。

1 礦區(qū)無人機影像采集與標注

1.1 研究區(qū)概況與數據源

本文選擇內蒙古自治區(qū)西部烏海市海南區(qū)焦化廠為試驗區(qū)，地理坐標在E106°53′06″～106°54′07″,N39°26′59″～39°27′33″之間，面積約為1.58 km2。

本研究采用瑞士生產的型號為eBeeAg的固定翼無人機,搭載相機為Sony DSC-WX220，影像數據采集時間為2018年3月，航拍影像包含紅、綠、藍3個波段，空間分辨率為5 cm。

試驗對無人機影像進行拼接和正射校正等預處理操作，生成礦區(qū)的正射影像圖。本研究選取6塊典型區(qū)域的正射影像(圖1)，每塊大小均為6 720像素×5 760像素，覆蓋面積均約為0.08 km2，其中區(qū)域1—5為訓練集數據，區(qū)域6為測試集數據,各區(qū)域均無交集。

1.2 數據標注

使用深度學習語義分割模型進行地物提取的第一步是對影像數據進行像素級標注，傳統(tǒng)標注方法為人工目視解譯，該方法雖簡單但人力和時間成本較高。本文提出采用面向對象分類方法輔以人工校正進行數據標注。該方法包括3個步驟： ①分割影像； ②對分割影像進行分類； ③人工校正分類結果。

1.2.1 面向對象的分割算法

面向對象分類方法包含兩部分： 影像分割和對象特征提取[16]。影像分割的對象邊界與地物邊界重合度越高，特征提取的結果就越準確。該過程使用從單個像元對象開始自下而上的區(qū)域增長法合并相鄰對象生成影像對象，當對象的異質性達到設定閾值，則完成合并，結束對象分割過程。其中，分割方法包括3個重要參數： 分割尺度、形狀因子和緊致度因子。不同分割參數結果示例如圖2所示。

通過控制變量對比實驗選擇最優(yōu)的異質性度量參數，其中形狀因子越大，分割后的對象形狀越平滑，產生的對象越規(guī)整； 緊致度因子越大，分割的對象就越接近矩形。本文最終確定分割尺度為140，形狀值為0.4，緊致度因子值為0.5。

1.2.2 面向對象的最鄰近分類算法

本文定義4種地物類別： 道路、建筑、車輛和礦區(qū)地面。每類均選取適量(大約1/3)樣本作為訓練樣本，計算對象的形狀、光譜等特征值，再建立合適的對象特征空間，由特征空間參數指導分類[17]，但過多分類特征可能導致冗余，造成計算量增加，分類效率降低等問題，甚至降低分類精度。經實驗對比，本文取不同類別之間可分性最大的5種特征組成最優(yōu)特征空間集，這5種特征是： 歸一化灰度矢量反差、亮度、邊界長度、歸一化灰度矢量熵、邊界指數，再運用最鄰近分類器完成地物分類，待分影像對象O與類別Ki的最小距離DKi公式為：

(1)

人工校正完成后將分類結果圖轉為索引圖(圖3)，用于后續(xù)語義分割模型訓練?？紤]到實驗設備限制及模型的網絡結構等因素，將6塊實驗區(qū)域影像分割成320像素×320像素的圖像集，其中訓練集1 890張，測試集378張，訓練集與測試集樣本數之比為5∶1。

2 基于神經網絡的地物提取方法

本文提出一種基于神經網絡的地物提取方法，首先使用FCN-8s，F(xiàn)CN-32s，U-Net這3種語義分割模型在礦區(qū)數據集上訓練，生成相應的神經網絡模型，再基于3種模型采用多數投票法及打分法生成兩種集成模型，最后使用膨脹及腐蝕算法對集成模型的輸出結果進行優(yōu)化，識別模型結構如圖4所示。

圖4 礦區(qū)地物識別集成模型結構Fig.4 Structure of integrate algorithms for surface feature extraction on mining area

2.1 全卷積網絡

全卷積網絡(fully convolutional network，F(xiàn)CN)[18]是一種深度學習神經網絡模型，一般用于圖像的像素級分類。相較于圖像級分類使用的卷積神經網絡(convolutional neural network，CNN)，F(xiàn)CN保留了CNN的卷積層，用于提取圖像特征，將CNN中的全連接層替換成卷積層，并對最后一個卷積層的特征圖進行上采樣，將輸出還原至輸入圖像相同尺寸，從而實現(xiàn)對每一個像素點的類別預測，同時保留原始圖像的空間信息，完成圖像的像素級分類。FCN的卷積層具有很強的圖像特征提取能力，其中較淺層具有較小感受野，能夠獲取局部特征信息，較深層具有較大感受野，能夠獲取更多特征信息。另外跳躍結構可融合網絡中不同卷積層輸出特征，能有效提升地物提取效果。本文使用FCN-32s和FCN-8s模型進行實驗，其中FCN-32s將網絡中最后一個卷積層特征圖進行32倍上采樣后輸出，該方法實現(xiàn)簡單但預測結果較為粗糙，而FCN-8s則融合了多層上采樣的特征圖后輸出(圖5)。

圖5 FCN基本結構Fig.5 Basic structure of FCN

2.2 U-Net模型

U-Net[19]是一種基于FCN改進的模型，使用了編碼-解碼結構(圖6)，由左半邊的壓縮通道(contracting path)和右半邊的擴展通道(expansive path)組成。壓縮通道由卷積層和最大池化層組成，實現(xiàn)特征提取功能。擴展通道先進行反卷積操作，減半特征圖維數，然后拼接對應壓縮通道裁剪得到的特征圖，組成一個2倍大小的特征圖，再采用2個卷積層對其進行特征提取，并重復以上操作。最后的輸出層再進行2次卷積將64維的特征圖映射成2維的圖輸出。

圖6 U-Net結構Fig.6 Structure of U-Net

2.3 模型集成

模型集成(ensemble)是結合多個學習器并使用某種策略來構建完成學習任務的模型，該方法從多個學習器取長補短，較單個學習器能得到更好的預測結果。本文的個體學習器為FCN-8s,FCN-32s,U-Net訓練出來的模型，先取其分類結果，再采用多數投票法及打分法兩種策略進行集成。

1)多數投票法。針對同一像素點，假設3個學習器的輸出為Oj(j=1,2,3)，多數投票法先統(tǒng)計3個學習器中相同分類結果的個數，最終輸出結果為相同分類個數最多的結果。若個數一樣，則選擇學習器中整體準確率最高的輸出結果作為輸出結果。

2)打分法。針對同一像素點，當3個學習器的輸出一致時，將該輸出直接作為結果輸出。否則根據同類別地物的預測準確率對學習器j進行打分Sij(i=1,2,3,4;j=1,2,3)，i類地物預測準確率最高的模型Sij=3，最低的模型Sij=1，輸出結果為總分Pi最高的類別，Pi由預測為i類的各個模型分數相加得到，即

Pi=Si1+Si2+Si3。

(2)

如果存在不同類別Pi一致，則選擇學習器中整體準確率最高的輸出結果作為輸出結果。

3 實驗結果與分析

實驗在Ubuntu 18.04 LTS 64位操作系統(tǒng)下進行，其中神經網絡的搭建、訓練及預測使用Keras深度學習框架，采用GTX1080Ti顯卡進行加速。

3.1 分類效果分析

圖7分別展示了面向對象方法、基于面向對象和深度學習方法，以及2種集成模型方法在測試數據集上的地物提取效果。圖8將面向對象方法的提取結果進行放大分析，可以看出傳統(tǒng)面向對象方法分類效果存在漏分(紅色框放大圖像的灰色區(qū)域即為漏分對象)和地物邊界模糊合并的“塊狀”分類現(xiàn)象，且對車輛和建筑的錯分較多(亮綠色框標識出的對象為錯分對象)。而3種神經網絡模型分類結果均不存在漏分對象，且錯分現(xiàn)象均比面向對象方法少。另外從分類結果也可看出，3種神經網絡模型對不同地物表現(xiàn)出不同分類效果，這是因為不同地物表現(xiàn)出的特征不同，而不同神經網絡對不同特征的提取識別能力有差異，其中FCN-8s對建筑物和道路的識別效果最好，F(xiàn)CN-32s對車輛的識別效果最好，U-Net對礦區(qū)地面的分類效果最好?；诖耍捎?種策略對3種神經網絡模型結果進行集成，取長補短，提升分類效果。實驗結果表明，2種集成模型識別效果均比3種神經網絡模型好。另外從實驗結果也可看出，各種方法對車輛和碾壓形成的道路的識別均存在不少錯分現(xiàn)象，這和礦區(qū)無人機影像中礦區(qū)地面部分情況復雜，車輛種類多，相關地物邊界模糊有關。

3.2 分類精度分析

為了合理評估不同方法對礦區(qū)地物提取的精度，本文從總體準確率、混淆矩陣、Kappa系數3個方面進行比較分析。

總體準確率為預測正確的像素數量占總像素數量的比例，計算公式為：

(3)

式中:Pc和Pt分別為預測正確的像素數量及像素總數量。

Kappa系數為分類精度的衡量指標之一，基于混淆矩陣進行計算，值越高意味著一致性越高，分類精度越高。假設有n個類別，每一類的實際像素數量分別為a1，a2，…，an，而預測出來的每一類的像素數量分別為b1，b2，…，bn，總樣本個數為m，則Kappa系數的具體計算公式為:

(4)

式中:Po為每種地物類別正確分類像素數量之和與總像素的比值，即總體分類精度；Pe為偶然性因素導致的錯誤解釋比例,公式為:

(5)

由不同方法在測試集上的分類準確率(表1)可知，神經網絡模型的識別準確率均高于傳統(tǒng)面向對象分類方法。說明新方法較傳統(tǒng)方法能有效提高礦區(qū)地物識別準確率。集成模型準確率高于單神經網絡模型，說明集成模型能改善單神經網絡模型的識別效果。

表1 不同方法地物分類結果的整體準確率Tab.1 Overall classification accuracy of each method

本文采用隨機采樣的方法進行精度評估，在測試區(qū)域選取1 000個樣本點，以標注圖像為標準，采用混淆矩陣進行分析，結果如表2所示。傳統(tǒng)面向對象分類方法對每一類地物的識別精度均低于FCN-32s，F(xiàn)CN-8s及2種集成模型，其Kappa系數為0.597 8，為6種方法中最低，處于一致性較低的水平。2種集成模型方法的Kappa系數均達到了0.81以上，證明其分類結果與人工辨識后的標注圖基本吻合，識別效果較好。實驗結果表明面向對象結合深度學習方法與集成模型均對礦區(qū)地物錯分現(xiàn)象改善明顯且有效提高了識別精度，優(yōu)于傳統(tǒng)的面向對象分類方法。另外，由混淆矩陣可知，模型對礦區(qū)車輛和建筑的識別精度一般，這與礦區(qū)地面存在不少煤堆、廢石堆及與車體大小相近的臨時建筑有關，同時貨車存在車頭、車架、集裝箱分離的情況，導致人眼也難以辨別車體，增加了錯分的可能性，在未來研究中可加強對這部分地物特征的抽取表達，提升模型識別能力。

表2 不同方法地物分類結果的混淆矩陣Tab.2 Confusion matrix of classification results in test region for different models

(續(xù)表)

3.3 膨脹腐蝕優(yōu)化實驗結果

觀察深度學習方法對地物分類后的結果，發(fā)現(xiàn)同一類別地物的像素塊中存在一些錯分類且呈椒鹽分布的像素點，這些像素影響最終的分類結果。鑒于此，使用形態(tài)學運算中的膨脹和腐蝕算法消除椒鹽像素，優(yōu)化地物提取結果。通過統(tǒng)計椒鹽噪聲之間的平均距離、最大距離和最小距離并經對比多次試驗效果，取膨脹及腐蝕的內核參數均為5時優(yōu)化效果最好。優(yōu)化前與優(yōu)化后的準確率對比(圖9)顯示，優(yōu)化后的總體準確率及道路、建筑、車輛的識別準確率均有所提升，礦區(qū)地面的識別準確率有少許下降，這是由于該算法是用來消除被錯誤分類的“噪點”像素，大部分噪點像素開始被模型誤分類為地面，在膨脹腐蝕后，噪點根據周邊像素所屬地物類型被正確轉換為其他非地面類。通過實驗結果可以看出膨脹、腐蝕操作可有效優(yōu)化分類效果，提升面積較小地物的識別準確率和整體識別準確率。

4 結論

本文利用無人機低空遙感技術獲取煤炭礦區(qū)高分辨率影像數據集，提出基于面向對象結合深度學習的方法提取礦區(qū)地物，通過實驗和結果分析，得出以下結論：

1)面向對象結合深度學習方法在礦區(qū)地物提取效果上比傳統(tǒng)面向對象方法更有效，其識別精度更高，泛化能力更好，可有效地對煤炭礦區(qū)地物進行提取。

2)集成模型的總體準確率和Kappa系數均高于所有單體神經網絡和傳統(tǒng)面向對象方法，證明合適的模型集成算法能夠提高單體神經網絡的地物分類效果。

3)實驗結果表明，本文提出的方法滿足礦區(qū)地物的快速檢測要求，對礦區(qū)安全作業(yè)和管理起到良好輔助作用。該方法與傳統(tǒng)野外人工勘測方法相比，節(jié)省了時間和人力，與基于衛(wèi)星遙感的監(jiān)測方法相比，精度更高，時效性更好。