龔波濤 朱琦鋒 季彤天 王輝

摘要：為了實現(xiàn)輸電線路的合理、高效規(guī)劃，如何準(zhǔn)確、快速地進(jìn)行遙感圖像的地表覆蓋物分類是值得研究的問題。該文針對高分辨率遙感圖像地表覆蓋物分類問題，提出了一種基于超像素的方法，其相對于基于像元的方法，減少了椒鹽噪聲，效率更高，有利于后續(xù)的GIS應(yīng)用。該方法分為圖像分割、特征提取、圖像分類三個步驟。首先，通過SLIC算法將遙感圖像劃分為若干個大致均勻的超像素;接著，對超像素的顏色特征、紋理特征進(jìn)行特征提取;最后，將提取出的超像素特征作為隨機森林算法的輸入，對超像素進(jìn)行分類。該文使用提出的方法在泰日線遙感圖像上進(jìn)行測試，取得了有效的結(jié)果。

關(guān)鍵詞：遙感影像;圖像分類;超像素;圖像特征;圖像分割

中圖分類號：TP751? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）36-0010-04

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Superpixel-based Classification Algorithm for High-resolution Remote Sensing Images

GONG Bo-tao1， ZHU Qi-feng1， JI Tong-tian1， WANG Hui2

（1. Engineering Construction & Consulting Branch，State Grid Shanghai Municipal Electric Power Company， Shanghai 200120， China; 2. College of Electronic and Information Engineering， Tongji University， Shanghai 201800， China）

Abstract：In order to realize the reasonable and efficient planning of transmission lines， how to accurately and quickly classify the ground cover of remote sensing images is a problem worthy of study. This paper proposes a superpixel-based method for the classification of land cover in high-resolution remote sensing images. Compared with pixel-based methods， this method reduces salt and pepper noise and has higher efficiency， which is beneficial to subsequent GIS applications. The method is divided into three steps： image segmentation， feature extraction， and image classification. First， the remote sensing image is segmented into a number of roughly uniform superpixels using the SLIC algorithm; then， the color features and texture features of the superpixels are extracted; finally， the extracted superpixel features are used as the input of the random forest algorithm to perform classification for superpixels. This paper uses the proposed method to test on the remote sensing image of the Tairi line and obtains effective results.

Key words： remote sensing image; image classification; superpixel; image feature; image segmentation

1 引言

電網(wǎng)前期建設(shè)的過程中，由于衛(wèi)片的清晰度不足，且無法保證時效性，所以需要進(jìn)行高清航攝來獲取建設(shè)區(qū)域的最新數(shù)據(jù)。對大量航拍結(jié)果進(jìn)行傳統(tǒng)的人工標(biāo)注費時費力，因此需要一種自動化方法進(jìn)行標(biāo)注。當(dāng)前，遙感影像地表覆蓋物分類主要有兩種做法：

（1）基于像元的方法

此類方法的分類對象是像元，對于高分辨率遙感圖像，由于紋理信息豐富，傳統(tǒng)的基于光譜特征和紋理特征的方法難以捕捉到高層語義信息，表現(xiàn)不佳。隨著深度學(xué)習(xí)的興起，深度學(xué)習(xí)模型常常被用于基于像元的分類。文獻(xiàn)[1-3]使用自動編碼器（Auto Encoder，AE）對遙感影像進(jìn)行分類，但泛化能力較差。文獻(xiàn)[4-6]使用深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）[7]對遙感影像進(jìn)行分類，克服了直接對深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練容易出現(xiàn)的局部最優(yōu)問題，但要求輸入數(shù)據(jù)具有平移不變性。還有方法是使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[8]進(jìn)行圖像語義分割，全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）[9]是該領(lǐng)域的里程碑。其后，基于FCN又出現(xiàn)了諸如SegNet[10]、PSPNet[11]等優(yōu)秀的圖像語義分割網(wǎng)絡(luò)。文獻(xiàn)[12][13][14]使用CNN對遙感影像進(jìn)行了分類，但CNN要求大量的數(shù)據(jù)進(jìn)行訓(xùn)練。由于深度神經(jīng)網(wǎng)絡(luò)參數(shù)量龐大、參數(shù)矩陣稀疏，在高分辨率遙感圖像的地物分類中效率較低。另外，基于像元的方法對噪聲比較敏感，分類結(jié)果較不規(guī)則，不利于生成矢量化結(jié)果，給GIS應(yīng)用帶來了額外的麻煩。

（2）基于超像素的方法

高分辨率遙感圖像中，大量相鄰像素具有相似性，在分類時可以看作一個整體，此類方法可以有效減小以像元為處理單元的“椒鹽噪聲”。此類方法先將遙感圖像分割為超像素，再以超像素為單位進(jìn)行分類。圖像分割的方法有區(qū)域生長、區(qū)域分裂合并、簡單線性迭代聚類（Simple Linear Iterative Clustering，SLIC）[15]等，其中，SLIC效率高，邊緣貼合度好，分割結(jié)果均勻，在高分辨率圖像分割中效果顯著。一般的分割方法難以將一個完整的對象，比如房屋、河流分出來，因此有在分割步驟后進(jìn)行超像素合并的方法。特征提取步驟使用的特征一般有光譜特征、紋理特征和形狀特征。光譜特征一般使用HSV、RGB、CIELab等顏色空間的顏色直方圖;紋理特征的提取方法有局部二值模式（Local Binary Pattern，LBP）、灰度共生矩陣（Grey-Level Co-occurrence Matrix，GLCM）[16]、Gabor濾波等;形狀特征有Rays特征、Hu特征等。圖像分類步驟常使用監(jiān)督分類方法，比如決策樹、隨機森林[17]、支持向量機（Support Vector Machine，SVM）和人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）等。

為了高效地對高清航片的地表覆蓋物分類，尤其是分辨率達(dá)到4cm的高清航片，以及考慮到后續(xù)生成GIS地圖的需求，本文使用基于超像素的方法。

本文以泰日線為例對該方法進(jìn)行驗證。

2 方法

本文提出一種基于超像素的高分辨率遙感圖像地表覆蓋物分類方法，先將圖像分割為超像素，再對每個超像素進(jìn)行特征提取和分類，顯著降低圖像分割與分類的計算量。圖1所示為本文方法的流水線。

2.1 圖像分割

圖像分割有諸多方法，在遙感圖像分割中，待分割對象，如建筑、道路、河流等的邊緣通常比較規(guī)則，適合使用基于[k]-means聚類的SLIC算法，其既可以做出均勻、貼合邊緣的分割，效率也高。

首先，確定需要的超像素數(shù)量[k]，計算出等大超像素平均間距[S=Nk]，再以[S]的平均間距在圖像上選定聚類中心。為了避免初始聚類中心落在邊緣或噪聲像素上，初次選定聚類中心后，在[3×3]的范圍內(nèi)重新選擇梯度最小的位置。兩個像素之間的距離按如下公式計算：

[D=dcm2+dsS2]? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

式中，[m]控制超像素之間的緊密度，[dc]代表顏色接近度，[ds]代表空間接近度。

兩個像素間的顏色接近度和空間接近度按下式定義：

[dc=s∈BIxi，yi，s-Ixj，yj，s2]? ? ? ? ? ? ? ? ?（2）

[ds=xj-xi2+yj-yi2]? ? ? ? ?   ? ? ? （3）

式中，[Ixi，yi，s]和[Ixj，yj，s]表示兩個像素在光譜帶[s]上的值，[B]表示光譜帶集合。顏色接近度控制超像素均勻度，空間接近度控制超像素緊密度。

為了降低時間復(fù)雜度，SLIC在每次迭代時并不會計算像素和其他所有像素的距離，而是超像素中心周圍[2S×2S]內(nèi)的像素。在每個像素都被分配到一個超像素中心后，重新計算超像素中心。迭代過程會持續(xù)到殘差[E]收斂到閾值以內(nèi)，[E]通過超像素中心更新前后的空間距離計算。

SLIC的改進(jìn)版SLICO[18]會自動選擇緊密度參數(shù)，在紋理區(qū)域和非紋理區(qū)域都生成形狀規(guī)則的超像素，而且計算效率和SLIC幾乎相同，因此本文最終選擇了SLICO。

另外，由于遙感圖像的類別標(biāo)注是逐像素的，超像素的類別需要另行計算。本文使用的方法是取超像素內(nèi)像素數(shù)量最多的類別。

2.2 特征提取

圖像特征提取是超像素分類的關(guān)鍵步驟，通過建立一個描述超像素的較小的特征空間，為超像素的分類做準(zhǔn)備。圖像特征主要分為顏色特征、紋理特征、形狀特征和空間關(guān)系特征等，本文使用前兩者。圖像的顏色特征是物體的最直觀的表面屬性，以圖像中各像素點為基礎(chǔ)，對圖像區(qū)域的方向、大小等變化不敏感，本文使用的特征提取方法是顏色直方圖。圖像的紋理特征是指一定區(qū)域內(nèi)像素的灰度或顏色的分布規(guī)律，本文使用的特征提取方法是GLCM和Gabor濾波。

2.2.1 顏色直方圖

像素的顏色通常用三個分量來描述，構(gòu)成一個顏色空間，除了最常見的RGB，還有CMY、YUV、CIELab、HSV等。RGB適合于顯示輸出觀察，但不適合于圖像處理，因此本文使用了更適合圖像處理的HSV。

為表示超像素的總體顏色特征，可以使用取平均、顏色矩、顏色直方圖、顏色相關(guān)圖等方式。本文采用了使用廣泛，計算簡單，且具有尺度不變性、平移不變性和旋轉(zhuǎn)不變性的顏色直方圖。顏色直方圖根據(jù)不同色彩在超像素中所占的比例來表示顏色的分布情況，由于HSV為三維空間，變化范圍廣，為了降低其特征向量的維度，本文先將HSV顏色空間的三個分量進(jìn)行劃分，使整個顏色空間分成若干個較小的顏色區(qū)間。本文將色調(diào)H、飽和度S、明度V分別均分為8、4、4個區(qū)間，統(tǒng)計超像素中落入各個區(qū)間的像素比例，產(chǎn)生128維的特征向量。

2.2.2 Gabor濾波

Gabor濾波的特征提取方法可以很好地模擬人類的視覺響應(yīng)，廣泛應(yīng)用于圖像處理，因此本文使用該方法進(jìn)行紋理特征提取。Gabor濾波的函數(shù)表達(dá)如下式：

[gx，y;λ，θ，ψ，σ，γ=][exp-x'2+γ2y'22σ2+i2πx'λ+ψ]? ? ?（4）

式中：

[x'=xcosθ+ysinθ]? ? ? ? ? ? ? ? ? ? ? ?（5）

[y'=-xsinθ+ycosθ]? ? ? ? ? ? ? ? ? ? ? （6）

式（4）中，[λ]為波長，以像素為單位指定，[θ]指定了Gabor濾波器平行條紋的方向，[ψ]表示相位偏移，[σ]表示高斯因子的標(biāo)準(zhǔn)差，[γ]表示長寬比。

由于超像素的形狀是不規(guī)則的，大小、像素數(shù)目也不確定，因此，本文采用的方法是，對整張圖像進(jìn)行多方向、多尺度的Gabor濾波，再對各個超像素內(nèi)的濾波輸出取平均，形成超像素的Gabor紋理特征。

2.2.3 GLCM

GLCM是一種基于統(tǒng)計分析的紋理特征提取方法，通過描述相鄰小區(qū)域的像素點灰度關(guān)系特征來實現(xiàn)紋理特征提取。GLCM以圖像中兩個灰度像素同時出現(xiàn)的聯(lián)合概率來表示。設(shè)定圖像中一個像素點A[x，y]的灰度為[i]，另有像素點B的灰度為[j]，像素點A與像素點B的距離為[d]，方向角度為[θ]，統(tǒng)計像素點A與像素點B同時出現(xiàn)的概率，記為[P（i，j，d，θ）]。聯(lián)合概率[P（i，j，d，θ）]的數(shù)學(xué)表達(dá)如下式：

[Pi，j，d，θ=][x，y，x+dx，y+dy]? ? ? ? ? ? ? ? ? ? ? ? ? （7）

[fx，y=i，fx+dx，y+dy=j]

由于超像素的形狀、大小不定，將超像素GLCM的計算窗口邊長設(shè)為[S]，計算窗口的中心為超像素的中心，由超像素中所有像素的坐標(biāo)取平均求得。若圖像的灰度等級為[G]，則GLCM矩陣的大小為[G×G]，為了降低計算量，本文將原始遙感圖像轉(zhuǎn)為16個灰度等級的灰度圖。在計算GLCM矩陣之后，將[Pi，j，d，θ/N2]作為其歸一化結(jié)果，從而減少數(shù)據(jù)之間的量綱差距。

最終，歸一化GLCM可以被用來計算超像素的紋理特征統(tǒng)計量，作為紋理特征參數(shù)。本文選取了對比度（contrast）、相異性（dissimilarity）、同質(zhì)性（homogeneity）、角二階矩（angular second moment）、能量（energy）、相關(guān)性（correlation）六個統(tǒng)計量，在0°，45°，90°，135°四個方向上進(jìn)行GLCM計算，因此本文共使用24維GLCM紋理特征向量。

2.2.4 標(biāo)準(zhǔn)化

每個超像素經(jīng)過上述特征提取，可得一特征向量，由于其不同類型的特征有著不同的分布，取值范圍不同，不利于后續(xù)的分類，需要使用下列公式進(jìn)行標(biāo)準(zhǔn)化：

[x'ij=xij-μjσj]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （8）

式中，[xij]、[x'ij]分別表示標(biāo)準(zhǔn)化前后的第[i]個超像素樣本的第[j]個特征，[μj]表示第[j]個特征的均值，[σj]表示第[j]個特征的標(biāo)準(zhǔn)差。

2.3 圖像分類

圖像分類本質(zhì)是模式識別，分為無監(jiān)督分類和有監(jiān)督分類，前者需要大量全面的專業(yè)經(jīng)驗信息，難以在不同遙感圖像數(shù)據(jù)之間推廣，后者則易于在有足夠訓(xùn)練樣本的情況下推廣，取得更高的分類準(zhǔn)確度[19]。模式識別中有很多監(jiān)督分類方法可以直接應(yīng)用于圖像分類，例如人工神經(jīng)網(wǎng)絡(luò)、支持向量機、決策樹、隨機森林等。其中，人工神經(jīng)網(wǎng)絡(luò)可以提取到更高層的特征，但可解釋性差;支持向量機的數(shù)學(xué)邏輯嚴(yán)謹(jǐn)，能保證泛化性，但超參數(shù)不易確定，且時間復(fù)雜度高;決策樹計算量小，易于理解，適合高維數(shù)據(jù)，但容易過擬合;隨機森林由多個決策樹組成，具備決策樹的優(yōu)點，又克服了決策樹過擬合的缺點。因此，本文采用隨機森林進(jìn)行超像素的分類。

3 實驗

3.1 數(shù)據(jù)采集與預(yù)處理

本文的研究區(qū)位于上海市奉賢區(qū)東北部的泰日鎮(zhèn)，在該鎮(zhèn)計劃建設(shè)的電網(wǎng)沿線被稱為泰日線。該研究區(qū)南北跨度約為1 km，東西跨度約為2 km。

3.1.1 數(shù)據(jù)獲取

本項目采用飛馬智能航測系統(tǒng)F200固定翼無人機，搭載SONY DSC-RX1RM2傳感器獲取作業(yè)區(qū)范圍內(nèi)的真彩色影像，飛行高度150m，航攝數(shù)字影像的地面分辨率達(dá)到2cm，航向重疊度80%、旁向重疊度60%。

3.1.2 影像預(yù)處理

獲取原始航攝數(shù)據(jù)后，需要對其進(jìn)行拼接處理，并進(jìn)行畸變校正、圖像去噪、圖像去霧等操作。通過GNSS-RTK技術(shù)進(jìn)行像片控制測量，獲取像控點的平面和高程坐標(biāo)，生成數(shù)字高程模型（Digital Elevation Model，DEM）。利用全數(shù)字?jǐn)z影測量系統(tǒng)進(jìn)行空三加密，制作數(shù)字正射影像圖（Digital Orthophoto Map，DOM）。在DOM的基礎(chǔ)上，進(jìn)行地物的手動標(biāo)注，本文標(biāo)注了三個類別，分別為：植被、建筑、水系。

3.1.3 數(shù)據(jù)集生成

DOM是一張覆蓋研究區(qū)的遙感圖像，難以一次性處理，故本文從中截取五張大小為[3328×3328]的圖以及對應(yīng)像素的標(biāo)注信息作為數(shù)據(jù)集。

3.2 結(jié)果與分析

本節(jié)在上述數(shù)據(jù)集上驗證了本文所提算法的可行性，并對特征進(jìn)行了分析。

3.2.1 耗時分析

本文算法使用Python實現(xiàn)，在Intel i7-6700HQ CPU上進(jìn)行測試。對一張[3328×3328]像素的圖像進(jìn)行平均間距為50時的超像素分割，耗時約為18.09s（單線程），特征提取耗時約為304.06s（單線程）。對5張上述圖像的超像素分割結(jié)果進(jìn)行隨機森林分類，樹的數(shù)量設(shè)為50，訓(xùn)練耗時約為1.42s（多線程），驗證耗時約為0.14s（單線程）。

由上述數(shù)據(jù)知，本文方法在分類步驟效率很高，主要耗時都在超像素分割和特征提取步驟，尤其是特征提取。

3.2.2 結(jié)果實例

圖2為數(shù)據(jù)集中的一張示例及其對應(yīng)的人工標(biāo)注，其包含著豐富的地物。圖3為使用SLICO算法在超像素平均間距為50時的分割和分類結(jié)果。分割圖中，超像素整體分布較為均勻，與邊界有較好的貼合度。分類圖中，可以看到該方法避免了像元級椒鹽噪聲的產(chǎn)生，但還是有一些零星超像素的錯分現(xiàn)象，產(chǎn)生超像素級的椒鹽噪聲，但比像元級椒鹽噪聲更容易后期人工去除。

表1中為一次測試結(jié)果，Kappa值為0.58。各個類別中，植被的準(zhǔn)確率和召回率都比較高，而建筑與水系的召回率較低，意味著建筑與水系被錯分為其他類別的情況較嚴(yán)重。

3.2.3 特征分析

表2中，前三行數(shù)據(jù)表示僅使用各個特征的測試結(jié)果，最后一行表示使用所有特征的測試結(jié)果。從中可以看出，相對于單獨使用某個特征，組合使用多種特征可以達(dá)成更好的結(jié)果。然而，綜合使用特征的結(jié)果和僅使用HSV特征的結(jié)果是接近的，說明HSV特征在分類中最為重要。相對而言，紋理特征并沒有起到很好的作用，可能的原因是，地物紋理過于復(fù)雜，噪聲過多，并不能給分類算法提供足夠有用的信息。

4 結(jié)論與展望

本文從針對超高分辨率遙感圖像地表覆蓋物分類問題，提出了一種基于超像素的分類方法，與非超像素的方法相比，顯著減少了訓(xùn)練時間，也降低了后續(xù)電子地圖制作的工作量。

實驗結(jié)果中，針對超像素同類預(yù)測結(jié)果中出現(xiàn)不連續(xù)的問題，可以考慮超像素合并的方法，先將屬于同一個對象的超像素進(jìn)行合并，再進(jìn)行特征提取和訓(xùn)練、預(yù)測。對于準(zhǔn)確率不夠高，尤其是建筑與水系的召回率很低的問題，原因可能在于超像素的特征只是局部特征，缺乏全局信息，難以通過超像素內(nèi)部的特征正確區(qū)分其類別，可以在超像素合并或特征提取時考慮全局特征。在特征分析時發(fā)現(xiàn)，分類效果基本上是由HSV特征提供，Gabor特征和GLCM特征的加入對分類并沒有產(chǎn)生有效的增益，因此有必要優(yōu)化特征提取的方法，或者使用其他特征。

參考文獻(xiàn)：

[1] Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[2] 張一飛，陳忠，張峰，等.基于棧式去噪自編碼器的遙感圖像分類[J].計算機應(yīng)用，2016，36（S2）：171-174，188.

[3] 黃鴻，何凱，鄭新磊，等.基于深度學(xué)習(xí)的高光譜圖像空-譜聯(lián)合特征提取[J].激光與光電子學(xué)進(jìn)展，2017，54（10）：101001.

[4] 劉大偉，韓玲，韓曉勇.基于深度學(xué)習(xí)的高分辨率遙感影像分類研究[J].光學(xué)學(xué)報，2016，36（4）：0428001.

[5] 徐麗坤，劉曉東，向小翠.基于深度信念網(wǎng)絡(luò)的遙感影像識別與分類[J].地質(zhì)科技情報，2017，36（4）：244-249.

[6] He M Y，Li X H，Zhang Y F，et al.Hyperspectral image classification based on deep stacking network[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：3286-3289.

[7] Hinton G E.A Practical Guide to Training Restricted Boltzmann Machines Neural Networks：Tricks of the Trade[J].Momentum，2012，9（1）： 599-619.

[8] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[9] Shelhamer E，Long J，Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[10] Badrinarayanan V，Kendall A，Cipolla R.SegNet：a deep convolutional encoder-decoder architecture for image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[11] Zhao H S，Shi J P，Qi X J，et al.Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：6230-6239.

[12] 曹林林，李海濤，韓顏順，等.卷積神經(jīng)網(wǎng)絡(luò)在高分遙感影像分類中的應(yīng)用[J].測繪科學(xué)，2016，41（9）：170-175.

[13] Maggiori E，Tarabalka Y，Charpiat G，et al.Fully convolutional neural networks for remote sensing image classification[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：5071-5074.

[14] Cheng G，Ma C C，Zhou P C，et al.Scene classification of high resolution remote sensing images using convolutional neural networks[C]//2016 IEEE International Geoscience and Remote Sensing Symposium （IGARSS）.July 10-15，2016，Beijing，China.IEEE，2016：767-770.

[15] Achanta R，Shaji A，Smith K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[16] Haralick R M，Shanmugam K，Dinstein I.Textural features for image classification[J].IEEE Transactions on Systems，Man，and Cybernetics，1973，SMC-3（6）：610-621.

[17] Belgiu M，Dr?gu? L.Random forest in remote sensing：a review of applications and future directions[J].ISPRS Journal of Photogrammetry and Remote Sensing，2016，114：24-31.

[18] Achanta R. Slico，zero parameter version of SLIC[EB/OL].[2021-3-2]. https：//www.epfl.ch/labs/ivrl/research/slic-superpixels.

[19] 馮籍瀾.高分辨率SAR圖像分割與分類方法研究[D].成都：電子科技大學(xué)，2015.

【通聯(lián)編輯：唐一東】