楊 劍,顏 源,李樂林
(1.河南省自然資源廳,河南 鄭州 450016;2.武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430079;3.測繪遙感信息工程湖南省重點(diǎn)實(shí)驗(yàn)室,湖南 湘潭 411201)
遙感衛(wèi)星在國土資源調(diào)查、環(huán)境監(jiān)測等領(lǐng)域具有重要應(yīng)用價值,但由于地球表面66%以上區(qū)域經(jīng)常被云層覆蓋,許多遙感影像都存在云層遮擋問題[1]。為了有效發(fā)揮遙感影像在自然資源管理中的作用,為遙感影像后續(xù)利用提供可靠的參考,云檢測顯得至關(guān)重要。
目前,影像云檢測方法眾多,其中應(yīng)用最多的方法為物理閾值法[2],此類算法快速有效,但由于云種類和特征的復(fù)雜性,閾值不好把握,不可避免地會對積雪、建筑物、裸地等高亮目標(biāo)產(chǎn)生誤判[3]。近年來,深度學(xué)習(xí)理論和技術(shù)取得了長足的進(jìn)步,使得從數(shù)據(jù)中自動提取多層次和隱含特征成為可能,尤其是深度卷積神經(jīng)網(wǎng)絡(luò),在物體識別、目標(biāo)檢測等視覺任務(wù)中取得了重大突破[4-7]。有學(xué)者基于深度卷積網(wǎng)絡(luò)提出了高分辨率遙感影像云檢測算法,進(jìn)行薄云和厚云檢測[8]。
云在空間上分布具有不均勻性的特征,有的影像中無云或只有零散分布的云,有的影像中所有地物全部被云覆蓋。而現(xiàn)有基于深度卷積網(wǎng)絡(luò)的云檢測算法未考慮云分布的不均勻性問題,若不對訓(xùn)練樣本進(jìn)行調(diào)整,將導(dǎo)致樣本中云和背景兩種類別出現(xiàn)嚴(yán)重不平衡問題,造成檢測結(jié)果傾向于樣本數(shù)更多的類別。對于類別不平衡問題,主要有兩種處理方式:①對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理,通過修改訓(xùn)練集的樣本分布來降低數(shù)據(jù)的不平衡程度;②從算法層面進(jìn)行改進(jìn),使之更傾向于少數(shù)類數(shù)據(jù)法[9]。
針對云檢測網(wǎng)絡(luò)訓(xùn)練中樣本不平衡問題,本文使用兩種手段予以克服。在卷積網(wǎng)絡(luò)訓(xùn)練階段,引入代價系數(shù),使得損失函數(shù)更多關(guān)注小樣本的檢測精度;在模型選擇方面,采用綜合了查準(zhǔn)率和查全率的F1分?jǐn)?shù)代替總體精度作為卷積網(wǎng)絡(luò)表現(xiàn)的評價指標(biāo)。本文方法不僅能有效識別出云,對雪等高亮地物也具有較強(qiáng)的區(qū)分能力。
遙感影像云檢測可認(rèn)為是云和背景的二類分割問題。全卷積網(wǎng)絡(luò)(FCN)作為一種像素級分類網(wǎng)絡(luò),可用于圖像語義分割任務(wù)[7]。全卷積神經(jīng)網(wǎng)絡(luò)由一系列卷積層、非線性激活層、池化層及上采樣層構(gòu)成。卷積層包含可訓(xùn)練參數(shù),用于從影像中萃取地物特征。非線性激活層置于卷積層之后,用于增加網(wǎng)絡(luò)的表達(dá)能力。池化層可以減少網(wǎng)絡(luò)參數(shù)量和計(jì)算量,同時降低過擬合的風(fēng)險(xiǎn)。經(jīng)過池化層后,特征圖的尺寸減小,上采樣層或反卷積層[10]用于提高特征圖的分辨率,恢復(fù)圖像尺寸。理論上,全卷積網(wǎng)絡(luò)可以輸出任意尺寸的圖像。
采用的網(wǎng)絡(luò)基于U-Net[11]改進(jìn)而來,網(wǎng)絡(luò)架構(gòu)如圖 1所示。U-net具有典型的編碼-解碼結(jié)構(gòu)[12],在編碼階段,使用卷積層逐步萃取特征并通過池化層逐步降低特征圖分辨率,再通過解碼過程逐步恢復(fù)特征細(xì)節(jié)和空間位置信息。本文基于U-net主要做了四方面改進(jìn):
1)由于僅需識別云和背景兩種類別,網(wǎng)絡(luò)的容量可大幅減少。將所有特征層數(shù)減半,減少參數(shù)量。
將除輸出層外的卷積層后增加批標(biāo)準(zhǔn)化層[13],有利于深度網(wǎng)絡(luò)的快速收斂,一定程度上起到正則化的效果,減少過擬合的風(fēng)險(xiǎn)等。
由于反卷積層的棋盤效應(yīng)[14],用上采樣層代替反卷積層,上采樣方式采用最近鄰內(nèi)插。
對于超出卷積核的特征圖(feature map)進(jìn)行邊緣補(bǔ)0,以保證輸出特征圖與上一層特征圖尺寸相同,使得網(wǎng)絡(luò)可以接受任意尺寸的圖像輸入。
圖 1 網(wǎng)絡(luò)架構(gòu)
改進(jìn)后的U-Net網(wǎng)絡(luò)編碼階段有10個卷積層, 4個池化層,解碼階段有4個上采樣層,8個卷積層,卷積核的尺寸均為3×3,最后連接一個1×1尺寸的卷積層作為分類層。
代價損失函數(shù)是在普通損失函數(shù)中引入代價系數(shù),對不同錯誤使用不同懲罰力度,對我們關(guān)注的類別使用更大的代價值,使得錯分類的損失函數(shù)值更大。本文在交叉熵?fù)p失函數(shù)[15]中引入代價系數(shù),建立代價損失函數(shù):
式中,L(w)為損失函數(shù)值;w表示卷積網(wǎng)絡(luò)中待確定的權(quán)值;N為輸入的樣本包含的總像元數(shù);n第n個像元預(yù)測為云的概率;yn是第n個像元的真值,yn∈{0,1};0表示背景;1表示云。
αn采用文獻(xiàn)[16]方法計(jì)算:
式中,freq(n)是類別n的頻率,等于類別為n的像元數(shù)量占含類別n的訓(xùn)練樣本總像元數(shù)量的比例;medianFreq是所有類別頻率的中值。
深度學(xué)習(xí)中廣泛使用總體精度作為模型選擇的評價指標(biāo),但對于云檢測,由于樣本存在嚴(yán)重類別不平衡問題,若使用總體精度進(jìn)行模型選擇會產(chǎn)生誤導(dǎo)性的結(jié)果,導(dǎo)致選擇的模型對背景識別精度高,而對云識別精度低。為了綜合考慮對云的識別能力和對背景的抑制能力,本文使用F1作為性能度量指標(biāo),F(xiàn)1是
查準(zhǔn)率和查全率的調(diào)和平均數(shù)。
式中,P和R分別表示查準(zhǔn)率和查全率。
采用keras[17]深度學(xué)習(xí)框架,keras后端使用Tensor Flow[18],顯卡為TITAN X(Pascal)GPU,總訓(xùn)練次數(shù)設(shè)為50。通過在小數(shù)據(jù)集上反復(fù)訓(xùn)練和測試,最終將批量大小設(shè)為32,即一次輸入32個樣本,學(xué)習(xí)率設(shè)為0.001,使用Adam[19]作為求解器。采取早停策略,當(dāng)驗(yàn)證集上的精度經(jīng)過5個訓(xùn)練輪數(shù)不再上升則停止訓(xùn)練。本實(shí)驗(yàn)中,通過20次訓(xùn)練后,驗(yàn)證集上的F1分?jǐn)?shù)值在0.97左右,并不再增加,以此時的網(wǎng)絡(luò)權(quán)值作為最終云檢測模型。
本實(shí)驗(yàn)選取了15幅不同地區(qū)和季節(jié)的高分一號衛(wèi)星影像多光譜數(shù)據(jù),空間分辨率為8 m,影像尺寸為4 503×4 548,這些數(shù)據(jù)涵蓋了不同下墊面類型,包括雪、冰、水體、植被、裸地、道路、居民區(qū)等,其中15幅圖像中云含量最大的85%,最小為0。云標(biāo)記圖像通過ENVI軟件進(jìn)行監(jiān)督分類和后處理獲得,云像元標(biāo)記為1,背景像元標(biāo)記為0。由于原始影像直接輸入網(wǎng)絡(luò)會導(dǎo)致內(nèi)存不足,實(shí)驗(yàn)中將原始影像裁剪為256×256的影像塊,總樣本數(shù)為4 335幅影像塊,按照7∶2∶1比例將樣本隨機(jī)劃分為訓(xùn)練集3 034幅、驗(yàn)證集867幅和測試集434幅,驗(yàn)證集用于模型選擇,測試集用于精度評估。訓(xùn)練集中云像元數(shù)和背景像元數(shù)的比例為1∶3.64,驗(yàn)證中云像元數(shù)和背景像元數(shù)的比例為1∶3.52,測試集中云像元數(shù)和背景像元數(shù)的比為1∶3.58,訓(xùn)練集、驗(yàn)證集合測試集的樣本都存在嚴(yán)重的類別不平衡問題。
為了全面評估模型效果,本文采用的定量評價指標(biāo)包括F1分?jǐn)?shù)、查準(zhǔn)率(P)、查全率(R)、總體精度和kappa系數(shù),使用測試集進(jìn)行預(yù)測并計(jì)算各評價指標(biāo)值(見表 1)。
表 1 不同評價指標(biāo)值
從表 1可知,該模型總體精度為98%,總體錯誤率在2%以下,查全率R為0.96,表明模型對云的識別精度高,影像中96%以上的云均可被準(zhǔn)確識別,查準(zhǔn)率P為0.97,表明背景被誤識別為云的比例在3%以下。Kappa系數(shù)0.95,表明云檢測結(jié)果與樣本的一致性較高。
使用訓(xùn)練得到的網(wǎng)絡(luò)模型對3幅無云標(biāo)記的高分一號多光譜影像進(jìn)行預(yù)測,采用目視解譯評價結(jié)果。為了全面檢驗(yàn)?zāi)P涂垢蓴_能力,選取的影像包含雪、冰、水體、植被、裸地、道路、居民區(qū)等不同地物類型。由于受GPU內(nèi)存限制,采用分塊預(yù)測的方法,將原始影像分為256×256的影像塊逐個預(yù)測,為避免預(yù)測結(jié)果出現(xiàn)塊狀效應(yīng),各影像塊間保留10%重疊部分,然后將所有塊的預(yù)測結(jié)果拼接起來得到最終預(yù)測結(jié)果。圖 2a采集時間為2015-01-29,無云覆蓋,下墊面地物類型主要為植被、居民區(qū)。圖 3a采集時間為2015-05-01,地物類型主要為雪、水體和冰。圖 4a采集時間為2015-02-23,地物覆蓋類型主要為雪。
對比云檢測結(jié)果和其所對應(yīng)的原始影像,其中圖 2a云檢測結(jié)果為無云,與實(shí)際相符。圖 3a和圖 4a中,云的下墊面有較大區(qū)域被積雪覆蓋,其中圖 3a的左下部分水體被冰雪混合物覆蓋,冰雪在色調(diào)與亮度上和云極為相似,易被誤識別,但從圖 3b、 4b的云檢測結(jié)果來看,冰雪混合物和雪均未被誤識別為云,說明該云檢測模型對云、雪的區(qū)分能力強(qiáng),有較強(qiáng)抗干 擾性。
圖 2 2015-01-29高分一號影像及云檢測結(jié)果
圖 3 2015-05-01高分一號影像及云檢測結(jié)果
圖 4 2015-02-23 高分一號影像及云檢測結(jié)果
遙感影像云含量對于自然資源管理和利用具有重要的參考價值。本文將代價敏感學(xué)習(xí)方法應(yīng)用于遙感影像云檢測。通過在損失函數(shù)中引入代價系數(shù),較好地克服了云檢測任務(wù)中,云和背景兩種類別不均衡的問題,使用綜合了查準(zhǔn)率和查全率的F1分?jǐn)?shù)進(jìn)行模型選擇,有助于提高模型對云的識別能力和對冰、雪等高亮地物的區(qū)分能力。由于深度卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法都有大量可調(diào)節(jié)參數(shù),如何確定這些參數(shù)還需要進(jìn)一步研究。