周佳瑋，涂理林，陳洪建，江 挺，林佳佳

（1.寧波市鄞州區(qū)測(cè)繪院，浙江 寧波 315192；2.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢 430079）

當(dāng)前的水稻提取研究多基于中低分辨率的多時(shí)序影像，如MODIS、Landsat-8、Sentinel-2等，而高分辨率（如：米級(jí)、亞米級(jí)）遙感影像包含了更多的紋理、結(jié)構(gòu)等細(xì)節(jié)信息，有潛力得到更加精細(xì)的水稻提取結(jié)果。但目前基于高分辨率遙感影像的水稻提取研究較為少見，而且將高分辨率影像與多時(shí)序影像相結(jié)合的水稻提取研究更為鮮見。因此，本文提出一種結(jié)合高分辨率和多時(shí)序影像深度學(xué)習(xí)的水稻提取方法，利用北京2號(hào)（BJ-2）高分辨率遙感影像和Sentinel-2多時(shí)序遙感影像得到了高分辨率的水稻提取結(jié)果[1-8]。

1 研究區(qū)概況與數(shù)據(jù)預(yù)處理

研究區(qū)為浙江省寧波市鄞州區(qū)的主要水稻種植區(qū)域（121°26’E～121°37’E，29°41’E～29°49’N），該地區(qū)屬于亞熱帶季風(fēng)性濕潤(rùn)氣候，年平均氣溫16.2℃，年平均降水量1 538.8 mm，適宜水稻作物生長(zhǎng)。該地區(qū)種植的水稻為二季稻，其生長(zhǎng)季第一季約為3～6月，第二季約為7～11月。

采用的BJ-2高分辨率影像拍攝時(shí)間為2020年4月，包含RGB3個(gè)波段，空間分辨率為1m。采用的Sentinel-2影像共包含2019-01-24、2019-03-17、2019-04-01、2019-05-11、2019-06-05、2019-07-30、2019-08-27、2019-09-26、2019-10-31、2019-11-15、2019-12-10共11個(gè)時(shí)相，覆蓋了水稻的2個(gè)生長(zhǎng)季，選取了第2（B）、3（G）、4（R）、8（近紅外）、8A（近紅外）、11（短波紅外）共6個(gè)波段，并通過(guò)重采樣將每個(gè)波段的空間分辨率統(tǒng)一到10 m。

將BJ-2影像與Sentinel-2影像進(jìn)行空間配準(zhǔn)，統(tǒng)一至WGS-84 UTMZone 51N投影坐標(biāo)系中，并通過(guò)實(shí)地考察，選擇了水稻及其他地物的樣本，包括水稻、林地、草地、不透水層、其他旱地、其他水田、水體共7個(gè)類別，2 925個(gè)地塊；其中水稻樣本包含1 885個(gè)地塊，占總樣本量的81.1%。在所有樣本中以地塊為單位按照7:3的比例選取訓(xùn)練和測(cè)試樣本。

2 算法步驟

本文的水稻提取方法流程如圖1所示。

圖1 水稻提取方法流程

2.1 基于全卷積網(wǎng)絡(luò)FCN的BJ-2高分辨率遙感影像分類

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)CNN通過(guò)一系列的卷積層和池化層對(duì)輸入的影像塊進(jìn)行特征提取，之后將提取的特征展平為向量輸入全連接層進(jìn)行最終的分類。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，全卷積網(wǎng)絡(luò)FCN最大的特點(diǎn)在于不含有全連接層，可以適應(yīng)任意尺寸影像的輸入，因而可以將整個(gè)影像作為輸入，以直接得到整個(gè)影像的分類結(jié)果。

本文采用了U-Net全卷積網(wǎng)絡(luò)[11]來(lái)對(duì)BJ-2高分辨率遙感影像進(jìn)行分類，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。共包括了5個(gè)下采樣模塊和5個(gè)上采樣模塊，每一個(gè)下采樣模塊包括2個(gè)卷積層和1個(gè)池化層，每一個(gè)上采樣模塊包括1個(gè)反卷積層和2個(gè)卷積層。

圖2 U-Net全卷積網(wǎng)絡(luò)結(jié)構(gòu)

卷積層采用了二維卷積的方式，其過(guò)程為：

池化層采用最大值池化的方式，用一個(gè)p×p的窗口遍歷輸入的特征圖，每次取窗口中所有元素的最大值作為輸出，從而對(duì)輸入的特征圖進(jìn)行下采樣。反卷積又稱轉(zhuǎn)置卷積，是卷積的逆運(yùn)算，經(jīng)過(guò)反卷積之后輸入影像尺寸變大，可以達(dá)到對(duì)影像上采樣的效果。

網(wǎng)絡(luò)中各個(gè)卷積層和反卷積層的卷積核尺寸均為3×3，均采用ReLU激活函數(shù)：

5個(gè)上采樣模塊卷積層的通道數(shù)分別為64、128、256、512、1 024，池化層均采用2×2池化。每個(gè)下采樣模塊的卷積層的通道數(shù)與相同輸出特征圖尺寸的上采樣模塊相同，并通過(guò)跳躍連接的方式將每個(gè)下采樣模塊輸出的特征圖與對(duì)應(yīng)上采樣模塊輸出的相同尺寸的特征圖進(jìn)行疊加，從而起到使分類結(jié)果能夠保留原始影像中更多細(xì)節(jié)的作用。

通過(guò)所有上采樣和下采樣模塊之后，得到的特征圖將經(jīng)過(guò)一個(gè)卷積核尺寸為1×1、通道數(shù)與類別數(shù)（本文為7）相同的卷積層，來(lái)得到最終的分類結(jié)果圖。該卷積層采用Softmax激活函數(shù)：

本文首先以256×256尺寸裁剪BJ-2影像和訓(xùn)練樣本，得到若干樣本塊輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再將整景BJ-2影像輸入訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，得到影像的分類結(jié)果。

2.2 Sentinel-2多時(shí)序遙感影像分類

長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的一種。RNN是專門用于處理序列數(shù)據(jù)的深度網(wǎng)絡(luò)，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，RNN以自循環(huán)為主要特色，即它隱含層的各個(gè)節(jié)點(diǎn)之間存在著關(guān)聯(lián)，若每一個(gè)時(shí)刻的輸入為xt，則每一個(gè)時(shí)刻的隱含層輸出ht由該時(shí)刻的輸入xt和上一個(gè)時(shí)刻的隱含層輸出ht-1共同決定[12]：

式中，U、W為權(quán)重矩陣，對(duì)各個(gè)時(shí)刻來(lái)說(shuō)是一致的；f為激活函數(shù)。每一個(gè)時(shí)刻的輸出為該時(shí)刻的隱含層輸出ht得到的概率向量o t：

式中，V為權(quán)重矩陣，對(duì)各個(gè)時(shí)刻來(lái)說(shuō)是一致的；C為類別數(shù)。

與傳統(tǒng)的RNN相比，LSTM通過(guò)精巧的設(shè)計(jì)循環(huán)體的結(jié)構(gòu)來(lái)有效地解決信息的長(zhǎng)期依賴[13]，它由3個(gè)部分組成：遺忘門、輸入門、輸出門。

遺忘門和輸入門用來(lái)控制單元狀態(tài)c，遺忘門決定了上一時(shí)刻的單元狀態(tài)ct-1有多少保留到當(dāng)前時(shí)刻ct：

輸入門決定了當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入xt有多少保存到單元狀態(tài)：

輸出門控制了單元狀態(tài)ct有多少輸出到當(dāng)前時(shí)刻的輸出值ht，從而決定了最終該時(shí)刻隱含層的輸出：

以上各式中U f、U i、U z、U o以及W f、W i、W z、W o均為權(quán)重矩陣，每一時(shí)刻的輸出依然可以由式（5）得到。

本文采用了2層LSTM的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)得到Sentinel-2多時(shí)序影像的分類結(jié)果之一，每層通道數(shù)為32，如圖3所示。

隨機(jī)森林RF分類器由一系列的決策回歸樹CART組成，對(duì)于每一個(gè)輸入數(shù)據(jù)，采用了其終端的葉子節(jié)點(diǎn)多數(shù)投票的方法來(lái)得到對(duì)該輸入的類別的預(yù)測(cè)。隨機(jī)森林能以較小的計(jì)算代價(jià)處理高維度的數(shù)據(jù)，并且對(duì)訓(xùn)練樣本中存在的噪聲不敏感，是一種準(zhǔn)確度較高且高度靈活的機(jī)器學(xué)習(xí)算法[14]。本文采用隨機(jī)森林RF分類器得到Sentinel-2多時(shí)序影像的分類結(jié)果，隨機(jī)森林中決策樹的數(shù)量設(shè)置為100。

2.3 面向?qū)ο笸镀奔昂筇幚?/h3>

首先采用多尺度分割算法[15]來(lái)對(duì)BJ-2高分辨率遙感影像進(jìn)行面向?qū)ο蠓指?，本文選取的分割尺度為50，形狀權(quán)值和緊致度權(quán)值分別設(shè)置為0.1和0.5，每個(gè)對(duì)象由一系列的同質(zhì)性像素組成。將前文得到的3種分類結(jié)果（即：基于FCN的BJ-2高分辨率影像分類結(jié)果、基于LSTM和RF的Sentinel-2多時(shí)序影像分類結(jié)果）通過(guò)重采樣統(tǒng)一為1m分辨率，并將每一種分類方法得到的分類結(jié)果投影到對(duì)象中：即對(duì)于每一個(gè)對(duì)象，若對(duì)象中屬于某一類的像素占比最高，則該對(duì)象屬于這一類別。

隨后，對(duì)3種分類結(jié)果進(jìn)行面向?qū)ο蟮暮Y選，其最終的類別為被3種分類方法篩選占比最高的類別，并統(tǒng)計(jì)該對(duì)象被分為水稻的次數(shù)，從而可以得到3種分類方法融合后的分類結(jié)果圖以及水稻的投票結(jié)果圖。水稻的投票結(jié)果圖中的對(duì)象分為0票、1票、2票和3票4種，其中0票為非水稻，其余為確定度不同的水稻對(duì)象。

由于票數(shù)為1的水稻對(duì)象確定度較低，因此需要進(jìn)一步處理。采用了幾何約束的方式來(lái)從票數(shù)為1的對(duì)象中剔除不符合稻田幾何形狀的對(duì)象，設(shè)置了長(zhǎng)寬比LW、面積Area和矩形度Rec3個(gè)指標(biāo)，并分別設(shè)定閾值TLW、TArea和TRec，將滿足以下條件的對(duì)象剔除：

其中：

AreaMER為對(duì)象的最小外接矩形的面積。

本文設(shè)置的閾值為TLW=5、TArea=500 m2、TRec=0.5。進(jìn)行了幾何約束后處理后，便得到了最終的水稻提取結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

本文利用Python語(yǔ)言的Pytorch深度學(xué)習(xí)框架來(lái)構(gòu)建FCN和LSTM深度網(wǎng)絡(luò)，硬件環(huán)境為Intel(R)Core(TM)i7-4790K CPU和NVIDIA GeoForce RTX 1080 Ti GPU；隨機(jī)森林RF分類器利用Python語(yǔ)言中sklearn庫(kù)實(shí)現(xiàn)；BJ-2高分辨率遙感影像面向?qū)ο蠓指钍褂胑Cognition軟件實(shí)現(xiàn)；分類結(jié)果面向?qū)ο笸镀奔八咎崛〗Y(jié)果后處理利用MATLAB語(yǔ)言編程實(shí)現(xiàn)。

3.2 結(jié)果與分析

分別利用測(cè)試樣本對(duì)本文采用的3種分類方法——FCN、LSTM、RF以及通過(guò)面向?qū)ο笸镀边M(jìn)行融合后得到的水稻提取精度進(jìn)行了評(píng)價(jià)，總共評(píng)價(jià)了總體精度、生產(chǎn)者精度、用戶精度、F1分?jǐn)?shù)、Kappa系數(shù)幾個(gè)指標(biāo)。精度評(píng)價(jià)結(jié)果如表1所示。

表1 水稻提取精度評(píng)價(jià)

從表1中我們可以得出以下結(jié)論：

1）從面向?qū)ο蠓指钋暗木葋?lái)看，3種分類方法都發(fā)揮了其優(yōu)勢(shì)。LSTM的用戶精度最高，為98.4%，得到了最為準(zhǔn)確的水稻提取結(jié)果；RF的生產(chǎn)者精度最高，為98.7%，得到了遺漏最少的水稻提取結(jié)果；與提取時(shí)序和光譜特征的LSTM和RF不同，F(xiàn)CN主要提取了水稻的空間特征，得到了空間細(xì)節(jié)最為完善的水稻提取結(jié)果，且各項(xiàng)精度指標(biāo)與LSTM和RF相當(dāng)。

2）3種分類方法在面向?qū)ο蠓指钋暗乃咎崛】傮w精度分別為96.3%、95.9%和97.7%，而面向?qū)ο蠓指詈蟮木确謩e為96.7%、97.6%和97.9%時(shí)，分別提高了0.4%、1.5%和0.2%。基于高分辨率的BJ-2影像的面向?qū)ο蠓指羁梢酝晟扑咎崛〗Y(jié)果中的邊緣細(xì)節(jié)信息，并在一定程度上減少了同質(zhì)性區(qū)域內(nèi)部存在的椒鹽噪聲，從而帶來(lái)了精度的提升。

3）通過(guò)面向?qū)ο笸镀倍玫降?種分類方法融合后的水稻提取結(jié)果的精度總體優(yōu)于每一種分類方法的精度，特別是評(píng)價(jià)總體提取效果的OA、F1-score和Kappa系數(shù)分別為98.1%、98.2%和96.1%，都達(dá)到了最高，可見空間、光譜和時(shí)序特征的結(jié)合能達(dá)到最好的分類效果。

圖4展示了最終融合后得到的影像分類結(jié)果圖以及水稻提取結(jié)果圖，圖5對(duì)圖4中的部分區(qū)域進(jìn)行了局部放大展示。

圖4 最終分類結(jié)果及水稻提取結(jié)果

圖5 最終分類結(jié)果及水稻提取結(jié)果（局部放大圖）

從水稻提取結(jié)果圖來(lái)看，融合多時(shí)序和高分辨率影像方法得到的水稻提取結(jié)果，可以很好地將水稻與其他地物（特別是林地、草地及其他農(nóng)作物）區(qū)分，且影像中的邊緣等細(xì)節(jié)信息也較好地得到了保留。

總之，提出的融合高分辨率和多時(shí)序遙感影像的方法能夠得到較高的水稻提取精度，以及空間分辨率較高、空間細(xì)節(jié)保留較為完整的水稻制圖結(jié)果。

4 結(jié)語(yǔ)

本文提出了一種融合高分辨率遙感影像和多時(shí)序遙感影像的深度學(xué)習(xí)水稻提取方法。利用BJ-2高分辨率遙感影像和Sentinel-2多時(shí)序遙感影像，基于全卷積網(wǎng)絡(luò)（FCN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）、隨機(jī)森林（RF）分類器以及面向?qū)ο蠓指罴夹g(shù)，對(duì)寧波市鄞州區(qū)這一實(shí)驗(yàn)區(qū)域進(jìn)行了水稻提取。實(shí)驗(yàn)結(jié)果表明提出的方法可以得到較高的水稻提取精度，能夠較好地將水稻與其他地物區(qū)分開，且提取結(jié)果中邊緣等空間細(xì)節(jié)保留得較為完整。

本文提出的方法依然存在著深度網(wǎng)絡(luò)訓(xùn)練較為耗時(shí)以及需要大量人工水稻樣本標(biāo)注的問(wèn)題，今后將進(jìn)一步提高深度網(wǎng)絡(luò)訓(xùn)練的效率以及水稻提取的自動(dòng)化程度，以滿足實(shí)際應(yīng)用需求。