宋曉倩 張學(xué)藝 張春梅 李萬春

摘要：為利用遙感手段快速、精準提取寧夏賀蘭山東麓釀酒葡萄種植信息，提出了一種基于深度遷移學(xué)習(xí)的釀酒葡萄種植信息提取方法。該方法以全卷積神經(jīng)網(wǎng)絡(luò)（Fully convolutional networks，F(xiàn)CN）為基礎(chǔ)，利用高分二號衛(wèi)星遙感資料，以地面采集樣本數(shù)據(jù)進行網(wǎng)絡(luò)模型訓(xùn)練，利用遷移學(xué)習(xí)方法將訓(xùn)練好的網(wǎng)絡(luò)模型遷移到FCN網(wǎng)絡(luò)模型中，對其進行初始化，避免過擬合問題的發(fā)生，其網(wǎng)絡(luò)訓(xùn)練驗證集準確率高達88.16%，較傳統(tǒng)的基于深度學(xué)習(xí)方法準確率提高7.17個百分點。結(jié)果表明，基于深度遷移學(xué)習(xí)的賀蘭山東麓釀酒葡萄種植信息提取檢測準確率可達91.93%，檢測召回率達到91.15%。

關(guān)鍵詞：釀酒葡萄;信息提取;高分數(shù)據(jù);深度學(xué)習(xí);遷移學(xué)習(xí)

中圖分類號：S127文獻標識碼：A文章編號：1000-4440（2020）03-0689-05

Extraction of wine grape planting information based on deep transfer learning

SONG Xiao-qian1，ZHANG Xue-yi2，ZHANG Chun-mei1，LI Wan-chun2

（1.School of Computer Science and Engineering， North Minzu University， Yinchuan 750021， China;2.Key Laboratory of Characteristic Agrometeorological Disaster Monitoring and Early Warning and Risk Management in Arid Regions， CMA/Key Laboratory for Meteorological Disaster Prevention and Reduction of Ningxia， Yinchuan 750002， China）

Abstract：In order to extract the wine grape planting information of the eastern foot of Helan mountain by using remote sensing， a method based on deep transfer learning was proposed. On the basis of fully convolutional network（FCN）， this method used the GF-2 remote sensing data to collect the sample data for the information extraction training. The trained network model was transferred to the FCN model by using the transfer learnin method. It was initialized in the network model to avoid over-fitting problem. The accuracy rate of its network training validation set was as high as 88.16%， which was 7.17 percentage points higher than that of traditional deep learning methods. The results showed that the accuracy rate of wine grape planting information extraction based on deep transfer learning at the eastern foot of Helan Mountain could reach 91.93%， and the recall rate reached 91.15%.

Key words：wine grapes;information extraction;high resolution data;deep learning;transfer learning

近年來，在寧夏回族自治區(qū)黨委、政府的重視下，賀蘭山東麓釀酒葡萄被確定為自治區(qū)農(nóng)業(yè)六大區(qū)域性優(yōu)勢產(chǎn)業(yè)之一[1]。隨著釀酒葡萄產(chǎn)業(yè)的快速發(fā)展，其種植面積也在日益擴大[2]。如何快速、準確地提取釀酒葡萄種植面積是當前迫切需要解決的問題。利用遙感手段提取作物種植信息是一種節(jié)省人力、物力，并且人為干預(yù)少，效果好的技術(shù)[3-5]。目前較多學(xué)者利用深度神經(jīng)網(wǎng)絡(luò)在自然場景圖像識別中取得優(yōu)異成果[6]。張善文等[7]利用卷積神經(jīng)網(wǎng)絡(luò)對黃瓜病害進行識別，并建立了訓(xùn)練葉片識別數(shù)據(jù)庫，與普通的特征提取識別病害方法相比較性能較高。孫云云等[8]在小樣本情況下利用卷積神經(jīng)網(wǎng)絡(luò)進行病害圖像識別，先利用7種不同模式分別對樣本進行預(yù)處理，然后用AlexNet的經(jīng)典網(wǎng)絡(luò)對預(yù)處理后的樣本進行訓(xùn)練。有的學(xué)者[9]利用深度神經(jīng)網(wǎng)絡(luò)來進行遙感圖像識別，結(jié)合面向?qū)ο蠛蜕疃忍卣?，將深度學(xué)習(xí)運用到高分樹種的分類中，與普通的支持向量機及隨機森林分類方法對比，分類精度有所提高。黃云等[10]運用Sentinel-2數(shù)據(jù)基于FCN網(wǎng)絡(luò)改進的SegNet網(wǎng)絡(luò)對花生種植區(qū)域進行分類。Kussul等[11]利用深度學(xué)習(xí)對2種不同的遙感數(shù)據(jù)進行多種作物的分類，準確率較高。宮浩等[12]提出基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像分類方法，利用6層卷積神經(jīng)網(wǎng)絡(luò)對農(nóng)田進行分類識別，精度高，耗時短。但基于深度神經(jīng)網(wǎng)絡(luò)的算法，必須有大量訓(xùn)練樣本的支撐，單憑借少量的標注樣本進行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練，容易產(chǎn)生過擬合的現(xiàn)象。

為改善深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中較易出現(xiàn)的過擬合現(xiàn)象，本研究提出一種基于深度遷移學(xué)習(xí)的釀酒葡萄種植信息提取方法。

1材料與方法

1.1研究區(qū)

寧夏賀蘭山東麓釀酒葡萄產(chǎn)區(qū)位于寧夏回族自治區(qū)銀川、吳忠、石嘴山三市，東經(jīng)105°～106°E，北緯37°～39°N，地處世界釀酒葡萄種植的“黃金地帶”，是全國三大釀酒葡萄原產(chǎn)地域保護區(qū)之一[13-15]，也是中國釀酒葡萄最佳種植區(qū)。賀蘭山東麓屬典型大陸性氣候，系沖積扇三級階梯，交通多有不便，生態(tài)脆弱，決定了在該區(qū)域發(fā)展釀酒葡萄產(chǎn)業(yè)必須適度規(guī)劃、有限發(fā)展，所以快速、精準地掌握釀酒葡萄的種植分布及面積等情況成為政府決策部門的當務(wù)之急。

1.2數(shù)據(jù)來源

1.2.1衛(wèi)星資料數(shù)據(jù)研究數(shù)據(jù)來源于高分二號（GF-2）衛(wèi)星遙感資料。GF-2衛(wèi)星是中國自主研制的首顆空間分辨率優(yōu)于1 m的民用光學(xué)遙感衛(wèi)星，搭載有2臺高分辨率1 m全色、4 m多光譜相機，具有亞米級空間分辨率、高定位精度和快速姿態(tài)機動能力等特點[16-17]。獲取2015-2018年釀酒葡萄分類最佳時相段內(nèi)數(shù)據(jù)質(zhì)量較好的賀蘭山東麓葡萄種植區(qū)國產(chǎn)高分辨率衛(wèi)星GF-2號PMS的L1A級數(shù)據(jù)共8景，經(jīng)過正射校正、圖像融合等預(yù)處理后，使其最高分辨率達到0.8 m，進行基于深度遷移學(xué)習(xí)的葡萄種植區(qū)分類數(shù)據(jù)集構(gòu)建。遙感數(shù)據(jù)從中國資源衛(wèi)星應(yīng)用中心下載。

1.2.2數(shù)據(jù)集的組成用于訓(xùn)練初始網(wǎng)絡(luò)的源領(lǐng)域數(shù)據(jù)集為2個遙感影像數(shù)據(jù)集（WHU-RS19數(shù)據(jù)集、UCMerced LandUse數(shù)據(jù)集）和大型圖像數(shù)據(jù)集（ImageNet數(shù)據(jù)集）。

1.2.3地理信息數(shù)據(jù)經(jīng)度、緯度數(shù)據(jù)及其他地理信息數(shù)據(jù)均來源于寧夏回族自治區(qū)氣象局。

1.2.4氣象數(shù)據(jù)在確定釀酒葡萄分類最佳時相段時，由于選取的釀酒葡萄GPS定點為銀川市、吳忠市、青銅峽市、石嘴山市、賀蘭縣、永寧縣，葡萄的生長發(fā)育需要≥10 ℃積溫，所以選擇2015-2018年以上6個地區(qū)≥10 ℃的積溫數(shù)據(jù)，由寧夏回族自治區(qū)氣象局提供數(shù)據(jù)及統(tǒng)計結(jié)果。

1.2.5輔助數(shù)據(jù)由寧夏回族自治區(qū)氣象局提供寧夏主要作物調(diào)查數(shù)據(jù)，包括作物種植物候歷、作物發(fā)育期、作物GPS定點采樣點，其中采樣點包括水稻30個、玉米50個、小麥30個、葡萄35個。

1.3圖像分類方法

遷移學(xué)習(xí)方法是利用數(shù)據(jù)、任務(wù)或模型之間的相似性，將源領(lǐng)域中已學(xué)到的內(nèi)容遷移到目標領(lǐng)域?qū)W習(xí)任務(wù)中，以此達到完善新工作的效果[18]。首先在2個遙感影像數(shù)據(jù)集（WHU-RS 19數(shù)據(jù)集、UCMerced LandUse數(shù)據(jù)集）與一個大型圖像數(shù)據(jù)集（ImageNet數(shù)據(jù)集）上訓(xùn)練初始網(wǎng)絡(luò)，也就是所謂的源領(lǐng)域?qū)W習(xí)任務(wù)。將訓(xùn)練好的初始網(wǎng)絡(luò)進行卷積層保留，將保留的模型參數(shù)導(dǎo)入新網(wǎng)絡(luò)模型中，對建立的賀蘭山東麓葡萄種植區(qū)高分辨率遙感圖像分類數(shù)據(jù)集進行分類。最終利用得出的分類準確率對目標領(lǐng)域?qū)W習(xí)任務(wù)的成果進行評價。圖1是基于深度遷移學(xué)習(xí)的賀蘭山東麓釀酒葡萄種植區(qū)提取的基本框架。

1.3.1數(shù)據(jù)集的構(gòu)建將方法1.2中預(yù)處理后的GF-2號影像數(shù)據(jù)先運用遙感處理軟件ENVI5.3進行葡萄種植區(qū)裁剪，將裁剪結(jié)果導(dǎo)入ARCGIS中輸出柵格數(shù)據(jù)，利用深度學(xué)習(xí)樣本制作工具labelme，結(jié)合Google earth軟件進行葡萄種植區(qū)樣本標注，并對其中6景原圖像及生成的樣本圖像進行對應(yīng)裁剪，生成大小為224×224的圖像。為解決遙感數(shù)據(jù)采集成本高、樣本少的矛盾，采用數(shù)據(jù)增強（Data augmentation）方法解決這一問題[19]。將處理好的葡萄種植區(qū)原始影像與標簽圖像進行合適的旋轉(zhuǎn)、鏡像、模糊以及亮度變換，增大數(shù)據(jù)集的大小，增強網(wǎng)絡(luò)的學(xué)習(xí)能力。裁剪后的影像進行上述圖像處理后，樣本擴充到2 000張。這樣訓(xùn)練數(shù)據(jù)集便構(gòu)建完成，其數(shù)據(jù)集部分構(gòu)成如圖2和圖3所示。

1.3.2分類算法框架的搭建基于FCN的葡萄種植區(qū)分類算法詳細框架如圖4所示。選取VGG16網(wǎng)絡(luò)模型的前13層作為全卷積神經(jīng)網(wǎng)絡(luò)特征提取部分，后面加入反卷積層對輸入圖像進行上采樣。對于前面采用的VGG16網(wǎng)絡(luò)模型的前13層，加入遷移網(wǎng)絡(luò)，采用Adam算法進行優(yōu)化，保存分別在大型源數(shù)據(jù)集上訓(xùn)練好的模型，然后將訓(xùn)練好的模型分別遷移到構(gòu)建的葡萄種植區(qū)遙感分類數(shù)據(jù)集上，并在新的訓(xùn)練任務(wù)中不斷調(diào)整這些參數(shù)。

和檢測召回率的計算，評價精度。

檢測準確率是被正確預(yù)測的像素面積與所有像素面積之比[20]，其計算公式為：

檢測準確率=（TA+TB）/（A+B）（1）

檢測召回率是被正確預(yù)測為葡萄種植區(qū)的像素面積與實際葡萄種植區(qū)像素面積之比，其計算公式為：

檢測召回率=TA/A（2）

式中，TA為正確檢測的葡萄種植區(qū)像素面積，TB為正確檢測的背景像素面積，A為實際葡萄種植區(qū)像素面積，B為實際背景像素面積。

2結(jié)果與分析

2.1分類網(wǎng)絡(luò)模型的訓(xùn)練

試驗環(huán)境參數(shù)設(shè)置：操作系統(tǒng)版本為Ubuntu18.1，CPU型號為Intel（R） Core（TM）i7-4790，GPU型號為GeForce GTX 1080，深度學(xué)習(xí)框架為Tensorflow 1.3.0。

首先利用大型源數(shù)據(jù)集遙感圖像數(shù)據(jù)集WHU-RS19數(shù)據(jù)集、UCMerced LandUse數(shù)據(jù)集和普通圖像數(shù)據(jù)集ImageNet數(shù)據(jù)集對初始網(wǎng)絡(luò)進行預(yù)訓(xùn)練，利用本研究構(gòu)建的葡萄種植區(qū)遙感分類數(shù)據(jù)集進行微調(diào)，找出對數(shù)據(jù)集分類效果最好的源領(lǐng)域數(shù)據(jù)集。添加一組利用方法1.3.1構(gòu)建的釀酒葡萄種植區(qū)遙感分類數(shù)據(jù)集直接對初始網(wǎng)絡(luò)模進行訓(xùn)練，來驗證模型遷移學(xué)習(xí)的有效性。經(jīng)過多次試驗，選擇最佳試驗結(jié)果的試驗參數(shù)：學(xué)習(xí)率為0.000 05，batchsize為1，迭代次數(shù)為100。

每次訓(xùn)練網(wǎng)絡(luò)時自動保存當前最優(yōu)模型。訓(xùn)練結(jié)果為：當不采用遷移學(xué)習(xí)對葡萄種植區(qū)遙感分類數(shù)據(jù)集進行訓(xùn)練時訓(xùn)練集準確率為96.42%，但在驗證集上丟失率在后半段訓(xùn)練過程中增加，明顯出現(xiàn)過擬合的現(xiàn)象。當分別以ImageNet數(shù)據(jù)集、WHU-RS19數(shù)據(jù)集、 UCMerced LandUse數(shù)據(jù)集為源領(lǐng)域數(shù)據(jù)集進行遷移學(xué)習(xí)時，訓(xùn)練集的準確率分別為96.27%、79.90%、78.72%。

當不采用遷移學(xué)習(xí)而直接使用本研究構(gòu)建的釀酒葡萄種植區(qū)遙感分類數(shù)據(jù)集來訓(xùn)練初始網(wǎng)絡(luò)模型時，驗證集準確率為80.99%。當源領(lǐng)域數(shù)據(jù)集選擇ImageNet時，先利用此數(shù)據(jù)集對初始網(wǎng)絡(luò)模型預(yù)訓(xùn)練，將訓(xùn)練好的網(wǎng)絡(luò)模型遷移至分類網(wǎng)絡(luò)中，使用賀蘭山東麓葡萄種植區(qū)分類數(shù)據(jù)集進行參數(shù)微調(diào)，最終達到的訓(xùn)練準確率最高為96.27%。而驗證集準確率高達88.16%，對比沒有遷移時80.99%的準確率，效果較好?？梢姡w移學(xué)習(xí)不但能提高分類的準確率，并且還能抑制過擬合現(xiàn)象。

當分別利用遙感影像數(shù)據(jù)集WHU-RS19數(shù)據(jù)集、UCMerced LandUse數(shù)據(jù)集訓(xùn)練初始網(wǎng)絡(luò)并遷移到新的分類任務(wù)中時準確率不升反降，分別為79.90%、78.72%。由于這2個遙感數(shù)據(jù)集沒有與ImageNet數(shù)據(jù)集一樣的大型數(shù)據(jù)量支持，使得網(wǎng)絡(luò)的微調(diào)沒有更深層的特征支撐，進而導(dǎo)致訓(xùn)練后的準確率大幅降低，這是負遷移現(xiàn)象。這表明在遷移學(xué)習(xí)中，只有源領(lǐng)域數(shù)據(jù)集大到一定范圍，才會對目標領(lǐng)域的學(xué)習(xí)任務(wù)有改進作用。

2.2圖像分類結(jié)果及驗證

訓(xùn)練好網(wǎng)絡(luò)后對整幅原始圖像進行預(yù)測，原始圖像與人工目視解譯得到的標簽數(shù)據(jù)以及網(wǎng)絡(luò)預(yù)測的標簽數(shù)據(jù)見圖5～圖7。

利用GF-2號0.8 m分辨率的優(yōu)勢，結(jié)合Google earth軟件與實際考察GPS定點，對圖5進行釀酒葡萄種植區(qū)的人工目視解譯，得到圖6中紅色標注出的釀酒葡萄種植區(qū)，黑色為背景區(qū)，將其作為參考真實數(shù)據(jù)。圖7中紅色區(qū)域為網(wǎng)絡(luò)預(yù)測的釀酒葡萄種植區(qū)，黑色為背景區(qū)。將圖7與圖6進行對比，發(fā)現(xiàn)圖7中釀酒葡萄種植區(qū)整體預(yù)測效果較好，但存在拼接痕跡，且有幾處錯分、漏分，對實際釀酒葡萄種植區(qū)間小道路預(yù)測不明顯。對測試結(jié)果進行檢測準確率和檢測召回率計算，結(jié)果顯示基于深度遷移學(xué)習(xí)得出的葡萄種植區(qū)提取檢測準確率為91.93%，檢測召回率為91.15%。

3討論

本研究將深度學(xué)習(xí)中的FCN網(wǎng)絡(luò)與遷移學(xué)習(xí)結(jié)合，快速、高精度地實現(xiàn)了賀蘭山東麓釀酒葡萄種植區(qū)的遙感影像解譯，對賀蘭山東麓釀酒葡萄種植區(qū)進行了提取。利用遷移學(xué)習(xí)，避免了過擬合的發(fā)生。不同源數(shù)據(jù)集的遷移學(xué)習(xí)與非遷移學(xué)習(xí)的對比試驗結(jié)果表明：當不進行遷移學(xué)習(xí)時，驗證集準確率為80.99%;選擇規(guī)模足夠大的ImageNet數(shù)據(jù)集，可有效提升驗證集準確率（88.16%）;當源數(shù)據(jù)集數(shù)量過少時，出現(xiàn)負遷移現(xiàn)象。

利用ImageNet數(shù)據(jù)集作為源數(shù)據(jù)集訓(xùn)練好的網(wǎng)絡(luò)模型對遙感影像進行預(yù)測，整體預(yù)測效果較好，檢測準確率達到91.93%，檢測召回率達到91.15%。

由于本研究以224×224的尺寸按照從左往右、從上到下的順序滑動預(yù)測圖像，然后進行拼接，這導(dǎo)致預(yù)測數(shù)據(jù)有拼接痕跡，對檢測的準確率有一定影響。對于該問題，后續(xù)可采用縮小滑動步長或采用其他解決邊緣問題的方法進行研究。本研究采用數(shù)據(jù)增強的方法解決樣本采集成本高與樣本少的矛盾，后續(xù)可研究采用學(xué)習(xí)生成對抗網(wǎng)絡(luò)（GAN），以提升檢測準確率與檢測召回率。

參考文獻：

[1]張敏敏，代紅軍. 2015年賀蘭山東麓產(chǎn)區(qū)赤霞珠葡萄成熟期品質(zhì)的監(jiān)測[J] . 農(nóng)業(yè)科學(xué)研究，2016，37（2）：29-33

[2]宋新欣. 寧夏賀蘭山東麓葡萄產(chǎn)業(yè)品牌建設(shè)探討[J]. 商業(yè)經(jīng)濟研究，2016（16）：216-217.

[3]李衛(wèi)國. 作物旱澇災(zāi)情遙感監(jiān)測進展與思考[J] . 江蘇農(nóng)業(yè)學(xué)報，2013，29（6）：1503-1506.

[4]王慶林，李衛(wèi)國，王榮富. 基于不同時相遙感的冬小麥種植而積的提取[J]. 江蘇農(nóng)業(yè)學(xué)報，2014，30（6）：1286-1291.

[5]徐新剛，李強子，周萬村，等. 應(yīng)用高分辨率遙感影像提取作物種植面積[J]. 遙感技術(shù)與應(yīng)用，2008，23（1）：17-23.

[6]曲景影，孫顯，高鑫. 基于CNN模型的高分辨率遙感圖像目標識別[J]. 國外電子測量技術(shù)，2016，35（8）：45-50.

[7]張善文，謝澤奇，張晴晴. 卷積神經(jīng)網(wǎng)絡(luò)在黃瓜葉部病害識別中的應(yīng)用[J]. 江蘇農(nóng)業(yè)學(xué)報，2018，34（1）：56-61.

[8]孫云云，江朝暉，董偉，等. 基于卷積神經(jīng)網(wǎng)絡(luò)和小樣本的茶樹病害圖像識別[J]. 江蘇農(nóng)業(yè)學(xué)報，2019，35（1）：48-55.

[9]滕文秀，王妮，施慧慧，等. 結(jié)合面向?qū)ο蠛蜕疃忍卣鞯母叻钟跋駱浞N分類[J]. 測繪通報，2019，505（4）：38-42.

[10]黃云，唐林波，李振，等. 采用深度學(xué)習(xí)的遙感圖像花生種植區(qū)域分類技術(shù)研究[J]. 信號處理，2019（4）：617-622.

[11]KUSSUL N， LAVRENIUK M， SKAKUN S， et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience & Remote Sensing Letters， 2017， 99：1-5.

[12]宮浩，張秀再，胡敬鋒，等. 一種基于深度學(xué)習(xí)的遙感圖像分類及農(nóng)田識別方法[J]. 現(xiàn)代電子技術(shù)，2019，42（8）：179-182.

[13]張學(xué)藝，李劍萍，秦其明，等. 幾種干旱監(jiān)測模型在寧夏的對比應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報，2009，25（8）：18-23.

[14]潘佳穎. 賀蘭山東麓葡萄基地兩種類型土壤重金屬分布特征與評價[D].銀川：寧夏大學(xué)，2017.

[15]王競，李磊，王銳，等. 不同生育期水分虧缺對釀酒葡萄光和特性、產(chǎn)量及品質(zhì)的影響[J]. 江蘇農(nóng)業(yè)科學(xué)，2017，46（22）：149-152.

[16]劉川，齊修東，藏文乾，等. 基于IHS變換的Gram-Schmidt改進融合算法研究[J]. 測繪工程，2018，27（11）：9-14.

[17]姚新春，張亞亞. 基于EasyOrtho的高分二號衛(wèi)星批量數(shù)據(jù)自動處理試驗[J]. 北京測繪，2016（6）：9-12.

[18]陳雨強. 圖像與文本數(shù)據(jù)間的異構(gòu)遷移學(xué)習(xí)[D]. 上海：上海交通大學(xué)，2012.

[19]張日升，朱桂斌，張燕琴. 基于卷積神經(jīng)網(wǎng)絡(luò)的衛(wèi)星遙感圖像區(qū)域識別[J]. 信息技術(shù)，2017（11）：91-94.

[20]付輝敬，田錚. 遙感圖像分割中的信息割算法[J]. 中國圖象圖形學(xué)報，2011，16（1）：135-140.

（責(zé)任編輯：張震林）