龔健雅，張 覓，胡翔云，張 展，李彥勝，姜良存

1.武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079; 2.武漢大學(xué)測(cè)繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079

遙感對(duì)地觀測(cè)技術(shù)的發(fā)展與地理國情普查等項(xiàng)目的實(shí)施，形成了時(shí)效性強(qiáng)、覆蓋范圍廣、信息量豐富的海量數(shù)據(jù)[1-2]。隨著大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展，基于深度學(xué)習(xí)的遙感影像解譯與監(jiān)測(cè)技術(shù)表現(xiàn)出了一定的優(yōu)勢(shì)。但在實(shí)際應(yīng)用中，遙感影像智能處理框架和信息服務(wù)能力相對(duì)滯后[3-5]，仍未形成與人臉識(shí)別、車牌識(shí)別等類似的可廣泛實(shí)用化的智能系統(tǒng)。截至目前，開源的深度學(xué)習(xí)框架與模型尚不能滿足遙感影像智能處理的迫切需求。

遙感影像的智能解譯涉及場(chǎng)景識(shí)別、目標(biāo)檢測(cè)、地物分類、變化檢測(cè)、多視角三維重建等典型任務(wù)。在深度學(xué)習(xí)框架和模型方面，大多由通用圖像識(shí)別的模型改造而來，一般只考慮可見光波段的圖像特征，未顧及更廣泛的遙感物理特性和地學(xué)知識(shí)等重要因素。在可擴(kuò)展性方面，已有的深度學(xué)習(xí)框架大多只支持輸入小尺寸影像，難以支持大幅面遙感影像整體訓(xùn)練[6]。例如訓(xùn)練語義分割網(wǎng)絡(luò)，如果直接載入30 000×30 000像素的大幅影像，則會(huì)出現(xiàn)內(nèi)存溢出問題導(dǎo)致訓(xùn)練失敗。為保證正常訓(xùn)練，通常需將大幅遙感影像裁剪為512×512像素的固定尺寸作為語義分割網(wǎng)絡(luò)的輸入。然而，在這種處理方式下，現(xiàn)有深度學(xué)習(xí)框架難以挖掘到影像大范圍空間上下文信息，使其擴(kuò)展性受限；在尺度通道構(gòu)建方面，普通影像包含場(chǎng)景范圍小，尺度有限，而遙感影像受傳感器、觀測(cè)平臺(tái)影響，分辨率各不相同、地物尺度變化極大，例如水體、植被等[7]。現(xiàn)有深度學(xué)習(xí)框架缺乏應(yīng)對(duì)如此大尺度變化的優(yōu)化方法；在數(shù)據(jù)通道選擇方面，普通影像的三通道相關(guān)性小，無須復(fù)雜的通道選取。遙感影像，尤其是高光譜影像，包含數(shù)百個(gè)通道，亟須深度學(xué)習(xí)框架具備優(yōu)選能力[8-9]；在知識(shí)融合與建模方面，深度學(xué)習(xí)過程存在“災(zāi)難性遺忘”[10-11]，難以同時(shí)保有新舊數(shù)據(jù)處理能力。遙感影像有“同譜異物、同物異譜”現(xiàn)象，僅靠學(xué)習(xí)的圖像特征，難達(dá)到理想精度，不能運(yùn)用先驗(yàn)知識(shí)集成地學(xué)抽象規(guī)則，做出可解釋、高可靠的決策。因此，亟須設(shè)計(jì)嵌入遙感地學(xué)先驗(yàn)知識(shí)的高效、可靠的智能遙感深度學(xué)習(xí)框架與模型。

人工智能時(shí)代，智能遙感深度學(xué)習(xí)框架與模型是連通遙感硬件、軟件、應(yīng)用場(chǎng)景的樞紐與關(guān)鍵。由于遙感對(duì)地觀測(cè)與智能處理的戰(zhàn)略價(jià)值，美國在2020年將基于人工智能的遙感技術(shù)列為敏感技術(shù)并限制出口，對(duì)我國形成新一輪封鎖態(tài)勢(shì)。鑒于目前尚無顧及遙感大幅面、多通道、知識(shí)融合特性的深度學(xué)習(xí)框架，研究面向遙感應(yīng)用、具備自主知識(shí)產(chǎn)權(quán)的專用深度學(xué)習(xí)框架與模型，占領(lǐng)遙感人工智能生態(tài)鏈的制高點(diǎn)已顯得尤為緊迫。本文針對(duì)遙感影像特點(diǎn)以及目標(biāo)識(shí)別與動(dòng)態(tài)監(jiān)測(cè)等應(yīng)用需求，提出了兼顧遙感影像特性的智能遙感深度學(xué)習(xí)框架與模型的研究思路(圖1)，并基于該研究路線設(shè)計(jì)了具備多維時(shí)空譜遙感特性的遙感專用深度學(xué)習(xí)框架與模型。

圖1 智能遙感深度學(xué)習(xí)框架與模型技術(shù)研究路線

遙感專用深度學(xué)習(xí)框架具備不限制遙感影像大小特點(diǎn)，具有多框架混合編程、可拖拽的可視化操作及數(shù)據(jù)與框架協(xié)同等功能，使其能夠與樣本庫緊密結(jié)合，自動(dòng)適應(yīng)多類型、多尺度、多級(jí)別的大規(guī)模遙感影像樣本的訓(xùn)練與測(cè)試。同時(shí)，該框架能夠構(gòu)建顧及遙感特性的優(yōu)化分析方法，為模型結(jié)構(gòu)優(yōu)化提供了科學(xué)依據(jù)。本文方法將形成尺度通道可靈活創(chuàng)建、數(shù)據(jù)通道可自適應(yīng)優(yōu)選、多層級(jí)聯(lián)合優(yōu)化的遙感專用深度學(xué)習(xí)框架與模型，能為遙感影像智能處理新理論、新技術(shù)和新成果的驗(yàn)證奠定基礎(chǔ)。

1 遙感智能解譯框架與模型現(xiàn)狀

自2012年ImageNet挑戰(zhàn)賽以來，面向通用圖像處理的深度學(xué)習(xí)框架和模型迅猛發(fā)展。而現(xiàn)有的遙感領(lǐng)域影像處理模型，多由普通影像預(yù)訓(xùn)練模型遷移獲得，并不具備遙感影像解譯所需特性。

目前開源深度學(xué)習(xí)框架種類繁多(表1)。國內(nèi)中國科學(xué)院計(jì)算所推出了人臉識(shí)別深度學(xué)習(xí)框架Dragon[12]，清華大學(xué)發(fā)布了計(jì)圖(Jittor)，百度、華為、曠世、一流科技等企業(yè)相繼開源了PaddlePaddle、MindSpore、MegEngine及OneFlow等框架。在國外，早期蒙特利爾理工學(xué)院開源了Theano[13]、伯克利大學(xué)研發(fā)了Caffe[14]，日本首選網(wǎng)絡(luò)研發(fā)了Chainer框架,Google、Facebook、Amazon等先后開源了Tensorflow[15]、PyTorch[16]、MXNet[17]等框架。雖然通用深度學(xué)習(xí)框架數(shù)目眾多，但構(gòu)建框架的核心技術(shù)呈收斂態(tài)勢(shì)，包括：控制流與數(shù)據(jù)流及操作符與張量；計(jì)算圖優(yōu)化與自動(dòng)梯度計(jì)算；執(zhí)行引擎、編程接口、部署運(yùn)維及分布式訓(xùn)練等。

表1 國內(nèi)外主要開源深度學(xué)習(xí)框架對(duì)比

在控制流與數(shù)據(jù)流方面，神經(jīng)網(wǎng)絡(luò)依賴關(guān)系表示為有向無環(huán)圖。隨著并發(fā)處理需求增多，函數(shù)式編程的框架正占據(jù)主流。Tensorflow、PyTorch、MindSpore等框架側(cè)重計(jì)算圖的函數(shù)式求解方式，對(duì)完整模型一次性求解。在操作符與張量表達(dá)方面，Caffe等傳統(tǒng)框架使用層(Layer)粗粒度的雙向執(zhí)行邏輯。在前向傳播時(shí)，程序執(zhí)行遞增循環(huán)；在反向傳播時(shí)，程序逆向做遞減循環(huán)。

Tensorflow將有向無環(huán)圖的操作符和張量分開表示，其細(xì)粒度表示的開發(fā)靈活性更強(qiáng)。由于細(xì)粒度表示對(duì)編譯器要求較高，多數(shù)框架也支持粗粒度操作符，例如卷積、池化等操作符。因此，粗細(xì)結(jié)合算子是深度學(xué)習(xí)框架的發(fā)展趨勢(shì)。此外，對(duì)張量計(jì)算的支持，可通過C++模板元編程提高效率。例如Tensorflow框架使用Eigen庫，MXNet采用Mshadow庫。

在計(jì)算圖優(yōu)化方面，深度學(xué)習(xí)框架利用編譯器技術(shù)對(duì)有向無環(huán)圖優(yōu)化重寫。計(jì)算圖優(yōu)化包括編譯器優(yōu)化、無用代碼與公共子表達(dá)式消除、操作符融合、類型/形狀推導(dǎo)及內(nèi)存優(yōu)化等。在自動(dòng)梯度計(jì)算方面，深度學(xué)習(xí)框架有兩種構(gòu)建方式，一種是靜態(tài)圖，例如Caffe和Tensorflow；另一種是Chainer等框架推出的動(dòng)態(tài)圖。靜態(tài)圖計(jì)算效率高、易優(yōu)化，但靈活性、易用性不如動(dòng)態(tài)圖。無論基于靜態(tài)圖還是動(dòng)態(tài)圖的框架，自動(dòng)逆拓?fù)湫蛲茖?dǎo)鏈?zhǔn)椒▌t的反向傳播計(jì)算圖已成標(biāo)配。用戶只需描述前向傳播，反向傳播由框架自動(dòng)推導(dǎo)完成。

在執(zhí)行引擎、編程接口、分布式訓(xùn)練與遷移部署方面，Tensorflow、PyTorch等通過協(xié)調(diào)CPU和GPU設(shè)備提高計(jì)算效率。底層基于C++開發(fā)，同時(shí)提供Python等前端接口。從開發(fā)到部署遵從“離線訓(xùn)練、在線識(shí)別”原則。其訓(xùn)練依賴分布式平臺(tái)，使用數(shù)據(jù)并行的策略擴(kuò)大處理規(guī)模。然而，設(shè)備數(shù)量不斷增加會(huì)導(dǎo)致通信開銷增長(zhǎng)，出現(xiàn)模型效率損失等缺陷。因此，將計(jì)算矩陣分塊的模型并行策略以及GPU接力訓(xùn)練的流水線并行策略受到了重視。目前，主流開源框架都支持?jǐn)?shù)據(jù)并行，但對(duì)模型并行和流水線并行的支持仍較困難。在框架部署與運(yùn)維方面，普遍用Docker和Kubernetess結(jié)合方案。同時(shí)，隨著開放神經(jīng)網(wǎng)絡(luò)交換標(biāo)準(zhǔn)(ONNX)的推出，極大方便了網(wǎng)絡(luò)模型在不同框架之間進(jìn)行切換。例如，主流的Tensorflow、PyTorch等框架都支持ONNX標(biāo)準(zhǔn)。

在基礎(chǔ)模型設(shè)計(jì)方面，蒙特利爾大學(xué)率先在GPU上實(shí)現(xiàn)AlexNet[18]，并在ImageNet[19]取得超過第2名10%的精度；牛津大學(xué)設(shè)計(jì)了VGG-Net[20]使top5錯(cuò)誤率降至7.5%；谷歌推出的GoogleNet[21]，使識(shí)別精度大幅提升；文獻(xiàn)[22]提出ResNet，使top5錯(cuò)誤率降低至4.5%；康奈爾大學(xué)與Facebook FAIR實(shí)驗(yàn)室等推出DenseNet[23]，使相同精度下計(jì)算量降低；中國科學(xué)技術(shù)大學(xué)與MSRA開源了HRNet[24]，刷新了MS-COCO數(shù)據(jù)集[25]3項(xiàng)紀(jì)錄。在模型結(jié)構(gòu)自動(dòng)搜索(NAS)方面，數(shù)據(jù)驅(qū)動(dòng)的搜索主要包含基于強(qiáng)化學(xué)習(xí)[26]、演化計(jì)算[27]與基于梯度的方法[28]。基于強(qiáng)化學(xué)習(xí)方法通過代理模型指導(dǎo)搜索方向，常用代理模型有循環(huán)神經(jīng)網(wǎng)絡(luò)[29]與近端策略優(yōu)化等[30]。基于演化計(jì)算方法將模型結(jié)構(gòu)編碼為字符序列，生成新的結(jié)構(gòu)。其中網(wǎng)絡(luò)架構(gòu)與模型參數(shù)分別基于演化與隨機(jī)梯度下降方法迭代更新[31]?；趶?qiáng)化學(xué)習(xí)和演化計(jì)算方法具有出色性能，但對(duì)計(jì)算要求很高；基于梯度的方法能提升效率，利用概率平滑使搜索空間可微。目前，遙感影像智能處理涉及的應(yīng)用模型大多由計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)模型及搜索方法改造而來，例如在遙感目標(biāo)分類任務(wù)中，大量研究者使用了基于ResNet和空洞卷積結(jié)構(gòu)的DeepLab系列模型[32-33]。基于這些基礎(chǔ)模型及搜索方法的應(yīng)用模型，在遙感目標(biāo)檢索與場(chǎng)景分類[34-35]、遙感目標(biāo)檢測(cè)[36-37]、遙感地物要素分類[38-39]、遙感變化檢測(cè)[40-41]、多視三維重建[42-43]等任務(wù)均有廣泛應(yīng)用，但針對(duì)小尺寸影像搜索的模型，未顧及大幅遙感影像“像素-目標(biāo)-場(chǎng)景”多層級(jí)要素提取、變化發(fā)現(xiàn)等任務(wù)的特性。

通過對(duì)比國內(nèi)外開源深度學(xué)習(xí)框架和模型可以發(fā)現(xiàn)，為平衡計(jì)算和靈活性需求，主流深度學(xué)習(xí)框架各有其優(yōu)缺點(diǎn)。然而，主流深度學(xué)習(xí)框架與模型針對(duì)的是普通影像，即小像幅室內(nèi)/外影像。現(xiàn)有遙感解譯模型大多由通用圖像識(shí)別的深度神經(jīng)網(wǎng)絡(luò)改造，一般只考慮了影像的可見光影像特征，未顧及遙感光譜特性、地學(xué)先驗(yàn)知識(shí)、數(shù)據(jù)與框架協(xié)同等因素，導(dǎo)致支持遙感地學(xué)特性的框架仍是空白。

2 遙感智能解譯專用框架設(shè)計(jì)

面向幅面大、數(shù)據(jù)通道多的遙感影像，遙感專用的解譯框架與模型應(yīng)具備內(nèi)存可擴(kuò)展、尺度與通道的自適應(yīng)優(yōu)選機(jī)制，其總體架構(gòu)如圖2所示。前端接口和硬件/數(shù)據(jù)接口將其分為3層：前端接口之上為應(yīng)用層，包含多框架混合編程和可視化交互模塊；硬件/數(shù)據(jù)接口之下為硬件后端和遙感數(shù)據(jù)層，由設(shè)備和樣本庫管理模塊組織與管理；兩大接口間的專用框架核心層，包括中間表示與優(yōu)化、執(zhí)行引擎、顯存管理、遙感數(shù)據(jù)特性嵌入及遙感數(shù)據(jù)與框架協(xié)同模塊。本節(jié)首先介紹專用框架前端應(yīng)用層、硬件/數(shù)據(jù)組織與管理層、框架核心層，隨后詳細(xì)介紹框架核心層中嵌入遙感特性的方法，最后介紹專用框架的執(zhí)行流程。

圖2 遙感專用深度學(xué)習(xí)框架總體架構(gòu)

2.1 專用框架構(gòu)建

(1)前端應(yīng)用層。用于兼容已有框架，提供交互式模型搭建界面，包括：①多框架混合編程模塊。使用中間表示(IR)和虛擬機(jī)(VM)技術(shù)，將Tensorflow、PyTorch、MindSpore等框架的模型翻譯成本框架的中間格式，在后端實(shí)現(xiàn)部署。用戶可使用本框架的編程接口、數(shù)據(jù)讀取接口、網(wǎng)絡(luò)執(zhí)行接口等，利用Python環(huán)境和遙感影像特性優(yōu)化算子，實(shí)現(xiàn)模型創(chuàng)建與運(yùn)行。②可視化交互模塊。前端提供圖形用戶界面接口(GUI)。如圖3所示，使用GUI拖拽構(gòu)建網(wǎng)絡(luò)模型，利用圖標(biāo)展示梯度、損失等信息，直觀地查看訓(xùn)練過程的標(biāo)量、圖像、直方圖等。網(wǎng)絡(luò)模型由可拖拽的算子組成，能提供算子關(guān)鍵內(nèi)容；對(duì)于算子記錄輸入、輸出參數(shù)；對(duì)于網(wǎng)絡(luò)模型記錄算子、超參數(shù)信息等。GUI可一鍵拖拽算子，并展示屬性、數(shù)據(jù)流向信息。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)可視化交互模塊

(2)硬件/數(shù)據(jù)組織與管理層。用于屏蔽硬件設(shè)備差異，管理遙感影像樣本庫，實(shí)現(xiàn)高效讀寫與存儲(chǔ)管理，包括：①設(shè)備管理模塊。硬件接口下是硬件后端，包含X86、ARM、CUDA等設(shè)備，由設(shè)備管理模塊負(fù)責(zé)并對(duì)設(shè)備抽象，內(nèi)容包括抹除硬件版本差異等。②樣本庫管理模塊。數(shù)據(jù)接口下是遙感影像樣本庫。同時(shí)，樣本庫管理模塊也負(fù)責(zé)框架與數(shù)據(jù)協(xié)同組織，包括對(duì)上銜接樣本自動(dòng)增廣、容錯(cuò)與提純等任務(wù)，對(duì)下調(diào)度樣本庫索引。

(3)框架核心層。用于構(gòu)建有向無環(huán)計(jì)算圖，通過中間層表示優(yōu)化，并圍繞數(shù)據(jù)流和控制流嵌入遙感特性執(zhí)行計(jì)算。包括：①模型中間表示模塊。對(duì)Tensorflow、PyTorch等框架和本框架實(shí)現(xiàn)的算法模型，組成有向無環(huán)計(jì)算圖(節(jié)點(diǎn)代表張量，節(jié)點(diǎn)間代表張量間依賴)。②中間表示優(yōu)化模塊。該模塊引入3種優(yōu)化策略，一種是層融合(layer fusion)，例如對(duì)卷積與激活的連續(xù)層合為一層，減少讀寫次數(shù)。另一種是張量融合(tensor fusing)，通過尋址將不同分支結(jié)果填入合適位置，減少內(nèi)存搬運(yùn)。第3種是無用層消除(dead layer elimination)。通過解析模型消除無用層以減少計(jì)算量。③執(zhí)行引擎模塊。該模塊根據(jù)計(jì)算圖的算子計(jì)算順序執(zhí)行。執(zhí)行引擎迭代訓(xùn)練時(shí)，根據(jù)程序和顯卡數(shù)量構(gòu)建靜態(tài)單流賦值圖(static single assignment graph,SSA graph)，多卡間只在聚合梯度時(shí)同步。同時(shí)，結(jié)合靜動(dòng)態(tài)圖，以增強(qiáng)靜態(tài)圖模式的調(diào)試功能與動(dòng)態(tài)圖模式的運(yùn)行效率。④顯存管理模塊。該模塊采用3種顯存優(yōu)化策略。一種是顯存預(yù)分配機(jī)制。若分配需求requested_size不超過顯存池chunk_size，則從顯存池分出requested_size的塊；若requested_size大于chunk_size，則調(diào)用cudaMalloc分配requested_size的顯存。另一種是垃圾回收機(jī)制，其作用是在運(yùn)行階段釋放無用變量空間，以節(jié)省顯存。第3種是顯存復(fù)用機(jī)制(inplace)，使算子輸出復(fù)用輸入顯存空間。例如，數(shù)據(jù)整形(reshape)操作的輸出和輸入可復(fù)用同一顯存空間。

2.2 遙感特性嵌入層構(gòu)建

遙感特性嵌入層，主要支持框架核心層對(duì)大幅面、多尺度、多通道遙感數(shù)據(jù)的處理。其中基于間接緩沖區(qū)分組映射的內(nèi)存可擴(kuò)展方法，用于處理大幅面影像整體載入問題；基于記憶池的尺度通道靈活創(chuàng)建方法，用于處理框架中尺度通道創(chuàng)建問題；嵌入場(chǎng)景知識(shí)的數(shù)據(jù)通道自適應(yīng)優(yōu)選方法，用于處理數(shù)據(jù)通道的優(yōu)選問題。這3部分相互獨(dú)立，通過迭代執(zhí)行器(圖9)迭代調(diào)用并優(yōu)化。

(1)基于間接緩沖區(qū)分組映射的內(nèi)存可擴(kuò)展方法?；诳臻g上下文結(jié)構(gòu)的間接緩沖區(qū)分組映射方法可以構(gòu)建全局與局部地理網(wǎng)格緩沖區(qū)，實(shí)現(xiàn)大幅面遙感影像整體載入、內(nèi)存映射與空間上下文學(xué)習(xí)。

全局地理網(wǎng)格緩沖區(qū)構(gòu)建。如圖4所示，全局地理網(wǎng)格對(duì)大幅影像整體拆分，以合理利用內(nèi)存空間。網(wǎng)格中保留適于內(nèi)存的指針區(qū)域，即全局間接緩沖區(qū)(global indirect buffer)。同時(shí)間接緩沖區(qū)指針，指向存儲(chǔ)全局空間上下文處理單元(global context processing unit,GCP unit)，以保留大范圍上下文。全局間接緩沖區(qū)是指向尺寸為H×W×C的指針，其大小Gbuf如下

(KM×KN)×p×fdimbyte

(1)

式中，KM、KN是地理網(wǎng)格行列數(shù)，取值為1時(shí)，退化與Caffe等框架的im2col一致；MaxMem是最大內(nèi)存空間；r為指定的內(nèi)存利用率；p、fdim表示GCP單元的全局特征個(gè)數(shù)與維度。

局部地理網(wǎng)格緩沖區(qū)構(gòu)建。如圖4(b)、(c)所示，局部地理網(wǎng)格緩沖區(qū)是將全局地理網(wǎng)格中影像瓦片和標(biāo)注映射至GPU設(shè)備的轉(zhuǎn)換單元。其整合了GCP unit特征，同時(shí)利用局部間接緩沖區(qū)(local indirect buffer)檢索瓦片指針，搜集局部瓦片影像上下文(local context processing unit,LCP unit)。通過GEMM單元為空間上下文加權(quán)，實(shí)現(xiàn)“全局-局部”上下文學(xué)習(xí)。如圖4(b)、(c)與圖5所示，局部間接緩沖區(qū)是大小為KH×KW的區(qū)域，共有HO×WO個(gè)?？蚣苓\(yùn)行時(shí)，由該緩沖區(qū)取出瓦片影像及全局上下文特征指針，通過GEMM加權(quán)計(jì)算M×N規(guī)模的輸出X。局部緩沖區(qū)大小Lbuf計(jì)算如下

圖4 內(nèi)存可擴(kuò)展的間接緩沖區(qū)分組映射方法

圖5 局部間接緩沖區(qū)

Lbuf=KH×KW×HO×WO+(KH×KW)×

q×ldimbyte

(2)

式中，KH×KW為緩沖區(qū)大?。籋O×WO為輸出維度；q、ldim分別為L(zhǎng)CP單元的特征個(gè)數(shù)與維度。

由式(1)和式(2)可知，利用“全局-局部”地理網(wǎng)格緩沖區(qū)的指針，通過指針?biāo)褜つ芙档虲PU-GPU計(jì)算所需存儲(chǔ)空間，使大幅面遙感影像可整體載入訓(xùn)練，同時(shí)融入全局與局部空間的上下文信息。

(2)基于記憶池的尺度通道可靈活創(chuàng)建方法。如圖6所示，尺度記憶池(scale memory pool)在框架載入遙感影像時(shí)，自適應(yīng)學(xué)習(xí)和選擇各尺度堆疊特征(stacked feature)。其包含的關(guān)鍵技術(shù)有：①多尺度影像金字塔構(gòu)建。引入高階金字塔表示，降低尺度變化損失。②尺度記憶池構(gòu)建。當(dāng)前尺度(cur-scale)、前一尺度(pre-scale)以及下一尺度(next-scale)的鄰域形成尺度記憶池，通過池中的指針，快速檢索形成堆疊的尺度特征。

圖6 尺度通道靈活創(chuàng)建的記憶池自適應(yīng)優(yōu)化方法

多尺度影像金字塔構(gòu)建。類似拉普拉斯尺度空間構(gòu)建，多尺度影像金字塔的尺度空間編碼集表達(dá)如下

C(I)={L1(x)/M1(x/2),…,LN(x)/

MN(x/2),G}

(3)

式中,Li=I(x/2i-1)-I(x/2i)是拉普拉斯金字塔的第i層；I為經(jīng)尺度參數(shù)ki-1σ降采樣的影像；L1為精細(xì)尺度；LN為較粗尺度；G表示低通殘差；Mi=|Li|是梯度幅值。通過計(jì)算各尺度編碼Li(x)/Mi(x/2)，多尺度高階金字塔由如下編碼集迭代定義

H1(I)={C(I),{logM1(x/2),logM2(x/2),…,

logMN(x/2)}}

(4)

Hi(I)={C(I),{Hi-1(logM1(x/2)),Hi-1(logM2

(x/2)),…,Hi-1(logMN(x/2))}}

(5)

由式(4)與式(5)的高階編碼集，可重建任意尺度的金字塔影像

(6)

(7)

式中，H1,i為式(4)的編碼集；H2,i表示式(5)的編碼集；H(i)-1表示重建的第i層尺度空間影像。

尺度記憶池構(gòu)建。為快速從堆疊特征中檢索對(duì)應(yīng)尺度參數(shù)，本文使用尺度記憶池構(gòu)造方法(圖7)。首先，在當(dāng)前尺度(cur-scale)以2×2的網(wǎng)格鄰域形成緩沖區(qū)，存儲(chǔ)指向當(dāng)前尺度重構(gòu)的金字塔影像區(qū)域指針。然后，變換尺度參數(shù)，獲取前一尺度及下一尺度的3×3鄰域網(wǎng)格，存儲(chǔ)前一尺度和下一尺度重構(gòu)的影像區(qū)域指針，形成兩個(gè)3×3緩沖池。此時(shí)，前一尺度、下一尺度與當(dāng)前尺度緩沖池，共同構(gòu)成了22個(gè)間接存儲(chǔ)的記憶緩沖池，隨后可通過緩沖池指針檢索相應(yīng)尺度的重構(gòu)影像區(qū)域。最后，經(jīng)過堆疊的重構(gòu)特征加權(quán)學(xué)習(xí)，實(shí)現(xiàn)尺度通道自適應(yīng)創(chuàng)建。

圖7 尺度記憶池構(gòu)建方法

(3)嵌入場(chǎng)景知識(shí)的數(shù)據(jù)通道自適應(yīng)優(yōu)選方法。本文采用嵌入知識(shí)圖譜和場(chǎng)景一致性策略，實(shí)現(xiàn)數(shù)據(jù)通道優(yōu)選。如圖8所示，該優(yōu)選策略由兩部分組成：其一是場(chǎng)景嵌入單元，訓(xùn)練集按場(chǎng)景劃分，與測(cè)試集的采樣數(shù)據(jù)由編碼-解碼網(wǎng)絡(luò)連接，計(jì)算采樣與訓(xùn)練數(shù)據(jù)的場(chǎng)景相似度與損失。其二是知識(shí)嵌入單元，利用樣本庫分類體系，構(gòu)建知識(shí)圖譜，得到預(yù)測(cè)結(jié)果相關(guān)的高層知識(shí)保持結(jié)果一致性，選擇最優(yōu)數(shù)據(jù)通道。

圖8 嵌入場(chǎng)景知識(shí)的數(shù)據(jù)通道自主選優(yōu)策略

(8)

相應(yīng)場(chǎng)景類別i的損失為

(9)

知識(shí)嵌入單元。用建立的地學(xué)知識(shí)圖譜，獲得概念類別(高層知識(shí))集合L={l1,l2,…,lN}。元素li至lj間的相關(guān)度，采用隨機(jī)游走方法確定

(10)

式中，α為重新游走的概率。語義一致性損失如下

(11)

式中，χ2(·)表示Pearson卡方散度；yh為softmax函數(shù)計(jì)算的概率；P為由pij組成的相似度對(duì)稱矩陣。最終LC與LH構(gòu)成通道選擇損失

L=LC+λLH

(12)

式中，λ是知識(shí)嵌入損失的調(diào)整系數(shù)。通過通道損失的整體調(diào)整，獲取最優(yōu)光譜數(shù)據(jù)通道打分，實(shí)現(xiàn)通道自動(dòng)優(yōu)選。

2.3 專用框架執(zhí)行流程

遙感專用框架執(zhí)行流程如圖9所示，圖中以數(shù)字索引為任務(wù)執(zhí)行順序。黑色文字和箭頭表示常規(guī)流程；藍(lán)色文字和箭頭表示的劃分階段；紅色文字和箭頭表示執(zhí)行階段。完整執(zhí)行流程分為3個(gè)階段：

圖9 遙感專用深度學(xué)習(xí)框架執(zhí)行流程

(1)網(wǎng)絡(luò)模型準(zhǔn)備階段(步驟0—步驟1)。用戶通過框架前端自定義算子和操作數(shù)，構(gòu)建初始網(wǎng)絡(luò)模型，為模型編譯和優(yōu)化做好相應(yīng)準(zhǔn)備。

(2)網(wǎng)絡(luò)模型編譯階段(步驟2—步驟4)。得到初始計(jì)算圖描述后，編譯階段根據(jù)用戶設(shè)置，使用編譯構(gòu)建模塊對(duì)初始計(jì)算圖進(jìn)行圖優(yōu)化、張量?jī)?yōu)化等編譯優(yōu)化，完成模型的編譯構(gòu)建。

(3)網(wǎng)絡(luò)模型執(zhí)行階段(步驟5—步驟14)。編譯階段構(gòu)建的計(jì)算圖，在執(zhí)行階段通過圍繞數(shù)據(jù)流和控制流的執(zhí)行構(gòu)建模塊具體落實(shí)。分以下子步驟：①模型的輸入與輸出配置(步驟5—步驟6)。框架根據(jù)接收參數(shù)配置網(wǎng)絡(luò)模型描述信息，為計(jì)算啟動(dòng)與執(zhí)行做好配置與準(zhǔn)備；②模型的啟動(dòng)與執(zhí)行(步驟7—步驟9)?？蚣軋?zhí)行構(gòu)建模塊，將調(diào)度器模塊的回調(diào)結(jié)果返回上層應(yīng)用，上層應(yīng)用使用回調(diào)結(jié)果等待計(jì)算結(jié)束。同時(shí)執(zhí)行可視化分析模塊，監(jiān)測(cè)迭代損失、影像特征等；③異步計(jì)算的啟動(dòng)與結(jié)束(步驟10—步驟14)。模型啟動(dòng)與執(zhí)行時(shí)，步驟8的命令(asyncStartCompute)通過循環(huán)調(diào)用迭代執(zhí)行器完成。管理器通過設(shè)備驅(qū)動(dòng)模塊的信息，調(diào)用硬件設(shè)備支持模型計(jì)算。管理器中顯存管理模塊、遙感數(shù)據(jù)與框架協(xié)同模塊反饋的內(nèi)存和數(shù)據(jù)信息，通過遙感數(shù)據(jù)特性嵌入模塊，無縫融合遙感特性。此外，框架將計(jì)算信息通過遙感數(shù)據(jù)與框架協(xié)同模塊反饋給樣本庫，以實(shí)現(xiàn)容錯(cuò)性處理、自動(dòng)增廣與提純，使樣本庫具有協(xié)同精化能力。管理器執(zhí)行完所有模塊之后，發(fā)送命令通知迭代執(zhí)行器。當(dāng)?shù)襟E完畢，asyncStartCompute線程會(huì)自動(dòng)退出，最終結(jié)束計(jì)算并返回結(jié)果。

3 初步試驗(yàn)結(jié)果與分析

以地物要素分類任務(wù)為例，本文使用ISPRS Potsdam、廣東地區(qū)實(shí)際生產(chǎn)數(shù)據(jù)與高光譜影像數(shù)據(jù)集AVIRIS Indian Pines來驗(yàn)證專用框架的內(nèi)存可擴(kuò)展、尺度與通道自適應(yīng)優(yōu)選的可行性。本文將PyTorch作為與本框架進(jìn)行對(duì)比的基準(zhǔn)框架，基于全卷積神經(jīng)網(wǎng)絡(luò)(FCN)，對(duì)三通道Potsdam數(shù)據(jù)、實(shí)際生產(chǎn)數(shù)據(jù)進(jìn)行裁切與整幅載入處理分析，以對(duì)比框架的大幅面遙感影像處理特性。此外，本文還對(duì)四通道Potsdam數(shù)據(jù)、200通道AVIRIS Indian Pines高光譜數(shù)據(jù)進(jìn)行了尺度與數(shù)據(jù)通道優(yōu)選的對(duì)比分析。FCN網(wǎng)絡(luò)模型在Potsdam、實(shí)際生產(chǎn)數(shù)據(jù)集下的訓(xùn)練參數(shù)如下：epoch=40,base_lr=0.001,decay=0.000 5,momentum=0.9,batchsize=2。AVIRIS Indian Pines高光譜數(shù)據(jù)的訓(xùn)練參數(shù)為：epoch=200,base_lr=0.1,decay=0.000 5,momentum=0.9,batchsize=100。

3.1 大幅面處理特性試驗(yàn)結(jié)果

表2和表3是包含6類不同地物的ISPRS Potsdam、廣東地區(qū)生產(chǎn)數(shù)據(jù)集的測(cè)試結(jié)果。在PyTorch框架下，原始影像被統(tǒng)一裁剪為513×513像素；在本文框架下，原始影像保持整幅載入訓(xùn)練。由表2可知，引入大幅面影像處理機(jī)制，使本框架在Potsdam數(shù)據(jù)上的平均交并比(mIoU)提升了2.71%，總體精度(OA)提升了2.77%。在實(shí)測(cè)數(shù)據(jù)上，本文框架的提取精度提升了3%～5%。圖10為兩種數(shù)據(jù)預(yù)測(cè)結(jié)果。試驗(yàn)表明，使用大幅面影像的整體載入訓(xùn)練的方式，可使神經(jīng)網(wǎng)絡(luò)具備處理更大范圍的空間上下文的能力,同時(shí)有效緩解了“分塊效應(yīng)”。

圖10 Potsdom數(shù)據(jù)與廣東數(shù)據(jù)局部預(yù)測(cè)結(jié)果

表2 ISPRS Potsdam數(shù)據(jù)(分辨率0.5 m)處理結(jié)果

表3 廣東地區(qū)生產(chǎn)數(shù)據(jù)(分辨率0.8 m)處理結(jié)果

3.2 多通道處理特性試驗(yàn)結(jié)果

表4和表5是基于Potsdam數(shù)據(jù)和AVIRIS Indian Pines數(shù)據(jù)(包含16類地物)的測(cè)試結(jié)果。圖11的第1列為影像，第2列為真值，第3列為基線模型處理結(jié)果，第4列第1行為數(shù)據(jù)與尺度通道優(yōu)選結(jié)果，第4列第2行為數(shù)據(jù)通道優(yōu)選結(jié)果。由于AVIRIS數(shù)據(jù)幅面較小，本文在試驗(yàn)中未引入尺度通道優(yōu)選方法。從本文框架的處理結(jié)果推斷，框架引入數(shù)據(jù)通道與尺度通道優(yōu)選模塊之后，在Potsdam數(shù)據(jù)上比基線方法性能提升約2%，在AVIRIS高光譜影像上的Kappa與OA可達(dá)99%以上。上述結(jié)果表明本框架在融合尺度與數(shù)據(jù)通道的優(yōu)選模塊后，能夠有效提升預(yù)測(cè)結(jié)果的精度和可靠性。

圖11 Potsdom數(shù)據(jù)與AVIRIS數(shù)據(jù)局部預(yù)測(cè)結(jié)果

表4 ISPRS Potsdam數(shù)據(jù)(分辨率0.5 m)處理結(jié)果

表5 AVIRIS Indian Pines數(shù)據(jù)處理結(jié)果

4 結(jié) 論

本文在分析目前遙感智能解譯框架和模型現(xiàn)狀的基礎(chǔ)上，提出了顧及多維時(shí)空譜遙感特性的專用深度學(xué)習(xí)框架和模型，構(gòu)建了遙感專用深度學(xué)習(xí)框架與模型的在線服務(wù)平臺(tái)，初步實(shí)現(xiàn)了模型的在線可視化編輯、模型訓(xùn)練及測(cè)試功能等功能。此外，本文針對(duì)全要素地物分類任務(wù)，使用了不同的遙感數(shù)據(jù)集開展了初步試驗(yàn)驗(yàn)證。試驗(yàn)結(jié)果表明，本文提出的專用框架具有內(nèi)存可擴(kuò)展、尺度和數(shù)據(jù)通道靈活優(yōu)選的優(yōu)勢(shì)。

然而，本文構(gòu)建的遙感專用深度學(xué)習(xí)框架在大幅面影像加載和運(yùn)行效率、基于網(wǎng)絡(luò)計(jì)算圖中間層表示的編譯優(yōu)化、對(duì)多類遙感任務(wù)的相關(guān)模型支持以及與在線開源共享服務(wù)平臺(tái)前后端集成等方面還需要進(jìn)一步提高和完善。因此，下一階段將研究遙感特性的中間表示、算子分解與編譯優(yōu)化、大幅面特征的分布式計(jì)算方法、框架模型協(xié)同的自進(jìn)化機(jī)制、交互式前端組件擴(kuò)充及與后端神經(jīng)網(wǎng)絡(luò)接口集成功能，將全面分析相關(guān)框架在遙感影像處理方面的性能，為面向遙感測(cè)圖任務(wù)的實(shí)時(shí)解譯機(jī)制提供有力的底層框架和應(yīng)用模型支撐。