陳 偉

(寧波寧大地基處理技術(shù)有限公司, 浙江 寧波 315000)

0 引言

高分辨率遙感影像具有包含信息量大,自然場景復(fù)雜等特點(diǎn),一幅遙感影像中往往包含大量的建筑,場地,植被,農(nóng)田等多類別地物和地貌要素信息,如何利用高干影響來實(shí)施精準(zhǔn)快速的地物要素自動(dòng)化檢測提取，一直以來是熱點(diǎn)的研究內(nèi)容,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,許多基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型被應(yīng)用到了遙感影像目標(biāo)檢測任務(wù)中,取得了不錯(cuò)的成果。到目前為止,現(xiàn)有遙感影像目標(biāo)檢測模型大多都有著深層次的結(jié)構(gòu)以及復(fù)雜的連接通道,這類模型通常在占用較大內(nèi)存的同時(shí),運(yùn)行過程中會(huì)也會(huì)產(chǎn)生大量的計(jì)算冗余量和額外參數(shù),限制了模型在許多計(jì)算資源有限的場景下部署和使用。故而,很多研究開始針對(duì)能夠在低功耗、內(nèi)存和算力有限的硬件環(huán)境下流暢運(yùn)行的輕量級(jí)檢測模型[1]。

當(dāng)前,對(duì)于輕量化網(wǎng)絡(luò)模型的研究主要圍繞模型剪枝壓縮以及構(gòu)建輕量化網(wǎng)絡(luò)結(jié)構(gòu)兩種思路來進(jìn)行。其中模型剪枝壓縮是利用張量壓縮等方法對(duì)訓(xùn)練后的常規(guī)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行結(jié)構(gòu)裁剪,來實(shí)現(xiàn)降低網(wǎng)絡(luò)運(yùn)行時(shí)參數(shù)量的目的。在2018年,孔英會(huì)等人[2]就提出了基于移動(dòng)型網(wǎng)絡(luò)(MobileNets)的模型剪枝方法,裁剪后的模型權(quán)重文件僅占24.3 MB大小,能夠滿足移動(dòng)端的應(yīng)用需求;2019年,彭冬亮等人[3]基于谷歌網(wǎng)絡(luò)(GoogleNet)模型提出了一套模型的剪枝算法,將原始GoogLeNet模型中的1 040萬個(gè)參數(shù)減少到65萬個(gè),并且縮減后模型的準(zhǔn)確率在凈多迭代后與原始模型不相上下;2020年,姚巍巍等人[4]基于模型剪枝和改進(jìn)了第三代輕型單次目標(biāo)檢測算法(Tiny-you only look once v3，Tiny-YOLOv3),將模型的推理速度提高至初始模型的2倍,同時(shí)參數(shù)提及縮小一半且精度并無損失。然而,模型剪枝類的方法主要研究對(duì)象為模型壓縮方法,需要設(shè)計(jì)針對(duì)訓(xùn)練后模型的裁剪策略,并要對(duì)裁剪后的模型進(jìn)行測試來驗(yàn)證精度保留情況,步驟比較煩瑣。因此有很多研究通過直接構(gòu)建輕量級(jí)網(wǎng)絡(luò)模型來實(shí)現(xiàn)研究目標(biāo)。2019年,劉俊等人[5]通過深度可分離卷積及多尺度語義信息融合等進(jìn)行改進(jìn),設(shè)計(jì)了嵌入式平臺(tái)應(yīng)用背景下的輕量化艦船目標(biāo)識(shí)別方法,在測試數(shù)據(jù)集上的準(zhǔn)確率達(dá)到93.5%;同年,唐瑋等人[6]在多尺度目標(biāo)檢測框架基礎(chǔ)上,利用密集連接結(jié)構(gòu)和雙卷積通道構(gòu)成具有特征重復(fù)利用、計(jì)算效率高等特點(diǎn)的基礎(chǔ)骨干網(wǎng)絡(luò),之后連接一個(gè)由殘差模塊和反卷積構(gòu)成的多尺度特征融合檢測模塊,以提高飛機(jī)小目標(biāo)的檢測性能;2020年,余進(jìn)等人[7]借鑒深度可分離卷積的思路,通過引入多尺度的特征融合模塊,設(shè)計(jì)了一個(gè)針對(duì)目標(biāo)檢測任務(wù)的輕量化特征提取網(wǎng)絡(luò),有效提高了輕量化特征提取網(wǎng)絡(luò)對(duì)不同尺度目標(biāo)的適應(yīng)性,在降低原模型參數(shù)量的同時(shí)提高了檢測速度;同年,楊雨迎等人[8]采用第三版“僅看一次”(you only look once v3,YOLOv3)目標(biāo)檢測算法,以移動(dòng)型網(wǎng)絡(luò)第二版(MobileNetsV2)為基礎(chǔ)框架,實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化設(shè)計(jì),并通過自主采集的白光/紅外圖像建立數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,所獲得的輕量化模型要比原始模型大小縮減了80%,同時(shí)所提出方法的平均精度均值(mean average precision,mAP)可以達(dá)到75.24%。

本文所提出方法以模型能部署并流暢運(yùn)行在小型低能耗設(shè)備上為前提,設(shè)計(jì)并構(gòu)建輕量化遙感影像目標(biāo)檢測模型。采用深度可分離卷積來構(gòu)建淺層的特征提取結(jié)構(gòu),通過分組卷積和通道混排來降低特征提取計(jì)算過程中的計(jì)算量;為了保證模型充分訓(xùn)練,使用兩層連續(xù)上采樣層對(duì)底層特征進(jìn)行強(qiáng)化,確保模型在不同尺度物體檢測方面的穩(wěn)定性,對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行增強(qiáng)處理,進(jìn)一步提高訓(xùn)練后模型對(duì)不同場景和環(huán)境的適應(yīng)能力。

1 模型構(gòu)建

1.1 特征提取結(jié)構(gòu)

特征提取結(jié)構(gòu)是整個(gè)檢測模型的前端部分,一般網(wǎng)絡(luò)模型中的特征提取結(jié)構(gòu)是由卷積核以及相關(guān)計(jì)算單元組成的大型深層次網(wǎng)絡(luò)結(jié)構(gòu),這類結(jié)構(gòu)在運(yùn)行過程中往往會(huì)產(chǎn)生大量的冗余參數(shù)。為了降低模型在特征提取過程中的計(jì)算參數(shù)量,本文所提出方法首先了采用深度可分離卷積核來構(gòu)建基本的特征提取結(jié)構(gòu)。相比于常規(guī)卷積核,深度可分離卷積通過在進(jìn)行卷積計(jì)算時(shí)使用更少的矩陣乘法來獲得比常規(guī)的卷積核在計(jì)算時(shí)產(chǎn)生更少的計(jì)算量和參數(shù)量,因此使用深度可分離卷積擁有優(yōu)秀的特征提取能力以及較少的計(jì)算量和參數(shù)量等諸多優(yōu)點(diǎn)。在相同條件下,使用深度可分離卷積和常規(guī)卷積核的計(jì)算量對(duì)比公式如式(1)所示:

(1)

式中,C′和C分別代表深度可分離卷積和常規(guī)卷積核一次計(jì)算所產(chǎn)生的計(jì)算量;Fin代表輸入特征圖的尺寸;M代表輸入特征圖的通道數(shù),和Fps代表卷積核的平面尺寸;N代表輸出特征圖的通道數(shù)。

除了卷積操作以外,在自上而下的特征提取網(wǎng)絡(luò)結(jié)構(gòu)內(nèi),由上層輸入的特征會(huì)不斷地加深通道數(shù),而每次對(duì)所有通道進(jìn)行操作必然會(huì)產(chǎn)生很多冗余計(jì)算。因此,本文采用通道分組卷積[9]策略來進(jìn)一步降低特征提取計(jì)算過程中的計(jì)算量,具體的分組卷積實(shí)現(xiàn)流程如圖1所示。

為了確保模型在訓(xùn)練過程中不因?yàn)閷訑?shù)加深而收斂速度大幅降低,在卷積層后面添加了批量歸一化處理層(batch normalization,BN)來加快模型在訓(xùn)練過程中的收斂情況。在輕量化的模型中,為了降低激活函數(shù)的計(jì)算時(shí)間,本文所提出方法使用了hs(t)函數(shù)作為非線性激活函數(shù)對(duì)上層輸入的特征進(jìn)行非線性激活，具體如公式(2)所示:

(2)

式中,t為來自上層的特征值；RL6(t)為Relu6型非線性激活函數(shù)。

1.2 多尺度特征增強(qiáng)結(jié)構(gòu)

為了在保證模型獲取更優(yōu)質(zhì)特征圖的同時(shí)在輕量化設(shè)備上能夠流暢運(yùn)行,在輕型特征提取結(jié)構(gòu)的末尾構(gòu)建了雙層特征圖上采樣結(jié)構(gòu)來實(shí)現(xiàn)特征增強(qiáng),同時(shí)采用加和操作將上采樣獲取的特征圖與特征提取網(wǎng)絡(luò)中同尺寸的特征圖相拼接。最后每一層的末端,連接一個(gè)預(yù)測輸出來實(shí)現(xiàn)對(duì)圖像中不同大小物體的檢測,根據(jù)非極大值抑制(non maximum suppression,NMS)[10]機(jī)制來輸出唯一的檢測框。本文所提出方法使用錨點(diǎn)框(Anchor Box)來實(shí)現(xiàn)對(duì)多類別目標(biāo)的預(yù)測,故根據(jù)本文使用數(shù)據(jù)集的實(shí)際大小在已有訓(xùn)練標(biāo)簽的基礎(chǔ)上,使用K-means聚類算法計(jì)算出了對(duì)應(yīng)不同檢測窗口的Anchor Box,最終的聚類結(jié)果如表1所示。

模型在訓(xùn)練過程中的損失函數(shù)采用了空間定位損失加類別損失的組合損失函數(shù),具體如公式(3)所示,其中目標(biāo)定位損失Llocal和類別定位損失Lclasses如式(4)、式(5)所示:

2 實(shí)驗(yàn)與結(jié)果評(píng)價(jià)

2.1 訓(xùn)練數(shù)據(jù)增強(qiáng)

本文以開源遙感影像目標(biāo)檢測數(shù)據(jù)集(remote sensing object detection,RSOD)為基礎(chǔ)對(duì)所提出模型進(jìn)行訓(xùn)練和測試。由于訓(xùn)練數(shù)據(jù)集中圖像的風(fēng)格和場景種類有限,因此為了讓訓(xùn)練后的模型具備對(duì)不同光照條件,背景復(fù)雜程度等環(huán)境的良好泛化能力,本文所提出的方法采用組合數(shù)字圖像處理手段來實(shí)現(xiàn)對(duì)原始影像集中的圖像進(jìn)行風(fēng)格,背景方面的強(qiáng)化,來實(shí)現(xiàn)對(duì)模型更為充分的訓(xùn)練。首先將訓(xùn)練集中的影像尺寸統(tǒng)一歸化至608 dpi×608 dpi,來方便模型后續(xù)的訓(xùn)練,然后針對(duì)不同類型的目標(biāo)影像,分別使用樣本光照變換,目標(biāo)個(gè)數(shù)擴(kuò)充以及圖像角度旋轉(zhuǎn)三種處理方法來提高樣本在目標(biāo)個(gè)數(shù),識(shí)別角度,不同光照?qǐng)鼍跋碌聂敯粜?具體的實(shí)現(xiàn)流程及結(jié)果如圖2～3所示。

圖2 數(shù)據(jù)集增強(qiáng)處理流程圖

(a)原始影像 (b)直方圖均衡化 (c)圖像傾斜

增強(qiáng)后的數(shù)據(jù)集包含有操場,油庫,飛機(jī)三類目標(biāo)共計(jì)2 873張圖像,其中訓(xùn)練數(shù)據(jù)集內(nèi)包括2 298張圖像,測試數(shù)據(jù)集內(nèi)包含575張圖像。

2.2 模型訓(xùn)練

首先在大型計(jì)算平臺(tái)上完成模型的訓(xùn)練來確保模型在訓(xùn)練的過程中快速收斂。然后在低功耗邊緣計(jì)算平臺(tái)上完成對(duì)模型的性能測試。訓(xùn)練和測試平臺(tái)的具體參數(shù)如表2所示。

為了對(duì)模型盡可能地充分訓(xùn)練,將模型的訓(xùn)練迭代次數(shù)設(shè)定為5 000次,同時(shí)采取動(dòng)態(tài)學(xué)習(xí)率機(jī)制來確保模型在訓(xùn)練過程中充分收斂,分別在1 000,3 000次的時(shí)候?qū)⒛Ｐ偷膶W(xué)習(xí)率縮減為原來的0.5倍。訓(xùn)練過程中的損失曲線如圖4所示。

表2 訓(xùn)練及測試平臺(tái)參數(shù)表

圖4 模型損失收斂示意圖

從訓(xùn)練損失曲線圖中可以看出,模型在整體的訓(xùn)練過程中保持總體收斂的趨勢(shì),從訓(xùn)練初期的損失值較高快速下降并能夠?qū)崿F(xiàn)穩(wěn)定收斂,在訓(xùn)練約3 000次后損失下降的趨勢(shì)接近穩(wěn)定狀態(tài)。

2.3 性能測試與評(píng)價(jià)

為測試訓(xùn)練后模型的實(shí)際性能,將模型遷移到低功耗的測試設(shè)備上,分別從批量化測試結(jié)果統(tǒng)計(jì)數(shù)據(jù)以及具體結(jié)果兩個(gè)角度來驗(yàn)證所提出模型性能。對(duì)于三類不同目標(biāo),本文分別從檢測精度,檢測速度以及模型大小三個(gè)方面來全面評(píng)價(jià)模型的綜合性能。為保證模型流暢運(yùn)行,將測試數(shù)據(jù)集中的575張圖像降采樣為416 dpi×416 dpi后輸入模型進(jìn)行測試。

在模型的檢測精度方面,采用精度均值(average precision,AP)來衡量模型的檢測精度,即對(duì)于每一類目標(biāo)是否檢出和正確類別確定,然后對(duì)所有類別的精度均值求平均,獲得最終的平均精度均值(mean average precision,mAP)來衡量模型的整體性能。在檢測速度方面,采用每秒幀數(shù)(frames per second,FPS)來評(píng)價(jià)模型的檢測流暢程度。在模型占用內(nèi)存方面,采用訓(xùn)練后模型權(quán)重文件大小作為評(píng)價(jià)指標(biāo)。為更好地說明所提出模型性能,將同類型的輕量化模型訓(xùn)練后在同一環(huán)境下進(jìn)行測試,具體測試結(jié)果分別如圖5和表4所示。

圖5 多類別目標(biāo)及綜合檢測精度示意圖

通過圖5及表4中可以看出,本文所提出方法在三個(gè)不同類別目標(biāo)的檢測精度方面均為最佳,其中對(duì)于目標(biāo)占圖像比例較大的操場目標(biāo),本文所提出模型在精度均值上可以達(dá)到71.3%,相比同類型的Tiny-YOLOv3和MobileNet-SSD分別提高了9.02%和20.03%,而模型的綜合檢測精度可以達(dá)到平均精度均值為68.2%的水平,相較其余模型分別提高了10.89%和20.62%。在模型檢測速度方面,本文所提出方法在使用分辨率為416 dpi×416 dpi圖像的情況下檢測速度可以達(dá)到36 幀/s,快于同類別的對(duì)比模型,并且完全具備了實(shí)時(shí)檢測的能力。在模型內(nèi)存大小方面,本文所提出模型在訓(xùn)練后的模型權(quán)重大小僅有31.26 MB,相比其余兩個(gè)模型分別減少了35.3%和41.7%,體量更輕便,更適用于內(nèi)存相對(duì)較小的低功耗平臺(tái)。

表4 模型性能評(píng)價(jià)表

(a)操場檢測圖1 (b)操場檢測圖2 (c)操場檢測圖3

(d)油罐檢測圖1 (e)油罐檢測圖2 (f)油罐檢測圖3

(g)飛機(jī)檢測圖1 (h)飛機(jī)檢測圖2 (i)飛機(jī)檢測圖3

選取部分測試結(jié)果進(jìn)行進(jìn)一步分析,通過具體場景下的檢測結(jié)果來說明模型的實(shí)際性能。從圖7中可以看出,對(duì)于尺寸較大的操場目標(biāo),模型在不同傾斜角度、不同背景下的目標(biāo)均能夠?qū)崿F(xiàn)較好的檢出;針對(duì)中等尺寸的油罐目標(biāo),同樣能夠在不同復(fù)雜背景及目標(biāo)密集分布情況下完成對(duì)單體目標(biāo)的精準(zhǔn)檢出。而對(duì)于顏色背景更為復(fù)雜且尺度跨越較大的飛機(jī)目標(biāo),模型能夠?qū)崿F(xiàn)對(duì)中等尺度目標(biāo)和絕大多數(shù)小尺寸目標(biāo)的檢出。由此可以看出,本文所提出的模型對(duì)于多種類別目標(biāo),均具備較好的檢出能力,同時(shí)對(duì)于不同的復(fù)雜程度的背景,以及不同的目標(biāo)密集分布程度,具備較好的泛化性能。

3 結(jié)束語

針對(duì)一般遙感影像目標(biāo)檢測模型,算力需求較高,占用內(nèi)存較多,部署場景有限等問題,提出了能流暢運(yùn)行在低算力的邊緣計(jì)算設(shè)備上的輕量卷積神經(jīng)網(wǎng)絡(luò),使用增強(qiáng)的開源遙感影像數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練和測試,并對(duì)模型的精度,運(yùn)行速度及模型大小等進(jìn)行綜合評(píng)價(jià),得出以下結(jié)論：

(1)本文所提出方法中的輕量化檢測模型可以在低功耗計(jì)算平臺(tái)下流暢運(yùn)行,并能夠基于光學(xué)遙感影像快速精準(zhǔn)的檢測出地面上不同尺度的多類別目標(biāo)。實(shí)驗(yàn)結(jié)果表明,訓(xùn)練后模型對(duì)于單類目標(biāo)的檢測精度最高可達(dá)71.3%,對(duì)于所有目標(biāo)的綜合檢測精度也達(dá)到68.2%,相比Tiny-YOLOv3和MobileNet-SSD在檢測精度方面分別提高了9.82和17.3%,并且在不同的場景下表現(xiàn)穩(wěn)定,具備有一定的泛化能力;

(2)在檢測速度和模型體量方面,本文所提出模型的檢測速度可以達(dá)到36 幀/s,具備實(shí)時(shí)檢測的能力,同時(shí)訓(xùn)練后模型的權(quán)重文件大小僅有31.26 MB,能夠確保模型在內(nèi)存較小且算力較低的輕型計(jì)算設(shè)備上流暢運(yùn)行。