翟宏亮

（1. 中煤科工集團(tuán)南京設(shè)計(jì)研究院有限公司，江蘇 南京 211800）

無人機(jī)作為現(xiàn)代測繪的重要技術(shù)手段，相較遙感衛(wèi)星影像和傳統(tǒng)航空攝影測量等方式具有采集頻率高，單次采集成本較低等獨(dú)特優(yōu)勢。在城市規(guī)劃、線路檢查以及應(yīng)急測繪等多種應(yīng)用場景中，利用無人機(jī)遙感技術(shù)對區(qū)域內(nèi)目標(biāo)進(jìn)行實(shí)時自動化檢測是代替?zhèn)鹘y(tǒng)人工篩選的高效解決方案[1]。截至目前，大部分目標(biāo)檢測模型有著深層次的結(jié)構(gòu)與復(fù)雜的連接通道，在實(shí)際檢測過程中會產(chǎn)生大量的參數(shù)和冗余計(jì)算，故而對硬件的算力和內(nèi)存需求較高，這就限制了模型的應(yīng)用場景[2-5]。本文則以能流暢運(yùn)行在內(nèi)存和算力有限的無人機(jī)設(shè)備上為目標(biāo)，構(gòu)建了輕量化無人機(jī)遙感影像多目標(biāo)檢測系統(tǒng)。

1 輕量級檢測系統(tǒng)

本文提出的輕量級無人機(jī)遙感影像多目標(biāo)檢測系統(tǒng)，主要由圖像預(yù)處理模塊和目標(biāo)實(shí)時檢測模型組成。其中目標(biāo)實(shí)時檢測模型采用端到端的目標(biāo)檢測架構(gòu)，主要包括輕量級特征提取骨干網(wǎng)絡(luò)和多尺度特征金字塔兩部分，完整的系統(tǒng)流程如圖1所示。

圖1 輕量化檢測系統(tǒng)結(jié)構(gòu)圖

1.1 圖像預(yù)處理模塊

圖像預(yù)處理系統(tǒng)主要針對實(shí)時采集的圖像進(jìn)行圖像濾波去噪，顏色校正以及尺寸歸一化處理；輕量級特征提取骨干網(wǎng)絡(luò)利用疊加的特征提取層和尺寸下采樣層提取來實(shí)現(xiàn)對不同尺度目標(biāo)的特征提取處理。多尺度特征金字塔主要負(fù)責(zé)將不同尺度的特征圖進(jìn)行上采樣以及張量拼接，通過混合特征來增強(qiáng)不同尺度特征圖中的信息復(fù)雜度，然后通過末端的檢測輸出來實(shí)現(xiàn)對目標(biāo)檢測結(jié)果位置及類別信息的輸出。

訓(xùn)練數(shù)據(jù)集中圖像的質(zhì)量對于模型的檢測性能有著直接的影響[6]。因此，使用圖像預(yù)處理模塊對原始影像進(jìn)行增強(qiáng)來獲取顏色信息更豐富，噪點(diǎn)更少，背景更多樣化的圖像參與訓(xùn)練，以提高訓(xùn)練后模型的檢測精度以及在多種場景下的泛化能力。

對于輸入的三通道圖像，首先進(jìn)行尺寸歸一化便于后續(xù)的圖像處理和訓(xùn)練，然后利用直方圖均衡化算法分別對每個顏色通道進(jìn)行處理，以獲取顏色均衡的圖像，然后通過高斯濾波器來實(shí)現(xiàn)對圖像的降噪，處理結(jié)果如圖2所示。

圖2 圖像預(yù)處理結(jié)果

1.2 多目標(biāo)實(shí)時檢測模型

1.2.1 輕量級特征提取骨干網(wǎng)絡(luò)

端到端的目標(biāo)檢測模型分為特征提取模塊和特征強(qiáng)化金字塔模塊兩個部分[7]。常規(guī)目標(biāo)模型中特征提取模型是由不同采樣步長的小型卷積核以及激活函數(shù)等疊加組成的大型深層次網(wǎng)絡(luò)結(jié)構(gòu)，這類結(jié)構(gòu)在實(shí)際的檢測過程中會產(chǎn)生海量的計(jì)算參數(shù)，因此需要較大內(nèi)存的計(jì)算設(shè)備來保證其運(yùn)行[8]。因此，保證系統(tǒng)在特征提取過程中保持較好性能同時，不會出現(xiàn)較多參數(shù)，本文采用深度可分離卷積核[9]來進(jìn)行特征提取，然后采用1×1 的常規(guī)卷積核對圖像進(jìn)行2 倍下采樣。深度可分離卷積和常規(guī)卷積核的計(jì)算量對比公式如式（1）所示。

式中，C`和C分別為深度可分離卷積和常規(guī)卷積核一次計(jì)算所產(chǎn)生的計(jì)算量；Fin為輸入特征圖的尺寸；M為輸入特征圖的通道數(shù)；Fps為卷積核的平面尺寸；N為輸出特征圖的通道數(shù)。除了卷積操作以外，本文還采用分組卷積[10]來進(jìn)一步降低特征提取計(jì)算過程中的計(jì)算量。但分組卷積的所有特征提取步驟都在組內(nèi)完成的，這就導(dǎo)致不同分組間的特征被隔離開，降低了拼接后特征圖的泛化能力。為了恢復(fù)不同卷積通道間的信息交流，在通道拼接后連接通道混排對分組后的獲得的特征圖進(jìn)行重組，來提高特征圖的泛化性。本文所使用的損失函數(shù)由類別損失Lclass、置信度損失Lcconf、邊界框損失Lbound三部分，具體如公式（2）、（4）所示。

式中，α和γ分別為緩解正負(fù)樣本不平衡與難易樣本不平衡問題的超參數(shù)，經(jīng)過多次調(diào)參選取α=5 ，γ=2；Y?ybc為中心區(qū)域圖，Yybc為預(yù)測的中心區(qū)域圖。N為中心區(qū)域正樣本總個數(shù)，用于規(guī)范化分類損失。

式中，j為正樣本點(diǎn)索引；Ox?j y?j和Bx?j y?j分別為偏移量回歸與邊界框回歸在中心區(qū)域點(diǎn)(x?j,y?j)處的預(yù)測值。

1.2.2 多尺度特征金字塔

為獲取到信息更為豐富的特征圖，在特征提取骨干網(wǎng)絡(luò)的末端連接多尺度特征金字塔[10]。根據(jù)目標(biāo)在無人機(jī)影像中的大小特點(diǎn)以及實(shí)際運(yùn)行過程中的內(nèi)存消耗，本文提出采用連續(xù)的自下而上的特征圖金字塔結(jié)構(gòu)，每層的操作均為步長為2 的上采樣層。對于不同尺度大小的檢測圖像，輸入到不同層的金字塔末端進(jìn)行檢測，在獲得多個近似結(jié)果后，采用非極大值抑制（NMS）算法獲取唯一的最佳檢測框。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 模型訓(xùn)練

以開源數(shù)據(jù)集VisDrone2019-DET 為基礎(chǔ)對多目標(biāo)檢測模型進(jìn)行訓(xùn)練和測試。該數(shù)據(jù)集發(fā)布于2019年，是“Vision Meets Drone：A Challenge”挑戰(zhàn)賽使用的比賽數(shù)據(jù)集，由天津大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒?yàn)室的AISKYEYE 團(tuán)隊(duì)收集并發(fā)布。本文采用圖像扭曲、翻轉(zhuǎn)和目標(biāo)擴(kuò)增3 種手段來獲取樣本容量更大、目標(biāo)屬性更豐富的數(shù)據(jù)集。為了更高效地對模型進(jìn)行訓(xùn)練擬合，首先在大型計(jì)算設(shè)備上完成對模型的訓(xùn)練，然后將模型部署在低功耗的輕量設(shè)備上實(shí)現(xiàn)模型的實(shí)際測試，具體訓(xùn)練和測試配置如表1 和表2 所示。對模型迭代5 000次后，完成訓(xùn)練。

表1 訓(xùn)練環(huán)境配置表

表2 測試環(huán)境配置表

2.2 測試結(jié)果分析

在測試集上的部分檢測結(jié)果如圖3 所示。為測試模型的性能，在相同的運(yùn)算環(huán)境下使用訓(xùn)練數(shù)據(jù)集分別對本文構(gòu)建模型，對Tiny-YOLOv3，Mobile-SSD 模型進(jìn)行訓(xùn)練。采用每一類目標(biāo)的AP、所有類別目標(biāo)的MAP、FPS以及訓(xùn)練后權(quán)重文件的內(nèi)存大小對模型進(jìn)行綜合評價，最終的評價結(jié)果如表3所示。

表3 檢測精度及評價表

圖3 檢測結(jié)果示意圖

從圖3 中可以看出，本文所提出方法對于影像中不同分布位置，不同類別以及不同大小的目標(biāo)均有比較好的檢測效果。

根據(jù)表3 的中評價結(jié)果可以看出，本文所提出模型在精度均值方面最高可以達(dá)到82.5/%，對于在遙感影像中個較小的非機(jī)動車目標(biāo)也能夠達(dá)到76.4/%的檢測精度，平均精度均值可以達(dá)到79.45/%，相比Ti?ny-YOLOv3 和Mobile-SSD 在綜合檢測精度方面分別提高了21.2%和15.4%。在檢測速度方面，本文所提出模型在測試環(huán)境下可以達(dá)到37 FPS/m.s-1的檢測速度，說明本文所構(gòu)建的檢測系統(tǒng)可以在低配置的硬件環(huán)境上達(dá)到實(shí)時檢測的效果。同時本文所提出模型再訓(xùn)練后的權(quán)重文件大小僅有38.7 MB，非常適合于部署在輕量級的設(shè)備上。

3 結(jié)論與展望

針對一般的無人機(jī)低空遙感實(shí)時性強(qiáng)、機(jī)載設(shè)備計(jì)算能力有限等問題，提出能流暢運(yùn)行在低算力計(jì)算設(shè)備上的輕量卷積神經(jīng)網(wǎng)絡(luò)，使用增強(qiáng)后的開源無人機(jī)遙感影像數(shù)據(jù)集VisDrone2019-DET 在大型計(jì)算設(shè)備上對模型進(jìn)行訓(xùn)練，然后在小內(nèi)存低算力的硬件設(shè)備上對模型進(jìn)行了性能測試，使用檢測精度，運(yùn)行速度及訓(xùn)練后模型權(quán)重文件大小等指標(biāo)對模型進(jìn)行綜合評價，得出以下結(jié)論：

1）本文構(gòu)建的檢測系統(tǒng)對所有類別目標(biāo)的綜合檢測精度能達(dá)到79.45/%，在同環(huán)境下相較Tiny-YOLOv3和MobileNet-SSD分別提高21.2%和15.9%，同時在多種場景泛化性能良好。

2）測試環(huán)境下的檢測速度可達(dá)37 FPS/m.s-1，訓(xùn)練后權(quán)重文件大小僅有38.7 MB。

綜上所述，該系統(tǒng)可在低算力無人機(jī)機(jī)載硬件上對多尺度，多類別目標(biāo)進(jìn)行實(shí)時高精度檢測，意味著其能夠在智能交通管理，自然災(zāi)害預(yù)警，以及軍事偵察等領(lǐng)域發(fā)揮廣泛作用。然而受限于數(shù)據(jù)集樣本有限，本次研究尚未針對夜晚等更多場景進(jìn)行訓(xùn)練和測試，未來將進(jìn)一步研究通過數(shù)據(jù)采集以及生成對抗網(wǎng)絡(luò)組合的方法來獲取更多場景下的目標(biāo)，以提高模型的泛化能力。