周春云，吳葉呈

（揚(yáng)州萬方科技股份有限公司，江蘇 揚(yáng)州 225000）

0 引言

近年來，端智能正逐漸變?yōu)橼厔?，與服務(wù)端智能相比，具有低延時、兼顧數(shù)據(jù)隱私、節(jié)省云端資源等優(yōu)勢，目前已經(jīng)在工業(yè)質(zhì)檢、無人巡檢等應(yīng)用場景中發(fā)揮了巨大價值。隨著無人機(jī)技術(shù)的快速發(fā)展，針對光學(xué)遙感圖像的實時檢測需求也日益增多，尤其是針對遙感圖像的飛機(jī)目標(biāo)檢測技術(shù)可廣泛用于偵察、救援等方面，具有十分重要的研究意義。隨著傳感器設(shè)備的發(fā)展，遙感圖像數(shù)據(jù)的分辨率以及規(guī)模不斷擴(kuò)展，如何在端側(cè)設(shè)備中實現(xiàn)精準(zhǔn)、快速檢測目標(biāo)成為一個亟須解決的問題。

傳統(tǒng)光學(xué)遙感圖像信息提取主要依賴人工傳統(tǒng)機(jī)器學(xué)習(xí)算法對光譜、紋理、形狀等底層特征進(jìn)行描述，如SIFT（Scale Invariant Feature Transform）、HOG（Histogram of Oriented Gradients）、SURF（Speeded-Up Robust Features）等[1]，該檢測方法包含了特征區(qū)域提取、特征提取、分類器分類以及檢測結(jié)果處理等步驟，存在流程復(fù)雜、時間復(fù)雜度高等問題。此外，在實際應(yīng)用中，由于數(shù)據(jù)采集過程中存在遮擋、抖動、輻射等因素的影響，導(dǎo)致收集的遙感圖像數(shù)據(jù)差異較大、質(zhì)量不高，此時的檢測精度將會受到嚴(yán)重影響。深度學(xué)習(xí)技術(shù)的出現(xiàn)，為遙感圖像目標(biāo)檢測提供了新思路?；谏疃葘W(xué)習(xí)的目標(biāo)檢測模型能夠自動提取特征，不僅避免人工設(shè)計特征的復(fù)雜流程，并且能夠?qū)W習(xí)到遙感圖像中更加豐富的高層語義特征[2]，同時基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)在具有復(fù)雜背景的情況下依然能夠保持較高的精度和速度?；谏疃葘W(xué)習(xí)的目標(biāo)檢測模型主要分為基于區(qū)域提議網(wǎng)絡(luò)（Region Proposal Network，RPN）的兩階段算法和直接回歸邊界框（Bounding Box）的單階段算法，單階段算法雖然精度稍差，但具有較快的速度，近年來涌現(xiàn)了多種針對單階段目標(biāo)檢測進(jìn)行優(yōu)化的算法，精度和速度都有了較大提升。YOLO（You Only Look Once）系列是典型的one-stage（單階段）目標(biāo)檢測模型，該方法通過特征提取網(wǎng)絡(luò)對輸入圖像提取特征后，直接對目標(biāo)位置和類別信息進(jìn)行預(yù)測，與兩階段方法相比具備更快的檢測速度[3]，能夠為端側(cè)實現(xiàn)遙感圖像目標(biāo)快速精準(zhǔn)檢測提供有利的技術(shù)支撐。

受軟、硬件條件的限制，人工智能技術(shù)在國產(chǎn)處理器平臺中的發(fā)展明顯滯后于國外X86等商用平臺，嵌入式設(shè)備算力資源、存儲空間以及續(xù)航等有限，而智能化應(yīng)用又對速度和精度都有著很高的要求，深度卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測模型具有網(wǎng)絡(luò)層次深、參數(shù)量大等特點(diǎn)，這就為其在算力不足的國產(chǎn)平臺上執(zhí)行訓(xùn)練以及在端側(cè)部署應(yīng)用帶來了巨大挑戰(zhàn)。目前在人工智能計算領(lǐng)域，國產(chǎn)平臺上傳統(tǒng)的芯片計算架構(gòu)已無法支撐深度學(xué)習(xí)等模型計算需求，需要新的底層硬件來更好地儲備數(shù)據(jù)、加速計算過程。在國外，英偉達(dá)主打的GPU加速模塊較為成熟，Intel圍繞FPGA構(gòu)建產(chǎn)業(yè)，推出模仿人腦的人工智能芯片，谷歌也推出了第二代TPU芯片。但上述芯片所配套軟件棧沒有進(jìn)行開源，因此在國產(chǎn)平臺中無法完成適配且無法實現(xiàn)從硬件到軟件的技術(shù)完全自主可控。國產(chǎn)人工智能處理器起步較晚，但已有多家單位相繼推出了適應(yīng)于深度神經(jīng)網(wǎng)絡(luò)計算的AI芯片，如華為的昇騰系列產(chǎn)品、百度的昆侖芯等，且其配套生態(tài)較為成熟，為其在國產(chǎn)平臺完成適配提供了保障。通過形成CPU+協(xié)處理器的異構(gòu)計算系統(tǒng)，可有效解決國產(chǎn)設(shè)備計算能力不足的問題，規(guī)避了傳統(tǒng)的芯片計算架構(gòu)難以支撐深度學(xué)習(xí)模型計算需求的問題，為遙感圖像目標(biāo)檢測模型的部署應(yīng)用提供了加速支撐能力。

本文首先針對遙感圖像目標(biāo)檢測模型的開發(fā)和部署，基于國產(chǎn)飛騰服務(wù)器以及昇騰Atlas200dk智能終端構(gòu)建基礎(chǔ)開發(fā)和推理運(yùn)行環(huán)境，在充分考慮國產(chǎn)平臺算力以及AI加速卡算子支持等因素的情況下，提出了一種基于改進(jìn)YOLOv5s輕量化深度學(xué)習(xí)網(wǎng)絡(luò)的遙感圖像飛機(jī)目標(biāo)檢測方法，不僅能夠減輕深度學(xué)習(xí)模型在國產(chǎn)平臺上的訓(xùn)練壓力、提升模型的運(yùn)行效率，同時也能夠保證模型在端側(cè)場景下的檢測精度和實時性。

1 改進(jìn)YOLOv5s目標(biāo)檢測模型

YO L O v 5 模型是當(dāng)前通用的目標(biāo)檢測算法之一，被廣泛應(yīng)用于各類對象檢測中，與YOLOv4模型相比，YOLOv5結(jié)合了近幾年深度學(xué)習(xí)領(lǐng)域多種較為優(yōu)秀的思想，具備更高的檢測精度和速度。YOLOv5主要由輸入模塊、Backbone骨干網(wǎng)絡(luò)、Neck頸部模塊以及Head頭部檢測模塊四個部分組成。其中Backbone骨干網(wǎng)絡(luò)由CSPDarkNet53構(gòu)成，主要用于實現(xiàn)目標(biāo)特征提取。Neck頸部模塊由FPN和PAN結(jié)構(gòu)構(gòu)成，主要用于實現(xiàn)目標(biāo)特征的融合處理。Head頭部檢測模塊主要用于最終的回歸預(yù)測，輸出檢測目標(biāo)的位置和類別信息。YOLOv5網(wǎng)絡(luò)有s、m、l、x四種版本結(jié)構(gòu)，其中，YOLOv5s模型是YOLOv5系列中深度最小、特征圖寬度最小的網(wǎng)絡(luò)模型，對部署硬件設(shè)備的要求較低。

在深度神經(jīng)網(wǎng)絡(luò)模型中，模型參數(shù)越多雖然其表達(dá)能力也越強(qiáng)，但也同時帶來了信息過載問題，為進(jìn)一步提升模型的精度，通過引入注意力機(jī)制使得網(wǎng)絡(luò)更加關(guān)注感興趣區(qū)域，忽略目標(biāo)以外的復(fù)雜背景干擾信息。注意力機(jī)制起源于自然語言處理領(lǐng)域，其本質(zhì)與人類觀察事物的機(jī)制類似，能夠使得模型在提取特征時更加具有針對性。注意力機(jī)制是通過掩碼實現(xiàn)，不同位置具有不同的注意權(quán)重，在訓(xùn)練過程中模型將學(xué)習(xí)每張圖片中的關(guān)鍵區(qū)域，并通過權(quán)重將關(guān)鍵特征標(biāo)識出來，從而過濾掉無用信息。其中，CBAM[4]模（Convolutional Block Attention Module）是一種輕量級的、即插即用的注意力模塊。CBAM模塊結(jié)構(gòu)主要包含了通道注意力（Channel Attention Module，CAM）模塊和空間注意力（Spacial Attention Module，SAM）模塊兩個獨(dú)立的子模塊，能夠在通道和空間兩個維度上生成注意力圖。增加該模塊不會產(chǎn)生過多的參數(shù)，可在各類網(wǎng)絡(luò)中進(jìn)行使用，且能夠提高模型對小目標(biāo)的檢測能力[5]以及提升模型的泛化能力。

因此，本文在YOLOv5s模型基礎(chǔ)上通過增加CBAM模塊實現(xiàn)優(yōu)化，改進(jìn)后的模型結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)YOLOv5s模型網(wǎng)絡(luò)結(jié)構(gòu)

通過在YOLOv5s模型的Backbone部分的C3后面添加CBAM，以此提升特征圖中的目標(biāo)在通道和空間上的注意力。由于遙感圖像具有數(shù)據(jù)量大、小目標(biāo)多且含有復(fù)雜的背景信息的特點(diǎn)，通過增加通道和空間注意力模塊，能夠捕捉和檢測目標(biāo)強(qiáng)相關(guān)的關(guān)鍵特征，弱化其他不重要的無關(guān)信息，從而實現(xiàn)模型精度的提升。

2 實驗與分析

2.1 國產(chǎn)環(huán)境搭建

模型訓(xùn)練環(huán)境基于國產(chǎn)飛騰2 0 0 0+服務(wù)器進(jìn)行搭建，適配國產(chǎn)麒麟操作系統(tǒng)、P y t hon開發(fā)環(huán)境、CANN5.0.3、開源Pytorch1.8.1計算框架，通過國產(chǎn)多核處理器完成輕量化模型訓(xùn)練和驗證，模型訓(xùn)練環(huán)境中的CANN主要用于模型轉(zhuǎn)換。

模型推理運(yùn)行環(huán)境基于國產(chǎn)華為Atlas200dk智能終端設(shè)備搭建，適配AI芯片驅(qū)動、CANN5.0.3，訓(xùn)練完成的模型最終在Atlas200dk中進(jìn)行部署和推理測試，模型推理運(yùn)行環(huán)境中的CANN主要提供了模型推理運(yùn)行加速庫。

2.2 實驗數(shù)據(jù)

本文數(shù)據(jù)集選用的是開源RSOD遙感圖像數(shù)據(jù)集，以其中的飛機(jī)目標(biāo)作為檢測對象。通過旋轉(zhuǎn)、添加噪聲、對比度變換、縮放等操作對數(shù)據(jù)集進(jìn)行擴(kuò)增，最終得到共2 230張圖像，并按照8∶1∶1將數(shù)據(jù)集切分為訓(xùn)練集、驗證集和測試集。

2.3 模型評價指標(biāo)

本文中的目標(biāo)檢測模型采用平均精度（Average Precision，AP）、模型大?。∕B）、每秒檢測幀數(shù)（Frames Per Second，F(xiàn)PS）作為評價指標(biāo)。其中，AP為IoU閾值為0.5時的值。

2.4 模型訓(xùn)練與轉(zhuǎn)換

根據(jù)國產(chǎn)平臺的設(shè)備性能，模型訓(xùn)練配置批處理大小Batch Size為16，訓(xùn)練周期Epoch為200，初始學(xué)習(xí)率為0.01，采用SGD隨機(jī)下降梯度法訓(xùn)練模型，輸入尺寸大小為640×640。

Atlas200dk支持的部署模型格式為om模型，基于Pytorch框架訓(xùn)練好的模型格式為pt格式，將其部署到Atlas200dk智能終端上，需要進(jìn)行模型格式轉(zhuǎn)換。具體實現(xiàn)步驟如下。

①首先將訓(xùn)練好的pt格式模型轉(zhuǎn)換為onnx中間表示格式，onnx是一種開放式的文件格式，能夠使得不同類型的模型在各類主流框架間實現(xiàn)互轉(zhuǎn)。

②采用CANN中的模型轉(zhuǎn)換工具ATC（Ascend Tensor Compiler，昇騰張量編譯器）將onnx中間格式模型轉(zhuǎn)換為昇騰AI處理器支持的om格式離線模型。ATC工具支持將onnx、pb、caffe等格式模型轉(zhuǎn)換為om模型，在進(jìn)行模型轉(zhuǎn)換時，會在權(quán)重數(shù)據(jù)、內(nèi)存使用、算子調(diào)度等方面對原始模型進(jìn)行優(yōu)化，從而使得模型能夠在昇騰AI處理器上實現(xiàn)更高的性能。

③基于CANN中的模型推理接口開發(fā)模型推理程序，將om模型和推理運(yùn)行程序部署在Atlas200dk中執(zhí)行測試。

2.5 實驗結(jié)果與分析

本文采用模型的訓(xùn)練結(jié)果如表1所示，本文的模型AP達(dá)到了96.9%，轉(zhuǎn)換前模型的大小為17 MB，由于ATC工具在模型轉(zhuǎn)換過程中會對部分算子進(jìn)行融合處理，通過ATC轉(zhuǎn)換工具轉(zhuǎn)換后的om模型大小縮減到了15.33 MB。將om模型在Atlas200dk終端設(shè)備中進(jìn)行部署測試，其檢測效率達(dá)到了48.5 FPS，能夠滿足實時性檢測要求。

表1 不同模型指標(biāo)對比情況

為了驗證本文采用模型的性能，將采用本文模型與改進(jìn)前的YOLOv5s-baseline、兼顧精度和體積的NanoDet輕量化模型的性能進(jìn)行了對比。與YOLOv5s-baseline相比，本文采用模型的精度提升了1.2%，轉(zhuǎn)換前的YOLOv5s-baseline模型大小與本文采用模型相差較大，轉(zhuǎn)換后的模型僅比本文采用模型減少了0.53 MB，由于增加了3個CBAM模塊，本文采用模型的推理性能略差于YOLOv5s-baseline。本文采用模型與輕量級模型NanoDet進(jìn)行相比，雖然檢測速率遠(yuǎn)不及NanoDet，但檢測精度比NanoDet模型提高了6.8%，NanoDet在小目標(biāo)以及重疊目標(biāo)的檢測上效果不及本文采用模型，存在較多漏檢情況。

為充分說明本文采用模型的優(yōu)越性，挑選了具有不同背景、含有小目標(biāo)樣本以及包含重疊目標(biāo)的測試結(jié)果圖片。該模型基本能夠準(zhǔn)確地標(biāo)注出遙感圖像中所有的飛機(jī)目標(biāo)，針對部分小目標(biāo)以及重疊目標(biāo)也能夠?qū)崿F(xiàn)準(zhǔn)確標(biāo)注。

3 結(jié)束語

本文中首先基于國產(chǎn)飛騰2000+平臺和Atlas200dk智能終端構(gòu)建了訓(xùn)練模型并部署運(yùn)行環(huán)境，在充分考慮國產(chǎn)平臺算力和AI芯片算子支持等因素基礎(chǔ)上，針對遙感圖像目標(biāo)檢測提出了一種基于改進(jìn)YOLOv5s輕量化深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)檢測方法，并在智能終端設(shè)備中驗證了模型的檢測性能。實驗表明，本文提出的方法在遙感圖像飛機(jī)目標(biāo)檢測應(yīng)用中，AP值達(dá)到了96.9%，在Atlas200dk終端設(shè)備中部署的模型僅為15.33 MB，其檢測效率達(dá)到了48.5FPS，與改進(jìn)前的模型相比，雖然模型大小有少部分增加，但提高了模型的檢測精度，且在資源受限的終端設(shè)備中也能夠具備較高的檢測效率，雖然犧牲了檢測效率，但仍然能夠滿足端側(cè)部署的實時性檢測要求。本研究成果可推廣至紅外、雷達(dá)等圖像目標(biāo)檢測應(yīng)用場景?！?/p>