李勝永，王超男，王 孟

(1.江蘇航運(yùn)職業(yè)技術(shù)學(xué)院 交通工程學(xué)院，江蘇 南通 226000； 2.南通大學(xué) 理學(xué)院，江蘇 南通 226000)

0 引 言

航空影像下的目標(biāo)檢測(cè)對(duì)于地貌勘探、智慧城市、交通監(jiān)測(cè)、航運(yùn)疏導(dǎo)等領(lǐng)域具有重要作用。借助航拍攝像頭以及人工智能網(wǎng)絡(luò)運(yùn)算分析，能夠?qū)崿F(xiàn)諸多信息提取。然而，航空影像下的目標(biāo)由于像素限制，在兼顧準(zhǔn)確率的情況下很難有較高的召回率。比較傳統(tǒng)的做法是增加輸入圖像的尺寸和增加網(wǎng)絡(luò)的強(qiáng)壯程度[1-4]，以提高網(wǎng)絡(luò)對(duì)細(xì)微特征的學(xué)習(xí)能力，但是這都是以增加計(jì)算量[5-9]為代價(jià)的。為解決通用算法對(duì)航空?qǐng)D像中目標(biāo)檢測(cè)低效的問題，希望設(shè)計(jì)一種極其輕量的目標(biāo)檢測(cè)器用于捕捉航空影像中的小目標(biāo)。

為了改變現(xiàn)有的對(duì)于航空影像下目標(biāo)檢測(cè)只追求精度而忽略速度的研究方向，更加關(guān)注平衡速度與精度的均衡，以實(shí)際的方案實(shí)現(xiàn)高精度的移動(dòng)端平臺(tái)檢測(cè)部署。具體的方案有以下幾點(diǎn)貢獻(xiàn)：

(1)設(shè)計(jì)了一種極其輕量的網(wǎng)絡(luò)作為檢測(cè)器的骨干網(wǎng)絡(luò)，使最終的網(wǎng)絡(luò)模型大小僅僅為1.64 MB，對(duì)比動(dòng)則上百兆的大型網(wǎng)絡(luò)，這足夠優(yōu)秀；

(2)吸收了當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器的諸多調(diào)優(yōu)方法于提出的網(wǎng)絡(luò)中，如原始比例非形變多尺度訓(xùn)練、基于mosaic[7]的隨機(jī)數(shù)據(jù)增強(qiáng)、特征金字塔、平鋪的小卷積核上下文級(jí)聯(lián)以及GIOU loss[11]計(jì)算等技巧；

(3)收集了一個(gè)專用分類數(shù)據(jù)集用于預(yù)訓(xùn)練骨干網(wǎng)絡(luò)以微調(diào)最終的目標(biāo)檢測(cè)器，驗(yàn)證專用的特征近似的預(yù)訓(xùn)練數(shù)據(jù)比在大型公共數(shù)據(jù)集上(如ImageNet)預(yù)訓(xùn)練結(jié)果更優(yōu)；

(4)為提升小目標(biāo)的檢出率，并保留小目標(biāo)的細(xì)微特征，技巧上使用4個(gè)相同大小的ROI區(qū)域平鋪整個(gè)特征圖，在不增加內(nèi)存使用的情況下僅僅增加少量耗時(shí)卻能大幅增加小目標(biāo)檢出率。由于基礎(chǔ)網(wǎng)絡(luò)足夠快，對(duì)ROI有較高的容忍度。

1 超輕超快的目標(biāo)檢測(cè)器

目標(biāo)檢測(cè)器要做到輕量化重點(diǎn)在于骨干網(wǎng)絡(luò)的寬度。受到人臉檢測(cè)網(wǎng)絡(luò)RetinaFace[12]的啟發(fā)，設(shè)計(jì)了一個(gè)極其輕量的CNN網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，該網(wǎng)絡(luò)所有層中的最寬通道之處僅僅為128，并且全程使用小卷積核。參考MobileNet系列[13]網(wǎng)絡(luò)，卷積層與深度可分離卷積相搭配有效縮減參數(shù)量，但摒棄了殘差(Res)分枝。另外，特征金字塔中使用的反卷積模塊均使用窄通道設(shè)定，摒棄無用的寬泛設(shè)定。首要考慮的重要目標(biāo)是追求網(wǎng)絡(luò)參數(shù)量的極致優(yōu)化，因?yàn)閰?shù)量是部署嵌入式平臺(tái)限制的最大障礙，而特征的細(xì)節(jié)可以通過擴(kuò)大輸入圖像尺寸來彌補(bǔ)。網(wǎng)絡(luò)的檢測(cè)頭部分，并依然遵循成熟的工作經(jīng)驗(yàn)，參考YOLOv3[14]以及后續(xù)系列[7，8]算法，設(shè)計(jì)了3個(gè)不同尺度特征分支中獲取目標(biāo)信息。但與之不同的是，在每個(gè)分支中首先吸收當(dāng)前先進(jìn)的工作——空洞卷積[15]和瓶頸結(jié)構(gòu)[16]搭建了一種上下文模塊，用以獲取更大的感受野并加強(qiáng)背景抑制。另外，目標(biāo)置信度和坐標(biāo)位置被分為兩個(gè)分支計(jì)算，這種回歸方案提升了網(wǎng)絡(luò)的魯棒性并加強(qiáng)了不同類別之間的相互抑制以促進(jìn)減少誤報(bào)。圖1為整個(gè)設(shè)計(jì)的目標(biāo)檢測(cè)器的主要結(jié)構(gòu)。

圖1 極輕量檢測(cè)器結(jié)構(gòu)

1.1 極其輕量的骨干網(wǎng)絡(luò)

審視先前的先進(jìn)工作，所能查到的參數(shù)量較小的分類網(wǎng)絡(luò)如ShuffleNet[17]、ReXNet[18]等，參數(shù)量最少的也需要1.4 MB。而設(shè)計(jì)出的骨干網(wǎng)絡(luò)僅僅960 KB(量化后僅760 KB)，這擁有足夠的優(yōu)越性。骨干網(wǎng)絡(luò)的詳細(xì)結(jié)構(gòu)如圖2所示。

圖2 極輕量的骨干網(wǎng)絡(luò)結(jié)構(gòu)

首先，摒棄了MobileNet系列仍然較寬的主干分支結(jié)構(gòu)，對(duì)網(wǎng)絡(luò)寬度進(jìn)行暴力裁剪，去除冗余的殘差塊，僅使用簡(jiǎn)單的層堆積，并對(duì)卷積核大小進(jìn)行優(yōu)化。當(dāng)然，圖2中每個(gè)卷積層都代表一個(gè)卷積、批量歸一化以及激活層的組合(Conv+BN+ReLU)。一個(gè)全新的骨干網(wǎng)絡(luò)，由于本身訓(xùn)練數(shù)據(jù)量的不足，除了對(duì)本身數(shù)據(jù)進(jìn)行隨機(jī)增強(qiáng)外，在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練來微調(diào)基礎(chǔ)訓(xùn)練可能會(huì)有較大改善，故針對(duì)設(shè)計(jì)的輕量骨干網(wǎng)絡(luò)，進(jìn)行大量的訓(xùn)練驗(yàn)證。

1.2 融合的檢測(cè)頭設(shè)計(jì)

目標(biāo)檢測(cè)器的重點(diǎn)在于良好的檢測(cè)頭設(shè)計(jì)。為此，通過對(duì)當(dāng)前主流通用目標(biāo)檢測(cè)網(wǎng)絡(luò)的重點(diǎn)調(diào)研，設(shè)計(jì)了一種汲取眾家之長(zhǎng)的檢測(cè)頭設(shè)計(jì)方案來搭配輕量的骨干網(wǎng)絡(luò)，從而組成完整的輕量網(wǎng)絡(luò)檢測(cè)器。首先，出于對(duì)后續(xù)流程(嵌入式移動(dòng)平臺(tái)植入)考慮，檢測(cè)頭主體網(wǎng)絡(luò)不宜太復(fù)雜。YOLOv3及其后續(xù)版本的多尺度特征分支是非常好的工作，簡(jiǎn)單而高效，同時(shí)平衡大小目標(biāo)的偵測(cè)能力。但是，它的每個(gè)檢測(cè)分支的置信度預(yù)測(cè)和位置預(yù)測(cè)被集成在同一個(gè)卷積層，這可能會(huì)造成較多的較高預(yù)測(cè)分?jǐn)?shù)的誤報(bào)。所以，每個(gè)檢測(cè)分支的置信度和位置預(yù)測(cè)分為兩個(gè)分支分別實(shí)現(xiàn)，從原理上看這并不會(huì)增加參數(shù)量和計(jì)算量，卻能帶來更好的收益。

另外，受到Inception系列網(wǎng)絡(luò)[16]的啟發(fā)，幾個(gè)小卷積核的卷積層平行搭建會(huì)帶來良好的特征融合的額外收益，并且很少增加網(wǎng)絡(luò)的額外負(fù)擔(dān)。以往的經(jīng)驗(yàn)中，上下文融合[19]對(duì)檢測(cè)網(wǎng)絡(luò)性能十分重要。所以，結(jié)合Inception的思想，設(shè)計(jì)了一種上下文特征融合模塊插入到每個(gè)檢測(cè)分支中，用于減少正樣本與背景之間地不當(dāng)匹配，既提升了性能又不會(huì)增加網(wǎng)絡(luò)整體的負(fù)擔(dān)。如圖3所示，為設(shè)計(jì)提出的上下文特征融合模塊。

圖3 攜帶空洞卷積的上下文融合模塊

需要注意的是圖3中每個(gè)Conv均表示Convlution+ReLU的組合體。在每個(gè)分支的上下文模塊中，插入一個(gè)空洞卷積。相比普通卷積，空洞卷積可以幫助每個(gè)特征點(diǎn)獲得足夠大的實(shí)際感受野，這對(duì)實(shí)際應(yīng)用場(chǎng)景中的小目標(biāo)來說可以帶來可觀的收益。

1.3 數(shù)據(jù)層的訓(xùn)練策略

受到目標(biāo)檢測(cè)各應(yīng)用領(lǐng)域中的優(yōu)秀訓(xùn)練策略[7，12]的啟發(fā)，在訓(xùn)練階段的數(shù)據(jù)層中集成了一種強(qiáng)大的隨機(jī)數(shù)據(jù)增強(qiáng)策略。

首先，經(jīng)過消融實(shí)驗(yàn)的仔細(xì)對(duì)比，訓(xùn)練階段維持圖像中目標(biāo)的原始比例而不產(chǎn)生形變能夠提升網(wǎng)絡(luò)的召回率，相對(duì)于固定尺寸做resize后再送入網(wǎng)絡(luò)運(yùn)算，目標(biāo)形變會(huì)對(duì)實(shí)際場(chǎng)景的檢測(cè)能力產(chǎn)生負(fù)面影響。為此，設(shè)計(jì)了一種針對(duì)不同大小的原始圖像而采用不同大小的正方形窗口用于對(duì)原始圖像的裁剪操作，裁剪會(huì)盡可能保留原始圖像的大范圍區(qū)域，這僅僅是為了訓(xùn)練階段使目標(biāo)不產(chǎn)生形變。

其次，為了盡可能地提升原始網(wǎng)絡(luò)對(duì)背景干擾的可抗性，mosaic拼接方式[7]是良好的解決方案。為此，從網(wǎng)上隨機(jī)爬蟲和實(shí)際場(chǎng)景中進(jìn)行初始網(wǎng)絡(luò)偵測(cè)收集到大量的易誤報(bào)的數(shù)據(jù)并與原始包含正樣本的訓(xùn)練圖像進(jìn)行隨機(jī)mosaic拼接并組成新的訓(xùn)練圖像。由于這種方式縮小了實(shí)際目標(biāo)的大小從而進(jìn)一步促進(jìn)了小目標(biāo)的檢出率。

另外，基于色階變化的隨機(jī)數(shù)據(jù)增強(qiáng)是提升檢測(cè)器魯棒性必不可少的策略。利用開源的隨機(jī)數(shù)據(jù)增強(qiáng)庫(kù)albumentations[20]并將其集成在網(wǎng)絡(luò)的數(shù)據(jù)層中，對(duì)原始圖像和mosaic后的圖像進(jìn)行3到5次色階變化上的隨機(jī)數(shù)據(jù)增強(qiáng)。

最后，吸收yolo系列最新研究成果[8]的可靠經(jīng)驗(yàn)，多尺度的訓(xùn)練策略能夠有效提升網(wǎng)絡(luò)性能。不同于yolo系列，在訓(xùn)練階段只采取尺度間隔較大的4種尺度用于訓(xùn)練，同時(shí)也彌補(bǔ)了集成的隨機(jī)數(shù)據(jù)增強(qiáng)帶來的訓(xùn)練階段數(shù)據(jù)層處理耗時(shí)增加的壞處。

1.4 提升測(cè)試階段專注度

由于骨干網(wǎng)絡(luò)的輕量性，相比于寬而深的大型網(wǎng)絡(luò)檢測(cè)器，不可避免的會(huì)犧牲對(duì)于小目標(biāo)的召回。為了彌補(bǔ)這一劣勢(shì)，提出一種利用4個(gè)ROI(感興趣區(qū)域)平鋪圖像的測(cè)試策略，當(dāng)偵測(cè)場(chǎng)景對(duì)小目標(biāo)的需求是必要的時(shí)候，這種策略能夠帶來不劣于甚至更優(yōu)于大型網(wǎng)絡(luò)的偵測(cè)效果。而代價(jià)僅僅是相對(duì)于原始輕量檢測(cè)器增加3～4倍的耗時(shí)和存儲(chǔ)ROI所占用地很小的內(nèi)存。雖然耗時(shí)增加，但由于其本身巨大的輕量?jī)?yōu)勢(shì)，幾倍的耗時(shí)仍然可以媲美大型網(wǎng)絡(luò)的運(yùn)行速度。而異常小的內(nèi)存占用在嵌入式平臺(tái)上獲得的收益是令人無法抗拒的。

2 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證所提出的多種策略給檢測(cè)器帶來的明顯改進(jìn)，進(jìn)行了多種消融實(shí)驗(yàn)和與各種大型網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果將充分驗(yàn)證所提出策略的有效性。同時(shí)，為了突出驗(yàn)證所提出的輕量網(wǎng)絡(luò)在移動(dòng)端的巨大優(yōu)越性，在移動(dòng)端嵌入式平臺(tái)進(jìn)行了算法移植并測(cè)試效能，且與先進(jìn)算法進(jìn)行對(duì)比。

2.1 實(shí)驗(yàn)環(huán)境

由于提出的算法涉及與多個(gè)公共網(wǎng)絡(luò)的比對(duì)以及嵌入式平臺(tái)的量化移植，整個(gè)開發(fā)流程使用多個(gè)深度學(xué)習(xí)框架。其中，主算法基于MXNet開發(fā)，并將其轉(zhuǎn)換為Pytorch和caffe模型與公網(wǎng)進(jìn)行對(duì)比。由于嵌入式平臺(tái)轉(zhuǎn)換工具僅支持對(duì)caffe模型，最終的算法模型轉(zhuǎn)換為caffemodel，以進(jìn)行量化并移植到嵌入式平臺(tái)。

硬件方面，算法訓(xùn)練以及線上測(cè)試基于搭載4塊GTX2080Ti GPU的linux服務(wù)器，單塊GPU顯存為12 G，單次迭代可支持32張圖像同時(shí)計(jì)算，最佳模型訓(xùn)練時(shí)間約10天，共進(jìn)行50個(gè)epoch的反向迭代。

值得一提的是，先前的工作[19]已經(jīng)為本研究提供了成熟的數(shù)據(jù)集用于訓(xùn)練和測(cè)試。經(jīng)過各種策略的數(shù)據(jù)增強(qiáng)，最終參與訓(xùn)練的正樣本圖像超過60萬張，測(cè)試集超過4000張。

訓(xùn)練參數(shù)方面，分類模型及骨干網(wǎng)絡(luò)預(yù)訓(xùn)練模型的基礎(chǔ)學(xué)習(xí)率為0.1，并采用多步數(shù)策略進(jìn)行階梯衰減。反向優(yōu)化算法使用SGD(隨機(jī)梯度下降)進(jìn)行參數(shù)優(yōu)化，而損失函數(shù)仍然使用常用的Softmax損失進(jìn)行梯度更新。最終的檢測(cè)模型，訓(xùn)練基于骨干網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，基礎(chǔ)學(xué)習(xí)率為0.01，衰減策略以及反向優(yōu)化算法同分類模型，損失函數(shù)類似SSD算法，每個(gè)錨點(diǎn)配置16個(gè)anchor框進(jìn)而采用平滑的交叉熵?fù)p失函數(shù)進(jìn)行梯度計(jì)算，但改進(jìn)IoU計(jì)算為GIoU。

另外，實(shí)驗(yàn)中涉及多個(gè)評(píng)估指標(biāo)。分類模型使用top1和top5準(zhǔn)確率來評(píng)價(jià)模型，分別指預(yù)測(cè)分?jǐn)?shù)最高的類型的精確度和預(yù)測(cè)分?jǐn)?shù)前5項(xiàng)中包含準(zhǔn)確類型的精確度。檢測(cè)模型方面，統(tǒng)計(jì)召回率(recall)與準(zhǔn)確率(precision)，前者表示預(yù)測(cè)出的準(zhǔn)確目標(biāo)數(shù)在所有準(zhǔn)確目標(biāo)數(shù)中的占比，后者表示預(yù)測(cè)出的準(zhǔn)確目標(biāo)數(shù)在所有預(yù)測(cè)目標(biāo)數(shù)(包含誤檢)中的占比。與其它優(yōu)秀模型的比對(duì)中使用了AP(average precision)值(平均準(zhǔn)確率)進(jìn)行評(píng)估，而AP值即為P-R(準(zhǔn)確率與召回率)曲線所圍面積。

2.2 骨干網(wǎng)絡(luò)

在圖2的基礎(chǔ)上，增加了一個(gè)全局池化層、全連接層以及Softmax層以組成基本分類網(wǎng)絡(luò)，然后進(jìn)行實(shí)驗(yàn)測(cè)試。由于骨干網(wǎng)絡(luò)是重新設(shè)計(jì)的輕量網(wǎng)絡(luò)，故在ImageNet超大型數(shù)據(jù)集進(jìn)行訓(xùn)練及測(cè)試，并對(duì)比當(dāng)前的先進(jìn)輕量網(wǎng)絡(luò)進(jìn)行對(duì)比。測(cè)試結(jié)果見表1。

表1 ImageNet測(cè)試集測(cè)試結(jié)果

從表1結(jié)果中可以看出，骨干網(wǎng)絡(luò)在計(jì)算量和參數(shù)量上具有無可比擬的優(yōu)勢(shì)，這對(duì)后續(xù)移動(dòng)端應(yīng)用來說誘惑巨大。同時(shí)，雖然在top1上略弱于先進(jìn)網(wǎng)絡(luò)，但在top5精度上差距大幅縮小。

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證在訓(xùn)練階段采取的各種策略的有效性，以不同策略為變量進(jìn)行了訓(xùn)練及測(cè)試。通過損失函數(shù)的收斂曲線(如圖4所示)和測(cè)試結(jié)果(見表2)反映各模塊差異。

圖4 不同策略的訓(xùn)練loss收斂曲線

圖中A～G各字母與表2中相互對(duì)應(yīng)。可以看出完整的訓(xùn)練策略能收斂的最好。

表2 各種策略的消融實(shí)驗(yàn)測(cè)試結(jié)果

從表2中結(jié)果可以看出，置信度預(yù)測(cè)和位置預(yù)測(cè)以雙分支結(jié)構(gòu)以及上下文模塊均對(duì)提升網(wǎng)絡(luò)精度有益，尤其是上下文模塊更為顯著，這更有利于實(shí)際應(yīng)用。而空洞卷積表現(xiàn)為帶來更好的召回和準(zhǔn)確率，這是由于精確的感受野提升了小目標(biāo)定位的準(zhǔn)確性，雖然在數(shù)據(jù)集上這種表現(xiàn)較為輕微，但實(shí)際應(yīng)用中可能會(huì)帶來良好的定位體驗(yàn)。

網(wǎng)絡(luò)訓(xùn)練的輸入上，利用隨機(jī)裁剪截取正方形區(qū)域?qū)Ρ葟?qiáng)行形變輸入網(wǎng)絡(luò)能夠避免圖像形變帶來的壞處。從測(cè)試結(jié)果看，這種輸入方式能夠有效提升召回率，但是測(cè)試圖像時(shí)需要對(duì)尺度不一的數(shù)據(jù)集利用pad歸一化到網(wǎng)絡(luò)輸入的寬高比。

在訓(xùn)練數(shù)據(jù)集處理策略上，利用mosaic拼接訓(xùn)練圖像理論上對(duì)小目標(biāo)更有益，從測(cè)試結(jié)果看能夠帶來更好的召回率。見表3，將測(cè)試集限定不同最小寬高分塊測(cè)試可以看出，提升的召回率主要的貢獻(xiàn)來自小目標(biāo)。另外，對(duì)訓(xùn)練集進(jìn)行多次的隨機(jī)數(shù)據(jù)增強(qiáng)能夠帶來更好的魯棒性，召回率和準(zhǔn)確率均有一定的提升，并且在實(shí)際場(chǎng)景測(cè)試中能夠適應(yīng)復(fù)雜的背景。

表3 對(duì)目標(biāo)大小分區(qū)間的測(cè)試結(jié)果

2.4 與先進(jìn)網(wǎng)絡(luò)的對(duì)比

為了驗(yàn)證提出的超輕量檢測(cè)器與先進(jìn)通用目標(biāo)檢測(cè)器的性能差距，選用先進(jìn)的開源項(xiàng)目在所使用的數(shù)據(jù)集中按照原始最優(yōu)參數(shù)進(jìn)行訓(xùn)練和測(cè)試，并將結(jié)果予以匯總。所有的測(cè)試結(jié)果以及效能數(shù)據(jù)統(tǒng)計(jì)在表4中，測(cè)試集結(jié)果統(tǒng)計(jì)AP。

表4 與先進(jìn)公開網(wǎng)絡(luò)算法的對(duì)比結(jié)果

通過與先進(jìn)網(wǎng)絡(luò)的對(duì)比結(jié)果可以看出，雖然原始的超輕量檢測(cè)器AP擁有一定的劣勢(shì)，但在計(jì)算量和網(wǎng)絡(luò)參數(shù)大小上擁有無可比擬的優(yōu)勢(shì)，并且能夠帶來極快的運(yùn)行速度。另外，對(duì)比先進(jìn)網(wǎng)絡(luò)的輕量版本(如mnet-retinaface)，提出的超輕量檢測(cè)器能夠產(chǎn)生壓倒性的優(yōu)勢(shì)。正是由于提出檢測(cè)器的超輕量特性，而能夠在實(shí)際應(yīng)用中可能產(chǎn)生問題時(shí)擁有更多的操作空間，例如通過平鋪固定大小的感興趣區(qū)域來多次運(yùn)行同一張圖像的不同區(qū)域，最終將每個(gè)區(qū)域的結(jié)果匯總。這種策略僅僅需要犧牲一定的運(yùn)行速度而帶來巨大的結(jié)果收益。在內(nèi)存緊張的移動(dòng)端平臺(tái)中，這種方法顯得難能可貴。表4中Ours+，AP值能夠直接媲美大型先進(jìn)網(wǎng)絡(luò)，雖然由于多次運(yùn)行造成了模型的重復(fù)計(jì)算和運(yùn)行速率的成倍增長(zhǎng)，但最重要的優(yōu)勢(shì)是它能為移動(dòng)平臺(tái)節(jié)省大量的內(nèi)存使用。如圖5所示，具體比對(duì)了超輕量網(wǎng)絡(luò)在實(shí)際航空?qǐng)D像中的偵測(cè)結(jié)果。

圖5 與部分先進(jìn)算法的仿真測(cè)試對(duì)比

2.5 嵌入式平臺(tái)的應(yīng)用

為了驗(yàn)證超輕量網(wǎng)絡(luò)的實(shí)用性，將提出的超輕量檢測(cè)網(wǎng)絡(luò)遷移至嵌入式平臺(tái)進(jìn)行驗(yàn)證。使用Novatek公司開發(fā)的嵌入式平臺(tái)，型號(hào)為NT9852x，如圖6所示。該平臺(tái)采用兩組FPGA實(shí)現(xiàn)CNN硬件計(jì)算，并采用cpu實(shí)現(xiàn)后處理運(yùn)算。首先使用特定工具對(duì)訓(xùn)練得到的浮點(diǎn)模型進(jìn)行12 bit量化，量化后遷移至配套SDK進(jìn)行算法實(shí)現(xiàn)。

圖6 使用的嵌入式平臺(tái)開發(fā)板

另外，為了驗(yàn)證提出的超輕量網(wǎng)絡(luò)在移動(dòng)端平臺(tái)對(duì)先進(jìn)網(wǎng)絡(luò)的巨大實(shí)際應(yīng)用優(yōu)勢(shì)，同步遷移了一些平臺(tái)可以支持的先進(jìn)網(wǎng)絡(luò)進(jìn)行具體實(shí)驗(yàn)對(duì)比，評(píng)測(cè)指標(biāo)包括耗時(shí)(幀率)、量化后模型大小、內(nèi)存使用量和量化模型數(shù)據(jù)集精度以直觀看出優(yōu)略。測(cè)試結(jié)果見表5。

從表5中可以看出，提出的超輕量網(wǎng)絡(luò)在模型大小、幀率以及內(nèi)存占用指標(biāo)上優(yōu)勢(shì)巨大。先進(jìn)網(wǎng)絡(luò)YOLOv4的幀率不足5 fps，如不搭配輔助算法(如目標(biāo)跟蹤)則會(huì)造成目標(biāo)延遲嚴(yán)重而無法實(shí)際使用，同時(shí)會(huì)占用巨大的內(nèi)存而大幅增加開發(fā)成本。如采用ROI平鋪的方式進(jìn)行評(píng)測(cè)，提出的超輕量網(wǎng)絡(luò)僅僅會(huì)多占用少許內(nèi)存用于存放裁剪出的感興趣區(qū)域，而幀率理論上會(huì)增加4倍，但由于超輕量網(wǎng)絡(luò)本身的超快速度，仍然可以實(shí)現(xiàn)超過7 fps的偵測(cè)速率。同時(shí)，采用ROI方式可以大幅提升AP值并超過先進(jìn)的網(wǎng)絡(luò)1。如圖7所示，顯示了提出的超輕量網(wǎng)絡(luò)在嵌入式平臺(tái)端的實(shí)際效果(通過YUV420圖像輸入測(cè)試)。

表5 嵌入式平臺(tái)測(cè)試結(jié)果

圖7 移動(dòng)平臺(tái)的圖像仿真結(jié)果

3 結(jié)束語(yǔ)

針對(duì)航空影像船只目標(biāo)偵測(cè)任務(wù)中難以平衡精度和速度的難點(diǎn)，提出了一種超輕量的目標(biāo)偵測(cè)網(wǎng)絡(luò)以解決此問題。網(wǎng)絡(luò)吸收了眾多先進(jìn)策略以提升測(cè)試精度，極其輕量CNN骨干網(wǎng)絡(luò)大幅縮減了計(jì)算量和參數(shù)量以提升運(yùn)算速度，融合的檢測(cè)頭設(shè)計(jì)提升網(wǎng)絡(luò)的魯棒性，結(jié)合先進(jìn)的訓(xùn)練階段數(shù)據(jù)預(yù)處理增強(qiáng)方法提高了目標(biāo)細(xì)節(jié)特征的獲取能力進(jìn)而提升了偵測(cè)精度，而平鋪感興趣區(qū)域的偵測(cè)策略為網(wǎng)絡(luò)的特殊場(chǎng)景實(shí)際應(yīng)用提供了更廣泛的選擇性。這些策略的融合促進(jìn)了精度與速度的平衡，并利用嵌入式平臺(tái)實(shí)現(xiàn)算法的移動(dòng)端應(yīng)用，驗(yàn)證了提出算法的先進(jìn)性和實(shí)用性。