黃國(guó)新，李 煒，張比浩，梁斌斌，3，韓笑冬，宮江雷，武長(zhǎng)青

1.四川大學(xué) 視覺(jué)合成圖形圖像技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都 610065

2.四川大學(xué) 空天科學(xué)與工程學(xué)院，成都 610065

3.四川川大智勝軟件股份有限公司，成都 610045

4.中國(guó)空間技術(shù)研究院 通信與導(dǎo)航衛(wèi)星總體部，北京 100094

視頻監(jiān)控系統(tǒng)可以提供信息豐富的圖像，精確而具體地描述物理世界。因此，視頻監(jiān)控系統(tǒng)被廣泛應(yīng)用于交通、公共安全、體育賽事等諸多領(lǐng)域。機(jī)場(chǎng)場(chǎng)面監(jiān)控視頻中的多尺度目標(biāo)檢測(cè)是指視頻每幀中包含的尺寸大小不同的物體，對(duì)它們進(jìn)行類別識(shí)別和位置定位[1-2]。作為機(jī)場(chǎng)安全有效運(yùn)行所必須面對(duì)的基本問(wèn)題，有效且可靠的機(jī)場(chǎng)場(chǎng)面視頻目標(biāo)檢測(cè)在其中扮演了重要角色[3]。然而，由于機(jī)場(chǎng)場(chǎng)面地理和環(huán)境限制，大部分的監(jiān)視攝像頭只能架設(shè)在距離地面較遠(yuǎn)的塔臺(tái)或者航站樓上，導(dǎo)致場(chǎng)面上的人員、車輛等目標(biāo)，在圖像畫面中很小，甚至只有百余個(gè)像素大小。特別是在塔臺(tái)上架設(shè)的全景監(jiān)視攝像頭圖像里，人員占比整個(gè)畫面可以低于1%，使得場(chǎng)面上的人員、車輛以及遠(yuǎn)場(chǎng)的航空器在進(jìn)行目標(biāo)檢測(cè)時(shí)特征不明顯，難以被正確地檢測(cè)[4]。除此之外，機(jī)場(chǎng)場(chǎng)面環(huán)境中存在遮擋，各類目標(biāo)間大小相差較大，還存在同一類目標(biāo)，例如飛機(jī)，在遠(yuǎn)場(chǎng)和近場(chǎng)時(shí)圖像占比差別較大的問(wèn)題。

隨著近年來(lái)深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，得到了巨大的發(fā)展。Liu等人提出的SSD（single shot multibox detector）[5]算法是一種單階段的目標(biāo)檢測(cè)器，其方法核心是使用卷積濾波器來(lái)預(yù)測(cè)特征圖上固定的一組先驗(yàn)邊框的類別分?jǐn)?shù)和位置偏移。SSD算法去掉了VGG[6]網(wǎng)絡(luò)中的全連接層，并在后續(xù)中加入了6層尺度不一的檢測(cè)層。SSD在PASCAL VOC2007[7]數(shù)據(jù)集上取得了74.3%的均值平均精度（mean average precision，mAP），并且使用NVIDIA Titan X的情況下輕量版SSD幀率可以達(dá)到59 frame/s。但是由于SSD的額外特征層，特別是最后一層分辨率為1×1，導(dǎo)致包含的空間信息過(guò)于粗糙，難以進(jìn)行對(duì)目標(biāo)的精確定位。網(wǎng)絡(luò)的淺層部分所包含的語(yǔ)義信息不夠豐富，導(dǎo)致網(wǎng)絡(luò)無(wú)法區(qū)分該目標(biāo)是“人員”還是“雪糕筒”。

在本文中，針對(duì)上述機(jī)場(chǎng)場(chǎng)面人員類別圖像占比小、飛機(jī)類別尺度變化大的問(wèn)題。在SSD算法基礎(chǔ)上通過(guò)加深網(wǎng)絡(luò)層，使用一個(gè)更深的骨干網(wǎng)絡(luò)，用于提取更豐富的語(yǔ)義信息。為了綜合網(wǎng)絡(luò)淺層和深層各自具有的空間細(xì)節(jié)信息和高級(jí)語(yǔ)義信息，使得網(wǎng)絡(luò)淺層對(duì)小目標(biāo)具有更魯棒的表征能力，本文使用融合特征層的方法，構(gòu)建了一個(gè)基于元素積的特征金字塔網(wǎng)絡(luò)，從感受野較大的深層中檢測(cè)大目標(biāo)，感受野較小的淺層中檢測(cè)小目標(biāo)。針對(duì)目標(biāo)遮擋重疊的問(wèn)題，使用Soft-NMS算法[8]以保留檢測(cè)正確的預(yù)測(cè)框，減少漏檢的情況。最后為了更好地適應(yīng)機(jī)場(chǎng)場(chǎng)面環(huán)境，調(diào)整先驗(yàn)框的尺度，加速網(wǎng)絡(luò)的訓(xùn)練和收斂。實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)算法在機(jī)場(chǎng)場(chǎng)面環(huán)境下能夠取得先進(jìn)的性能，特別是在人員類別精度上提升明顯。

1 研究與方法

1.1 網(wǎng)絡(luò)整體架構(gòu)概述

本文算法框架主要分為骨干網(wǎng)絡(luò)、額外特征網(wǎng)絡(luò)以及特征融合網(wǎng)絡(luò)三部分組成，整體網(wǎng)絡(luò)架構(gòu)如圖1所示。網(wǎng)絡(luò)輸入首先經(jīng)過(guò)ResNet-50骨干網(wǎng)絡(luò)進(jìn)行特征提取，再進(jìn)入六層額外特征網(wǎng)絡(luò)進(jìn)一步地提升語(yǔ)義信息維度，隨后將額外特征網(wǎng)絡(luò)中的三層與ResNet-50骨干網(wǎng)絡(luò)中后三個(gè)階段的末層特征圖進(jìn)行自頂向下的特征融合，最后將特征融合網(wǎng)絡(luò)的六個(gè)融合特征圖輸入到檢測(cè)層。研究表明[9]，殘差網(wǎng)絡(luò)模型能夠提取語(yǔ)義信息更加豐富的特征圖，在此基礎(chǔ)上利用多尺度特征金字塔網(wǎng)絡(luò)[10]融合模塊進(jìn)行不同尺度的特征圖融合，獲得細(xì)節(jié)信息和語(yǔ)義信息更豐富的檢測(cè)特征圖。其次，在模型大小與計(jì)算量方面，殘差模型ResNet-50在分類精度與ResNet-101相差不多的情況下，計(jì)算量遠(yuǎn)小于后者。因此本文將SSD本身的骨干網(wǎng)絡(luò)VGG替換為網(wǎng)絡(luò)層更深且計(jì)算量相對(duì)較低的ResNet-50。本文在額外特征網(wǎng)絡(luò)中設(shè)計(jì)了六個(gè)特征圖，在每次縮小特征圖前使用1×1的卷積核調(diào)整通道數(shù)，減小計(jì)算量[11-12]，詳細(xì)參數(shù)如表1所示。在圖1額外特征網(wǎng)絡(luò)中為了使網(wǎng)絡(luò)結(jié)構(gòu)表達(dá)簡(jiǎn)潔，將Conv6_1、Conv7_1和Conv8_1未顯式地表明出來(lái)。特征融合網(wǎng)絡(luò)中，在不同分辨率大小特征圖間做融合時(shí)，未將低分辨率特征圖上采樣步驟顯式表明，具體實(shí)現(xiàn)在下一小節(jié)會(huì)詳細(xì)介紹。最后，利用特征融合后得到的不同層級(jí)的特征圖進(jìn)行不同大小尺度的目標(biāo)候選框生成和類別預(yù)測(cè)，并在模型推斷階段采用Soft-NMS軟性非極大抑制算法進(jìn)行重疊框過(guò)濾以減少目標(biāo)重疊情況下的錯(cuò)刪情況，最終得到檢測(cè)結(jié)果。

表1 額外特征網(wǎng)絡(luò)卷積核詳細(xì)參數(shù)Table 1 Additional feature network convolution kernel detailed parameters

1.2 基于特征金字塔的特征融合網(wǎng)絡(luò)

在原始的SSD檢測(cè)模型中，其對(duì)輸入圖像進(jìn)行特征提取的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)逐層計(jì)算的方式得到特征圖層次結(jié)構(gòu)。由于特征圖層次結(jié)構(gòu)之間存在子采樣層，最終得到的特征圖層次呈現(xiàn)為多尺度的特征圖金字塔結(jié)構(gòu)。利用不同層級(jí)的特征圖對(duì)不同尺寸大小的物體進(jìn)行檢測(cè)，以達(dá)到多尺度目標(biāo)檢測(cè)的目的。對(duì)于尺寸較小的目標(biāo)，SSD利用淺層特征圖進(jìn)行檢測(cè)，而對(duì)于尺寸較大的目標(biāo)物體，則依靠深層特征圖進(jìn)行檢測(cè)。

卷積神經(jīng)網(wǎng)絡(luò)越深的特征層不變性越強(qiáng)而同變性越弱，而低層網(wǎng)絡(luò)雖然語(yǔ)義特征比較差，但是含有更豐富的邊緣及輪廓信息。所以SSD中淺層的特征圖雖然具有高分辨率和豐富的物體細(xì)節(jié)特征，但其語(yǔ)義抽象信息往往不足。而深層特征圖經(jīng)過(guò)多層卷積層后其語(yǔ)義抽象十分豐富，但由于池化層的采用又導(dǎo)致其分辨率較低。因此，SSD采用各層級(jí)特征圖獨(dú)立檢測(cè)不同尺度大小物體的方法往往在小目標(biāo)物體較多，物體尺度變化較大的場(chǎng)景中檢測(cè)效果較差。為了同時(shí)保持不變性和同變性，可以采用融合多層特征圖的方式[13-14]。一個(gè)直接改進(jìn)的方法是融合不同層級(jí)的特征圖，使各層級(jí)特征圖既具有豐富的物體細(xì)節(jié)特征，又具有高分辨率與抽象的語(yǔ)義信息。

本文使用的特征圖融合方式如圖2所示。ResNet-50由于具有殘差模塊，因而可以在保證模型訓(xùn)練收斂的同時(shí)使特征提取網(wǎng)絡(luò)具有更好的語(yǔ)義抽象能力。本文將ResNet-50的第三階段末層、第四階段末層和第五階段末層稱為{Conv3_x，Conv4_x，Conv5_x}。雖然ResNet-50中有5個(gè)階段殘差塊，但是前兩個(gè)階段產(chǎn)生的特征圖語(yǔ)義信息維度太低，所以本文在常規(guī)ResNet-50網(wǎng)絡(luò)后增添了三層特征圖用于特征融合。由于做特征融合計(jì)算時(shí)，需要特征圖的分辨率和通道數(shù)嚴(yán)格相同，所以在特征圖進(jìn)入到特征融合網(wǎng)絡(luò)前，都預(yù)先使用1×1的卷積核進(jìn)行通道調(diào)整。例如圖2中，Conv6_2經(jīng)過(guò)1×1卷積后與P7層通過(guò)2倍最鄰近插值上采樣后的特征圖進(jìn)行元素式操作。元素式操作，通常有三種方法，一是對(duì)應(yīng)元素的和，二是對(duì)應(yīng)元素的積[15]，三是元素并置即通道疊加（concat）。對(duì)應(yīng)元素的和是執(zhí)行特征融合最簡(jiǎn)單的方法。它最近被頻繁地用于許多目標(biāo)檢測(cè)器中。對(duì)應(yīng)元素的積與對(duì)應(yīng)元素的和非常相似，唯一的區(qū)別是使用乘法而不是求和。求積的一個(gè)優(yōu)點(diǎn)是它可以用來(lái)抑制或突出某個(gè)區(qū)域內(nèi)的特性，這可能進(jìn)一步有利于小目標(biāo)檢測(cè)。元素疊加是特征融合的另一種方式。它的優(yōu)點(diǎn)是可以用來(lái)集成不同區(qū)域的語(yǔ)境信息，缺點(diǎn)是增加了內(nèi)存。本文采用的是對(duì)應(yīng)元素的積的方式，以針對(duì)機(jī)場(chǎng)場(chǎng)面上的小目標(biāo)，例如人員取得更好的檢測(cè)效果。最后，將自頂向下融合生成的網(wǎng)絡(luò)特征圖輸入到檢測(cè)層中，使用不同分辨率的特征圖來(lái)檢測(cè)不同大小的目標(biāo)。

圖2 特征金字塔融合網(wǎng)絡(luò)Fig.2 Feature pyramid fusion network

1.3 Soft-NMS軟性非極大值抑制

在傳統(tǒng)的目標(biāo)檢測(cè)框架中，其采用滑動(dòng)窗口機(jī)制來(lái)對(duì)窗口中可能出現(xiàn)前景目標(biāo)或者背景目標(biāo)的置信度進(jìn)行打分。然而，由于相鄰的滑動(dòng)窗口之間的置信度通常相近，這就會(huì)提高假正例目標(biāo)的出現(xiàn)，因此，傳統(tǒng)的解決方案是采用非極大值抑制（non-maximum suppression，NMS）進(jìn)行后處理操作，其算法流程如算法1所示。NMS能過(guò)濾掉面積重疊部分大于一定閾值的滑動(dòng)窗口，以獲得最終檢測(cè)結(jié)果[16]。隨著深度學(xué)習(xí)的發(fā)展，滑動(dòng)窗口機(jī)制已被基于卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的區(qū)域候選框所替代，但是仍然采用NMS來(lái)降低假正例數(shù)量和消除冗余檢測(cè)框。然而，由于NMS直接將重疊的候選框刪除，在同一類別物體位置相近的情況下，其往往會(huì)出現(xiàn)將真正例物體錯(cuò)誤過(guò)濾的情況。

算法1常規(guī)NMS算法

步驟1在所有生成的預(yù)測(cè)框中找到置信度最高的預(yù)測(cè)框A，將預(yù)測(cè)框A與其他的預(yù)測(cè)框進(jìn)行交并比計(jì)算，判斷是夠大于預(yù)先設(shè)置的閾值p。

步驟2將步驟1中大于設(shè)定閾值p的預(yù)測(cè)框刪除，保留預(yù)測(cè)框A。

步驟3在其余剩下的預(yù)測(cè)框中找到置信度最大的預(yù)測(cè)框B，重復(fù)步驟1和步驟2，直至遍歷完所有的預(yù)測(cè)框。

步驟4算法結(jié)束。

鑒于機(jī)場(chǎng)場(chǎng)面環(huán)境中目標(biāo)類別少，同一類別物體往往同時(shí)存在。因此，若仍然直接采用NMS進(jìn)行預(yù)測(cè)候選框的后處理操作，將容易導(dǎo)致漏檢情況的發(fā)生。針對(duì)NMS的缺點(diǎn)，本文在模型測(cè)試階段將其替換為軟性非極大值抑制Soft-NMS來(lái)過(guò)濾檢測(cè)框，其算法如算法2所示。

算法2Soft-NMS算法

步驟1在所有生成的預(yù)測(cè)框中找到置信度最高的預(yù)測(cè)框A，將預(yù)測(cè)框A與其他的預(yù)測(cè)框進(jìn)行交并比計(jì)算，判斷是夠大于預(yù)先設(shè)置的閾值p。

步驟2將步驟1中大于設(shè)定閾值p的預(yù)測(cè)框使用高斯加權(quán)衰減處理，降低其預(yù)測(cè)框的置信度，并且保留預(yù)測(cè)框A。

步驟3在其余剩下的預(yù)測(cè)框中找到置信度最大的預(yù)測(cè)框B，重復(fù)步驟1和步驟2，直至遍歷完所有的預(yù)測(cè)框。

步驟4算法結(jié)束。

Soft-NMS僅降低預(yù)測(cè)置信度較高目標(biāo)候選框附近的其他同類別目標(biāo)的置信度大小，降低的幅度大小由一個(gè)與最高分檢測(cè)框交并比大?。╥ntersection-over-union，IoU）有關(guān)的懲罰函數(shù)來(lái)決定。當(dāng)前檢測(cè)框與最高分檢測(cè)框的IoU越大，其懲罰也將越大，從而達(dá)到過(guò)濾無(wú)效的重疊檢測(cè)框，又避免不同物體的檢測(cè)漏檢情況，以提升檢測(cè)模型在預(yù)測(cè)密集目標(biāo)時(shí)的檢測(cè)精度。本文所采用的懲罰函數(shù)如公式（1）：

其中，si為第i個(gè)預(yù)測(cè)框的置信度，e為自然底數(shù)，M為最大置信度的預(yù)測(cè)框，bi為第i個(gè)預(yù)測(cè)框，σ為常數(shù)0.5，D為已經(jīng)遍歷后的預(yù)測(cè)框集合。

1.4 先驗(yàn)框尺度調(diào)整

改進(jìn)的SSD從特征融合后的卷積層中分別提取P3、P4、P5、P6、P7和最后的1×1層，作為檢測(cè)所用特征圖。由于網(wǎng)絡(luò)結(jié)構(gòu)中不同層級(jí)的特征圖的感受野不同，因此SSD依靠在不同層級(jí)特征圖上預(yù)定義一系列不同尺度大小的先驗(yàn)框來(lái)定位不同尺度大小的物體。假設(shè)使用了m張不同層級(jí)的特征圖來(lái)進(jìn)行檢測(cè)，各層級(jí)特征圖上的先驗(yàn)框尺寸大小計(jì)算如公式（2）所示：

其中，sk表示先驗(yàn)框尺寸相對(duì)于輸入圖片的比例大小，smin和smax表示比例的最小值與最大值。在原始的SSD論文中，smin和smax的取值為0.2和0.9，然而該比例是針對(duì)于日常生活中的環(huán)境，并不能有效地?cái)U(kuò)展到其他特定的檢測(cè)場(chǎng)景。通過(guò)對(duì)機(jī)場(chǎng)場(chǎng)面監(jiān)控?cái)?shù)據(jù)集分析，本文將smin和smax的值調(diào)整為0.1與0.8，這能使先驗(yàn)框更好地覆蓋機(jī)場(chǎng)場(chǎng)面物體尺度大小分布，且能有效地避免小目標(biāo)物體的漏檢問(wèn)題，使檢測(cè)模型網(wǎng)絡(luò)能夠被更充分訓(xùn)練。

2 數(shù)據(jù)與實(shí)驗(yàn)分析

2.1 機(jī)場(chǎng)場(chǎng)面監(jiān)控?cái)?shù)據(jù)集

在目標(biāo)檢測(cè)領(lǐng)域有許多非常具有挑戰(zhàn)意義的公開(kāi)數(shù)據(jù)集，例如PASCAL VOC[17]和MS COCO[18]等，但是在機(jī)場(chǎng)場(chǎng)面的監(jiān)視數(shù)據(jù)集方面，由于機(jī)場(chǎng)的特殊環(huán)境及安全保密限制，目前暫時(shí)沒(méi)有公開(kāi)的數(shù)據(jù)集。本文通過(guò)獲取機(jī)場(chǎng)場(chǎng)面的監(jiān)視視頻及在塔臺(tái)自制機(jī)位的監(jiān)視器拍攝視頻，包含成都雙流國(guó)際機(jī)場(chǎng)、貴陽(yáng)龍洞堡國(guó)際機(jī)場(chǎng)、麗江三義國(guó)際機(jī)場(chǎng)和?？诿捞m國(guó)際機(jī)場(chǎng)在內(nèi)的國(guó)內(nèi)中大型機(jī)場(chǎng)總時(shí)長(zhǎng)超過(guò)300小時(shí)的視頻數(shù)據(jù)，累計(jì)標(biāo)注5 064個(gè)有效樣本。由于拍攝時(shí)間和設(shè)備的不一致，數(shù)據(jù)集中含有960×540和1 920×1 080兩種不同大小分辨率的圖片樣本。本文使用labelImg工具對(duì)樣本進(jìn)行標(biāo)注，仿照PASCAL VOC格式進(jìn)行存儲(chǔ)最終得到機(jī)場(chǎng)場(chǎng)面數(shù)據(jù)集。本文還使用了隨機(jī)亮度、隨機(jī)裁切和隨機(jī)翻轉(zhuǎn)的數(shù)據(jù)增強(qiáng)方法，在訓(xùn)練和測(cè)試時(shí)，將兩種分辨率的樣本均縮小到300×300。

本數(shù)據(jù)集分為兩部分，一部分供神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)為訓(xùn)練集共4 051個(gè)樣本，另一部分用于網(wǎng)絡(luò)模型的測(cè)試評(píng)估為測(cè)試集共1 013個(gè)樣本。訓(xùn)練驗(yàn)證測(cè)試樣本比例與通常的3∶1∶1不同，本實(shí)驗(yàn)直接將訓(xùn)練集和驗(yàn)證集進(jìn)行合并。其中，測(cè)試集通過(guò)均勻抽取的方式獲得，即每5個(gè)樣本抽取1個(gè)樣本作為測(cè)試集。通過(guò)對(duì)數(shù)據(jù)集進(jìn)行分析，共標(biāo)注了航空器13 117個(gè)、車輛8 660個(gè)、人員8 942個(gè)。機(jī)場(chǎng)場(chǎng)面數(shù)據(jù)集包含了場(chǎng)面目標(biāo)不同姿態(tài)、環(huán)境光照、角度變換、日夜色彩及常見(jiàn)的天氣狀況下的各種情況，可以作為較為普適性的通用機(jī)場(chǎng)場(chǎng)面數(shù)據(jù)集。圖3展示了機(jī)場(chǎng)場(chǎng)面數(shù)據(jù)集的部分示例，包含了晴天、夜晚、目標(biāo)大小不一致等情況。表2統(tǒng)計(jì)了數(shù)據(jù)集中航空器、車輛和人員的尺度大小和樣本個(gè)數(shù)。

圖3 機(jī)場(chǎng)場(chǎng)面數(shù)據(jù)集部分樣本示意圖Fig.3 Schematic diagram of some samples of airport surface dataset

表2 機(jī)場(chǎng)場(chǎng)面數(shù)據(jù)集目標(biāo)像素統(tǒng)計(jì)Table 2 Object pixel statistics of airport surface dataset

通過(guò)圖3樣本示例和表2像素統(tǒng)計(jì)可以看出，航空器目標(biāo)類的尺度變化最大，最極端的情況下高達(dá)兩千余倍的大小差異，且在部分角度下存在較大幅度的遮擋的情況。場(chǎng)面上的人員所占像素太少，平均像素值只有523，檢測(cè)該類別相比于其他類別更難。所以本文的數(shù)據(jù)集還是具有一定的檢測(cè)難度。

2.2 實(shí)施細(xì)節(jié)與評(píng)價(jià)標(biāo)準(zhǔn)

本文實(shí)驗(yàn)基于PyTorch[19]深度學(xué)習(xí)框架，硬件平臺(tái)為Nvidia 1080Ti顯卡和Intel i7-8700K中央處理器，操作系統(tǒng)為Ubuntu 18.04。為了保證測(cè)試結(jié)果的公平性，本文對(duì)所有檢測(cè)模型都未使用預(yù)訓(xùn)練模型。本文算法使用交叉熵作為損失函數(shù)，為了使模型完全收斂一共訓(xùn)練了6萬(wàn)次，初始學(xué)習(xí)率為0.01并逐步衰減到0.000 1至訓(xùn)練完成。

評(píng)價(jià)一個(gè)目標(biāo)檢測(cè)器的好壞，通常從兩方面來(lái)考慮，一方面是檢測(cè)的精度，另一方面是檢測(cè)的速度。評(píng)價(jià)檢測(cè)速度通常用每秒鐘檢測(cè)器能夠檢測(cè)圖片的數(shù)量即幀率（frames per second，F(xiàn)PS）作為檢測(cè)算法的實(shí)時(shí)性指標(biāo)。檢測(cè)精度通常使用均值平均精度mAP來(lái)表示。檢測(cè)目標(biāo)需要兩個(gè)信息，一個(gè)是預(yù)測(cè)的目標(biāo)框位置，一個(gè)是預(yù)測(cè)的目標(biāo)類別。當(dāng)預(yù)測(cè)框與實(shí)際真實(shí)框的IoU大于等于0.5時(shí)，則認(rèn)為該框的位置預(yù)測(cè)正確。IoU的計(jì)算方法如公式（3）所示：

式中，Bp代表預(yù)測(cè)框的區(qū)域，Bg代表真實(shí)框的區(qū)域。IoU越高，代表預(yù)測(cè)框與真實(shí)框的重疊度越高，則預(yù)測(cè)值就越接近真實(shí)值。

有了對(duì)框的評(píng)價(jià)，結(jié)合框的位置和分類結(jié)果進(jìn)行評(píng)價(jià)，引出兩個(gè)概念，精度（precision）和召回率（recall）。將預(yù)測(cè)框的結(jié)果分為4類，包括了有無(wú)預(yù)測(cè)框和類別是否正確的四種情況。當(dāng)目標(biāo)檢測(cè)器的預(yù)測(cè)框出現(xiàn)，即為正，反之則為負(fù)；預(yù)測(cè)正確即為真，反之則為假。基于此定義，精度可以使用下列公式（4）計(jì)算：

式中，TP代表該目標(biāo)被正確檢測(cè)，即目標(biāo)的類別預(yù)測(cè)正確，且預(yù)測(cè)框與真實(shí)框的IoU大于設(shè)置的閾值。反之，則FP代表該目標(biāo)被預(yù)測(cè)錯(cuò)誤。上述說(shuō)明了有預(yù)測(cè)框的兩種情況，當(dāng)沒(méi)有預(yù)測(cè)框時(shí)，使用TN代表沒(méi)有預(yù)測(cè)框在沒(méi)有目標(biāo)的位置，也可以認(rèn)為是正確的預(yù)測(cè)為背景；使用FN代表沒(méi)有預(yù)測(cè)框在有目標(biāo)的位置，即為漏檢。召回率可以使用下列公式（5）計(jì)算：

簡(jiǎn)單來(lái)說(shuō)，精度代表了在已經(jīng)預(yù)測(cè)的框中，預(yù)測(cè)正確的框占比多少；召回率代表了在所有真實(shí)的實(shí)際框中，預(yù)測(cè)正確的占比多少。一般來(lái)說(shuō)，目標(biāo)檢測(cè)器的精度和召回率都同時(shí)越高越好，但是在實(shí)際情況中，通常這兩個(gè)指標(biāo)成負(fù)相關(guān)，當(dāng)調(diào)節(jié)閾值使得精度較高時(shí)，召回率會(huì)下降，當(dāng)召回率高時(shí)，精度會(huì)下降。

平均精度（average precision，AP）是指在不同召回率情況下，對(duì)精度的求和平均。通常平均精度的召回率取值區(qū)間為[0，0.1，0.2，…，0.9，1]，對(duì)這11個(gè)召回率值下的精度求和平均得到某個(gè)類別的平均精度。對(duì)于多目標(biāo)檢測(cè)器來(lái)說(shuō)，將多個(gè)類別的平均精度進(jìn)行累加求和后再平均，即可求得mAP。

2.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的改進(jìn)SSD算法能否取得更好的檢測(cè)效果，在上述的機(jī)場(chǎng)數(shù)據(jù)集中進(jìn)行測(cè)試實(shí)驗(yàn)。首先進(jìn)行消融實(shí)驗(yàn)，以驗(yàn)證改進(jìn)算法的各組件的性能。消融實(shí)驗(yàn)中，除變量參數(shù)以外，其余網(wǎng)絡(luò)設(shè)置，訓(xùn)練步驟均保持一致。首先使用特征提取網(wǎng)絡(luò)ResNet-50替換SSD中特征提取網(wǎng)絡(luò)VGG-16，作為基準(zhǔn)模型。然后依次實(shí)驗(yàn)分析了，獨(dú)立加入金字塔特征融合網(wǎng)絡(luò)和獨(dú)立加入Soft-NMS對(duì)基準(zhǔn)模型的影響，最后同時(shí)使用兩個(gè)組件得到最終的實(shí)驗(yàn)結(jié)果，詳細(xì)實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 特征金字塔融合網(wǎng)絡(luò)與Soft-NMS的消融實(shí)驗(yàn)Table 3 Ablation experiment of feature pyramid fusion network and Soft-NMS %

由表3可以看出，在基準(zhǔn)模型基礎(chǔ)上添加自頂向下的特征金字塔融合網(wǎng)絡(luò)，在三個(gè)類別的AP中都有一定程度的提升，mAP相較于基準(zhǔn)模型提高了8.04個(gè)百分點(diǎn)。特別是在人員類上，相較于基準(zhǔn)模型，驚人地提高了接近20個(gè)百分點(diǎn)。證明了基于元素相乘的特征金字塔融合網(wǎng)絡(luò)能夠?qū)π∧繕?biāo)有比較好的魯棒性。在預(yù)測(cè)框處理階段單獨(dú)使用Soft-NMS同樣有3.24個(gè)百分點(diǎn)的mAP的提升，特別在召回率方面，由于檢測(cè)到了更多正確的目標(biāo)，召回率也提升了3.29個(gè)百分點(diǎn)。說(shuō)明在一定程度上，解決了目標(biāo)間重疊導(dǎo)致的漏檢和錯(cuò)檢的情況。最終本文改進(jìn)算法通過(guò)結(jié)合上述兩個(gè)組件，取得了86.31%的mAP和72.49%的召回率。為了更好地證明本文改進(jìn)算法的性能，還與原始SSD、YOLOv3[20]等先進(jìn)目標(biāo)檢測(cè)算法在檢測(cè)精度和推斷速度進(jìn)行實(shí)驗(yàn)比較，結(jié)果如表4所示。

由表4可知，與其他算法相比，本文算法在mAP方面具有更好的性能。本文算法提高了三種類別的平均精度。特別是對(duì)于人員類別，在同一輸入大小情況下，相較于原始SSD，檢測(cè)精度提高了47.25個(gè)百分點(diǎn)，在推斷速度方面，本文提出的算法還可以保持較高的檢測(cè)速度，達(dá)到了32 frame/s。與YOLOv3算法相比，本文算法雖然在推斷速度上有所差距，但是在各類別和mAP的精度上均處于大幅度領(lǐng)先的水平。如圖4所示，可以直觀地看出本文算法是較好的，并且每個(gè)檢測(cè)框具有較高的置信度。YOLOv3和SSD512對(duì)于飛機(jī)等大目標(biāo)也具有較好的檢測(cè)效果，但是在人員等小目標(biāo)檢測(cè)上存在明顯的漏檢情況。Faster R-CNN（ResNet-50+FPN）[21]的檢測(cè)效果中有更多冗余框。特別是對(duì)于小物體，同一物體基本上具有兩個(gè)檢測(cè)框，如圖4（d）所示。通過(guò)與先進(jìn)目標(biāo)檢測(cè)算法對(duì)比，本文提出的改進(jìn)SSD算法無(wú)論是在模型的推斷速度還是mAP上都處于先進(jìn)的水平。

圖4 本文算法與先進(jìn)檢測(cè)算法效果對(duì)比Fig.4 Comparison of effect of algorithm in this paper and SOTA detection algorithm

表4 本文改進(jìn)算法與先進(jìn)目標(biāo)檢測(cè)算法實(shí)驗(yàn)對(duì)比Table 4 Experimental comparison between improved algorithm in this paper and SOTA object detection algorithm

3 結(jié)束語(yǔ)

本文通過(guò)對(duì)SSD算法改進(jìn)骨干網(wǎng)絡(luò)，加入特征金字塔網(wǎng)絡(luò)，使用Soft-NMS以及調(diào)整先驗(yàn)框尺度四個(gè)方面以適應(yīng)機(jī)場(chǎng)場(chǎng)面監(jiān)視環(huán)境。實(shí)驗(yàn)結(jié)果表明，本文算法獲得了在輕微降低推斷速度的情況下，大幅度提升檢測(cè)精度，特別是針對(duì)難以正確檢測(cè)的人員類目標(biāo)。