華北計(jì)算機(jī)系統(tǒng)工程研究所 周升和 邵武長(zhǎng) 王強(qiáng)

在CV中，檢測(cè)小目標(biāo)一直是一個(gè)困難且具有挑戰(zhàn)性的問(wèn)題。在本文中，我們對(duì)基于深度學(xué)習(xí)的小目標(biāo)檢測(cè)算法進(jìn)行較為全面的調(diào)查。首先介紹了小目標(biāo)以及目標(biāo)檢測(cè)的含義，然后從小目標(biāo)檢測(cè)存在的難點(diǎn)以及解決方法闡述了小目標(biāo)檢測(cè)算法的研究進(jìn)展，并總結(jié)了各個(gè)方法的優(yōu)缺點(diǎn)。

目標(biāo)檢測(cè)是CV中的一項(xiàng)基本任務(wù)。當(dāng)給定圖像時(shí)，目標(biāo)檢測(cè)的目的是找到每個(gè)對(duì)象實(shí)例的位置和內(nèi)容。從應(yīng)用角度來(lái)看，目標(biāo)檢測(cè)可分為兩種類型：通用目標(biāo)檢測(cè)和專用目標(biāo)檢測(cè)。前者旨在在統(tǒng)一框架下檢測(cè)不同類型的視覺對(duì)象，而后者目的是針對(duì)特定應(yīng)用場(chǎng)景下的檢測(cè)。

本文主要對(duì)近年來(lái)基于深度學(xué)習(xí)的小目標(biāo)檢測(cè)方法進(jìn)行了調(diào)查，首先介紹了小目標(biāo)以及目標(biāo)檢測(cè)的含義，然后系統(tǒng)性地介紹了小目標(biāo)檢測(cè)算法，最后對(duì)小目標(biāo)檢測(cè)的未來(lái)發(fā)展進(jìn)行了討論。

1 小目標(biāo)檢測(cè)

1.1 小目標(biāo)的定義

小目標(biāo)的定義是用來(lái)表示在一幅畫中該目標(biāo)占據(jù)了多少的像素或是其規(guī)模/尺寸大小。小目標(biāo)的定義有兩種主要方法：一個(gè)是相對(duì)大小，另一個(gè)是絕對(duì)尺寸。總之，為便于深入了解小目標(biāo)檢測(cè)，需要根據(jù)不同的應(yīng)用場(chǎng)景對(duì)小目標(biāo)進(jìn)行不同的定義。目標(biāo)檢測(cè)的應(yīng)用，如圖1所示。

圖1 目標(biāo)檢測(cè)的應(yīng)用Fig.1 Application of object detection

1.2 目標(biāo)檢測(cè)

小目標(biāo)檢測(cè)的定義是指確定圖像中是否存在來(lái)自給定類別的小目標(biāo)實(shí)例，如果存在，則返回每個(gè)小目標(biāo)實(shí)例的空間位置和范圍。簡(jiǎn)而言之，小目標(biāo)檢測(cè)需要完成兩個(gè)步驟：定位和分類。它需要檢測(cè)圖像中的目標(biāo)對(duì)象并將其與多元背景區(qū)分開來(lái)。多對(duì)象像素掩碼和邊界框用于每個(gè)對(duì)象實(shí)例、相關(guān)標(biāo)簽及其置信度分?jǐn)?shù)的精確定位。

2 小目標(biāo)檢測(cè)算法

與大中型目標(biāo)相比，小目標(biāo)更難準(zhǔn)確檢測(cè)。這是因?yàn)樾∧繕?biāo)檢測(cè)有4個(gè)困難。（1）小目標(biāo)分辨率低且特征不足；（2）目標(biāo)尺度跨度大，多尺度并存[1]；（3）小目標(biāo)的例子很少；（4）小目標(biāo)的類別是不平衡的。下面基于難點(diǎn)分析小目標(biāo)檢測(cè)技術(shù)并總結(jié)優(yōu)缺點(diǎn)。

解決上述4個(gè)難點(diǎn)的方法總體上如下：具體來(lái)說(shuō)，由于從小目標(biāo)中提取的有效特征非常有限，因此需要捕獲更多的附加上下文信息作為小目標(biāo)的補(bǔ)充。多尺度表示學(xué)習(xí)不僅可以為小目標(biāo)提供更有效的信息，而且在一定程度上緩解了目標(biāo)尺度跨度大的問(wèn)題。此外，訓(xùn)練策略也用于處理對(duì)象尺度問(wèn)題。數(shù)據(jù)增強(qiáng)是另一種有效的策略，它不僅可以緩解小目標(biāo)的樣本不足，還可以改善小目標(biāo)的類別不平衡。此外，損失函數(shù)的使用還有助于平衡小目標(biāo)的類別。

基于以上對(duì)小目標(biāo)檢測(cè)的概述，我們將從6個(gè)方面分析小目標(biāo)檢測(cè)技術(shù)：超分辨率技術(shù)、基于上下文的信息、多尺度表示學(xué)習(xí)、訓(xùn)練策略、數(shù)據(jù)增強(qiáng)和基于損失函數(shù)的方法，然后我們總結(jié)了各個(gè)方法的優(yōu)缺點(diǎn)。

2.1 基于超分辨率技術(shù)

超分辨率技術(shù)旨在從相應(yīng)的低分辨率特征中恢復(fù)高分辨率。高分辨率圖像可以應(yīng)用于小目標(biāo)檢測(cè)，因?yàn)樗峁┝岁P(guān)于原始場(chǎng)景的更精細(xì)的細(xì)節(jié)。

Li等人首次將GAN方法用于小目標(biāo)檢測(cè)任務(wù)[2]。所提出的Perceptual GAN模型通過(guò)生成小對(duì)象的超分辨表示來(lái)縮小小目標(biāo)與大目標(biāo)的表示差異，從而改進(jìn)了小交通標(biāo)志檢測(cè)。

通過(guò)分析小目標(biāo)檢測(cè)所依賴的因素以及性能和效率之間的權(quán)衡，Liu等人[3]提出了一種高分辨率檢測(cè)網(wǎng)絡(luò)（HRDNet）。HRDNet的主要思想是采用淺層骨干處理高分辨率圖像，同時(shí)采用深層骨干處理低分辨率圖像。

這些方法有效地增強(qiáng)了圖像的細(xì)節(jié)信息，在某種程度上，它促進(jìn)了小目標(biāo)檢測(cè)；然而，與一般CNN相比，基于GAN的方法難以訓(xùn)練。

2.2 基于上下文的信息

由于小目標(biāo)本身包含的信息有限，上下文信息在小目標(biāo)檢測(cè)中起著至關(guān)重要的作用。以下描述了一些基于上下文信息的檢測(cè)方法。

Xi等人[4]試圖利用每個(gè)圖像中所有預(yù)測(cè)對(duì)象之間的語(yǔ)義相似性來(lái)推廣當(dāng)前的小人臉檢測(cè)器。為此，他們提出了一個(gè)新的框架，將語(yǔ)義相似性建模為度量學(xué)習(xí)策略中的成對(duì)約束，然后使用圖切割技術(shù)改進(jìn)語(yǔ)義相似性預(yù)測(cè)。

Yan等人[5]提出了一種稱為L(zhǎng)ocalNet的單級(jí)檢測(cè)器，該檢測(cè)器更加關(guān)注詳細(xì)的信息建模。LocalNet的目的是在早期階段保留更詳細(xì)的信息，以增強(qiáng)小目標(biāo)的表示。此外，他們還設(shè)計(jì)了一個(gè)局部細(xì)節(jié)上下文模塊，以提高檢測(cè)層的安全性，該模塊重新引入網(wǎng)絡(luò)中丟失的細(xì)節(jié)，并在有限的接收域范圍內(nèi)利用局部上下文。

這些方法充分利用了圖像中與小目標(biāo)相關(guān)的信息，有效地提高了檢測(cè)小目標(biāo)的性能。然而冗余的上下文信息會(huì)導(dǎo)致信息噪聲，這會(huì)影響小目標(biāo)檢測(cè)的性能。

2.3 基于多尺度表示學(xué)習(xí)

Liu等人[3]分析了小目標(biāo)檢測(cè)所依賴的因素以及效率和性能之間的權(quán)衡，并提出了高分辨率檢測(cè)網(wǎng)絡(luò)（HRDNet）。它包括一個(gè)重要部分，即多深度圖像金字塔網(wǎng)絡(luò)（MDIPN）。MD-IPN利用多深度背部骨骼保持多位置信息，通過(guò)從高分辨率到低分辨率提取各種特征，可以提高小目標(biāo)檢測(cè)性能，同時(shí)主要保持中大目標(biāo)的檢測(cè)性能。為了減少這些特征之間的信息不平衡，還提出了多尺度特征金字塔網(wǎng)絡(luò)來(lái)對(duì)齊和融合MD-IPN產(chǎn)生的多尺度特征組。

基于特征化圖像金字塔的改進(jìn)方法雖然可以平等地變換所有尺度的對(duì)象，但是效率較低。由于特征金字塔產(chǎn)生多級(jí)特征，因此犧牲了不同尺度上的特征一致性，這將導(dǎo)致有效訓(xùn)練數(shù)據(jù)的增加，以及每個(gè)尺度的過(guò)度擬合風(fēng)險(xiǎn)。

2.4 基于訓(xùn)練策略

如今，雖然針對(duì)大目標(biāo)的訓(xùn)練檢測(cè)器正在向前推進(jìn)，但關(guān)鍵的挑戰(zhàn)仍然是針對(duì)小目標(biāo)的訓(xùn)練探測(cè)器。

Zhou等人[6]提出蒙太奇預(yù)訓(xùn)練。蒙太奇預(yù)訓(xùn)練只需要目標(biāo)檢測(cè)數(shù)據(jù)集，而只占用四分之一的計(jì)算資源。他們通過(guò)從原始圖像中仔細(xì)提取有用的樣本、以蒙太奇方式組裝樣本作為輸入以及利用ERF自適應(yīng)密集分類方案進(jìn)行模型預(yù)訓(xùn)練來(lái)減少潛在的冗余。在很大程度上考慮了網(wǎng)絡(luò)利用率，提高了學(xué)習(xí)效率和最終性能。

Kim等人開發(fā)了一種稱為SAN的尺度感知網(wǎng)絡(luò)[7]，并引入了一種新的學(xué)習(xí)方案，該方案只考慮信道之間的關(guān)系，而不考慮空間信息。為了使基于CNN的檢測(cè)器對(duì)尺度變化更具魯棒性，SAN將從不同尺度獲得的卷積特征映射到尺度不變子空間。它首先從尺度歸一化補(bǔ)丁中提取卷積特征，然后通過(guò)使用這些提取的特征同時(shí)訓(xùn)練SAN和檢測(cè)網(wǎng)絡(luò)。

通過(guò)多尺度訓(xùn)練的模型可以匹配多尺度測(cè)試進(jìn)一步提高檢測(cè)性能。此外，蒙太奇預(yù)訓(xùn)練方案和動(dòng)態(tài)尺度訓(xùn)練策略有助于小目標(biāo)檢測(cè)，但是訓(xùn)練過(guò)程會(huì)影響推測(cè)速度。

2.5 基于數(shù)據(jù)增強(qiáng)

數(shù)據(jù)是任何深度學(xué)習(xí)模型的核心。數(shù)據(jù)增強(qiáng)是一種技術(shù)，可用于擴(kuò)展深度學(xué)習(xí)模型所需的數(shù)據(jù)集大小，通過(guò)人工生成數(shù)據(jù)集中現(xiàn)有實(shí)際圖像的變化進(jìn)行訓(xùn)練。

Feng等人[8]開發(fā)了一套策略來(lái)進(jìn)一步提高檢測(cè)器的性能，包括基于SM的數(shù)據(jù)增強(qiáng)，該SM將現(xiàn)有大規(guī)模數(shù)據(jù)集和Tinyperson數(shù)據(jù)集之間的對(duì)象尺寸對(duì)齊，該策略可以獲得良好的小目標(biāo)表示。

Jiang等人[9]全面分析了TinyPerson數(shù)據(jù)集的尺度信息，并提出了一種新的細(xì)化尺寸匹配方案，即SM+。與只考慮整體形象的SM不同，SM+專注于每個(gè)姿態(tài)。該方法有效地提高了預(yù)訓(xùn)練和目標(biāo)數(shù)據(jù)集之間的相似性，大大提高了現(xiàn)有檢測(cè)器的檢測(cè)性能。

為任何領(lǐng)域捕獲大量新圖像是非常麻煩的，從這個(gè)角度來(lái)看，數(shù)據(jù)增強(qiáng)方法節(jié)省了時(shí)間和成本。但是，更改模型架構(gòu)的代價(jià)是增加推理的復(fù)雜性，使得模型速度變慢。

2.6 基于損失函數(shù)

He等人[10]引入了一種新的邊界框回歸損失，用于同時(shí)學(xué)習(xí)邊界框變換和局部化方差，這種損失大大提高了定位精度，幾乎不需要額外計(jì)算。

Yu等人[11]提出了一種用于邊界框預(yù)測(cè)的新的并集損失交集（IoU損失）函數(shù)，該函數(shù)將預(yù)測(cè)框的4個(gè)邊界作為一個(gè)整體單元進(jìn)行回歸。通過(guò)利用IoU損耗和深度全卷積網(wǎng)絡(luò)的優(yōu)點(diǎn)，引入了UnitBox，它可以精確和高效地定位，對(duì)不同形狀和尺寸的目標(biāo)具有魯棒性[12]。

這些基于損失函數(shù)的方法有助于目標(biāo)定位和快速檢測(cè)，在某種程度上，可以提高小目標(biāo)檢測(cè)。雖然這些方法的準(zhǔn)確性在一定程度上得到了提高，但它們的操作步驟變得更加復(fù)雜，如果目標(biāo)框和預(yù)測(cè)框不相交，則損失為零。

3 結(jié)語(yǔ)

本文首先總結(jié)了小目標(biāo)物體研究的難點(diǎn)；其次從超分辨率技術(shù)、基于上下文的信息、多尺度表示學(xué)習(xí)、訓(xùn)練策略、數(shù)據(jù)增強(qiáng)和基于損失函數(shù)等幾個(gè)方面詳細(xì)地總結(jié)了優(yōu)化小目標(biāo)檢測(cè)的方法；最后分析總結(jié)了各個(gè)方法的優(yōu)勢(shì)與局限性。雖然目前小目標(biāo)檢測(cè)在精度上得到了很好地提升，但總的來(lái)說(shuō)仍未達(dá)到理想的效果，希望這篇綜述能夠?yàn)檠芯咳藛T提供一點(diǎn)幫助。

引用

[1]劉曉雪.基于非固定錨框的小目標(biāo)定位及檢測(cè)算法改進(jìn)[D].北京:北京交通大學(xué),2021.

[2]潘富城.基于深度學(xué)習(xí)的小目標(biāo)檢測(cè)方法研究[D].上海:華東師范大學(xué),2021.

[3]LIU Z,GAO G,SUN L,et al.HRDNet:High-resolution Detection Network for Small Objects[C]//IEEE International Conference on Multimedia and Expo,2021.

[4]XI Y,ZHENG J B,HE X J,et al.HeBeyond Context:Exploring Semantic Similarity for Tiny Face Detection[C]//IEEE International Conference on Image Processing,2018:1907-1911.

[5]YAN Z W,ZHENG H C, LI Y,et al.Detection-oriented Backbone Trained from Near Scratch and Local Feature Refinement for Small Object Detection[J].Neural processing letters,2021,53(3):1921-1943.

[6]ZHOU D Z,ZHOU X C,ZHANG H W,et al.Cheaper Pretraining Lunch:An Efficient Paradigm for Object Detection[C]//European Conference on Computer Vision,2020:258-274.

[7]KIM Y H,KANG B N,KIM D.SAN:Learning Relationship Between Convolutional Features for Multi-scale Object Detection[C]//European Conference on Computer Vision,2018:328-343.

[8]FENG Y,WANG X D,XIN Y,et al.Effective Feature Enhancement and Model Ensemble Strategies in Tiny Object Detection[C]//European Conference on Computer Vision,2020:324-330.

[9]JIANG N,YU X H,PENG X K,et al.SM+:Refined Scale Match for Tiny Person Detection[C]//IEEE International Conference on Acoustics,Speech and Signal Processing,2021:1815-1819.

[10]HE Y H,ZHU C C,WANG J R,et al.Bounding Box Regression With Uncertainty for Accurate Object Detection[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).IEEE,2019.

[11]YU J H,JIANG Y N,WANG Z Y,et al.UnitBox:An Advanced Object Detection Network[C]//ACM Conference on Multimedia Conference,2016.

[12]王旭.低分辨率和有遮擋人臉檢測(cè)研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2020.