暢青，馮晶明，洪偉杰，薛凱

（四川大學計算機學院，成都610065）

0 引言

目標的檢測與跟蹤技術(shù)在計算機視覺領(lǐng)域有著廣泛的應(yīng)用，例如在視頻監(jiān)控、無人駕駛、機器人等領(lǐng)域都有著舉足輕重的價值。隨著深度學習算法與技術(shù)的飛速發(fā)展，更是帶動了該技術(shù)在性能、速度等方面取得了質(zhì)的飛躍。然而隨著社會的發(fā)展，需求的不斷提高，我們在研究算法高效性的同時還要考慮算法所訓練出的模型在實際應(yīng)用上的性能與速度。

在深度學習出現(xiàn)之前，目標檢測需要根據(jù)一定的先驗知識，通過建立某種數(shù)學模型來完成目標檢測，應(yīng)用比較廣泛的有：幀差法[1]、Hough 變換[2]、光流法[3]、滑動窗口模型[4]、可變形部件模型[5]等。這些傳統(tǒng)的目標檢測方法通過手工設(shè)計的特征來組合并進行分類。然而由于需要依賴于研究人員的經(jīng)驗，因此，傳統(tǒng)的方法的泛化能力較差，魯棒性較低。

受益于深度學習的發(fā)展，最近幾年，目標檢測作為計算機視覺的基礎(chǔ)性任務(wù)取得了長足的進步。尤其是R-CNN[6]創(chuàng)造性的將檢測任務(wù)劃分為兩個階段：產(chǎn)生候選區(qū)域和目標識別。隨后眾多優(yōu)秀的工作[7-9]，都采用這種兩階段的管道實現(xiàn)了巨大的性能提升。與此同時，眾多單階段檢測算法[10-12]也在不斷刷新著COCO 挑戰(zhàn)賽的記錄。

盡管不斷有新的檢測框架問世，視覺識別任務(wù)仍然容易受到各種圖像退化的影響，包括圖像模糊和圖像低分辨率。COCO 數(shù)據(jù)集上的檢測結(jié)果表明：識別不同尺度的目標依然是檢測任務(wù)一項重大挑戰(zhàn)。進一步提高對小目標和模糊目標的檢測精度和召回率是優(yōu)化目標檢測框架總體性能的核心方式。

小目標本身在圖片中所占區(qū)域較小，所涉及的像素數(shù)量少。模糊目標本身含有大量的噪聲導致像素質(zhì)量過低。本身像素信息的匱乏加上卷積神經(jīng)網(wǎng)絡(luò)池化操作對特征圖的濃縮，導致神經(jīng)網(wǎng)絡(luò)難以對小目標及模糊目標提取出充足的特征。圖像超分辨率可以作為一種輸入數(shù)據(jù)增強消除這些弊病并以此為目標檢測提供積極的影響。

1 算法實現(xiàn)

針對圖像模糊和低分辨率問題以及目標檢測高實時性要求，本文提出了基于圖像超分辨率的多尺度檢測算法。該算法首先依靠一個輕量級的圖像超分辨網(wǎng)絡(luò)對輸入圖片進行重建；然后在重建圖片上搭建目標檢測網(wǎng)絡(luò)對各種類型的目標進行檢測和定位；最終，將超分辨圖像上的檢測結(jié)果映射回原始圖像。

1.1 圖像超分辨重建模塊

超分辨重建模塊是我們算法的核心。它負責豐富圖片中微弱目標的像素信息和局部細節(jié)。對輸入圖片的重建質(zhì)量將直接關(guān)系微弱目標的檢測。為了和之后的檢測任務(wù)相兼容，我們采用深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計該模塊，而不是采用傳統(tǒng)的超分辨算法。其詳細的結(jié)構(gòu)圖1 所示。

圖像超分辨重建模塊可以很清晰的被拆解為3 個階段:特征提取，非線性映射和反卷積重建。前兩個階段主要是對輸入圖片進行特征提取和處理，最后一個階段根據(jù)所提取的特征進行圖片的恢復和重建。我們使用Conv（ci，wi，hi，fi）代表一個卷積層，并且定義反卷積層為DeConv（ci，wi，hi，fi）。其中，c 是指卷積核的通道數(shù)；w、h 代表卷積核的寬和高；而f 指示卷積核的個數(shù)。

圖1 超分辨重建網(wǎng)絡(luò)示意圖

特征提?。撼直婺K并不直接對RGB 圖像進行處理。該模塊對于輸入的RGB 格式的3 通道圖片，首先轉(zhuǎn)化為YCrCb 模式，并且只將Y 通道通過CNN 網(wǎng)絡(luò)；然后將輸出的結(jié)果再和另外兩個合成生成新的YCbCr 模式圖片，最后再轉(zhuǎn)回BGR 模式。在特征提取這個階段，我們使用3 次3×3 的卷積層來提取特征，目的是為了加深重建網(wǎng)絡(luò)的深度，從而提升圖片的重建性能。

非線性映射：非線性映射是影響圖片重建性能的最重要的階段。同樣是最有可能節(jié)約計算成本的階段。直接由高維低分辨的特征映射到高分辨特征空間SRCNN[13]，會帶來巨大計算量?；谶@樣的考慮，我們參照FSRCNN[14]的網(wǎng)絡(luò)設(shè)計。首先，使用16 個3×3 的卷積核對高維的特征進行壓縮，這個策略可以極大的降低參數(shù)的數(shù)量；然后，為了加深網(wǎng)絡(luò)的深度，我們使用3 個3×3 卷積層在低緯度的特征空間完成特征映射。最后，為了確保重建圖像的修復質(zhì)量，我們使用64個卷積核去擴充高分辨率特征的維度。

反卷積重建：超分辨重建模塊的最后一個階段是使用一系列反卷積核上采樣和聚合高分辨率特征，產(chǎn)生高分辨率的重建圖像。反卷積本質(zhì)是卷積的逆過程，所以本算法設(shè)定反卷積步長s=2。這決定了圖像的上放大倍數(shù)為2。

圖2 目標檢測模塊示意圖

1.2 目標檢測模塊

骨架網(wǎng)絡(luò)結(jié)構(gòu)：如圖2 所示，目標檢測模塊的輸入是一張經(jīng)超分辨重建網(wǎng)絡(luò)重建過后的600×600×3 的圖像，其中3 代表圖像的R、G、B 這三個通道。我們首先使用64 個7×7 的卷積核以步長為2 對輸入圖片進行卷積運算。三后經(jīng)過64 個3×3 的卷積和以及max pooling 之后形成特征圖B0。然后我們使用128 個3×3的卷積核對B0 進行卷積并池化，以進一步進行特征提取產(chǎn)生特征圖b1；之后的特征圖B2、B3、B4 均是在前一層特征圖的基礎(chǔ)上使用殘差網(wǎng)絡(luò)中的“瓶頸結(jié)構(gòu)”獲得?！捌款i結(jié)構(gòu)”包括數(shù)次卷積運算（2 次3×3 卷積和1次1×1 卷積）和一次特征圖元素級相加。這些大小不同的特征圖（feature map）大小不同，感受野不同，對應(yīng)的默認框（default box）也不同。

預(yù)測子模塊：本文算法在多個尺度的特征圖上進行目標分類和標定框位置回歸。預(yù)測子模塊負責在每一個特征層級上檢測不同尺度的物體。它本質(zhì)上是兩個任務(wù)明確的子網(wǎng)，第一個子網(wǎng)對各個尺度的特征圖進行卷積對象分類。第二個子網(wǎng)對各個尺度的特征圖進行卷積標定框回歸。

目標分類子網(wǎng)預(yù)測每一個默認框關(guān)于C 個目標類別的概率。我們采用全卷積結(jié)構(gòu)而非全連接層去設(shè)計該模塊。對于256 通道的特征圖，我們首先使用兩次3×3 的卷積層進一步進行特征提取與整合，然后使用ReLU 函數(shù)進行激活；最后，使用一個3×3 的卷積層來進行得分預(yù)測，而最終的概率值將會通過sigmoid 激活函數(shù)得到。

平行于目標分類子模塊，我們將另一個小的全網(wǎng)絡(luò)同樣附加到每個特征圖之后，以便將每個默認框的偏移量回歸到附近的ground-truth Box?；貧w子網(wǎng)同樣2 次3×3 的卷積結(jié)構(gòu)進行特征整合，并最終使用4A 個3×3 的卷積核獲得每個空間位置上的回歸預(yù)測值，其中A 是每個空間位置上設(shè)定的默認框的數(shù)量。盡管分類子模塊與回歸子模塊結(jié)構(gòu)十分相似，但必須注意的是，分類子網(wǎng)與回歸子網(wǎng)并不共享參數(shù)。

1.3 網(wǎng)絡(luò)訓練

超分辨網(wǎng)絡(luò)采用均方誤差作為損失函數(shù)：

目標檢測模塊訓練的代價函數(shù)是focal 損失[12]和標準smooth L1 損失的加權(quán)和：

其中，N 是正樣本的數(shù)量and 權(quán)重因子α 經(jīng)交叉驗證后設(shè)置為0.5。pr 和gr 分別是預(yù)測的偏移量和ground truth 偏移量。

2 實驗結(jié)果分析

本文實驗在Win10 操作系統(tǒng)下進行程序編寫、調(diào)試以及效果展示。算法所依賴的硬件配置為：四核CPU、8G 運行內(nèi)存、GTX1080Ti 顯卡。實驗所利用的數(shù)據(jù)集為MS COCO 數(shù)據(jù)集。超分辨網(wǎng)絡(luò)的重建效果圖如圖3 所示，在MS COCO 數(shù)據(jù)集上的目標檢測評估效果如表1 所示。

通過實驗表明，本算法可以有效地對低分辨圖像進行重建，其效果要好于雙三次差值的結(jié)果。對于目標檢測任務(wù)而言，本算法可以有效地提升目標檢測的性能，尤其是對小目標的檢測有著巨大的促進作用。此外，我們設(shè)置重構(gòu)圖片為輸入圖片的兩倍，是一個性能與精確度的較好折中。整體算法相當?shù)母咝В⑶覞M足魯棒性的要求。但本文算法也存在一定的不足，對于輸入圖像過大的圖像，本文算法會帶來巨大的內(nèi)存消耗而不能取得很好的效果。

圖3 超分辨效果圖，圖片數(shù)據(jù)來源于為MS COCO標準數(shù)據(jù)集

表1 MS COCO 數(shù)據(jù)集上的檢測結(jié)果

3 結(jié)語

本文使用超分辨重構(gòu)網(wǎng)絡(luò)對輸入圖片進行重建之后，應(yīng)用目標檢測網(wǎng)絡(luò)對目標進行檢測。該方法使用超分辨網(wǎng)絡(luò)，有效地豐富了圖片中目標的像素信息以及局部細節(jié)；同時采用深度卷積特征，有效地解決了傳統(tǒng)的檢測模型對手工特征的依賴問題；另外，通過使用focal 損失，類別不平衡的問題也得到了緩解。試驗結(jié)果表明，該模型對于低分辨率的圖像能夠?qū)崿F(xiàn)很好的檢測效果。但對于較大的圖片，該方法會造成不小的內(nèi)存消耗，而且檢測的精確度仍然有待提高，性能仍然需要改善，這將是后期需要研究和改進的地方。