閔 鋒，毛一新，侯澤銘，楊朝源，王名茂

武漢工程大學(xué) 智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，武漢 430205

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)重要研究方向，作為圖像理解和計(jì)算機(jī)視覺(jué)的基石，目標(biāo)檢測(cè)是解決分割、場(chǎng)景理解、目標(biāo)跟蹤、圖像描述和事件檢測(cè)等更高層次視覺(jué)任務(wù)的基礎(chǔ)。近年來(lái)，隨著計(jì)算機(jī)硬件資源和深度卷積算法在圖像分類任務(wù)中取得的突破性進(jìn)展，基于深度卷積的目標(biāo)檢測(cè)算法也逐漸替代了傳統(tǒng)的目標(biāo)檢測(cè)算法，在精度和性能方面取得了顯著成果。根據(jù)目前各算法在目標(biāo)檢測(cè)公共數(shù)據(jù)集MSCOCO[1]上表現(xiàn)，目標(biāo)檢測(cè)在性能上仍然存在較大提升空間。

目前被廣泛使用的兩個(gè)檢測(cè)算法是以R-CNN[2]（region-based CNN）系列為代表的基于候選框的兩階段深度學(xué)習(xí)算法和以YOLO（you only look once）系列為代表的基于回歸的單階段深度學(xué)習(xí)目標(biāo)檢測(cè)算法。但R-CNN的檢測(cè)速度與YOLO系列算法和單點(diǎn)多盒檢測(cè)器（single shot multibox detector，SSD）等典型的單階段目標(biāo)檢測(cè)算法具有較大差距。文獻(xiàn)[3]提出了第一個(gè)單階段目標(biāo)檢測(cè)算法YOLO，采用全連接層提取檢測(cè)結(jié)果。文獻(xiàn)[4-5]在YOLOv1的基礎(chǔ)上繼續(xù)改進(jìn)，又提出了YOLOv2和YOLOv3檢測(cè)算法，其中YOLOv2進(jìn)行了多種嘗試，使用了批標(biāo)準(zhǔn)化（batch normalization，BN）技術(shù)，引入了錨框機(jī)制；YOLOv3采用darknet-53作為骨干網(wǎng)絡(luò)，并且使用了3 種不同大小的錨框，在邏輯分類器中使用sigmoid 函數(shù)把輸出約束在0～1 之間，使得YOLOv3 擁有更快的推理速度。文獻(xiàn)[6]在傳統(tǒng)的YOLO基礎(chǔ)上，加入了一些實(shí)用的技巧，提出了YOLOv4算法，YOLOv4是一個(gè)高性能、通用的目標(biāo)檢測(cè)模型，能一次性完成目標(biāo)定位與目標(biāo)分類兩個(gè)任務(wù)，因此選擇YOLOv4 作為目標(biāo)檢測(cè)的基本框架是可行的。但目前YOLOv4-CSPdarknet53 算法對(duì)一些場(chǎng)景下目標(biāo)的獨(dú)特性檢測(cè)在檢測(cè)速度和檢測(cè)精度上仍然存在不足，就需要對(duì)YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行相應(yīng)的調(diào)整和改進(jìn)。

目標(biāo)檢測(cè)中的經(jīng)典網(wǎng)絡(luò)如Fast R-CNN[7]、SPPNet[8]和Faster R-CNN[9]等大多只是利用了深度神經(jīng)網(wǎng)絡(luò)的末層來(lái)進(jìn)行預(yù)測(cè)。然而由于特征提取過(guò)程中的空間和細(xì)節(jié)特征信息的丟失，難以在深層特征圖中檢測(cè)小目標(biāo)。在深度神經(jīng)網(wǎng)絡(luò)中，淺層的感受野更小，語(yǔ)義信息弱，上下文信息缺乏，但是可以獲得更多空間和細(xì)節(jié)特征信息，在提取深度語(yǔ)義信息的過(guò)程中，損失了較多的空間位置信息表征，致使在部分目標(biāo)的效果并不好。從這一思路出發(fā)，Liu 等[10]提出一種多尺度目標(biāo)檢測(cè)算法SSD（single shot multibox detector），利用較淺層的特征圖來(lái)檢測(cè)較小的目標(biāo)，利用較深層的特征圖來(lái)檢測(cè)較大的目標(biāo)，如圖1（a）所示。李成豪等[11]提出一種基于多尺度感受野融合的算法，有效提升了小目標(biāo)的特征提取能力。劉建政等[12]通過(guò)淺層的特征映射信息進(jìn)行融合的思想來(lái)提高對(duì)算法小目標(biāo)的檢測(cè)性能，提高了網(wǎng)絡(luò)的目標(biāo)檢測(cè)精度。Kong等[13]提出了一種有效的多尺度融合網(wǎng)絡(luò)，即HyperNet，通過(guò)綜合淺層的高分辨率特征和深層的語(yǔ)義特征以及中間層特征的信息顯著提高了召回率，進(jìn)而提高了目標(biāo)檢測(cè)的性能（見(jiàn)圖1（b））。這些方法能有效利用不同尺度的信息，是提升目標(biāo)特征表達(dá)的一種有效手段。但是，不同尺度之間存在大量重復(fù)計(jì)算，對(duì)于內(nèi)存和計(jì)算成本的開(kāi)銷較大。為節(jié)省計(jì)算資源并獲得更好的特征融合效果，文獻(xiàn)[14]結(jié)合單一特征映射、金字塔特征層次和綜合特征的優(yōu)點(diǎn)，提出了特征金字塔FPN（feature pyramid network）。FPN 是目前最流行的多尺度網(wǎng)絡(luò)，它引入了一種自底向上、自頂向下的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)將相鄰層的特征融合以達(dá)到特征增強(qiáng)的目的（見(jiàn)圖1（c））。向華橋等[15]設(shè)計(jì)了扁平的Flat-FPN特征提取網(wǎng)絡(luò)來(lái)提高強(qiáng)化底層特征，有效提高目標(biāo)檢測(cè)精度，Li 等[16]通過(guò)引入多支路空洞卷積，減少下采樣過(guò)程中的特征丟失并通過(guò)感興趣區(qū)域的尺度融合來(lái)增強(qiáng)目標(biāo)特征表達(dá)。趙鵬飛等[17]考慮到淺層卷積層缺乏語(yǔ)義信息等往往導(dǎo)致了對(duì)于目標(biāo)檢測(cè)的效果不佳，為提高小目標(biāo)檢測(cè)的精確性與魯棒性，提出了分組殘差結(jié)構(gòu)用于改善淺層語(yǔ)義特征信息不足的問(wèn)題。

圖1 三種多尺度學(xué)習(xí)方式Fig.1 Three ways of multi-scale learning

竇允沖等[18]通過(guò)增加特征金字塔到主干網(wǎng)絡(luò)的反饋機(jī)制，提高了網(wǎng)絡(luò)分類和定位的有效性?？傮w來(lái)說(shuō)，上述方法在強(qiáng)化語(yǔ)義特征提取都有較好的表現(xiàn)，但傳統(tǒng)目標(biāo)檢測(cè)網(wǎng)絡(luò)在提取深度語(yǔ)義信息下采樣至低分辨率過(guò)程中，已經(jīng)造成了大量目標(biāo)的空間位置信息缺失，即使在從低分辨率流重新恢復(fù)至高分辨流，該過(guò)程仍為不可逆過(guò)程。這使得輸入特征圖即使經(jīng)過(guò)一系列特征增強(qiáng)的方案，仍會(huì)出現(xiàn)較小目標(biāo)的檢測(cè)效果差的問(wèn)題。

與傳統(tǒng)的目標(biāo)檢測(cè)算法從由高到低分辨率網(wǎng)絡(luò)產(chǎn)生的低分辨率表示恢復(fù)高分辨率的過(guò)程不同，Sun 等[19]考慮到空間位置表征丟失對(duì)人體姿態(tài)檢測(cè)的影響，提出了人體姿態(tài)估計(jì)的高分辨率表示學(xué)習(xí)網(wǎng)絡(luò)HRnet，并刷新了MSCOCO的關(guān)鍵點(diǎn)檢測(cè)、姿態(tài)估計(jì)、多人姿態(tài)估計(jì)這三項(xiàng)任務(wù)的記錄。受HRnet啟發(fā)，本文認(rèn)為高分辨率空間位置表征保持對(duì)于較小目標(biāo)檢測(cè)同樣具有重要意義，并對(duì)其進(jìn)行了深度改進(jìn)，本文使用CrModule模塊替代了原HRnet中用于同分辨率交互的卷積核大小為3×3的2D卷積，降低深層網(wǎng)絡(luò)的特征冗余性，減少網(wǎng)絡(luò)計(jì)算量；提出了基于稀疏表達(dá)的特征超分重構(gòu)與高分辨率表示相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)較小目標(biāo)判別性特征，降低較小目標(biāo)的特征學(xué)習(xí)難度，提升網(wǎng)絡(luò)目標(biāo)檢測(cè)性能；并將多尺度融合后的有效特征層使用深度可分離卷積下采樣得到的多分辨率的三個(gè)有效特征層取代HRnet 的單個(gè)特征層輸出，加強(qiáng)語(yǔ)義表征提取。

在上述設(shè)想下，本文提出了高分辨率保持與特征超分重構(gòu)網(wǎng)絡(luò)CrHRnet。

1 CrHRnet-YOLOv4網(wǎng)絡(luò)

CrHRnet-YOLOv4 結(jié)構(gòu)框架如圖2 所示，該網(wǎng)絡(luò)架構(gòu)中CrHRnet主干網(wǎng)可提取4個(gè)具有強(qiáng)語(yǔ)義信息不同分辨率流并對(duì)其進(jìn)行多尺度特征融合，輸出高分辨率特征層，并通過(guò)深度可分離卷積提取3個(gè)具有強(qiáng)語(yǔ)義信息和空間位置表征的特征層，接著輸入到PANet和SPP結(jié)構(gòu)中進(jìn)行有效特征增強(qiáng)，其中SPP結(jié)構(gòu)是用以提高圖像的尺度不變性并減少過(guò)擬合，PANet使用自適應(yīng)特征池化和全連接融合2 個(gè)模塊，保證特征的完整性和多樣性，并通過(guò)全連接融合得到更加準(zhǔn)確的預(yù)測(cè)，最終目標(biāo)檢測(cè)結(jié)果用YOLO Head輸出。

圖2 CrHRnet-YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic diagram of CrHRnet-YOLOv4 network structure

1.1 CrHRnet主干特征提取網(wǎng)絡(luò)

CrHRnet 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。以輸入圖片大小416×416×3為例，在進(jìn)入特征提取主干網(wǎng)絡(luò)之前會(huì)有一個(gè)通道數(shù)匹配的階段（Stem），將圖像輸入到Stem 中，Stem由兩個(gè)步長(zhǎng)為3×3的卷積組成，步長(zhǎng)為2，在完成通道數(shù)匹配后輸入到Backbone中成為網(wǎng)絡(luò)首個(gè)階段，圖3中每一種尺度的特征流稱之為一個(gè)Stage，每個(gè)特征流中只含同分辨率交互的部分稱之為一個(gè)Block（僅Stage1 中的每個(gè)Block 含一個(gè)NLSA 模塊）。Backbone主要由幾個(gè)部分組成：（1）基于稀疏表達(dá)的非局部特征超分重構(gòu)；（2）并行多分辨率Block特征提?。唬?）重復(fù)多分辨率融合。

圖3 CrHRnet特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 CrHRnet feature extraction network structure

CrHRnet與ResNet[20]、VGGNet[21]等傳統(tǒng)網(wǎng)絡(luò)模型將輸入圖像編碼由低分辨率表示恢復(fù)高分辨率表示不同，在整個(gè)過(guò)程中保持高分辨率表示。該網(wǎng)絡(luò)具有三個(gè)關(guān)鍵特征：（1）并行連接高分辨率到低分辨率的卷積數(shù)據(jù)流，CrModule 和殘差模塊（Residual-Block）處理同分辨率模塊的特征提??；（2）使用NLSA[22]非局部稀疏注意對(duì)特征圖中較小目標(biāo)實(shí)現(xiàn)特征超分辨率重構(gòu)，提高小目標(biāo)特征可學(xué)習(xí)性，在不同分辨率之間重復(fù)交換信息，加強(qiáng)網(wǎng)絡(luò)特征提取能力，使所產(chǎn)生的特征表示在語(yǔ)義上更豐富，空間位置信息表征更準(zhǔn)確；（3）重復(fù)多分辨率融合，多層有效特征層輸出。

1.2 基于稀疏表達(dá)的非局部特征超分重構(gòu)

目標(biāo)檢測(cè)領(lǐng)域中，公開(kāi)數(shù)據(jù)集中較小目標(biāo)由本身定義導(dǎo)致的RGB信息過(guò)少，因而包含的判別性特征不足，造成目標(biāo)檢測(cè)算法檢測(cè)精度難以提升，且傳統(tǒng)網(wǎng)絡(luò)中高分辨率特征層在下采樣至低分辨率的語(yǔ)義表征學(xué)習(xí)過(guò)程中，損失了大量的空間位置信息，即使將圖像編碼由低分辨率表示恢復(fù)至高分辨率，這種位置信息丟失過(guò)程仍為不可逆的，同樣也會(huì)造成較小目標(biāo)檢測(cè)精度下降。為降低小目標(biāo)檢測(cè)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)檢測(cè)精度的影響，提出了NLSA與高分辨率表示相結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)CrHRnet。

NLSA 算法同時(shí)兼顧了稀疏表達(dá)和非局部操作的優(yōu)點(diǎn)，該算法特征重構(gòu)過(guò)程具有良好的健壯性、高效性和抗噪性，在Urban100等數(shù)據(jù)集上的PSNR（peak signalto-noise ratio）等指標(biāo)達(dá)到了目前最先進(jìn)水平。NLSA在CrHRnet 算法中主要是對(duì)高分辨率特征圖中的特征塊進(jìn)行超分重建，提高較小物體的特征表示，使之與大物體特征類似，提高網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)性能。NLSA能在全局范圍內(nèi)確定特征關(guān)聯(lián)最大的位置，而不關(guān)注不相關(guān)的區(qū)域，從而實(shí)現(xiàn)了強(qiáng)大而高效的全局建模操作。

特征層的非局部注意（non-local attention，NLA）的深層網(wǎng)絡(luò)感受野是全局的，NLA 通常是匯總所有位置的信息來(lái)增強(qiáng)輸入特征圖，其原理表示如式（1）所示：

其中，xi、xj、xj^分別表示特征層X(jué)的第i、j、j^ 個(gè)像素級(jí)特征，f( )·,· 是高斯投影核函數(shù)，用于度量?jī)蓚€(gè)像素特征的相關(guān)性，g()· 是一個(gè)特征變換函數(shù)，利用得到的權(quán)重對(duì)原始圖進(jìn)行映射，yi為目標(biāo)函數(shù)需求結(jié)果。

若需式（2）中λi中的元素應(yīng)保持稀疏，且應(yīng)納入全局中最相關(guān)元素，NLSA 采用球形局部敏感哈希（Spherical-LSH）算法來(lái)實(shí)現(xiàn)了上述目標(biāo)。LSH 函數(shù)是一類特殊的哈希函數(shù)，可有效保留原始數(shù)據(jù)之間的距離屬性；即假設(shè)現(xiàn)有a1、a2、a3三點(diǎn)，其中a1、a2相鄰，a1、a3相隔較遠(yuǎn)，若Hash(a1)和Hash(a2)碰撞概率要比Hash(a1) 和Hash(a3) 大得多，則此Hash() 屬于LSH 函數(shù)。本文采用的Spherical-LSH算法思想是利用LSH函數(shù)將張量投影到超球體中，如圖4 所示，球體中多面體每個(gè)頂點(diǎn)可以視為一個(gè)哈希桶，通過(guò)數(shù)量積運(yùn)算選擇最近頂點(diǎn)作為其Hash code，假設(shè)圖4中x1與x2具有強(qiáng)相關(guān)性，與x3不具備相關(guān)性，由于LSH算法可有效保留原始特征的空間距離屬性，則x1與x2會(huì)被分配在同一個(gè)哈希桶中，而與x3分配在不同的哈希桶中。

圖4 Spherical-LSH算法思想示意圖Fig.4 Schematic diagram of Spherical-LSH algorithm

對(duì)特征向量實(shí)現(xiàn)哈希桶分配，其實(shí)際應(yīng)用操作原理如式（3）所示：

1.3 并行的多分辨率處理

CrHRnet 從Stem 的高分辨率輸入流開(kāi)始，作為Stage1，逐步將高分辨率與低分辨率的流相加，形成新的級(jí)，并將多分辨率流并行連接。考慮到特征層學(xué)習(xí)過(guò)程本質(zhì)是卷積和多尺度殘差與融合過(guò)程，本文提出級(jí)聯(lián)殘差結(jié)構(gòu)（cascaded residual module）替代普通卷積提取深度語(yǔ)義信息。較原HRnet 網(wǎng)絡(luò)，CrHRnet 采用CrModule結(jié)構(gòu)取代原HRnet卷積核大小為3×3的2D卷積用于同分辨率的語(yǔ)義信息提??；降低網(wǎng)絡(luò)特征提取的冗余性，減少模型的計(jì)算量。

以輸入和輸出的特征圖尺寸均為104×104×128(H×W×C)為例，單層3×3普通2D卷積合計(jì)乘法運(yùn)算次數(shù)為15.9×108次，單層CrModule合計(jì)乘法運(yùn)算次數(shù)為0.66×108次，僅為普通卷積運(yùn)算量的4.1%。大幅降低了高分辨率特征圖的卷積運(yùn)算量，實(shí)驗(yàn)結(jié)果表明，CrModule模塊也具有良好的特征提取能力。CrModule（圖5）共分為3個(gè)部分。

圖5 CrModule結(jié)構(gòu)示意圖Fig.5 Structural diagram of CrModule

首先將Input 的特征圖進(jìn)行一個(gè)普通的1×1 卷積，這是一個(gè)少量卷積，例如正常使用m通道的卷積，這里就會(huì)得到m/4 通道數(shù)的輸出層，這個(gè)1×1卷積的作用類似于特征整合，生成輸入特征層的特征濃縮，接著再進(jìn)行深度可分離卷積，這個(gè)深度可分離卷積是逐層卷積（如圖5中ηi），最后將通道數(shù)拼接生成通道數(shù)為m/2 的單級(jí)特征層（如圖5中的Part A部分），因此較普通卷積它的計(jì)算量更低。接著對(duì)Part A獲取的特征層進(jìn)行3×3普通2D卷積，生成通道數(shù)為m/4 的輸出，并繼續(xù)對(duì)其進(jìn)行逐層卷積，形成新的級(jí)（如圖5 中Part B 部分），將各級(jí)特征層拼接構(gòu)建出具有豐富語(yǔ)義特征的殘差塊，最后將級(jí)聯(lián)殘差結(jié)構(gòu)獲得的特征濃縮與輸入特征圖殘差連接生成新的同分辨率特征圖（Part C）。實(shí)驗(yàn)表明，CrModule較普通卷積結(jié)構(gòu)而言，計(jì)算量大幅減少，提高了算法的檢測(cè)性能。

1.4 多尺度特征融合

對(duì)于不同分辨率大小的特征層融合方式如圖6 所示，高分辨率特征層使用深度可分離卷積進(jìn)行通道數(shù)匹配，同時(shí)低分辨率特征層通過(guò)上采樣及特征融合形成新的高分辨率表征。

圖6 多尺度特征融合原理圖Fig.6 Multi-scale feature fusion schematic

融合模塊的目標(biāo)是通過(guò)多分辨率表示交換信息。它們之間的語(yǔ)義表征會(huì)進(jìn)行多次交互，特征層在經(jīng)過(guò)網(wǎng)絡(luò)的每個(gè)Block模塊后會(huì)進(jìn)行多分辨率特征融合?？蓪⒃摼W(wǎng)絡(luò)分為四個(gè)階段，用Layer(s,f)來(lái)表示。用s作為不同階段索引，f表示對(duì)應(yīng)階段的對(duì)應(yīng)子流索引，其中其邏輯上結(jié)構(gòu)如圖7所示。

圖7 CrHRnet邏輯結(jié)構(gòu)圖Fig.7 Logical structure diagram of CrHRnet

令首個(gè)階段的s=1,f=1，則第s個(gè)階段Layer(s,f)的通道數(shù)Channels(s,f) 、特征層輸入分辨率大小InputSize(s,f)如公式（4）、公式（5）所示：

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集

本文使用的實(shí)驗(yàn)數(shù)據(jù)集為PASCAL VOC[23]。VOC數(shù)據(jù)集是目標(biāo)檢測(cè)和分割常用數(shù)據(jù)集，其中包含4大類和20 個(gè)小類。很多優(yōu)秀的計(jì)算機(jī)視覺(jué)模型比如分類、定位、檢測(cè)、分割，動(dòng)作識(shí)別等模型都是基于PASCAL VOC 挑戰(zhàn)賽及其數(shù)據(jù)集上推出的。CrHRnet 性能測(cè)試選用VOC2007+VOC2012 的train+val 部分進(jìn)行訓(xùn)練，使用VOC2007的test測(cè)試的評(píng)估方式。VOC2007 數(shù)據(jù)集的train+val 部分由5 011 張訓(xùn)練樣本12 608 個(gè)目標(biāo)數(shù)目組成，VOC2012的train+val中共有11 540張訓(xùn)練樣本以及27 450 個(gè)目標(biāo)數(shù)目，VOC2007-test 測(cè)試集中由4 952 張測(cè)試樣本以及12 032 個(gè)待檢測(cè)目標(biāo)數(shù)目組成。訓(xùn)練集樣本數(shù)量合計(jì)16 551張訓(xùn)練樣本，共40 558個(gè)目標(biāo)物體。

2.2 實(shí)驗(yàn)條件和評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)使用的操作系統(tǒng)為L(zhǎng)inux，處理器型號(hào)為Intel Core i5-10400F，顯卡型號(hào)為NVIDIA GeForceRTX3060，采用NVIDIA CUDA 加速工具箱，優(yōu)化器選擇隨機(jī)梯度下降（stochastic gradient descent，SGD）。實(shí)驗(yàn)參數(shù)設(shè)置最高學(xué)習(xí)率為0.01，最低學(xué)習(xí)率為0.000 1，訓(xùn)練Epoch 為1 000 次。為了評(píng)價(jià)網(wǎng)絡(luò)的性能和證明目標(biāo)檢測(cè)網(wǎng)絡(luò)的有效性，選取下列指標(biāo)進(jìn)行評(píng)價(jià)。

（1）查準(zhǔn)率（Precision，P）和召回率（Recall，R）。查準(zhǔn)率是指網(wǎng)絡(luò)檢測(cè)到的正樣本數(shù)量占檢測(cè)到的所有樣本數(shù)量的比率；召回率指網(wǎng)絡(luò)檢測(cè)到的正樣本數(shù)量占標(biāo)記真實(shí)樣本數(shù)量的比率。查準(zhǔn)率和召回率的計(jì)算公式如式（6）所示：

其中，真樣本（true positive，TP）表示檢測(cè)到的目標(biāo)類別與真實(shí)目標(biāo)類別一致的樣本；假樣本（false positive，F(xiàn)P）為檢測(cè)到的目標(biāo)類別與真實(shí)目標(biāo)類別不一致的樣本；假負(fù)樣本（false negative，F(xiàn)N）為真實(shí)目標(biāo)存在但未被網(wǎng)絡(luò)檢測(cè)出來(lái)的樣本。

（2）平均準(zhǔn)確率（average precision，AP）和平均準(zhǔn)確率均值（mean average precision，mAP）。一個(gè)理想的目標(biāo)檢測(cè)網(wǎng)絡(luò)應(yīng)該在召回率增長(zhǎng)的同時(shí)，查準(zhǔn)率在很高的水平，但現(xiàn)實(shí)情況是召回率的提高往往需要損失查準(zhǔn)率的值，因此通常情況下采用查準(zhǔn)率-召回率（precision recall，P-R）曲線來(lái)顯示目標(biāo)檢測(cè)器在準(zhǔn)確率和召回率之間的平衡。對(duì)每一個(gè)物體類別，該類別的平均準(zhǔn)確率定義為P-R曲線下方的面積；平均準(zhǔn)確率均值是所有類別的平均準(zhǔn)確率的均值。AP 和mAP 的計(jì)算公式如式（7）所示：

其中，N表示所有類別的數(shù)量。

（3）幀率（frames per second，F(xiàn)PS）。幀率指目標(biāo)檢測(cè)網(wǎng)絡(luò)每秒中能夠檢測(cè)的圖片數(shù)量，用該指標(biāo)評(píng)價(jià)目標(biāo)檢測(cè)網(wǎng)絡(luò)的檢測(cè)速度。

2.3 實(shí)驗(yàn)結(jié)果和分析

為驗(yàn)證CrHRnet 網(wǎng)絡(luò)改進(jìn)的有效性，本文根據(jù)2.2節(jié)的實(shí)驗(yàn)參數(shù)設(shè)置對(duì)2.1 節(jié)中介紹的數(shù)據(jù)集進(jìn)行訓(xùn)練。訓(xùn)練集均使用VOC07+12，在測(cè)試集使用VOC-Test07的條件下對(duì)CrHRnet 以及HRnet 作為YOLOv4 主干特征提取網(wǎng)絡(luò)測(cè)試其網(wǎng)絡(luò)性能，共進(jìn)行了7 組消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示，表中“√”表示使用了對(duì)應(yīng)方法，“×”表示不使用該方法；N 為HRnet 算法中的Normal-Block（2D卷積，卷積核大小為3）、R表示Residual-Block，是將N 模塊輸出的特征層與原始輸入特征層殘差相加的結(jié)構(gòu)；C表示CrModule模塊，表中Block1-N表示上述網(wǎng)絡(luò)結(jié)構(gòu)的同分辨率提取Block1 塊使用的方法為Normal-Block，其他選項(xiàng)同理，實(shí)驗(yàn)的FPS測(cè)試均在GTX1650設(shè)備上進(jìn)行。

表1 基于YOLOv4架構(gòu)下的消融實(shí)驗(yàn)Table 1 Ablation experiment based on YOLOv4 framework

通過(guò)對(duì)比表1中1、2組，3、4組以及6、7組的實(shí)驗(yàn)結(jié)果，添加NLSA 模塊在相同網(wǎng)絡(luò)結(jié)構(gòu)下測(cè)試mAP 分別提升了1.26、1.62、1.28 個(gè)百分點(diǎn)，NLSA 模塊有效提升了算法目標(biāo)檢測(cè)精度，實(shí)驗(yàn)結(jié)果分析證實(shí)了NLSA算法的有效性，基于稀疏表達(dá)的特征超分重構(gòu)方法有利于提升目標(biāo)判別性特征的可學(xué)習(xí)性，可有效提高算法檢測(cè)精度。將1、3 組，2、4 組以及4、7 組的實(shí)驗(yàn)所測(cè)得的mAP以及FPS結(jié)果進(jìn)行對(duì)比易知，CrModule模塊有利于提升網(wǎng)絡(luò)的檢測(cè)速度，且通過(guò)與淺層殘差結(jié)構(gòu)線性組合，在處理深層次的語(yǔ)義信息過(guò)程中，能夠減少特征提取的冗余性，提升網(wǎng)絡(luò)的泛化性能和目標(biāo)檢測(cè)精度。CrHRnet將稀疏表達(dá)的非局部注意特征超分重構(gòu)算法與殘差級(jí)聯(lián)網(wǎng)絡(luò)融合，有效提升了網(wǎng)絡(luò)的檢測(cè)速度和檢測(cè)精度，網(wǎng)絡(luò)測(cè)試mAP達(dá)到了90.82%，優(yōu)于HRnet的檢測(cè)精度。

為更加有效評(píng)估CrHRnet-YOLOv4 算法的檢測(cè)效果，本文通過(guò)實(shí)驗(yàn)對(duì)YOLOv4架構(gòu)下不同主干特征提取網(wǎng)絡(luò)模型進(jìn)行了評(píng)估（mobilenet_v1[24]、mobilenet_v2[25]、mobilenet_v3[26]、VGGNet等），在訓(xùn)練集均使用VOC07+12 訓(xùn)練的條件下，使用VOC-Test07 的測(cè)試性能對(duì)比實(shí)驗(yàn)結(jié)果如表2所示。表2的實(shí)驗(yàn)結(jié)果分析可得，CrHRnet在VOC-Test07 上的測(cè)試mAP 高于YOLOv4 其他不同Backbone下的目標(biāo)檢測(cè)算法多個(gè)百分點(diǎn)不等。此外，還使用上述不同算法進(jìn)行了單張圖片的FPS 測(cè)試。測(cè)試結(jié)果顯示，CrHRnet在具有良好的檢測(cè)精度的同時(shí)也具有較好的檢測(cè)速率，相較于原YOLOv4-CSPdarknet53提升了30%，實(shí)驗(yàn)表明，CrHRnet 在檢測(cè)速度和檢測(cè)精度有了較好的提升。

表2 YOLOv4架構(gòu)下不同特征提取網(wǎng)絡(luò)性能比較Table 2 Performance comparison of different feature extraction networks under YOLOv4 architecture

圖8 為CrHRnet-YOLOv4 在VOC-Test07 實(shí)驗(yàn)測(cè)試后，統(tǒng)計(jì)出的各個(gè)類別的準(zhǔn)確AP值大小，其中橫坐標(biāo)代表AP 值大小，縱坐標(biāo)代表類別名稱。為進(jìn)一步驗(yàn)證本文算法的效果，本文將CrHRnet-YOLOv4算法與目標(biāo)檢測(cè)中常用的主流目標(biāo)檢測(cè)算法進(jìn)行了對(duì)比實(shí)驗(yàn)，其檢測(cè)結(jié)果對(duì)比如表3 所示。其中包括SSD、ResNet、Faster R-CNN、YOLOv5 等經(jīng)典算法以及最新的HSD[27]、DETReg[28]、CoupleNet[29]、Cascade Eff-B7 NAS-FPN[30]算法，根據(jù)表3 所示，對(duì)比Faster R-CNN、YOLOv5_s、YOLOv5_m 等經(jīng)典網(wǎng)絡(luò)CrHRnet-YOLOv4 在平均準(zhǔn)確率均值分別有12 個(gè)百分點(diǎn)、9.5 個(gè)百分點(diǎn)、3.4 個(gè)百分點(diǎn)的提升；與最新的優(yōu)秀算法DETReg、NAS-FPN 對(duì)比，mAP 分別提升了5.3 個(gè)百分點(diǎn)和1.5 個(gè)百分點(diǎn)，實(shí)驗(yàn)檢測(cè)結(jié)果表明，CrHRnet做為特征提取網(wǎng)絡(luò)具有更強(qiáng)的健壯性、更好的泛化能力，更準(zhǔn)確的目標(biāo)檢測(cè)精度。

圖8 CrHRnet-YOLOv4在VOC-Test07的各類別的AP值Fig.8 AP values of each category tested by CrHRnet-YOLOv4 in VOC-Test07 dataset

圖9為YOLOv5_s、YOLOv5_m、YOLOv4、CrHRnet-YOLOv4算法在VOC數(shù)據(jù)集中檢測(cè)相同樣例的檢測(cè)效果對(duì)比圖。

圖9 多種檢測(cè)算法在VOC數(shù)據(jù)集樣例檢測(cè)效果對(duì)比圖Fig.9 Comparison of detection effects of various detection algorithms in sample detection of VOC dataset

3 總結(jié)與展望

本文提出了CrHRnet-YOLOv4的網(wǎng)絡(luò)模型，用于處理視覺(jué)目標(biāo)檢測(cè)問(wèn)題，通過(guò)實(shí)驗(yàn)驗(yàn)證，取得了較高的檢測(cè)精度和較快的檢測(cè)速度。網(wǎng)絡(luò)模型算法在視覺(jué)目標(biāo)檢測(cè)問(wèn)題上，該算法與現(xiàn)有的算法有幾點(diǎn)根本區(qū)別。（1）連接高分辨率和低分辨率卷積使用的是并聯(lián)而不是串聯(lián)的方式；（2）在整個(gè)過(guò)程中保持高分辨率，而不是從低分辨率恢復(fù)高分辨率，避免了空間位置信息的缺失；（3）使用NLSA 實(shí)現(xiàn)特征塊超分重構(gòu)，提升目標(biāo)判別性特征的可學(xué)習(xí)性；（4）同分辨率特征層使用CrModule和Residual-Block 線性組合替代普通卷積，提升算法檢測(cè)性能。

高分辨率保持網(wǎng)絡(luò)在人體姿態(tài)關(guān)鍵點(diǎn)檢測(cè)以及目標(biāo)檢測(cè)均取得了不錯(cuò)的效果；但在訓(xùn)練低分辨率的數(shù)據(jù)集時(shí)，往往得不到較好的效果；經(jīng)過(guò)分析可能是因?yàn)榈头直媛蕡D片的空間位置信息本身難以抓取和保持，在同分辨率特征層自身進(jìn)行多次信息交互時(shí)，空間表征不夠精確，使得待檢測(cè)樣本的空間位置信息錯(cuò)亂冗余，造成檢測(cè)效果不佳的結(jié)果。超分辨率重構(gòu)可能是一種最直接的、可解釋的提升本網(wǎng)絡(luò)目標(biāo)檢測(cè)性能的方法，但這一類研究仍存在較大的研究空間，如何將超分辨率重構(gòu)中先進(jìn)技術(shù)與目標(biāo)檢測(cè)技術(shù)深度結(jié)合是提升目標(biāo)檢測(cè)算法精度的一個(gè)可行研究思路。