艾青林，楊佳豪，崔景瑞

(浙江工業(yè)大學(xué) 特種裝備制造與先進(jìn)加工技術(shù)教育部/浙江省重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310023)

隨著人工智能技術(shù)的發(fā)展，行人目標(biāo)檢測(cè)在自動(dòng)駕駛、安防監(jiān)控領(lǐng)域都有廣泛的應(yīng)用[1].現(xiàn)階段行人檢測(cè)系統(tǒng)大部分只對(duì)中大型行人目標(biāo)具有較好的檢測(cè)效果，遠(yuǎn)處的小目標(biāo)行人容易被忽略.在自動(dòng)駕駛領(lǐng)域中，大目標(biāo)往往由小目標(biāo)變化而來(lái)，及時(shí)準(zhǔn)確檢測(cè)出小目標(biāo)可以使汽車(chē)提前規(guī)劃路徑，避開(kāi)行人.小目標(biāo)行人檢測(cè)的挑戰(zhàn)主要源于小目標(biāo)信息量少，包括小目標(biāo)自身特征分辨率低、可利用特征少，并且在當(dāng)前行人數(shù)據(jù)集中，小目標(biāo)行人數(shù)量占比較少[2].在卷積網(wǎng)絡(luò)中，小目標(biāo)對(duì)象在經(jīng)過(guò)多次下采樣后會(huì)導(dǎo)致自身特征信息大量流失，故深層網(wǎng)絡(luò)往往難以提取足夠的小目標(biāo)信息.內(nèi)外特征融合網(wǎng)絡(luò)（inside-outside network，ION）[3]、亢奮特征網(wǎng)絡(luò)（hyper network，hyperNet）[4]能從不同尺度特征圖中提取特征并綜合預(yù)測(cè)以增加小目標(biāo)的信息量.不同尺度之間往往存在大量重復(fù)計(jì)算及內(nèi)存開(kāi)銷(xiāo)極大的問(wèn)題，因此如何有效提取足夠的小目標(biāo)信息并保持較小的計(jì)算量在小目標(biāo)行人檢測(cè)中至關(guān)重要.

Fan 等[5]在經(jīng)典單階段目標(biāo)檢測(cè)算法（single shot multiBox detector，SSD）的基礎(chǔ)上增加淺層特征并融合通道注意力模塊以獲取更多小目標(biāo)行人的特征，該模塊幫助網(wǎng)絡(luò)提取更多關(guān)鍵特征信息并抑制無(wú)關(guān)信息的干擾.潘昕暉等[6]在改進(jìn)的DarkNet53 中輸出104 ? 104 的特征層作為新添加的檢測(cè)層，使得模型對(duì)小目標(biāo)物體的檢測(cè)能力大幅提升.然而以上增強(qiáng)淺層網(wǎng)絡(luò)的方式會(huì)導(dǎo)致整體模型過(guò)大，不利于自動(dòng)駕駛實(shí)時(shí)性較高的場(chǎng)景.

對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)操作可以在不增加模型推理計(jì)算量的情況下，提高檢測(cè)精度.Kisantal等[7]通過(guò)在圖像中對(duì)小目標(biāo)多次復(fù)制粘貼來(lái)提高小目標(biāo)樣本數(shù)量，但是該方法可能導(dǎo)致新生成的小目標(biāo)背景大小與實(shí)際不符，甚至對(duì)網(wǎng)絡(luò)推理產(chǎn)生誤導(dǎo).特征圖金字塔網(wǎng)絡(luò)[8]（feature pyramid networks, FPN）通過(guò)將相鄰層的特征融合，可以做到僅提升少量計(jì)算量換取對(duì)小目標(biāo)檢測(cè)精度的提升.加權(quán)雙向特征金字塔網(wǎng)絡(luò)（bi-directional feature pyramid network，Bi-FPN）[9]、循環(huán)特征金字塔網(wǎng)絡(luò)（recursive feature pyramid network，Recursive-FPN）[10]也被提出，這些網(wǎng)絡(luò)對(duì)小目標(biāo)行人的檢測(cè)精度都有所提升.這些特征融合方式都存在容易融合噪聲的問(wèn)題，檢測(cè)效果難以進(jìn)一步提升，計(jì)算量也有所增加.

基于移動(dòng)視覺(jué)網(wǎng)絡(luò)的單階段錨框網(wǎng)絡(luò)（single shot multibox detector, SSD）[11]是 SSD 算法的精簡(jiǎn)版，該模型使用MobileNet-V2 網(wǎng)絡(luò)[12]代替SSD 骨干網(wǎng)絡(luò)VGG，雖然滿足了實(shí)時(shí)性要求，但是檢測(cè)精度有限，尤其對(duì)于小目標(biāo)物體的檢測(cè)能力更差.針對(duì)以上對(duì)小目標(biāo)行人檢測(cè)的問(wèn)題，本研究從數(shù)據(jù)增強(qiáng)方面入手，根據(jù)射影幾何和消隱點(diǎn)、消隱線的性質(zhì)，設(shè)計(jì)自適應(yīng)增殖小目標(biāo)生成方法.該方法能夠有效地在合理區(qū)域生成尺寸匹配的行人目標(biāo)，增加了小目標(biāo)行人的數(shù)量和種類(lèi)，避免了傳統(tǒng)復(fù)制粘貼方法生成大小和背景不匹配的目標(biāo)而誤導(dǎo)訓(xùn)練.本研究采用改進(jìn)的MobileNeXt 網(wǎng)絡(luò)[13]替換MobileNet 網(wǎng)絡(luò)，在MobileNeXt 的部分結(jié)構(gòu)中基于通道分離與重排，改進(jìn)沙漏結(jié)構(gòu)并且添加小目標(biāo)細(xì)節(jié)特征增強(qiáng)的坐標(biāo)注意力機(jī)制.在網(wǎng)絡(luò)瓶頸層添加基于特征增強(qiáng)與重生成的上下文特征融合模塊，以充分利用上下文信息彌補(bǔ)小目標(biāo)自身特征不足的缺陷，同時(shí)也能充分利用本研究自適應(yīng)數(shù)據(jù)增強(qiáng)方法生成新目標(biāo)的背景和尺寸信息.改進(jìn)后的算法模型有效解決了MobileNet-SSD 精度低的問(wèn)題，并且能夠滿足移動(dòng)端目標(biāo)檢測(cè)的實(shí)時(shí)性要求.

1 基于消隱點(diǎn)性質(zhì)和自適應(yīng)增殖的數(shù)據(jù)增強(qiáng)方法

在行人檢測(cè)的數(shù)據(jù)集中，小目標(biāo)行人樣本通常較少，并且自身的外觀特征較少[14]，因此非常有必要進(jìn)行數(shù)據(jù)增強(qiáng).利用傳統(tǒng)的目標(biāo)復(fù)制增強(qiáng)方法[7]，可能會(huì)生成十分荒謬的圖像，如圖1 所示.生成的目標(biāo)背景不匹配，行人可能在天上或在海里，這種背景的不匹配會(huì)導(dǎo)致產(chǎn)生更多的假陽(yáng)性邊界框，誤導(dǎo)分類(lèi)器；生成的行人大小可能過(guò)大或過(guò)小，這種大小的不匹配會(huì)使分類(lèi)器在結(jié)合背景物體判斷目標(biāo)類(lèi)型時(shí)，產(chǎn)生尺度上的誤判.針對(duì)以上問(wèn)題和需求，提出一種主要針對(duì)小目標(biāo)行人的區(qū)域與尺度自適應(yīng)數(shù)據(jù)增強(qiáng)算法，通過(guò)對(duì)已有目標(biāo)仿射進(jìn)行變換增殖來(lái)補(bǔ)充高質(zhì)量的小目標(biāo)行人樣本.

1.1 行人可存在區(qū)域數(shù)據(jù)標(biāo)注

為了使復(fù)制增強(qiáng)后的目標(biāo)位置合理，需要區(qū)分圖像中的行人可存在區(qū)域.一般的目標(biāo)檢測(cè)數(shù)據(jù)集沒(méi)有區(qū)域分割的標(biāo)注，無(wú)法判斷區(qū)域合理性，故需要對(duì)已有數(shù)據(jù)集進(jìn)行標(biāo)注，劃分行人可存在區(qū)域.對(duì)不同水平面上的行人可存在區(qū)域需要用不同標(biāo)簽標(biāo)注，標(biāo)注后的效果如圖2 所示.

圖2 添加標(biāo)注后的效果Fig.2 Effect after adding dimensions

1.2 消隱點(diǎn)獲取

為了使模型更好地利用數(shù)據(jù)增強(qiáng)后的目標(biāo)上下文信息，避免復(fù)制增強(qiáng)后的目標(biāo)錯(cuò)誤尺寸影響分類(lèi)器對(duì)目標(biāo)種類(lèi)的判斷，需要計(jì)算原目標(biāo)在圖像中行人可存在區(qū)域內(nèi)不同坐標(biāo)處的大小，對(duì)目標(biāo)進(jìn)行復(fù)制粘貼并縮放，以符合其在圖片中的位置.

在相機(jī)投影模型中，三維世界中一組平行的直線在映射到二維的圖像上后，將會(huì)在二維平面內(nèi)交匯于一點(diǎn)，該點(diǎn)稱為消隱點(diǎn)（vanishing points，VP）.與消隱點(diǎn)類(lèi)似，三維世界中的各個(gè)互相平行的平面在映射于二維圖像上時(shí)會(huì)交匯于一條直線，即消隱線.該直線上任意一點(diǎn)所引出的多條直線在三維世界中都互相平行[15].如圖3 中A、B、C這3 點(diǎn)即為消隱點(diǎn)，在計(jì)算圖像中不同對(duì)象相對(duì)大小時(shí)，通常使用三消隱點(diǎn)模型（three vanishing points model），即選用水平面上的消隱線BC與豎直方向上的消隱點(diǎn)A以分析.

圖3 三消隱點(diǎn)模型中豎直方向消隱點(diǎn)A 與水平方向消隱線BCFig.3 Vertical vanishing point A and horizontal vanishing line BC in the three vanishing points model

為了獲得圖像中的消隱點(diǎn)，采用基于極坐標(biāo)的二線最小解集窮舉的消隱點(diǎn)檢測(cè)法[16].該方法的魯棒性較好，能夠應(yīng)對(duì)消隱點(diǎn)數(shù)量不同的場(chǎng)景，同時(shí)時(shí)間復(fù)雜度較低，速度較快，窮舉也能達(dá)成一定精度內(nèi)的全局最優(yōu)，其過(guò)程如下.

1）使用線段檢測(cè)器（line segment detector，LSD）直線檢測(cè)法，檢測(cè)圖像中的直線段.

2）構(gòu)建極坐標(biāo)網(wǎng)絡(luò).將平面坐標(biāo)根據(jù)光心與焦距轉(zhuǎn)化成等效球體，建立以經(jīng)緯度表示的極坐標(biāo)，并以1°為間隔建立90×360 的網(wǎng)格空間.對(duì)于圖像中的每個(gè)線段對(duì)l1與l2， 計(jì)算其交點(diǎn)的網(wǎng)格權(quán)值：

式中： ?(?,λ) 為經(jīng)緯度 ( ?,λ) 對(duì)應(yīng)的網(wǎng)格結(jié)點(diǎn)的權(quán)值，初始值為0； θ 為2 條線段小于90°的夾角.通過(guò)式（1），長(zhǎng)度更長(zhǎng)、夾角更接近45°的線段對(duì)所對(duì)應(yīng)的交點(diǎn)將被賦予更大的權(quán)值.

3）建立第1 個(gè)消隱點(diǎn)的最小解集（minimal solution set，MSS），假設(shè)所有線段中有50%屬于噪聲，則第1 個(gè)消隱點(diǎn)的選擇迭代105 次即可達(dá)到0.999 9 的置信度[16].根據(jù)正交約束可知，第2 個(gè)消隱點(diǎn)必定在第1 個(gè)消隱點(diǎn)的正交圓上.以1°為間隔在該圓上取360 個(gè)點(diǎn)，將360 個(gè)點(diǎn)作為每個(gè)第一消隱點(diǎn)對(duì)應(yīng)的360 種第2 個(gè)消隱點(diǎn)可能.第3 個(gè)消隱點(diǎn)由前2 個(gè)消隱點(diǎn)的向量正交即可獲得.

4）對(duì)所有105×360 種消隱點(diǎn)組合計(jì)算其網(wǎng)格權(quán)值的和，選擇最高的一組，作為最終解.根據(jù)每條線段與每個(gè)消隱點(diǎn)的角度偏差，可以對(duì)每條線段進(jìn)行分類(lèi).如圖4 所示為消隱點(diǎn)的檢測(cè)效果，不同線型的線代表其歸屬于不同的消隱點(diǎn).

圖4 消隱點(diǎn)的檢測(cè)結(jié)果Fig.4 Detection result of vanishing point

1.3 仿射變換矩陣

在獲取圖像的消隱點(diǎn)后，可以計(jì)算目標(biāo)復(fù)制到新坐標(biāo)的仿射變換矩陣，如圖5 所示.已知空間中一條線段MN在平面P上的投影M′N(xiāo)′，若是將MN水平移動(dòng)至EF處，使其投影末端M′點(diǎn)落在E′處，為了獲得移動(dòng)后的投影另一端N′的位置，可在水平面P中找到該面的消隱線BC與豎直方向上的消隱點(diǎn)A.使E′M′交BC于點(diǎn)V，VN′交AE′于點(diǎn)F′，E′F′即為MN移動(dòng)后在平面P的投影.設(shè)M點(diǎn)坐標(biāo)為 (x,y) ，M′點(diǎn)坐標(biāo)為 (x′,y′) ，可以獲得點(diǎn)V坐標(biāo)，設(shè)其為 (xV,yV) ，同時(shí)，∠VN′M′與 ∠M′AE′也可以獲得，分別設(shè)為 α 與 θ ，則可得圖像移動(dòng)后的大小縮放比例為

圖5 空間目標(biāo)在平面上投影示意圖Fig.5 Schematic diagram of projection of space target on plane

式中：rscale為待復(fù)制目標(biāo)移動(dòng)后的大小縮放比例.

根據(jù)以上變換規(guī)律與縮放比例，可以得出目標(biāo)復(fù)制后的仿射變換矩陣.對(duì)于目標(biāo)內(nèi)部，考慮到標(biāo)記框的形狀與圖像投影關(guān)系無(wú)關(guān)，恒為矩形，且目標(biāo)在圖像中占比通常較小，故不考慮目標(biāo)內(nèi)部的相對(duì)變換.對(duì)于任意目標(biāo)，若底部中點(diǎn)坐標(biāo)為 (x,y) ，則復(fù)制到任意一點(diǎn) (x′,y′) 后，該目標(biāo)內(nèi)部任意一點(diǎn)K(m,n) 的變換可表示為

式中：k與k′分別為變換前后K點(diǎn)的齊次坐標(biāo)向量，S為縮放矩陣，R為旋轉(zhuǎn)矩陣，t為平移向量.該仿射變換過(guò)程使用齊次坐標(biāo)可以為

式中：m′和n′為K點(diǎn)變換后對(duì)應(yīng)點(diǎn)的橫、縱坐標(biāo).

1.4 目標(biāo)映射坐標(biāo)概率生成

為了能夠生成更多小目標(biāo)，并減少對(duì)原有目標(biāo)特征的影響，新坐標(biāo)被映射的概率應(yīng)滿足以下條件.

1) 新坐標(biāo)被選擇的概率隨映射到該坐標(biāo)上的新對(duì)象面積的減小而增大.

2) 若新坐標(biāo)上映射的目標(biāo)覆蓋了其他目標(biāo)，則該坐標(biāo)被選擇的概率應(yīng)隨覆蓋面積的增長(zhǎng)而快速下降.

為了滿足以上條件，對(duì)于任意坐標(biāo)點(diǎn) (x,y) ，定義映射點(diǎn)的評(píng)估權(quán)重為

式中：Warea為面積評(píng)估值函數(shù)，Wover為覆蓋重疊補(bǔ)正函數(shù).

對(duì)于Warea，采用相對(duì)法定義小目標(biāo)，即采用目標(biāo)在整張圖片中的占比來(lái)判定目標(biāo)大小的性質(zhì).定義目標(biāo)大小系數(shù)為 τ ，其值為目標(biāo)自身面積與整張圖像面積之比.為了避免頻繁出現(xiàn)新生成的目標(biāo)過(guò)小而丟失大量特征信息，在目標(biāo)大小下降到一定閾值時(shí)，評(píng)估值隨面積減小而增加的速度需放緩，由此可得

式中：T為閾值， β 為系數(shù).T、β 的取值與數(shù)據(jù)集圖像大小與圖像中小目標(biāo)尺寸占比有關(guān).

在所使用的數(shù)據(jù)集中，自身面積占圖像整體面積之比小于2%的目標(biāo)占所有標(biāo)注目標(biāo)數(shù)量的75.51%，小于1% 的占59.98%，小于0.5% 的占43.99%，小于0.1%的占12.48%，可認(rèn)為面積占比小于0.1%且邊長(zhǎng)不小于5 個(gè)像素的目標(biāo)為該數(shù)據(jù)集的合適小目標(biāo)樣本.當(dāng)數(shù)據(jù)集中取部分樣本，輸入尺寸為320×320 時(shí)，對(duì)于多個(gè)T值和β 值進(jìn)行實(shí)驗(yàn).當(dāng)T=0.01、β=10 000 時(shí)，可以使得新生成的合適小目標(biāo)樣本最多.

對(duì)于Wover，若復(fù)制后的其他目標(biāo)被覆蓋，則被覆蓋面積越大，其特征損失越大，評(píng)估值越低；重疊面積過(guò)大也會(huì)影響新生成目標(biāo)對(duì)上下文特征的提取，故定義重疊補(bǔ)正函數(shù)為

式中：Si為第i個(gè)已有目標(biāo)的面積，Sover,i為第i個(gè)已有目標(biāo)與新生成目標(biāo)重疊的面積，Snew為新生成目標(biāo)的面積.根據(jù)每個(gè)像素點(diǎn)的權(quán)值，可以繪制出每個(gè)坐標(biāo)映射概率的熱力圖，如圖6 所示.

圖6 目標(biāo)映射坐標(biāo)概率的熱力圖Fig.6 Thermodynamic diagram of target mapping coordinate probability

1.5 增強(qiáng)圖像生成

根據(jù)以上規(guī)則，對(duì)單個(gè)目標(biāo)進(jìn)行合理的增廣.對(duì)于圖像中的多個(gè)目標(biāo)，在選擇需要復(fù)制的對(duì)象時(shí)，須選擇未和其他目標(biāo)重疊或重疊面積較小的目標(biāo).對(duì)所有符合條件的目標(biāo)進(jìn)行至多2 次復(fù)制粘貼，并在目標(biāo)映射后使用高斯卷積核處理其邊緣，使得新目標(biāo)與背景過(guò)渡更加平滑.最終生成的圖像效果如圖7 所示，增強(qiáng)后的圖像與原圖比較增加了許多目標(biāo)，其中大部分是小目標(biāo)，并且新生成的目標(biāo)基本沒(méi)有對(duì)原有目標(biāo)產(chǎn)生影響.

圖7 小目標(biāo)行人數(shù)據(jù)增強(qiáng)的效果圖Fig.7 Rendering of data augmentation for small target pedestrians

2 基于改進(jìn)沙漏結(jié)構(gòu)與上下文特征融合的網(wǎng)絡(luò)結(jié)構(gòu)

2.1 小目標(biāo)細(xì)節(jié)特征增強(qiáng)的坐標(biāo)注意力機(jī)制

基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)任務(wù)中，應(yīng)用注意力機(jī)制，能引導(dǎo)網(wǎng)絡(luò)關(guān)注圖像中被檢測(cè)物體重要內(nèi)容，由此可以獲取更多小目標(biāo)的特征信息[17].傳統(tǒng)注意力機(jī)制往往只關(guān)注通道或者空間維度的信息權(quán)重融合，對(duì)網(wǎng)絡(luò)性能的提升較有限.本研究采用融合通道與空間的注意力機(jī)制（coordinate attention，CA）[18].坐標(biāo)注意力CA 以通道注意力為基礎(chǔ)，在通道維度進(jìn)行編碼的同時(shí)準(zhǔn)確捕獲到圖像空間坐標(biāo)信息，有利于模型對(duì)小目標(biāo)細(xì)節(jié)的捕獲與利用，同時(shí)也能充分利用所用數(shù)據(jù)增強(qiáng)后的新目標(biāo)的合理背景與上下文信息.

對(duì)于通道數(shù)為C，高與寬分別為H、W的輸入特征圖X∈RC×H×W.使用水平與垂直方向尺寸分別為 (H,1) 和 ( 1,W) 的自適應(yīng)池化層對(duì)各個(gè)通道進(jìn)行編碼操作，得到一對(duì)方向感知注意力圖Xh∈RC×H×1，Xw∈RC×1×W；將得到的特征圖進(jìn)行維度變換與級(jí)聯(lián)操作，并進(jìn)行通道數(shù)為C/r的1? 1 卷積（Convolution，Conv）變換，其中r為控制block 大小的縮減率.將變換后的特征圖在空間維度切分成2 個(gè)張量Fh∈RC/r×H×1，F(xiàn)w∈RC/r×W×1，將切分的張量分別經(jīng)過(guò)卷積、快速激活（hard swish，h-Swish）、維度擴(kuò)展得到2 個(gè)注意力權(quán)重，模型如圖8 所示.

圖8 坐標(biāo)注意力機(jī)制結(jié)構(gòu)Fig.8 Coordinate attention mechanism structure

CA 注意力機(jī)制本身的參數(shù)量較少，對(duì)于輕量化網(wǎng)絡(luò)十分友好，CA 注意力機(jī)制可以為重要特征分配較多的關(guān)注度，使得模型在骨干提取階段可以更加關(guān)注輪廓細(xì)節(jié)信息，而這些特征都有利于小目標(biāo)行人的檢測(cè).在MobileNeXt 的基礎(chǔ)上添加坐標(biāo)注意力機(jī)制，由于MobileNeXt 本身具有20 個(gè)卷積塊，網(wǎng)絡(luò)深度相比于大型網(wǎng)絡(luò)還不成規(guī)模.在所有帶短接層的卷積塊中添加坐標(biāo)注意力機(jī)制，能很好地提升模型復(fù)雜度，一定程度上緩解了原網(wǎng)絡(luò)欠擬合的問(wèn)題.

2.2 基于通道分離與重排的輕量化沙漏結(jié)構(gòu)

MobileNeXt 中提出的沙漏結(jié)構(gòu)（sandglass block）解決了原MobileNet-V2 中殘差結(jié)構(gòu)容易引起梯度彌散或梯度爆炸的問(wèn)題，然而應(yīng)對(duì)小目標(biāo)檢測(cè)仍存在不足.為了提升對(duì)小目標(biāo)的特征提取能力，參考跨階段局部網(wǎng)絡(luò)結(jié)構(gòu)(cross stage partial,CSP)[19]的思想，對(duì)沙漏結(jié)構(gòu)進(jìn)行改進(jìn).原沙漏結(jié)構(gòu)與改進(jìn)的結(jié)構(gòu)分別如圖9(a)、(b)所示，將改進(jìn)后的沙漏結(jié)構(gòu)命名為T(mén)-Sandglass，其中步長(zhǎng)s在需要降采樣時(shí)取值為2，其余情況下為1.

圖9 基于跨階段局部網(wǎng)絡(luò)的沙漏結(jié)構(gòu)T-SandglassFig.9 T-Sandglass structure based on cross stage local network

輸入該結(jié)構(gòu)的特征圖，將其所有通道對(duì)半分割為part1 和part2，分割后的兩路是一路經(jīng)過(guò)1?1 卷積，變換通道維度為輸出通道的一半，另一路流經(jīng)原始沙漏結(jié)構(gòu).兩路的輸出特征在通道維度拼接，并經(jīng)3 ? 3 深度可分離卷積按需保持或降低分辨率，最后進(jìn)行通道重排操作并流入隨后卷積層.改進(jìn)后的沙漏結(jié)構(gòu)本質(zhì)上是一種分層特征融合機(jī)制，通過(guò)通道分割，特征圖中僅有一半的通道的信息進(jìn)入原本的沙漏結(jié)構(gòu)中，大幅減少了計(jì)算開(kāi)銷(xiāo)，梯度路徑得以擴(kuò)展.兩路通道拼接的方式替換了原本的逐元素求和操作，能夠有效地減少內(nèi)存訪問(wèn)消耗.梯度在傳播時(shí)經(jīng)過(guò)不同的網(wǎng)絡(luò)通路，模型可以獲得更加豐富的梯度組合.將特征圖分為兩部分有效截?cái)嗵荻攘?，降低了網(wǎng)絡(luò)在信息整合過(guò)程中學(xué)習(xí)重復(fù)梯度的可能性，增強(qiáng)了網(wǎng)絡(luò)的整體學(xué)習(xí)能力.通道重排能夠讓網(wǎng)絡(luò)在不增加額外參數(shù)的情況下充分流通特征圖各個(gè)通道之間的信息，從而提升特征提取能力.

在改進(jìn)的沙漏結(jié)構(gòu)中，第1 層3 ? 3 卷積是對(duì)信息的初次提取，而后的2 個(gè)1 ? 1 卷積則對(duì)通道進(jìn)行降維.在添加坐標(biāo)注意力機(jī)制時(shí)，在首個(gè)3?3 卷積后添加，這種方式可以對(duì)最多數(shù)量的通道進(jìn)行信息流控制.

2.3 基于特征增強(qiáng)與重生成的上下文特征融合

小目標(biāo)行人自身的特征信息少，通過(guò)上下文特征融合，可以利用背景和全局特征輔助模型訓(xùn)練[20].在原始的SSD 骨干網(wǎng)絡(luò)中，輸出的2 層特征與瓶頸輸出的4 層特征直接相連，6 層特征之間以單路2 倍放縮金字塔逐層傳遞信息，每層特征單獨(dú)輸出進(jìn)行預(yù)測(cè).這種結(jié)構(gòu)的預(yù)測(cè)網(wǎng)絡(luò)感受野過(guò)于單一，不同大小的物體只能根據(jù)一層固定大小的檢測(cè)層進(jìn)行檢測(cè)，模型無(wú)法從上下文判別背景信息.單特征輸出會(huì)導(dǎo)致瓶頸層對(duì)來(lái)自骨干層網(wǎng)絡(luò)的語(yǔ)義信息的編碼能力不足.

針對(duì)以上問(wèn)題，為了盡可能使用較少的網(wǎng)絡(luò)參數(shù)，獲取較大的感受野以及可以有效融合特征瓶頸網(wǎng)絡(luò)，設(shè)計(jì)了全局特征融合頸部網(wǎng)絡(luò)（global feature fusion neck，GFF-neck），如圖10 所示.該網(wǎng)絡(luò)分為2 個(gè)部分，分別為全局上下文特征增強(qiáng)部分與特征重生成部分.在上下文特征增強(qiáng)網(wǎng)絡(luò)中，設(shè)計(jì)單獨(dú)的一層自適應(yīng)池化層作用于最深層特征中，骨干網(wǎng)絡(luò)輸出二層不同大小的特征層m1和m2，m1的分辨率為m2的2 倍.改變通道數(shù)輸出為、m2特征依次經(jīng)過(guò)通道變換卷積與最近鄰上采樣得到，與保持分辨率一致.m2經(jīng)過(guò)一次自適應(yīng)全局平均池化與通道卷積，得到1 ? 1 大小、通道數(shù)與相同的m3，其中使用平均池化層代替?zhèn)鹘y(tǒng)特征融合模塊中常用的全局池化層，可以減少特征信息的流失，并對(duì)小分辨率輸入特征圖更友好.m3通過(guò)廣播機(jī)制擴(kuò)展后得到與逐元素相加，相加完后經(jīng)過(guò)斜率為0.1 的LeakyReLU激活函數(shù)進(jìn)行輸出，經(jīng)過(guò)全局上下文特征增強(qiáng)后可以獲得，分辨率與m1相同的特征圖m4.輸出特征圖m4接著進(jìn)入特征重生成網(wǎng)絡(luò)部分.以m4為起點(diǎn)，依次生成若干個(gè)分辨率不斷下降的新特征圖.

圖10 全局特征融合頸部網(wǎng)絡(luò)Fig.10 Global feature fusion neck

改進(jìn)的瓶頸結(jié)構(gòu)使用元素直接相加的方式，融合不同尺度的特征層.與傳統(tǒng)融合方法相比，融合時(shí)各尺度都以輸入最大分辨率為依據(jù)，整體效率更高.該網(wǎng)絡(luò)對(duì)最后一個(gè)輸入層進(jìn)行全局自適應(yīng)平均池化，輸入的末尾層已經(jīng)歷過(guò)較多卷積層，感受信息范圍跨越網(wǎng)絡(luò)上下文，應(yīng)用自適應(yīng)平均池化可以在空間維度上總覽全局，保留更多的前景以及背景信息，為小目標(biāo)行人的檢測(cè)識(shí)別提供額外信息.特征重生成網(wǎng)絡(luò)可以根據(jù)實(shí)際需求輸出不同數(shù)量的特征圖，同時(shí)全局上下文特征增強(qiáng)網(wǎng)絡(luò)的輸入也可以是多個(gè)不同尺度的特征.重生成的特征包含更多細(xì)節(jié)信息，可以有效幫助網(wǎng)絡(luò)對(duì)各類(lèi)目標(biāo)進(jìn)行有效定位，從而有助于小目標(biāo)的檢測(cè).

2.4 改進(jìn)骨干網(wǎng)絡(luò)與上下文特征融合的整體網(wǎng)絡(luò)結(jié)構(gòu)

在骨干網(wǎng)絡(luò)上使用MobileNeXt 的基礎(chǔ)上，添加T-Sandglass 模塊與坐標(biāo)注意力機(jī)制，將改進(jìn)后的骨干網(wǎng)絡(luò)命名為MobileNeXt+.搭配改進(jìn)的GFF-neck 作為瓶頸層，這種模型搭配方式可以使2 個(gè)部分網(wǎng)絡(luò)的學(xué)習(xí)潛力得到充分發(fā)揮，有利于梯度的平滑傳播獲得最佳的檢測(cè)性能，整體網(wǎng)絡(luò)模型結(jié)構(gòu)如圖11 所示.

圖11 整體網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.11 Overall network model structure

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

實(shí)驗(yàn)硬件配置如下：Intel i5-9400CPU，英偉達(dá)RTX2070 顯卡，8G 顯存.軟件環(huán)境如下：Ubuntu 18.04 操作系統(tǒng)，python 環(huán)境為python3.8，使用pytorch 深度學(xué)習(xí)框架，版本為1.8.0.針對(duì)行人檢測(cè)任務(wù)有較多的公開(kāi)數(shù)據(jù)集，選取眾多數(shù)據(jù)集中檢測(cè)難度較大、人群密集、包含多種尺度目標(biāo)的WiderPerson 數(shù)據(jù)集，其中包含5 個(gè)類(lèi)別，分別是行人、騎行者、遮擋人物、假人以及密集人群.該數(shù)據(jù)集涉及公路、運(yùn)動(dòng)場(chǎng)、廣場(chǎng)等多個(gè)常見(jiàn)的室外場(chǎng)景,包含的行人種類(lèi)繁多，特別是有較多小目標(biāo)人物以及遮擋目標(biāo)人物，提取這些小目標(biāo)行人的特征信息難度較大.在訓(xùn)練過(guò)程中，共有8 000張圖片用于訓(xùn)練，有1 000 張圖片用于測(cè)試.數(shù)據(jù)集的部分圖片如圖12 所示.

圖12 WiderPerson 數(shù)據(jù)集部分樣本Fig.12 Some samples of WiderPerson dataset

WiderPerson 數(shù)據(jù)集的RGB 3 個(gè)通道均值分別為131.64、120.22、115.58，方差分別為71.03、70.35、72.83，數(shù)據(jù)集輸入端首先統(tǒng)計(jì)均值與方差，然后進(jìn)行隨機(jī)色彩抖動(dòng)、隨機(jī)翻轉(zhuǎn)操作以增強(qiáng)模型泛化性能.模型優(yōu)化器選為SGD，初始學(xué)習(xí)率設(shè)置為0.015，初始動(dòng)量設(shè)置為0.9，應(yīng)用余弦退火學(xué)習(xí)策略.在WiderPerson 數(shù)據(jù)集中，對(duì)密集人群、遮擋人物的標(biāo)注標(biāo)準(zhǔn)不一，對(duì)這些類(lèi)的判斷難以有效果，故在實(shí)驗(yàn)時(shí)僅對(duì)行人一類(lèi)進(jìn)行訓(xùn)練和推理.

3.2 網(wǎng)絡(luò)改進(jìn)有效性實(shí)驗(yàn)

3.2.1 骨干網(wǎng)絡(luò)改進(jìn)模塊消融實(shí)驗(yàn) 模型中不同骨干網(wǎng)絡(luò)會(huì)對(duì)結(jié)果造成不同影響，實(shí)驗(yàn)中對(duì)原始SSD 的VGG 網(wǎng)絡(luò)、MobileNet-V2 網(wǎng)絡(luò)、Mobile-Next 網(wǎng)絡(luò)與添加CA 注意力模塊和T-glass 結(jié)構(gòu)的MobileNext 網(wǎng)絡(luò)從準(zhǔn)確率與參數(shù)量2 個(gè)角度進(jìn)行對(duì)比，當(dāng)輸入尺寸在320 和512 時(shí)得到的結(jié)果分別如表1、2 所示.表中Np為參數(shù)量，F(xiàn)lops 為每m浮點(diǎn)運(yùn)算次數(shù)，v為幀率.推理速度根據(jù)實(shí)驗(yàn)硬件條件(RTX2070)獲得.

表1 輸入尺寸為320 時(shí)不同骨干網(wǎng)絡(luò)性能Tab.1 Performance of each backbone network when input size is 320

表2 輸入尺寸為512 時(shí)不同骨干網(wǎng)絡(luò)的性能Tab.2 Performance of each backbone network when input size is 512

從表中對(duì)比結(jié)果可以看出，在相同的SSD 檢測(cè)器下，對(duì)MobileNeXt 骨干網(wǎng)絡(luò)單獨(dú)添加坐標(biāo)注意力后，當(dāng)輸入分辨率為320、512 時(shí)，模型整體精度分別提升了0.08%和0.24%.由于坐標(biāo)注意力模型產(chǎn)生輕微的過(guò)擬合，導(dǎo)致在單獨(dú)骨干網(wǎng)絡(luò)中，添加坐標(biāo)注意力機(jī)制對(duì)模型整體效果提升十分有限.在MobileNeXt 的基礎(chǔ)上，改進(jìn)原沙漏結(jié)構(gòu)為T(mén)-Sandglass 后，當(dāng)輸入分辨率為320、512 時(shí)，模型整體精度分別提升了0.37%和0.63%，參數(shù)量與計(jì)算量均有所下降.這說(shuō)明跨階段局部網(wǎng)絡(luò)有效拓展梯度傳播路徑，并且通道重排將特征之間的信息進(jìn)行充分交換，使得模型整體性能得到優(yōu)化，另外改進(jìn)的卷積塊融合方式使得模型結(jié)構(gòu)得到縮減.

在MobileNeXt 基礎(chǔ)上同時(shí)添加坐標(biāo)注意力機(jī)制以及T-Sandglass 結(jié)構(gòu)，2 種尺寸下的精度都高于單獨(dú)添加其中一項(xiàng)或原版MobileNeXt.這說(shuō)明T-Sandglass 結(jié)構(gòu)提升了模型的可學(xué)習(xí)潛力，幫助注意力機(jī)制發(fā)揮了本身的優(yōu)越性.從整體來(lái)看，同時(shí)添加坐標(biāo)注意力與T-Sandglass 結(jié)構(gòu)后相對(duì)于MobileNeXt 參數(shù)量增加了約9%，2 種分辨率輸入時(shí)精度分別提升了0.91%、1.14%，在精度上有較大優(yōu)勢(shì).

3.2.2 瓶頸網(wǎng)絡(luò)性能對(duì)比實(shí)驗(yàn) 為了對(duì)所提優(yōu)化的全局特征增強(qiáng)融合網(wǎng)絡(luò)進(jìn)行驗(yàn)證，實(shí)驗(yàn)針對(duì)不同瓶頸網(wǎng)絡(luò)設(shè)計(jì)相關(guān)消融實(shí)驗(yàn)，在輸入尺寸為320 時(shí)，對(duì)原始SSD 瓶頸層、改進(jìn)的全局特征增強(qiáng)融合結(jié)構(gòu)GFF-neck 進(jìn)行實(shí)驗(yàn)比較，如表3 所示.所用的骨干網(wǎng)絡(luò)分別為ShuffleNetV2[21]、MobileNetV2 與MobileNeXt.

表3 2 種瓶頸結(jié)構(gòu)在不同骨干網(wǎng)絡(luò)中的性能Tab.3 Performance of two bottleneck structures in different backbone networks

從表3 可以看出，在使用改進(jìn)的GFF-neck后，相對(duì)于原SSD 頸部網(wǎng)絡(luò)，3 種不同的骨干網(wǎng)絡(luò)基線精度分別提升了6.41%，7.28% 以及6.73%.GFF-neck 參數(shù)量與SSD-neck 相比要略小，但計(jì)算量較大，導(dǎo)致模型計(jì)算速度下降較多，但是仍符合實(shí)時(shí)性要求.總體來(lái)看，所提的GFF-neck 瓶頸網(wǎng)絡(luò)以一定的計(jì)算量代價(jià)換取巨大的精度增益，并且具有較低的參數(shù)量，因此以GFF-neck 單獨(dú)作為瓶頸網(wǎng)絡(luò)可以為整體檢測(cè)網(wǎng)絡(luò)帶來(lái)明顯的性能提升.

3.2.3 經(jīng)典網(wǎng)絡(luò)與改進(jìn)整體網(wǎng)絡(luò)對(duì)比 為了驗(yàn)證本研究改進(jìn)的整體網(wǎng)絡(luò)有效性，與不同的經(jīng)典算法MobileNetV2-SSD、MobileNetV2-YOLOv3 進(jìn)行對(duì)比實(shí)驗(yàn)，檢測(cè)結(jié)果如圖13 所示.可以看出，原始MobileNetV2-SSD 網(wǎng)絡(luò)檢測(cè)效果相對(duì)于其他2 種網(wǎng)絡(luò)稍顯遜色，遠(yuǎn)景中有較多的小目標(biāo)行人出現(xiàn)漏檢的情況，部分中型大小目標(biāo)并未檢出.改進(jìn)網(wǎng)絡(luò)與MobileNetV2-YOLOv3 在檢測(cè)效果上較為相近，對(duì)中大型目標(biāo)基本沒(méi)有出現(xiàn)漏檢的情況，然而MobileNetV2-YOLOv3 網(wǎng)絡(luò)遺漏了一小部分小目標(biāo)行人，且錨框的定位精度稍差.從比較結(jié)果來(lái)看，所提算法具有一定的優(yōu)勢(shì).不同網(wǎng)絡(luò)的精度如表4 所示.所提的整體網(wǎng)絡(luò)(Mobile-NeXt+GFF-neck)與其他經(jīng)典網(wǎng)絡(luò)相比有極高的精度，與MobileNetV2-SSD 網(wǎng)絡(luò)相比提升了9.02%的AP，同時(shí)有最小的參數(shù)量，十分適合布置到移動(dòng)端，檢測(cè)速度也符合實(shí)時(shí)性要求，具有較大的優(yōu)勢(shì).

表4 經(jīng)典網(wǎng)絡(luò)與改進(jìn)網(wǎng)絡(luò)的檢測(cè)效果Tab.4 Detection effect of classical network and improved network

圖13 經(jīng)典網(wǎng)絡(luò)與改進(jìn)網(wǎng)絡(luò)檢測(cè)效果對(duì)比Fig.13 Comparison of detection effect between classical network and improved network

3.2.4 其他公開(kāi)數(shù)據(jù)集實(shí)驗(yàn) 為了進(jìn)一步比較所提方法的性能，在目標(biāo)檢測(cè)常用公開(kāi)數(shù)據(jù)集VOC中進(jìn)行實(shí)驗(yàn)，結(jié)果如表5 所示.從實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)網(wǎng)絡(luò)與其他經(jīng)典網(wǎng)絡(luò)相比，精度大幅度提高，MobileNetV2-SSD 網(wǎng)絡(luò)提升了8.64% 的mAP，且參數(shù)量較少.雖然速度有所減緩，但是仍滿足實(shí)時(shí)性要求，證明所提網(wǎng)絡(luò)具有較好的魯棒性.

表5 VOC 數(shù)據(jù)集中不同網(wǎng)絡(luò)的檢測(cè)結(jié)果Tab.5 Detection results of different networks in VOC dataset

3.3 數(shù)據(jù)增強(qiáng)有效性實(shí)驗(yàn)

3.3.1 數(shù)據(jù)集實(shí)驗(yàn) 為了驗(yàn)證本研究數(shù)據(jù)增強(qiáng)效果的有效性，針對(duì)所使用的WiderPerson 數(shù)據(jù)集，對(duì)其使用傳統(tǒng)的隨機(jī)復(fù)制增強(qiáng)與自適應(yīng)增殖數(shù)據(jù)增強(qiáng)，并使用經(jīng)典網(wǎng)絡(luò)(MobileNetV2-SSD)與所改進(jìn)網(wǎng)絡(luò)(MobileNeXt+-GGF)進(jìn)行訓(xùn)練，比較測(cè)試集的測(cè)試效果，結(jié)果如表6 所示.可以看出，在使用2 個(gè)復(fù)制增強(qiáng)方法后，訓(xùn)練后的網(wǎng)絡(luò)模型準(zhǔn)確率都有上升.當(dāng)輸入尺寸分別為320、512 時(shí)，所提的自適應(yīng)增殖數(shù)據(jù)增強(qiáng)方法的AP 值在經(jīng)典網(wǎng)絡(luò)上與未使用復(fù)制增強(qiáng)比較提升了1.22%與1.87%，對(duì)比傳統(tǒng)的隨機(jī)復(fù)制增強(qiáng)提升了0.47%與0.84%.在使用改進(jìn)網(wǎng)絡(luò)模型時(shí)，對(duì)于2 種輸入尺寸，自適應(yīng)數(shù)據(jù)增殖方法AP 值與未使用增殖方法的比較提升了1.56%和2.48%，與隨機(jī)復(fù)制的比較提升了0.80%和1.12%.所提的數(shù)據(jù)增強(qiáng)方法與圖1 所示的傳統(tǒng)隨機(jī)復(fù)制方法比較有一定的提升，并且輸入尺寸較大時(shí)提升更明顯，當(dāng)應(yīng)用小目標(biāo)檢測(cè)的改進(jìn)網(wǎng)絡(luò)時(shí)，其提升幅度更加明顯.

表6 小目標(biāo)行人數(shù)據(jù)增強(qiáng)對(duì)識(shí)別精度的提升效果Tab.6 Effect of data enhancement of small target pedestrians on improving recognition accuracy

3.3.2 其他數(shù)據(jù)集實(shí)驗(yàn) 為了驗(yàn)證所提數(shù)據(jù)增強(qiáng)方法的泛化性能，使用常用行人公開(kāi)數(shù)據(jù)集CityPersons 與Caltech 進(jìn)行實(shí)驗(yàn).CityPersons 包含2 975 張訓(xùn)練集圖片與500 張驗(yàn)證集圖片；Cal-tech 數(shù)據(jù)集在set00-set05 選擇3 000 張圖片用于訓(xùn)練，并在set06-set08 選擇1 000 張用于驗(yàn)證.2 個(gè)數(shù)據(jù)集的輸入尺寸皆為512×512.結(jié)果如表7 所示.

表7 CityPersons 及CalTech 進(jìn)行數(shù)據(jù)增強(qiáng)的效果Tab.7 Data enhanced performance on CityPersons and Cal-Tech

根據(jù)表7 數(shù)據(jù)可知，所提自適應(yīng)增殖數(shù)據(jù)增強(qiáng)方法與圖1 所示的傳統(tǒng)隨機(jī)復(fù)制方法比較有一定的提升，對(duì)于數(shù)據(jù)量較少的CityPersons 和部分的Caltech 數(shù)據(jù)集，所提自適應(yīng)增殖數(shù)據(jù)增強(qiáng)方法有更大的提升效果，從中可以證明所提數(shù)據(jù)增強(qiáng)方法有較強(qiáng)的泛用性.

3.4 實(shí)際環(huán)境測(cè)試

為了檢測(cè)模型在真實(shí)環(huán)境中的檢測(cè)效果，搭建實(shí)驗(yàn)測(cè)試系統(tǒng)對(duì)多個(gè)真實(shí)環(huán)境進(jìn)行采集并對(duì)行人進(jìn)行檢測(cè)，如圖14 所示.在現(xiàn)場(chǎng)測(cè)試中，利用TurtleBot2 移動(dòng)機(jī)器人搭載 MicroSoft Kinect V1 相機(jī)與華碩A556U 筆記本電腦，在實(shí)際場(chǎng)景中采集87 張圖片，使用在WiderPerson 數(shù)據(jù)集上訓(xùn)練的不同網(wǎng)絡(luò)模型測(cè)試，結(jié)果如圖15 所示.對(duì)行人進(jìn)行標(biāo)注，計(jì)算不同模型檢測(cè)的準(zhǔn)確率，結(jié)果如表8所示.

表8 實(shí)際環(huán)境下的檢測(cè)準(zhǔn)確率Tab.8 Detection accuracy under actual environment

圖14 實(shí)際環(huán)境的實(shí)驗(yàn)平臺(tái)及測(cè)試Fig.14 Experimental platform and testing of detection effect

從圖15 中可以看出，所提算法在不同類(lèi)型的行人中均有不錯(cuò)的檢測(cè)結(jié)果.對(duì)于近距離大的目標(biāo)，經(jīng)典算法與所提算法檢測(cè)效果相差不大，但是對(duì)遠(yuǎn)處較小的目標(biāo)而言，MobileNetV2-SSD 很少檢測(cè)到；MobileNetV2-YOLOv3 雖然能夠檢測(cè)到遠(yuǎn)處一部分小目標(biāo)行人，但是仍然遺漏了一小部分小目標(biāo)行人，并且該算法的參數(shù)量非常大；所提算法對(duì)小目標(biāo)則有最好的檢測(cè)效果，基本沒(méi)有遺漏.從表8 中數(shù)據(jù)也能看出，所提網(wǎng)絡(luò)模型與數(shù)據(jù)增強(qiáng)方法的準(zhǔn)確率在實(shí)際環(huán)境測(cè)試中仍有較大的提升.

4 結(jié) 語(yǔ)

本研究提出基于消隱點(diǎn)自適應(yīng)增殖數(shù)據(jù)增強(qiáng)的上下文特征融合小目標(biāo)行人檢測(cè)方法.采用數(shù)據(jù)增強(qiáng)方法，能夠有效生成大小符合當(dāng)前位置的目標(biāo)，并能將大目標(biāo)轉(zhuǎn)化為小目標(biāo)，有效解決了小目標(biāo)自身特征不足的問(wèn)題.當(dāng)輸入尺寸為320和512 時(shí)，該方法應(yīng)用在WiderPerson 數(shù)據(jù)集中的AP 值分別提高了1.55%和2.48%.在骨干網(wǎng)絡(luò)中使用跨階段局部網(wǎng)絡(luò)優(yōu)化了沙漏結(jié)構(gòu)，并進(jìn)行了輕量化處理，能夠有效提升模型的可學(xué)習(xí)潛力，借助坐標(biāo)注意力機(jī)制融合通道和空間信息，進(jìn)一步提升模型精度.本研究設(shè)計(jì)了全局特征融合頸部網(wǎng)絡(luò)，極大地提高了整體網(wǎng)絡(luò)精度.改進(jìn)的整體網(wǎng)絡(luò)在WiderPerson 數(shù)據(jù)集上的AP 值與SSDMobileNetV2 網(wǎng)絡(luò)比較提升了9.02%.在公開(kāi)數(shù)據(jù)集上，所提算法相對(duì)于經(jīng)典算法也取得了最高的精度及較小的參數(shù)量.在實(shí)際環(huán)境測(cè)試中，所提算法相比其他算法也能識(shí)別出更多的小目標(biāo)行人，體現(xiàn)出了較強(qiáng)的魯棒性.