孫家慧,葛華勇,張哲浩

(東華大學 信息科學與技術學院,上海 201620)

行人檢測是目標檢測的一個重要分支,是識別行人目標和分析行人行為的基礎,在自動駕駛、安全監(jiān)控等方面都有著廣泛應用.快速且高效的檢測在行人檢測任務中有著重要的意義.隨著卷積神經網(wǎng)絡研究的深入,基于深度學習的檢測成為目標檢測的主要方法,可以分為Two-stage 和One-stage 兩種.在基于候選區(qū)域的Two-stage 方法中,R-CNN[1-3]系列算法采用卷積神經網(wǎng)絡進行目標檢測并表現(xiàn)出非常高的檢測精度,雖然之后的Fast R-CNN[2]、Faster R-CNN[3]進行了不同的改進來減少計算冗余,但是在檢測速度方面仍然不能滿足實時檢測.One-stage 方法中具有代表性的是YOLO[4]算法,它采用單個卷積神經網(wǎng)絡直接預測物體邊界框和其所屬類別的概率,將目標檢測問題轉化為回歸問題,在檢測速度上大幅提升,YOLO 系列算法能夠同時在檢測精度和速度上達到較高的性能,能夠滿足行人檢測的基本需求.

注意力機制是通過篩選當前任務較為關鍵的信息來提高網(wǎng)絡檢測能力的方法.Hu 等人提出的基于通道注意力的SENet(squeeze-and-excitation networks)[5]通過學習每個輸入通道的權重對信息進行選擇.Woo 等人提出CBAM(convolutional block attention module)[6],將空間和通道上的注意力結合,能夠更有效地篩選重要信息.除了在網(wǎng)絡深度上進行改進,增加網(wǎng)絡寬度也能達到提高網(wǎng)絡性能的效果.GoogleNet[7]利用多尺度的卷積核進行特征提取,提高了特征提取的多樣性.此外,檢測模型的大小也是一個重要的指標,SqueezeNet[8]和MoblieNet[9]是具有代表性的輕量級網(wǎng)絡.SqueezeNet能夠在網(wǎng)絡參數(shù)量為AlexNet 的1/50的條件下達到與其相當?shù)臋z測精度.

在相關的目標檢測研究中,李勇等人提出的結合通道注意SENet 的YOLOv3 算法能夠有效提高網(wǎng)絡的檢測能力[10];方韋等人將SqueezeNet 結構引入到Tiny-YOLOv3 中,將網(wǎng)絡模型降為原網(wǎng)絡的1/4,檢測速度得到了提升[11];姜建勇等人提出的PD-CenterNet對樣本進行加權,通過平衡正負樣本的損失提高了模型的檢測能力[12].

為得到更好的檢測性能,本文在YOLOv4 的基礎上進行了研究和改進.(1)引入一種結合空洞卷積的混合域注意力機制D-CBAM,并結合殘差連接,在網(wǎng)絡的特征增強部分對有用特征進行篩選;(2)利用SqueezeNet中的squeeze-expand 思想和Inception 中的多尺度的卷積“并連”的結構,提出一種Inception-fire 模塊,達到加寬網(wǎng)絡的同時減少模型參數(shù)的效果;(3)分別對正負樣本、難易樣本添加權重因子改進損失函數(shù),增強網(wǎng)絡對正樣本和難分類樣本的訓練,以提高網(wǎng)絡的檢測能力.

1 目標檢測網(wǎng)絡

1.1 YOLOv4 目標檢測

YOLOv4[13]的網(wǎng)絡結構分為主干網(wǎng)絡部分、特征增強部分和預測部分,如圖1.主干網(wǎng)絡采用Mish 函數(shù)激活的CSPDarknet53[14]結構,由1×1 和3×3 卷積構成,利用殘差連接和CSPnet 劃分通道的思想構建.主干網(wǎng)絡進行特征提取的思想是:對于一個輸入,先對其進行通道的劃分,將分割后的一部分輸入到殘差塊中進行運算,提取到圖像特征;另一部分不做處理,和殘差塊部分的輸出進行通道上的級聯(lián),輸入到下一層中.結合CSP 結構的殘差卷積使得1/2 通道的特征圖不參與計算,可以將計算量減少一半左右.

圖1 YOLOv4 網(wǎng)絡結構

YOLOv4 利用了空間金字塔池化結構(spatial pyramid pooling,SPP)和PANet(path aggregation network)對特征進行增強.SPP 將特征圖用4 個大小分別為{1,5,9,13}的池化窗口進行并行的最大池化,增加感受野,以分離出最重要的上下文特征;PANet 結構包含了自上而下和自底向上兩條路徑上的特征聚合,可以對已經提取到的3 個尺度上的特征進行增強,提高檢測的能力[13].網(wǎng)絡的預測部分仍然采用YOLOv3[15]的“head”結構,分別在3 個不同尺度上通過兩層卷積運算對最終結果進行預測.

1.2 相關檢測網(wǎng)絡

(1)SqueezeNet:SqueezeNet 是一種輕量級網(wǎng)絡,它提出了一種fire 結構進行特征提取.Fire 模塊可以分為“squeeze”和“expand”兩部分.“Squeeze”部分由1×1 卷積實現(xiàn):來自上層的特征圖先輸入到一個1×1 卷積中進行通道的壓縮,然后將其結果輸入到一個由1×1 卷積和3×3 卷積組成的“expand”部分進一步處理.利用兩個不同卷積核對同一個特征圖做卷積運算,一方面可以提取到更豐富的特征,另一方面,在輸入上進行通道壓縮,減少了輸入到3×3 卷積的特征圖的通道數(shù),能夠減少網(wǎng)絡的參數(shù)[6].

(2)Inception 網(wǎng)絡:GoogleNet 開創(chuàng)性的在增加網(wǎng)絡寬度的角度上進行探索,其主要組成部分為Inception結構,該結構使用了多種不同大小的卷積核對圖像進行特征提取.此外,Inception 借鑒了Network-in-Network 思想,使用1×1 的卷積核實現(xiàn)降維操作來減少網(wǎng)絡的參數(shù)量[7].在Inception 結構中,分別使用了1×1、3×3、5×5 大小的卷積核以及一個3×3 的最大池化層.通過用不同核大小的卷積運算提取信息,并將這些特征進行通道級聯(lián),可以獲得各個感受野下的特征.由于同一層的多個卷積都對來自上一層的輸入進行計算,在輸入通道數(shù)很大時會產生大量的參數(shù),在每次卷積運算之前引入1×1 卷積進行通道壓縮,可以減少大卷積核產生的參數(shù).Inception 這種網(wǎng)絡結構參數(shù)數(shù)量僅為AlexNet 網(wǎng)絡的1/12,能夠降低計算量的同時達到較高的檢測精度.

(3)注意力機制:注意力機制是基于人類視覺選擇性注意機制提出的一種能夠從眾多信息中提取到有用信息的方法,從作用域上可以分為3 種:空間注意機制、通道注意機制和混合注意機制.CBAM 是一種混合注意機制,通過將通道注意和空間注意進行順序上的連接,實現(xiàn)雙維度上的特征選擇.在CBAM的通道注意模塊和空間注意模塊的實現(xiàn)中,都同時采用了全局平均池化和全局最大池化,以提取到某一維度上的更全面的信息.在目標檢測網(wǎng)絡中添加注意力機制,能夠顯著增強特征中的重要信息,對物體預測有著重要的作用[6].

2 改進算法的網(wǎng)絡結構

2.1 網(wǎng)絡整體結構

改進YOLO 網(wǎng)絡的結構如圖2所示.主干網(wǎng)絡CSPDarknet53 對輸入圖像進行特征提取,分別得到52×52,26×26,13×13 三個不同尺度的有效特征圖,并采用LeakyReLU 函數(shù)激活,相較于Mish 激活能夠一定程度上減少計算量.在13×13 大小的特征圖輸入到SPP 模塊之前,先利用由多尺度卷積核和注意力機制構成的Attention-I-F 模塊對其進行處理,以提取到更全面、更重要的信息.在SPP 之后,同樣采用Attention-I-F模塊對輸出進行處理,對不同池化窗口得到的特征進一步添加注意力,獲取到重要信息.YOLOv4 的PANet將3 個不同尺度的特征圖進行自上而下和自下而上兩條路徑上的融合.改進的YOLO 中,將融合之后的特征圖輸入到一個添加注意力機制的Res-D-CBAM 模塊,從深層特征和淺層特征融合之后的信息中選擇對目標檢測有用的信息進行增強,抑制那些無用的信息.

圖2 改進的YOLO 網(wǎng)絡結構

2.2 注意機制與殘差連接的結合

在YOLOv4 中,PANet 對提取到的不同尺寸的特征圖反復融合,并將融合后的特征進行連續(xù)的卷積處理,其結果直接作為YOLO-head 的輸入進行預測.這一過程雖然能夠將提取到的3 個尺度上不同的特征信息相互補充,但此過程中也會將大量冗余信息和無用特征重復疊加.同時,在多通道級聯(lián)后的特征圖上使用大量連續(xù)卷積運算,會產生較多的參數(shù),增大計算量,降低網(wǎng)絡的檢測速度.

本文對YOLOv4 中的PANet 結構進行了改進,提出一種結合殘差連接、注意力機制和空洞卷積的網(wǎng)絡模塊—Res-D-CBAM,其組成如圖3所示.

圖3 Res-D-CBAM 模塊

其中“CBLn×n”表示進行n×n卷積運算、批歸一化(batch normalization,BN)和LeakyReLU 激活.將殘差連接引入到連續(xù)的卷積中,一方面可以增強特征的復用,另一方面避免了深層網(wǎng)絡中學習效率和準確率無法提升的問題[16].此外,使用注意力機制對不同尺度上的特征信息分別進行通道域和空間域上的學習,通過加權的方式有選擇的增強本尺度特征圖中對物體檢測有用的信息,并抑制不重要的信息,能夠減少后續(xù)對冗余特征的重復傳遞和運算.

Res-D-CBAM 模塊中的注意力機制采用了如圖4所示的D-CBAM 結構,此結構可分為通道注意和空間注意兩個模塊.

圖4 D-CBAM 結構

對于一個H×W×C大小的輸入,通道注意模塊首先對其進行全局最大池化和平均池化,得到兩個1×1×C大小的輸出,然后利用一個共享的多層感知機(multi-layer perceptron,MLP)學習各通道信息的重要性,經過Sigmoid 函數(shù)獲得0 到1 范圍的權重Mc(F),如式(1),其中“+”表示對應像素點相加,σ代表Sigmoid激活.最后將通道權重與輸入F進行對應通道的加權,即得到通道注意的結果F1,如式(2),其中 ?表示對應像素點相乘.MLP 部分采用了兩層1×1 卷積,首先用一個輸出通道數(shù)為C/r的1×1 卷積獲得對通道壓縮后的特征圖,然后再經過一個輸出通道數(shù)為C的1×1 卷積,這樣兩層卷積在控制卷積參數(shù)的同時能夠學習到各個通道上的特征重要程度.

綜上，以Ansoft計算所得理想梯形槽參數(shù)為基礎，利用傳統(tǒng)作圓求交點法所制電樞沖片梯形槽參數(shù)與理想梯形槽參數(shù)存在差異，若用此種梯形槽電樞沖片，會增大電機電樞槽滿率，降低繞線工藝性，延遲產品生產周期，增大電機熱負荷及電機電樞齒部磁密，降低電機額定點負載效率。根據(jù)相關文獻電樞梯形槽不同還會對電機啟動電流，啟動轉矩等性能產生影響[3-4]，故用正確的方法制電樞梯形槽，使所制梯形槽參數(shù)與理想梯形槽參數(shù)相符，對提升電機性能意義重大。下面將闡述以作平行線求交點制理想梯形槽電樞沖片法。

將通道注意的結果進一步進行空間權重的提取,如式(3).首先將輸入分別進行通道維度上的平均池化和最大池化,得到兩個H×W×1 大小的輸出,并將二者進行通道上的級聯(lián),得到一個H×W×2 的特征圖.然后經過一個卷積核為3×3,膨脹系數(shù)為2 的空洞卷積以及Sigmoid 激活函數(shù),獲得在空間上各點的權重Ms(F1).最后將權重Ms(F1)與輸入F1進行對應點的相乘,得到D-CBAM 模塊的輸出F2,如式(4).

相比CBAM 中采用的7×7 卷積,在D-CBAM 中利用了擴張率為2 的3×3 空洞卷積來學習空間維度上特征信息的權重.空洞卷積能夠在得到較大感受野的條件下產生相對較少的卷積運算參數(shù),且不需要使用池化運算壓縮特征圖來增大感受野,避免了分辨率降低造成的不可逆轉的信息丟失[17].

2.3 多尺度卷積和SqueezeNet 的結合

為加寬網(wǎng)絡的同時減少連續(xù)卷積堆疊產生的參數(shù),本文提出一種結合SqueezeNet 和Inception 思想的Inception-fire 結構,如圖5所示.

圖5 Inception-fire 模塊

在此結構中,首先對輸入進行“squeeze”運算,將通道數(shù)壓縮為s,這一操作通過一個1×1 卷積完成.然后將1×1 卷積的輸出進行“expand”運算,即將其分別輸入到1×1,3×3,5×5 三個尺寸的卷積中,并將輸出通道數(shù)分別設置為:e1、e3和e5.通過設置相應卷積的輸出通道數(shù),可以控制網(wǎng)絡產生的計算量.借鑒殘差網(wǎng)絡的思想,將“expand”層的3 個卷積的輸出和“squeeze”層的輸出進行通道維度上的相加,以增強特征的復用,“Concat”的結果作為整個模塊的輸出.由于較大的卷積核在計算過程中會產生比較多的參數(shù),在本模塊中,將5×5 卷積分解為兩個連續(xù)的3×3 卷積,可以在減少參數(shù)量的同時保證卷積運算能夠獲得相同感受野.

將Inception-fire 結構和圖4 的注意力模塊DCBAM 結合,得到增強注意的Inception-fire 結構—Attention-I-F,如圖6所示.

圖6 Attention-I-F 模塊

本文提出的改進YOLO 網(wǎng)絡在主干網(wǎng)絡和空間金字塔池化結構之后都分別添加了Attention-I-F 模塊,用于進一步處理提取到的深層特征.整體實現(xiàn)流程是:將輸入特征分別進行3 層Inception-fire 網(wǎng)絡的特征提取,然后利用一個1×1 卷積進行通道整合,最后結合注意力模塊D-CBAM 進行有用特征的選擇.其中Inceptionfire 通過多個大小不同的卷積核對深層特征處理,能夠減少過擬合.同時,通過增加卷積運算的多樣性可以獲得不同感受野下的語義信息.將注意力機制運用在上層提取到的豐富的特征信息上,可以對其中重要的特征信息進行增強,減少后續(xù)特征融合過程中深層語義信息的丟失,以提高網(wǎng)絡的預測能力.

3 損失函數(shù)

3.1 Focal loss

樣本中除了正負樣本之外,還存在易分類樣本和難分類樣本.為了提高網(wǎng)絡的檢測能力,在訓練中應該對難分類的樣本著重考慮,而平衡交叉熵損失中僅增加一個權重因子平衡正負樣本,并沒有考慮難易樣本的區(qū)分.為解決此問題,焦點損失函數(shù)(focal loss,FL)在平衡交叉熵損失的基礎上增加了一個調節(jié)因子(1-pt)γ,用來降低易分類樣本權重,聚焦于難分類樣本的訓練.FL 的表示如式(8),其中 γ為聚焦參數(shù),可以調節(jié)權重(1-pt)γ的降低程度,γ越大則權重降低的程度就越大.當pt很小即表示難分類的樣本,此時調節(jié)因子(1-pt)γ趨近1,損失函數(shù)中樣本的權重不受影響;當pt很大時即表示樣本較容易分類,這時調節(jié)因子趨近0,該樣本在損失函數(shù)中的權重下降很多,以此達到增強對難分類樣本的訓練[18].

3.2 引入focal loss 的損失函數(shù)

結合焦點損失函數(shù)和行人檢測的特點,本文對損失函數(shù)進行了改進.改進的損失函數(shù)可分為兩部分:回歸損失和置信度損失,如式(9).

其中,lloc為預測框的回歸損失,由CIOU計算損失值,如式(10).S×S表示將輸入圖像劃分成S×S的網(wǎng)格,N表示每個網(wǎng)格上產生的先驗框個數(shù).若待檢測物體的中心落在第i個網(wǎng)格的第j個先驗框中,則否則和分別表示預測得到的置信度和實際的置信度值.lCIOU為CIOU損失,如式(11),12,13.c為真實框和預測框的最小閉包的對角線距離,ρ2(b,bgt)表示預測框和真實框中心點之間的歐氏距離,wgt和hgt分別為真實框的寬和高,w和h分別為預測框的寬和高.v用于衡量長寬比的一致性,α是用于權衡的參數(shù).

lconf為預測結果的置信度損失,如式(14).改進的置信度損失添加了控制因子 β,用于控制正負樣本在損失中所占比重,減小大量負樣本的損失對總的損失值的主導作用,使得網(wǎng)絡反向傳播時聚焦于正樣本的訓練.此外,引入調節(jié)因子(1-Ci)γ用于調節(jié)難分類樣本和易分類樣本的權重,增加難分類樣本的權重,使得總的損失值更偏向于難分類樣本的損失,便于在反向傳播中進一步對難分類樣本進行訓練,增強網(wǎng)絡對難分類樣本的分類能力.參考文獻[17]并結合實驗對比,在實驗中設置 β= 0.25,γ= 1.8 可以較好的平衡檢測精度和誤檢率.

4 實驗與結果分析

4.1 數(shù)據(jù)集處理和網(wǎng)絡訓練

為驗證本文所提出的改進YOLO 的性能,在INRIA 行人數(shù)據(jù)集上進行了訓練和測試.INRIA 是目前使用最多的靜態(tài)行人檢測數(shù)據(jù)集,圖像中的行人姿態(tài)和光照條件等豐富多變,存在單個行人以及擁擠遮擋人群的情況,適合用于行人檢測.訓練集中有614 張圖像,測試集288 張圖像.為避免訓練過程中出現(xiàn)過擬合,采用隨機添加噪聲、調整亮度、旋轉、裁剪、平移以及cutout 等方法對訓練集圖像進行數(shù)據(jù)增強,將訓練集擴充到了3 070 張圖像.

訓練前在INRIA 數(shù)據(jù)集上采用k 均值聚類選擇合適的先驗框個數(shù)和尺寸大小.根據(jù)聚類個數(shù)和平均IOU的曲線,實驗中選擇對數(shù)據(jù)集進行聚類大小為9 的先驗框聚類,得到的9 個先驗框的尺寸如表1所示.

表1 先驗框大小

使用Python 語言在PyTorch 框架下實現(xiàn)算法.將訓練集中80%的圖像用于訓練,20%用于驗證.采用Adam 優(yōu)化器,權重衰減設置為0.000 5.學習率采用余弦退火衰減,周期T=5.初始學習率設為0.001,最小學習率0.000 01,batch size=8,進行3 000 次迭代后,改用初始學習率0.000 1,最小學習率0.000 01 的余弦退火衰減繼續(xù)訓練.

訓練結束后獲得改進網(wǎng)絡權重參數(shù),將其和原網(wǎng)絡的參數(shù)模型大小對比,如表2.改進后的網(wǎng)絡參數(shù)從6.5 千萬減少到了4 千萬,降低了37.34%.

表2 參數(shù)量對比

4.2 測試結果

將訓練后的網(wǎng)絡在INRIA 測試集上進行測試,獲得了如圖7所示的召回率-精確度曲線,其中曲線下圍成的面積即為平均檢測精度(AP).

圖7 檢測召回率-精度曲線對比

對改進前后的網(wǎng)絡性能進行了對比,如表3.改進的YOLO 算法能夠達到94.95%的平均檢測精度,比原YOLOv4 算法高出4.25%.對比其檢測時間,可以發(fā)現(xiàn)改進的YOLO 算法在檢測速度上提高了13.54%.

表3 性能對比

為了更直觀的發(fā)現(xiàn)改進網(wǎng)絡檢測能力的提升,實驗進一步獲取了改進前后的測試結果,如圖8所示.

圖8 檢測結果對比

檢測結果中藍色框表示數(shù)據(jù)集中標注的groundtruth,綠色框表示正確的檢測結果,紅色框代表假正例,即網(wǎng)絡預測結果沒有匹配的ground-truth,判定為誤檢.對比YOLOv4 和改進算法的檢測結果,改進后的網(wǎng)絡對于圖像中尺寸較小的行人目標的檢測能力具有明顯的提高.對于圖像中人群出現(xiàn)大量遮擋的情況,使用YOLOv4 會產生部分的漏檢,而改進的網(wǎng)絡能夠檢測出更多的存在部分遮擋的目標.雖然改進網(wǎng)絡中存在一些判定為假正例的檢測結果,但可以發(fā)現(xiàn)在實際圖像中,該檢測是正確的,這種誤檢的原因是數(shù)據(jù)集中標注的不完全.

4.3 不同改進策略的實驗對比

為了驗證文中所提出的改進策略對網(wǎng)絡檢測性能的影響,本文開展了一系列的對比實驗.在原YOLOv4網(wǎng)絡的基礎上,分別進行改進.(1)將主干網(wǎng)絡激活函數(shù)修改為LeakyReLU 函數(shù);(2)在(1)的基礎上,將Res-D-CBAM 模塊添加到改進的網(wǎng)絡中,如圖2 中的PANet 部分;(3)在(2)的基礎上將Attention-I-F 模塊引入到改進網(wǎng)絡中,如圖2 中的“Attention-I-F”;(4)在(3)的改進基礎上,使用第3.2 節(jié)提出的損失函數(shù)計算訓練過程中的損失值.對以上幾個改進的策略在同樣的環(huán)境下分別進行訓練和測試,得到如表4所示的結果.

表4 不同改進策略的實驗結果對比

根據(jù)表4 中數(shù)據(jù)的對比,可以發(fā)現(xiàn):主干網(wǎng)絡采用LakyReLU 激活函數(shù)可以減少部分的計算量,使網(wǎng)絡總的檢測時間有所減少,且檢測精度變化不大;在此基礎上,在網(wǎng)絡中添加Res-D-CBAM 模塊之后,得到的檢測精度增加到了91.63%,相較添加之前提高了1.03%,同時檢測耗時僅增加1.47%,證明了注意力機

制和殘差連接結構對于特征信息的選擇性增強具有較好的效果.結合以上改進,進一步將Attention-IF 模塊添加到改進網(wǎng)絡中,從檢測結果中可以發(fā)現(xiàn),Attention-I-F 結構的引入使得網(wǎng)絡的檢測精度91.63%提高到了93.87%,提升了2.24%,同時檢測時間從22.81 s 減少到了19.60 s,降低了14%.此結果表明在網(wǎng)絡中使用多尺度卷積核提取到的更豐富的特征對檢測結果有重要作用,且利用1×1 卷積減小特征圖的厚度,能夠對檢測速度的提高產生較大的影響.最后,使用改進的損失函數(shù)對網(wǎng)絡進行訓練,可以得到檢測精度上1.08%的提升.這一結果表明通過對正負樣本、難易樣本的損失分別進行加權,提高損失函數(shù)中正樣本和難分類樣本的權重,可以在網(wǎng)絡反向傳播時增強正樣本和難分類樣本的訓練,使得最終訓練得到的網(wǎng)絡模型能夠有更高的檢測能力.

5 結束語

本文提出了一種結合SqueezeNet、Inception 結構、殘差連接以及注意力機制的網(wǎng)絡結構,并基于YOLOv4 的損失函數(shù),結合focal loss 改進了行人檢測中的損失函數(shù),使得網(wǎng)絡整體得到了4.25%的精度提升.結合SqueezeNet 的“squeeze-expand”思想以及Inception 中多尺度卷積核的運用,提出的Inceptionfire 結構能夠很大程度上同時提高檢測的速度和精確度.改進的注意力模塊結合殘差連接能夠在增加很少量參數(shù)的條件下有效提高網(wǎng)絡檢測精度.在損失函數(shù)中通過調整正負樣本、難易樣本的權重,可以在一定程度上提高網(wǎng)絡的檢測能力.通過觀察改進網(wǎng)絡的檢測結果,可以發(fā)現(xiàn)改進網(wǎng)絡對于密集和遮擋的人群具有較好的檢測效果,對圖像中較遠處小目標的檢測能力也有所提升.但由于現(xiàn)有的行人數(shù)據(jù)集對較小或不明顯的目標物體標注的不完全,測試時會將檢測結果中的部分正確的檢測判定為假正例.在接下來的研究中,會改進數(shù)據(jù)集問題,降低誤檢率,同時研究如何進一步提高網(wǎng)絡的檢測速度.