趙艷芹, 何東來， 朱子寒

(黑龍江科技大學(xué) 計算機與信息工程學(xué)院， 哈爾濱 150022)

0 引 言

在煤炭開采的過程中，由于工人以及管理人員對于安全帽佩戴問題的松懈，導(dǎo)致人員傷亡的事故時有發(fā)生。人員未佩戴安全帽輕則礦場整頓、停止生產(chǎn)，影響工程效率，重則出現(xiàn)死傷事故[1]。因此，使用自動化以及數(shù)字化技術(shù)檢測安全帽佩戴情況，尤為必要。

賈峻蘇等[2]提出了尋找適合的模型載體，結(jié)合形狀顏色等特征進行構(gòu)造檢測的方法，該方法雖然可以起到檢測效果，但是過程極為復(fù)雜。劉曉慧等[3]通過結(jié)合圖像的頻域信息與方向梯度值的方法用于檢測，使用支持向量機的方法進行判別，但是在一些特定情況下效果并不理想。

自2012年以來，AlexNet[4]、VGG16等[5]優(yōu)秀的深度學(xué)習(xí)模型應(yīng)用于圖像分類問題，打開了深度學(xué)習(xí)研究的大門，與此同時，將深度學(xué)習(xí)運用在檢測任務(wù)中成為了一種極為有效的方案。當(dāng)前學(xué)術(shù)界與工業(yè)界對于目標(biāo)檢測使用性能最為優(yōu)秀的模型是基于回歸檢測的Yolo[6]家族與基于候選框區(qū)域檢測的RCNN家族，其中YoloV3[7]、Faster RCNN[8]使用最為廣泛。

圖片中待檢測物體較小不易于檢測識別是檢測問題的難點。安全帽在圖片中所占的比例本身不大，在礦井作業(yè)中，會有人物在遠景的情況，安全帽在原圖中所占像素將會變得很小。同時，因為深度學(xué)習(xí)的特性，圖片不斷地進行卷積，特征圖將會不斷縮小，在不理想的情況下，原圖中的安全帽可能在最后的特征圖中被縮小為一個像素點，甚至消失，導(dǎo)致整體模型檢測性能的下降。為了解決尺寸較小不易于檢測的問題同時可以提升模型的整體性能，筆者在Faster RCNN檢測模型的基礎(chǔ)上做出了改進。為了提升模型的遠景檢測能力，在圖像增強中模擬遠景情況，增加訓(xùn)練集數(shù)量，提升模型的泛化性能。為了抑制特征圖在卷積過程中變小的趨勢，聯(lián)系殘差網(wǎng)絡(luò)思想[9]，將RPN層的卷積使用跳躍連接結(jié)構(gòu)，保存了卷積初期的圖像信息。同時結(jié)合了傳統(tǒng)機器學(xué)習(xí)的集成學(xué)習(xí)思想，多個體學(xué)習(xí)器同時監(jiān)督。

對傳統(tǒng)的重合度IOU算法進行了改進，計算方式不僅僅是兩個檢測框面積的交集值除以并集值，同時引入了最小包容框的思想，通過數(shù)學(xué)公式懲罰了空隙區(qū)間。

1 Faster RCNN檢測

以Faster RCNN算法為基礎(chǔ)進行改進用于安全帽佩戴情況的檢測，F(xiàn)aster RCNN由兩個主要部分組成,生成候選區(qū)域建議網(wǎng)絡(luò)(Region proposal network,RPN)與目標(biāo)分類檢測網(wǎng)絡(luò)， Faster RCNN檢測安全帽佩戴流程如圖1所示。

圖1 Faster RCNN流程

1.1 RPN層

經(jīng)過卷積后的圖片首先輸入RPN層，RPN層的作用主要是初步訓(xùn)練出回歸因子，定位anthor框，方便下一層分類擬合使用。首先使用k-means算法，根據(jù)已有的安全帽圖像尺寸確定anthor框的尺寸，在原來版本的Faster RCNN模型中為3種框尺寸大小，文中設(shè)置了4種框尺寸，每種尺寸對應(yīng)3種不同的長寬比例，比例分別為1∶1、2∶3、3∶2，具體設(shè)計如圖2所示。

圖2 錨檢測框

確定anthor尺寸之后使用三個大循環(huán)對于每個anthor框與真實的安全帽檢測框進行訓(xùn)練擬合。三個大循環(huán)分別為，通過特征圖的長寬遍歷每個特征點，通過每個特征點遍歷12個anthor框，通過每個anthor框遍歷每個真實框。完成三個大循環(huán)以后使用IOU算法，篩選出符合閾值的anthor框，通過每個符合閾值的anthor框與真實框gtbox的尺寸與位置的差異進行擬合學(xué)習(xí)，獲得回歸因子。

1.2 RPN層的損失函數(shù)

RPN層訓(xùn)練使用的損失函數(shù)：

(1)

(2)

(3)

式中：Nα——分類的總數(shù)量；

Nβ——擬合框總數(shù)量；

pi——目標(biāo)佩戴頭盔的概率；

di——真實情況與初始anthor框的位置與尺寸差值；

式中：x、y、w、h——預(yù)測框的位置與尺寸；

xa、ya、wa、ha——初始anthor框的位置與尺寸；

x*、y*、w*、h*——真實框的位置與尺寸。

通過以上損失函數(shù)計算公式迭代降低損失函數(shù)值，獲得最優(yōu)預(yù)測位置。

1.3 目標(biāo)分類檢測層

由于RPN層訓(xùn)練好的anthor框數(shù)量太多，很多anthor框的重復(fù)度太大，訓(xùn)練意義不大，因此，每幅圖通過非極大值抑制的方法(Non-Maximum suppression,NMS)篩選出400個合適的優(yōu)秀anthor框用于第二段訓(xùn)練，需要注意的是要保證正樣本與負樣本的數(shù)量各占一半，即200個正樣本，200個負樣本，使用插值上采樣的方法將特征圖的anthor框映射回原圖中。

通過IOU確定200個正樣本所對應(yīng)的真實框，計算出移動因子，用于回歸訓(xùn)練，同時結(jié)合200個負樣本用于類別分類的訓(xùn)練，訓(xùn)練使用的損失函數(shù)與RPN層相同。

2 模擬遠景圖像增強

由于深度學(xué)習(xí)的特性，針對訓(xùn)練集使用優(yōu)秀的圖像增強方案可以提升訓(xùn)練的結(jié)果，提出如下改進方案進行圖像增強。

在安全帽檢測問題中，遠景的安全帽佩戴者在圖片中所占比例較小，如果沒有對于這種情況進行充足的訓(xùn)練，極容易導(dǎo)致檢測時對于遠景目標(biāo)的忽略。為了提高遠景安全帽佩戴者訓(xùn)練時出現(xiàn)的次數(shù)，改進了圖像增強的方法，設(shè)置了3種等比縮小長寬的比例，分別為1/2、1/3、1/4，以這些尺寸將一幅圖片的長寬隨機等比例縮小，同時準(zhǔn)備一張與原尺寸大小相同白色背景板(即像素值全部為255)，將縮小后的圖片隨機粘貼在與原圖尺寸相同的白色背景板上，以此模擬遠景佩戴者場景，如圖3所示。

圖3 模擬遠景

同時在模擬遠景的圖像增強方法基礎(chǔ)上，還可以通過添加隨機HSV[10]、隨機補丁、水平鏡像翻轉(zhuǎn)圖像增強方法共同提升泛化性能。

3 集成學(xué)習(xí)的檢測算法

針對Faster RCNN進行了一系列的改進，改進點主要在RPN的網(wǎng)絡(luò)結(jié)構(gòu)中，融入了集成學(xué)習(xí)的思想，在傳統(tǒng)RPN網(wǎng)絡(luò)的基礎(chǔ)上加入跳躍結(jié)構(gòu)訓(xùn)練層，結(jié)合集成學(xué)習(xí)的思想，進行訓(xùn)練。同時改進IOU重合度算法，對空隙間隔進行了懲罰，以提升anthor框?qū)ふ覍?yīng)真實框的準(zhǔn)確度。

3.1 檢測算法

集成學(xué)習(xí)思想是當(dāng)前比較流行的機器學(xué)習(xí)算法思想之一，將多個學(xué)習(xí)系統(tǒng)相結(jié)合，共同對模型進行訓(xùn)練。通過多個個體算法進行訓(xùn)練，根據(jù)實驗推測不同學(xué)習(xí)器對結(jié)果的影響，設(shè)置權(quán)重，使用某種算法將其相結(jié)合，這樣可以比單個個體的訓(xùn)練得到更好的結(jié)果。集成學(xué)習(xí)的決策公式為

(4)

式中：wi——不同個體學(xué)習(xí)器的權(quán)重；

bi——各層分類器的學(xué)習(xí)結(jié)果；

θ——訓(xùn)練參數(shù)；

A——學(xué)習(xí)器數(shù)量。

集成學(xué)習(xí)示意如圖4所示。

圖4 集成學(xué)習(xí)

3.1.1 RPN層損失函數(shù)

筆者對RPN層進行了集成學(xué)習(xí)設(shè)計其中第一個卷積層加入了dropout層，使訓(xùn)練更加具有隨機性，提升泛化能力。兩個學(xué)習(xí)器在的分類損失函數(shù)在RPN層相互結(jié)合公式為

(5)

式中：Nα——類別的總數(shù)量；

Lα1——1號學(xué)習(xí)器的類別分類損失函數(shù)值；

Lα2——2號學(xué)習(xí)器的類別分類損失函數(shù)值。

對于回歸因子的輸出使用兩個學(xué)習(xí)器回歸因子的結(jié)合方式，將每個anthor得出來的回歸因子相加求期望輸入第二階段，具體回歸因子計算方式：

(6)

式中：dx1、dy1、dw1、dh1——1號學(xué)習(xí)器RPN的輸出因子；

dx2、dy2、dw2、dh2——2號學(xué)習(xí)器的RPN的輸出因子。

3.1.2 網(wǎng)絡(luò)設(shè)計

由于卷積特性，圖片中很小的目標(biāo)在進行卷積的過程中，尺寸會變得更加小。而運用殘差跳躍網(wǎng)絡(luò)，可以有效提升對于小目標(biāo)的檢測，同時結(jié)合集成學(xué)習(xí)的方法不僅可以提升準(zhǔn)確率，可以抑制特征圖變小的趨勢，設(shè)計了如圖5的網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 集成學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

圖5中C1、C2、C3、C4、P1、P2、P3的計算公式：

(7)

(8)

式中：R——輸入的原圖;

wi——各個層卷積層的參數(shù)，i=1,2,…，4;

N(·)——卷積操作，N(C1,w2),以w2為參數(shù)，對C1輸出內(nèi)容進行卷積操作；

F(·)——融合操作，F(xiàn)(C4,C3)，對C3上采樣后與C4輸出內(nèi)容同維度融合。

圖5中A、B為兩個不同的個體學(xué)習(xí)器，R為輸入的原圖。A、B兩個訓(xùn)練器使用VGG16模型，將模型等分為C1、C2、C3、C44個部分。傳統(tǒng)方案直接使用圖中C4輸出結(jié)果進行擬合訓(xùn)練，會出現(xiàn)檢測的安全帽太小甚至消失的問題，為了解決該問題使用殘差跳躍網(wǎng)絡(luò)將C4進行上采樣之后與C3融合，得到的特征圖再次上采樣與C2融合，依次類推。同時A、B兩個學(xué)習(xí)器使用兩種不同學(xué)習(xí)策略，A的特點為視野更高、B的特點為細節(jié)信息更多，使用集成學(xué)習(xí)思想相融合，兩個學(xué)習(xí)器使用不同策略的跳躍殘差網(wǎng)絡(luò)，模型能夠獲得不同視野深度，集成學(xué)習(xí)融合之后使得網(wǎng)絡(luò)在反向傳播時可以獲得更多高效的特征，提升檢測性能。

3.2 IOU的改進

傳統(tǒng)的IOU的計算方式為anthor框與真實框的交集面積除以anthor框與真實框的并集面積，若存在兩個框面積分別為A、B，其重度度為

但是該計算方式僅僅通過交集面積與并集面積的關(guān)系進行計算，對于最優(yōu)的anthor框的挑選未必能夠達到最好。因此，引入了最小包容框的思想，提出了一種結(jié)合懲罰空隙區(qū)域的IOU算法為

(9)

式中：d——兩坐標(biāo)點的歐氏距離；

b——anthor框的中心點坐標(biāo)；

bgt——真實框的中心坐標(biāo)；

c——兩個框的最小包容框的最遠對角距離；

λ——兩個歐氏距離的調(diào)試參數(shù)。

具體示意如圖6所示。圖中，c是真實框與anthor框的最小包容框的最遠對角距離，d是兩個框的中心點的歐氏距離。

圖6 改進的IOU

由圖6可見中空隙區(qū)域面積越大，d與c的比值越大，即式(9)中減數(shù)的值越大，ηIOU的結(jié)果越小。因此，通過該方法的改進，可以更加有效的約束重合度的最終值，尋找最優(yōu)anthor框。

4 實驗結(jié)果與分析

實驗的軟硬件配置為：操作系統(tǒng)Windows10,搭建框架使用Pytorch,編譯器使用Pycharm,顯卡為1080ti,顯存為12 G,內(nèi)存為16 G。

4.1 數(shù)據(jù)集與指標(biāo)

數(shù)據(jù)集使用的是從網(wǎng)上自行搜集的安全帽佩戴數(shù)據(jù)集，共計4 064張。使用labelImg對圖片進行標(biāo)記轉(zhuǎn)化為XML格式，將其中的4 033張用于訓(xùn)練，31張用于測試。

測試時的指標(biāo)使用查準(zhǔn)率(p)、查全率(r)、準(zhǔn)確率(a)進行判斷，公式為：

式中：Tp——預(yù)測為正類的正樣；

Tn——預(yù)測為負類的負樣；

Fp——預(yù)測為負類的正樣；

Fn——預(yù)測為正類的負樣。

4.2 實驗結(jié)果

實驗共三個部分，直接訓(xùn)練對比、使用圖像增強方法對比、改進的IOU算法的對比。

4.2.1 直接訓(xùn)練

直接使用傳統(tǒng)的Faster RCNN、YoloV3、文中的模型三種模型進行訓(xùn)練、得出的模型用于檢測，對比實驗結(jié)果如表1所示。

表1 不同模型的測試結(jié)果

從表1可以看出，文中模型相比于傳統(tǒng)的Faster RCNN模型查準(zhǔn)率提升了4.2%，查全率提升了6.4%，準(zhǔn)確率9.0%,相比于傳統(tǒng)YoloV3模型查準(zhǔn)率查全率也都有所提升，準(zhǔn)確率提升了3.0%。文中模型所使用的跳躍殘差網(wǎng)絡(luò)結(jié)合集成學(xué)習(xí)的思想對于檢測性能有明顯的提升。

4.2.2 添加遠景模擬圖像增強

為了觀察文中提出的遠景模擬的圖像增強方法的對檢測的提升效果，實驗設(shè)計如下：使用傳統(tǒng)Faster RCNN，不使用集成學(xué)習(xí)只添加四層殘差跳躍網(wǎng)絡(luò)的模型。文中對使用的集成學(xué)習(xí)模型三種模型算法進行比較，結(jié)果如表2所示。

表2 添加圖像增強結(jié)果

相比較于表1直接訓(xùn)練的模型，從表2可以看出，模擬遠景情況的圖像增強對于傳統(tǒng)的Faster RCNN算法沒有明顯的提升。而文中的模型在查準(zhǔn)率、查全率、精確度上都有了較高的提升。筆者認為，由于殘差跳躍網(wǎng)絡(luò)思想的應(yīng)用對于遠景圖片的適應(yīng)性更強，同時集成學(xué)習(xí)的思想有效提高了查全率，所以遠景模擬增強針對文中模型具有更強的適應(yīng)性。

4.2.3 三種模型使用改進的IOU算法

為了觀察文中提出的改進的IOU算法對于性能提升的效果，實驗設(shè)計：使用傳統(tǒng)Faster RCNN、不使用集成學(xué)習(xí)只添加四層殘差跳躍網(wǎng)絡(luò)的模型、文中集成學(xué)習(xí)模型這三種模型算法進行比較，結(jié)果如表3所示。

表3 使用改進的IOU算法結(jié)果

對比表2、3可以發(fā)現(xiàn)，改進的IOU算法對于文中的模型查全率沒有起到提升的作用，但是查準(zhǔn)率得到了提升，對于負樣本的排查起到了促進作用，同時，改進的IOU算法對于整體性能起到促進作用。在進行相同圖像增強與IOU算法改進的情況下，傳統(tǒng)Faster RCNN與文中模型的檢測部分結(jié)果示意如圖7所示。

圖7 不同模型對比

圖7中，在某些遠景情況下傳統(tǒng)的Faster RCNN模型無法檢測，添加殘差網(wǎng)絡(luò)與文中的模型都可以檢測出來。但是文中的模型顯示的真正樣本的判定概率值相比于傳統(tǒng)網(wǎng)絡(luò)以及僅僅添加殘差網(wǎng)絡(luò)的判定概率值結(jié)果更高。

5 結(jié) 論

(1)對于使用Faster-RCNN算法進行安全帽檢測的問題,利用殘差跳躍網(wǎng)絡(luò)，保留了初始卷積特征圖的檢測目標(biāo)特征的情況下，相比于傳統(tǒng)的方法準(zhǔn)確率可以提升3.1%，同時，結(jié)合集成學(xué)習(xí)的思想，分別融入高信息與高視野的不同特征的情況下，準(zhǔn)確率可以提升4%。

(2) 在圖像訓(xùn)練的初始階段，圖像增強使用模擬遠景的改進方案相比于未添加圖像增強的傳統(tǒng)方法，準(zhǔn)確率提升了6.2%。

(3) IOU算法的改進方案，結(jié)合了懲罰空隙面積的思想，提升了anthor框的排查效率，在使用殘差跳躍網(wǎng)絡(luò)的條件下準(zhǔn)確率可以提升3%，在使用集成學(xué)習(xí)的條件下準(zhǔn)確率可以提升4.3%。