師后勤，謝 輝，張夢(mèng)鈺，姜 凌，陳 瑞

（南京工程學(xué)院 信息與通信工程學(xué)院，江蘇 南京 211167）

0 引 言

行人檢測(cè)是計(jì)算機(jī)視覺(jué)研究中的熱門和難點(diǎn)之一，它與其他技術(shù)結(jié)合可實(shí)現(xiàn)行人跟蹤、行人重識(shí)別等更高級(jí)的應(yīng)用。檢測(cè)行人時(shí)除了要考慮行人的姿態(tài)和形狀、攝像頭的角度之外，還面臨著視野遮擋、光線等不確定因素的影響，使行人檢測(cè)具有挑戰(zhàn)性。也因?yàn)閿z影環(huán)境和設(shè)備問(wèn)題，總會(huì)產(chǎn)生一些較低質(zhì)量的圖片。比如清晰度降低、色彩失真、失焦/跑焦等問(wèn)題。為了后期改善圖像處理的品質(zhì)，設(shè)計(jì)高效的低照度增強(qiáng)算法十分必要。這些增強(qiáng)技術(shù)的使用范圍廣泛，且市場(chǎng)前景廣闊。比如，視頻監(jiān)測(cè)、行人偵測(cè)、汽車自動(dòng)駕駛。針對(duì)低光照下圖像質(zhì)量差的問(wèn)題，研究者提出了各種解決方法，如基于去霧算法的模型也被嘗試用于增強(qiáng)低光照?qǐng)D像，還有一些基于Retinex理論的傳統(tǒng)方法在可控條件下具有較好的視覺(jué)效果，但應(yīng)用于實(shí)際場(chǎng)景時(shí)，受限的建模能力導(dǎo)致圖像噪聲和顏色失真?；谏鲜鰡?wèn)題，可基于分量增強(qiáng)，提升光照增強(qiáng)性能，同時(shí)融合注意力機(jī)制的光照魯棒目標(biāo)跟蹤算法。

1 相關(guān)工作

隨著科學(xué)技術(shù)的快速發(fā)展和社會(huì)生活的需要，目標(biāo)檢測(cè)被各個(gè)領(lǐng)域所需要，其中行人檢測(cè)的需求在生活中占據(jù)很大比例[1]。如自動(dòng)駕駛、視頻監(jiān)控等。依托科技的成熟，應(yīng)用場(chǎng)景的多元化，行人檢測(cè)技術(shù)被研究者不斷優(yōu)化，大致可分為三類：

（1）基于候選區(qū)域的two-stages方法，如faster RCNN；

（2）基于回歸的one-stage方法，如YOLO系列；

（3）基于深度可分離卷積的輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，如MobileNet[2]。

本文采用YOLOv3進(jìn)行行人檢測(cè)。YOLOv3[3]是基于回歸的目標(biāo)檢測(cè)算法，圖像特征提取采用創(chuàng)建的深度殘差網(wǎng)絡(luò)DarkNet53，后采用區(qū)域推薦網(wǎng)絡(luò)中的錨點(diǎn)機(jī)制，并將多個(gè)尺度融合，結(jié)構(gòu)如圖1所示。

圖1 YOLOv3多尺度預(yù)測(cè)部分結(jié)構(gòu)

YOLOv3算法借鑒了YOLOv1和YOLOv2，雖然缺乏明顯的創(chuàng)新點(diǎn)，但在保留YOLO家族[4-6]速度優(yōu)勢(shì)的同時(shí)，提高了檢測(cè)準(zhǔn)確度，特別是對(duì)小物體的檢測(cè)能力。YOLOv3算法使用一個(gè)單獨(dú)神經(jīng)網(wǎng)絡(luò)作用在圖像上，將圖像劃分為多個(gè)區(qū)域并且預(yù)測(cè)邊界框和每個(gè)區(qū)域的概率。YOLOv3算法避免了細(xì)小問(wèn)題的漏檢，故本文基于該算法進(jìn)行改進(jìn)。

低光照?qǐng)D像是指在光照度低、光線不理想環(huán)境下獲得的圖像。低光照環(huán)境下的目標(biāo)存在可見(jiàn)度低、信噪比低、色彩缺失等問(wèn)題，導(dǎo)致圖像在現(xiàn)有目標(biāo)檢測(cè)技術(shù)之下出錯(cuò)率高，甚至無(wú)法檢測(cè)目標(biāo)。此時(shí)，基于圖像信息傳達(dá)的高層計(jì)算機(jī)視覺(jué)任務(wù)失效，如行人檢測(cè)、人臉識(shí)別、視頻監(jiān)控和醫(yī)療圖像處理等。提高低光照環(huán)境下的圖像識(shí)別精度可以采用一些物理方法，例如：購(gòu)買高清攝像機(jī)或延長(zhǎng)圖像拍攝曝光時(shí)間等物理方法。但采用物理方法會(huì)大大增加目標(biāo)檢測(cè)成本，嚴(yán)重的話還會(huì)導(dǎo)致采集的目標(biāo)圖像出現(xiàn)過(guò)曝光或重影現(xiàn)象。因此，低光照?qǐng)D像增強(qiáng)即基于軟件方法提升采集的低照度圖片質(zhì)量，恢復(fù)圖像隱含信息內(nèi)容的表達(dá)，已成為計(jì)算機(jī)底層視覺(jué)研究領(lǐng)域的重要研究?jī)?nèi)容。

對(duì)于低光照?qǐng)D像增強(qiáng)，各領(lǐng)域的研究者提出了有效的解決方法。其中最典型的是伽馬變換及LLNet算法，但此算法缺少對(duì)像素間關(guān)系的思考，處理過(guò)后的圖像容易出現(xiàn)曝光過(guò)少或過(guò)多的現(xiàn)象。因此出現(xiàn)了Retinex模型[7]，這是受人類視覺(jué)注意力啟發(fā)而出現(xiàn)的物理模型，用Retinex網(wǎng)絡(luò)進(jìn)行圖像增強(qiáng)，提高圖像的識(shí)別度。該算法簡(jiǎn)單易行，處理圖片的速度快，精確度高，能有效提高目標(biāo)檢測(cè)的正確率，被廣泛應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域。

2 本文算法

如前所述，YOLOv3目前還存在一些問(wèn)題，例如anchor機(jī)制中的超參比較難設(shè)計(jì)，以及冗余框非常多。為了提高檢測(cè)率，本文將注意力機(jī)制引入YOLOv3檢測(cè)框架，再結(jié)合低光照?qǐng)D像增強(qiáng)方法，對(duì)行人目標(biāo)進(jìn)行檢測(cè)，提高檢測(cè)算法的光照魯棒性。算法的總體框架如圖2所示。

圖2 算法框架

2.1 低光照?qǐng)D像增強(qiáng)

Retinex是研究者通過(guò)模仿人類視覺(jué)系統(tǒng)而發(fā)明的一種算法，Retinex已從單尺度算法發(fā)展到現(xiàn)在的多尺度算法[8-9]。Retinex理論的基本假設(shè)是初始圖像G是光照?qǐng)D像H和反射率圖像J的乘積，可表示為如下形式：

Retinex理論在彩色畫(huà)面強(qiáng)化、圖像去霧、彩色圖像還原等方面都具有很好的有效性，其基本內(nèi)涵就是物質(zhì)的色彩是由物質(zhì)對(duì)長(zhǎng)波（紅）、中波（綠）和短波（藍(lán)）光的反映能力決定的，而并非由反射光強(qiáng)的絕對(duì)值決定。文中使用的RetinexNet模型由一個(gè)分解網(wǎng)絡(luò)和一個(gè)增強(qiáng)網(wǎng)絡(luò)構(gòu)成，分解網(wǎng)絡(luò)用于分解圖像，而增強(qiáng)網(wǎng)絡(luò)則用于調(diào)節(jié)光照條件，如圖3所示。

圖3 Retinex理論整體模型

圖3中，圖像的光照分量和反射分量會(huì)通過(guò)分解網(wǎng)絡(luò)分開(kāi)，經(jīng)過(guò)回歸模型后，增強(qiáng)網(wǎng)絡(luò)會(huì)對(duì)其進(jìn)行增強(qiáng)，最后再對(duì)分解后的分量做乘積便能得到一個(gè)新的增強(qiáng)后圖像，即輸出圖像。這種方法只對(duì)我們需要的參數(shù)進(jìn)行訓(xùn)練。在對(duì)圖像進(jìn)行分解后，利用增強(qiáng)網(wǎng)絡(luò)對(duì)圖像的亮度進(jìn)行增強(qiáng)，最后結(jié)合去噪方法對(duì)圖像去噪。

2.2 基于改進(jìn)YOLOv3的行人檢測(cè)

輸入圖像進(jìn)行低光照?qǐng)D像增強(qiáng)之后，進(jìn)入YOLOv3網(wǎng)絡(luò)進(jìn)行行人檢測(cè)。本文將YOLOv3的主干網(wǎng)絡(luò)替換為GhostNet，保留多尺度預(yù)測(cè)部分，減少深度網(wǎng)絡(luò)模型參數(shù)和計(jì)算量以加快檢測(cè)速度。然后，采用SE（Squeeze and Excitation）注意力機(jī)制模塊，賦予重要特征更高的權(quán)值以提高檢測(cè)跟蹤的精確度，并引用目標(biāo)檢測(cè)的直接評(píng)價(jià)指數(shù)GIoU來(lái)指示回歸任務(wù)。最后，用基于GhostNet的目標(biāo)檢測(cè)算法進(jìn)行行人檢測(cè)。

GhostNet結(jié)合了線性運(yùn)算和普通卷積，將已得到的普通卷積特征圖形進(jìn)行線性變換可以得到相似的特征圖形，進(jìn)而產(chǎn)生高維卷積效果，從而降低建模參數(shù)和計(jì)算量。融合了卷積算法與線性計(jì)算的模型稱為Ghost模塊，如圖4所示。圖中，Y表示通過(guò)卷積生成的固有特征圖，Y'表示通過(guò)線性運(yùn)算生成的冗余特征圖。

圖4 Ghost模塊原理

對(duì)于任意卷積層生成n個(gè)特征圖Y0∈ Rp'×w'×n的操作可以表示為：

式中：X為輸入數(shù)據(jù)，X∈Rz×p×w；f∈Rc×k×k×n為該層的卷積核；*表示卷積操作；b為偏置項(xiàng)。卷積過(guò)程所需要的浮點(diǎn)數(shù)為n·p'·w'·c·k·k。原輸出的特征為某些內(nèi)在特征且通常數(shù)量都很少，可以通過(guò)一個(gè)普通卷積操作生成，即：

式中：Y∈Rp'×w'×m為普通卷積輸出；f'∈Rz×k×k×m為使用的卷積核。由于m≤n，將偏置項(xiàng)簡(jiǎn)化?，F(xiàn)在需要得到n維特征圖，對(duì)得到只有m維的固有特征圖進(jìn)行一系列簡(jiǎn)單線性變換：

式中：yq'為固有特征圖中的第q個(gè)特征圖；Φqp為第q個(gè)特征圖進(jìn)行的第p個(gè)線性變換的線性變換函數(shù)。最后，增加1個(gè)恒等映射Φqs將固有特征圖疊加到經(jīng)線性變換得到的特征圖上，以保留固有特征圖。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)平臺(tái)及數(shù)據(jù)集

本文算法使用Pytorch框架實(shí)現(xiàn)，在低光照數(shù)據(jù)集ExDark和VOC2012數(shù)據(jù)集上進(jìn)行訓(xùn)練。硬件平臺(tái)為Inter（R）Core i5-9300CPU，運(yùn)行內(nèi)存為8 GB，GPU為NVIDIA GeForce GTX 1650。

3.2 實(shí)驗(yàn)結(jié)果及分析

本文在YOLOv3以及卡爾曼濾波目標(biāo)檢測(cè)跟蹤算法的基礎(chǔ)上，加入注意力機(jī)制研究復(fù)雜環(huán)境下的行人跌倒檢測(cè)算法和Retinex，提高算法對(duì)遮擋物影響、光照變化和陰影干擾等問(wèn)題的魯棒性，減少誤判，提高檢測(cè)的準(zhǔn)確度。在ExDark數(shù)據(jù)集上的檢測(cè)效果如圖5所示。

圖5 圖像增強(qiáng)前后檢測(cè)效果

在圖5（a）圖像中，由于光線不足導(dǎo)致圖像昏暗，傳統(tǒng)的YOLOv3算法無(wú)法檢測(cè)出路面上的行人。經(jīng)過(guò)圖像增強(qiáng)之后得到圖5（b）所示4張圖片，這4張圖像的特征明顯，容易辨識(shí)出行人。因此能實(shí)現(xiàn)低光照環(huán)境下的行人檢測(cè)。

此外，本文的算法在檢測(cè)準(zhǔn)確率上相比YOLOv3更高，實(shí)驗(yàn)結(jié)果比較見(jiàn)表1所列。

表1 實(shí)驗(yàn)結(jié)果比較

4 結(jié) 語(yǔ)

本文針對(duì)低光照環(huán)境下的行人檢測(cè)錯(cuò)誤率高且速度慢的問(wèn)題，提出了基于注意力機(jī)制的低光照目標(biāo)檢測(cè)算法。將YOLOv3的主干網(wǎng)絡(luò)加上基于Retinex視覺(jué)模型的低光照?qǐng)D像增強(qiáng)算法，構(gòu)建融合注意力機(jī)制的行人檢測(cè)，以期提高低光照環(huán)境下行人檢測(cè)的準(zhǔn)確率，解決YOLOv3在低光照下錯(cuò)誤率高甚至無(wú)法檢測(cè)目標(biāo)的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法可以實(shí)現(xiàn)低光照環(huán)境下的行人檢測(cè)，能夠有效處理光照不足等復(fù)雜環(huán)境下行人檢測(cè)時(shí)圖像黑暗等問(wèn)題，提高了檢測(cè)的準(zhǔn)確度，并且在現(xiàn)實(shí)中具有很強(qiáng)的實(shí)用性。