秦君，李曉敏，奪實祥偉

（云南電網(wǎng)有限責(zé)任公司德宏供電局，云南 德宏 678400）

0 前言

行人檢測是計算機(jī)視覺領(lǐng)域解決的任務(wù)之一，在安全監(jiān)控、自動駕駛等領(lǐng)域發(fā)揮著重要作用。在夜間或惡劣天氣等條件下，可見光圖像獲得的細(xì)節(jié)信息有限，行人檢測性能明顯下降。與可見光相機(jī)工作波長區(qū)間不同，熱紅外相機(jī)利用環(huán)境中散發(fā)的紅外波段的信息進(jìn)行成像，不需要外部光源，受惡劣天氣條件的影響較小，但在光照良好條件下熱紅外圖像獲得的細(xì)節(jié)信息遠(yuǎn)小于可見光圖像，可見光圖像與熱紅外圖像獲取的信息具有互補(bǔ)性，因此將二者融合可以有效克服光照或天氣變化的干擾，提高檢測精度，實現(xiàn)全時段檢測。另外，由于紅外熱成像儀成本的下降及其實用性的提高，熱紅外圖像信息得以在多光譜行人檢測的研究中廣泛應(yīng)用。

傳統(tǒng)的多光譜行人檢測主要基于人工設(shè)計的特征進(jìn)行檢測，包括Haar-like 特征[1]、方向梯度直方圖特征（Histogram of Oriented Gradients，HOG）[2]、 局部二值模式特征（Local Binary Pattern，LBP）[3]、 積分通道特征（Integral Channel Features，ICF）[4]和聚合通道特征（Aggregate Channel Features，ACF）[5]等特征，這些特征一般結(jié)合支持向量機(jī)等淺層分類器完成檢測。2015 年，韓國KAIST 大學(xué)Hwang 團(tuán)隊[6]制作的KAIST 數(shù)據(jù)集成為多光譜行人檢測領(lǐng)域模型算法驗證的標(biāo)準(zhǔn)數(shù)據(jù)集，該團(tuán)隊提出的ACF+T+THOG（Aggregate Channel Features+Thermal+Thermal Histogram of Oriented Gradients）行人檢測器算法作為該數(shù)據(jù)集的基準(zhǔn)方法。人工設(shè)計的特征算子是針對行人特定屬性設(shè)計的，不具有通用性，在大規(guī)模行人檢測數(shù)據(jù)集上性能表現(xiàn)不理想。

隨著深度學(xué)習(xí)的興起以及GPU 的使用，特征的抽取不再局限于人工設(shè)計的特征算子，而是通過學(xué)習(xí)的方式自動提取特征。研究發(fā)現(xiàn)基于深度學(xué)習(xí)抽取的高層次特征在行人檢測上表現(xiàn)出的性能整體優(yōu)于人工設(shè)計特征的行人檢測，具有代表性的模型是R-CNN 系列的模型。然而，目前大多數(shù)深度學(xué)習(xí)模型是基于可見光圖像進(jìn)行建模的，多光譜檢測通常需要比單模態(tài)方法更復(fù)雜的網(wǎng)絡(luò)架構(gòu)。設(shè)計有效的多光譜融合策略，充分利用兩種光譜的信息，提高在夜間或惡劣天氣等條件下的檢測能力是目前該領(lǐng)域的一個重點(diǎn)和難點(diǎn)問題，需要進(jìn)行更加深入和具體的研究。

1 深度學(xué)習(xí)應(yīng)用于多光譜行人檢測的原理

深度學(xué)習(xí)方法以原始數(shù)據(jù)作為輸入，通過大量數(shù)據(jù)的學(xué)習(xí)，自動提取物體特征并分類。根據(jù)是否需要對候選區(qū)域分類，基于深度學(xué)習(xí)的多光譜行人檢測可以分為兩階段行人檢測和一階段行人檢測[7]。兩階段行人檢測通過生成的候選區(qū)域進(jìn)行分類判斷，具有代表性的網(wǎng)絡(luò)結(jié)構(gòu)是Faster R-CNN。一階段行人檢測沒有分類過程，而是直接預(yù)測行人的邊界框和置信度，具有代表性的網(wǎng)絡(luò)結(jié)構(gòu)是SSD。

1.1 基于Faster R-CNN的多光譜行人檢測網(wǎng)絡(luò)

Faster R-CNN 網(wǎng)絡(luò)由Fast R-CNN 網(wǎng)絡(luò)和RPN 網(wǎng)絡(luò)兩部分構(gòu)成。R-CNN 網(wǎng)絡(luò)[8]首先使用選擇性搜索（Selective Search，SS）算法對圖像提取候選區(qū)域，隨后使用CNN 進(jìn)行特征提取，最后進(jìn)行分類和回歸。Fast R-CNN 網(wǎng)絡(luò)是對R-CNN 網(wǎng)絡(luò)的優(yōu)化[9]，在R-CNN 網(wǎng)絡(luò)的最后一個卷積層后加入感興趣區(qū)域池化層（Region of Interest Pooling Layer，ROI Pooling Layer），將邊框回歸放入卷積神經(jīng)網(wǎng)絡(luò)中一起訓(xùn)練，即將特征提取和邊框回歸統(tǒng)一到一個網(wǎng)絡(luò)中。Faster R-CNN 網(wǎng)絡(luò)是在Fast R-CNN 網(wǎng)絡(luò)的基礎(chǔ)上加入?yún)^(qū)域建議生成網(wǎng)絡(luò)（Region Proposal Network，RPN）， 用深度學(xué)習(xí)的方式生成行人建議，可以加快訓(xùn)練速度并實現(xiàn)端到端的訓(xùn)練。

Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。特征提取網(wǎng)絡(luò)由5 個卷積層組成，輸入的圖像經(jīng)過多層卷積后輸出特征圖。特征圖輸入到RPN網(wǎng)絡(luò)生成行人建議候選區(qū)域，RPN 網(wǎng)絡(luò)利用SPPNet 網(wǎng)絡(luò)的區(qū)域映射機(jī)制[10]在特征圖上進(jìn)行滑窗，滑動窗口即卷積核一般為3×3。在這個過程中，每個窗口的中心位置會生成9 個不同尺度和長寬比的錨點(diǎn)（Anchor）。通過RPN網(wǎng)絡(luò)可以得到幾千個候選區(qū)域，以正負(fù)樣本比為1：2 的比例選取前300 個候選區(qū)域作為RPN網(wǎng)絡(luò)產(chǎn)生的候選區(qū)域，將其輸入到Fast R-CNN網(wǎng)絡(luò)中進(jìn)行分類和邊框線性回歸。

圖1 Faster R-CNN簡要結(jié)構(gòu)

多光譜圖像特征融合策略方式較多，以較為普遍的中間層特征堆疊融合策略[11]為例，介紹基于Faster R-CNN 的多光譜行人檢測網(wǎng)絡(luò)。如圖2 所示，多光譜行人檢測網(wǎng)絡(luò)包含特征提取、融合特征生成、候選區(qū)域提取和分類回歸四部分。特征提取模塊由兩路對稱的深度卷積神經(jīng)網(wǎng)絡(luò)組成，與Faster R-CNN 特征提取網(wǎng)絡(luò)相似，不同的是在多光譜行人檢測網(wǎng)絡(luò)中，可見光圖像特征提取模塊和熱紅外圖像特征提取模塊由Conv1-Conv4 共4 個卷積層構(gòu)成。融合特征生成模塊采用Fusion 層，首先將Conv4 層輸出的多模態(tài)特征對級聯(lián)，再經(jīng)過融合層后獲得融合特征。候選區(qū)域提取模塊由卷積層Conv5 和RPN 組成，融合特征經(jīng)過Conv5 層后獲得特征圖，特征圖經(jīng)過RPN 后獲得行人建議，特征圖和行人建議經(jīng)過感興趣區(qū)域池化層后送入全連接層進(jìn)行分類回歸，與Faster R-CNN 的分類回歸部分相同。

圖2 基于Faster R-CNN的多光譜行人檢測網(wǎng)絡(luò)

1.2 基于SSD的多光譜行人檢測網(wǎng)絡(luò)

SSD 網(wǎng)絡(luò)是目前性能較好的目標(biāo)檢測框架之一，精度與Faster R-CNN 相當(dāng)且速度更快，接近實時的效果。SSD 網(wǎng)絡(luò)是一階段目標(biāo)檢測方法之一，將候選區(qū)域提取、特征提取、分類回歸步驟統(tǒng)一到一個網(wǎng)絡(luò)中。SSD 網(wǎng)絡(luò)對原始圖像直接分類回歸，采用了VGG16 的從卷積層Conv1-1 到卷積層Conv5-3 的13 個卷積層，將兩個全連接層FC6 和FC7 轉(zhuǎn)化為卷積層并額外增加了6 個卷積層，共21 個卷積層。它將6 個不同層次包括5 個卷積層和1 個池化層的特征圖分別用卷積的操作預(yù)測目標(biāo)位置偏移值和不同類別的得分，最后通過非極大抑制值得到最終的檢測結(jié)果。但SSD 網(wǎng)絡(luò)中沒有全連接層，因此網(wǎng)絡(luò)輸出對目標(biāo)周圍信息更敏感。

一種基于多光譜信息融合的SSD 網(wǎng)絡(luò)如圖3 所示。網(wǎng)絡(luò)的輸入是成對的可見光和熱紅外圖像，尺寸歸一化為固定尺寸。SSD 網(wǎng)絡(luò)由VGG16 網(wǎng)絡(luò)的Conv1-Conv5 組成，將原始VGG16 網(wǎng)絡(luò)的FC6 和FC7 用卷積層Conv6，Conv7 替代，并添加Conv8-Conv11 卷積塊，最后選取Conv1-Conv5 中的Conv4-3、Conv7以及添加的Conv8-2、Conv9-2、Conv10-2、Conv11-2 共6 個不同尺寸，不同大小感受野的特征層去做行人目標(biāo)檢測。

圖3 基于SSD的多光譜行人檢測網(wǎng)絡(luò)

1.3 多光譜圖像的融合方法

對于多光譜行人檢測，數(shù)據(jù)融合是整個檢測過程最重要的部分之一，不同形態(tài)、不同階段的特征具有不同的表達(dá)能力。2016 年，Wagner等人[12]把多光譜行人檢測方法分為像素級融合、特征級融合和決策級融合三類，并研究了兩種基于深度學(xué)習(xí)方法的多光譜行人檢測方法，分別是早期融合和晚期融合。2019 年，Li 等人[13]將融合方式分為輸入融合、早期融合、中期融合、晚期融合和兩種決策級的融合。

1.3.1 輸入融合

在數(shù)據(jù)輸入到模型之前，將可見光和熱紅外圖像簡單堆疊，形成4 通道RGBT 圖像并輸入到第一個卷積層，之后使用完整的網(wǎng)絡(luò)進(jìn)行檢測，如圖4(a) 所示。輸入融合方法是從可見光圖像行人檢測到多光譜行人檢測最直接簡單的融合方法，因為對于不同的輸入通道，只需要對網(wǎng)絡(luò)的第一個卷積層進(jìn)行修改。

圖4 常用的4種融合方式示例

1.3.2 早期融合

早期融合方法是在可見光圖像和熱紅外圖像分別在第一個卷積層進(jìn)行特征提取之后，使用Network-in-Network（NIN）方式將特征連接起來并降維，之后通過共有的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取和分類回歸，如圖4(b)所示。早期融合方法在已有的目標(biāo)檢測網(wǎng)絡(luò)基礎(chǔ)上添加了NIN操作層。

1.3.3 中期融合

中期融合方法是在前期使用兩個純卷積網(wǎng)絡(luò)分別對可見光圖想和熱紅外圖像進(jìn)行特征提取，之后對提取的特征進(jìn)行連接并使用NIN 方法降維，再使用全連接層進(jìn)行分類回歸，如圖4(c)所示。

1.3.4 晚期融合

晚期融合方法是使用兩個子網(wǎng)絡(luò)分別處理輸入的可見光圖像和熱紅外圖像，經(jīng)過卷積層和全連接層之后再將輸出進(jìn)行連接，之后使用兩個全連接層進(jìn)行分類，如圖4(d)所示。

1.3.5 決策級融合

決策級融合方法分為兩種，級聯(lián)融合方式和非級聯(lián)融合方式。級聯(lián)融合方式是通過兩個單獨(dú)的子網(wǎng)絡(luò)檢測，將檢測結(jié)果輸入到第三個子網(wǎng)絡(luò)中，對置信度重新進(jìn)行評分，最后對兩階段檢測的置信度得分使用0.5 的權(quán)重進(jìn)行合并，該方式可看作兩個子網(wǎng)絡(luò)的簡單級聯(lián)。非級聯(lián)融合方式與晚期融合類似，通過兩個子網(wǎng)絡(luò)的特征生成最后的行人檢測框，然后將兩個子網(wǎng)絡(luò)生成的檢測邊界框回歸進(jìn)行平均生成最后檢測結(jié)果，該融合方式比級聯(lián)融合方式效率更高。

2 深度學(xué)習(xí)在多光譜行人檢測中的研究現(xiàn)狀

隨著硬件的升級以及深度學(xué)習(xí)的發(fā)展，基于可見光圖像的行人檢測技術(shù)有了巨大的發(fā)展，性能逐漸趨于完善。但是對于全時段檢測，即包含夜間或惡劣天氣條件下的檢測，主要采用可見光和熱紅外圖像融合的方式，利用多光譜信息的互補(bǔ)性可以提高行人檢測的性能。多光譜行人檢測的關(guān)鍵技術(shù)是熱紅外和可見光的融合技術(shù)，而使用深度學(xué)習(xí)進(jìn)行多光譜行人檢測的方法大多數(shù)基于特征級融合和基于決策級融合。

2.1 基于特征級的融合方法

特征級融合是指將不同的模態(tài)數(shù)據(jù)轉(zhuǎn)化為高維特征表示后在模型的中間層融合，一般包括早期融合、中期融合和后期融合。

2016 年，Wagner 等人[12]首次使用深度模型融合可見光和熱紅外圖像，并研究了前期融合和后期融合的CNN 架構(gòu)對檢測性能的影響。前期融合將可見光圖像和熱紅外圖像在像素級融合后輸入模型中進(jìn)行檢測，而后期融合是使用單獨(dú)子網(wǎng)絡(luò)為可見光和熱紅外圖像分別生成的特征表示級聯(lián)后輸入到后續(xù)全連接層中進(jìn)行檢測，結(jié)果表明后期融合檢測器性能優(yōu)于前期融合，且與ACF+T+THOG 行人檢測器相比性能更好。Liu 等人[11]深入分析了兩階段的Faster R-CNN在多光譜行人檢測任務(wù)中的應(yīng)用，并對比研究了早期融合、中期融合、晚期融合和決策級融合在實驗中的表現(xiàn)，結(jié)果表明中間層特征相較其它層，采用通道堆疊策略可以最大限度整合紅外和可見光模態(tài)的信息，并能更好的保留低層的細(xì)節(jié)信息和高層的語義信息，結(jié)合中間層特征堆疊策略和Faster R-CNN 框架，在KAIST 多光譜行人檢測數(shù)據(jù)集上獲得了較高的準(zhǔn)確率。

2017 年，Konig 等人[14]提出Faster R-CNN并不完全適用于行人檢測任務(wù)的觀點(diǎn)，并提出了Fusion-RPN 算法，使用Faster R-CNN 框架中的區(qū)域建議生成網(wǎng)絡(luò)（RPN）和增強(qiáng)決策樹分類算法（Boosted Decision Trees，BDT）協(xié)同完成多光譜行人檢測。在特征融合部分使用Liu 等人提出的中間層特征堆疊策略。結(jié)果表明該算法在KAIST 多光譜行人檢測數(shù)據(jù)集上獲得了極優(yōu)的性能，甚至遠(yuǎn)超后來的一些研究。但是BDT 算法計算量巨大、耗時大，導(dǎo)致整體算法訓(xùn)練復(fù)雜。

2018 年，Lee 等人[15]在特征融合過程中添加了特征關(guān)聯(lián)層，用來增強(qiáng)紅外與可見光兩模態(tài)的特征信息，為融合紅外和可見光做準(zhǔn)備。該算法選用面向目標(biāo)檢測的一階段去卷積檢測器（Deconvolutional Single Shot Detector，DSSD），首先提取中間層特征Conv4 之后的一對特征，并對兩流的特征采用特征相乘操作進(jìn)行特征增強(qiáng)，再將兩特征與相乘后的特征級聯(lián)，并降維獲得融合特征，用獲得的融合特征完成后續(xù)檢測任務(wù)。

2019 年，Cao 等人[16]提出了雙流區(qū)域建議生成網(wǎng)絡(luò)（Two-stream Region Proposal Network，TS-RPN）， 在特征融合部分使用中間層特征堆疊策略，但是去除了網(wǎng)絡(luò)中的最后三層全連接層，以減小模型尺寸，并獲得了優(yōu)于中間層特征堆疊策略的性能。同時，該算法還創(chuàng)新性引入無監(jiān)督行人檢測算法（Unsupervised-TS-RPN，U-TS-RPN）， 通過可迭代的標(biāo)注器自動生成標(biāo)注，節(jié)省人工標(biāo)注的成本和時間，但U-TS-RPN 的算法精度略低于TS-RPN。

2020 年，Zhang 等人[17]提出一種多層融合網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中間分別加入空間注意力模塊和通道注意力模塊來處理模態(tài)關(guān)系，其中通道注意力模塊用來融合紅外和可見光特征，通過自監(jiān)督的方式微調(diào)權(quán)重，而空間注意力模塊是通過外部監(jiān)督來訓(xùn)練。通過對比單獨(dú)加入兩種模塊以及同時加入兩種模塊的算法性能，得出單獨(dú)使用空間注意力模塊的多層融合網(wǎng)絡(luò)可以獲得最優(yōu)的檢測性能。Pei 等人[18]首先針對深度卷積神經(jīng)網(wǎng)絡(luò)的三個卷積階段設(shè)計了三種融合架構(gòu)，然后在三種融合架構(gòu)上比較三種融合策略（相加、取最大值、堆疊）的性能，得出在該網(wǎng)絡(luò)上采用相加融合策略性能最優(yōu)，最后將得出的最優(yōu)融合策略與基于特征金字塔網(wǎng)絡(luò)的目標(biāo)檢測器（Feature Pyramid Networks for Object Detection，F(xiàn)PN） 相結(jié)合， 利用FPN+SUM 算法完成多光譜行人檢測。、

2022 年，Xiang J 等人[19]提出了單模態(tài)增強(qiáng)框架SMA-Net，通過增強(qiáng)單模態(tài)的特征提取能力來實現(xiàn)基于可見光- 熱紅外圖像的行人檢測。在該框架中引入了一種輕量級ROI 池化多尺度融合模塊PMSF，通過自適應(yīng)加權(quán)的方式對不同尺度的池化特征進(jìn)行融合，可以獲得更細(xì)粒度、更豐富的特征。實驗結(jié)果表明，在KAIST 數(shù)據(jù)集上與目前最先進(jìn)的方法相比，SMA-Net 在檢測精度和計算效率方面具有更好的性能。

2.2 基于決策級的融合方法

決策級融合在通常使用在模型最終的預(yù)測階段，好處是融合模型的錯誤來自不同的分類器，而來自不同分類器的錯誤往往互不相關(guān)和影響，不會造成錯誤的進(jìn)一步累加。決策級融合方法通常利用光照信息學(xué)習(xí)融合權(quán)值來融合可見光和熱紅外圖像的學(xué)習(xí)結(jié)果。

唐聰?shù)热薣20]利用預(yù)訓(xùn)練的單階段目標(biāo)檢測器分別對紅外與可見光圖片獲取檢測框和分類分?jǐn)?shù)，然后將所有檢測框和分類分?jǐn)?shù)收集到候選框組，刪除具有高重疊率的檢測框，并選擇置信度最高的框。

Guan 等人[21]提出了一種基于光照感知多光譜行人檢測和光照感知多光譜語義分割聯(lián)合學(xué)習(xí)的新型多光譜行人檢測器和晝夜照明子網(wǎng)絡(luò)的光照感知加權(quán)機(jī)制。利用多光譜圖像中編碼的光照信息，通過設(shè)計的光照全連接神經(jīng)網(wǎng)絡(luò)IFCNN 準(zhǔn)確計算出光照感知權(quán)值。結(jié)果表明，光照感知加權(quán)機(jī)制為改進(jìn)多光譜行人檢測器提供了一種有效的策略，該方法具有較高的檢測精度且檢測時間更短。

Li 等人[13]研究了基于Faster R-CNN 模型的六種網(wǎng)絡(luò)結(jié)構(gòu)并分析了它們的適用性，通過實驗發(fā)現(xiàn)目標(biāo)預(yù)測置信度會受光照影響，由此提出了IAF R-CNN 模型，通過對光照信息的自動感知輔助行人檢測，該模型具有較高的檢測準(zhǔn)確度。

2.3 基于模態(tài)遷移的融合方法

Xu 等人[22]提出使用預(yù)訓(xùn)練的VGG16 搭建卷積網(wǎng)絡(luò)來學(xué)習(xí)從可見光圖像到紅外圖像的非線性映射關(guān)系，而無需人工監(jiān)督。將學(xué)習(xí)到的特征表示遷移到第二個網(wǎng)絡(luò)中，通過學(xué)習(xí)兩者之間的關(guān)系對可見光圖像進(jìn)行操作并有效地對多模態(tài)信息進(jìn)行建模，學(xué)習(xí)到的兩者間的特征表示可以應(yīng)用在其他許多常見的單模態(tài)行人數(shù)據(jù)集上。該方法在測試階段僅使用可見光圖像，檢測性能上要差于同時使用多光譜數(shù)據(jù)的檢測器。

Liu 等人[23]提出了一個教師- 學(xué)生網(wǎng)絡(luò)來完成多光譜行人檢測任務(wù)，教師網(wǎng)絡(luò)是以紅外和可見光為輸入的雙流網(wǎng)絡(luò)，兩流網(wǎng)絡(luò)在中間層完成簡單的融合，學(xué)生網(wǎng)絡(luò)是只有可見光輸入的單流網(wǎng)絡(luò)。訓(xùn)練過程中以知識蒸餾的方式，用多模態(tài)網(wǎng)絡(luò)指導(dǎo)單模態(tài)網(wǎng)絡(luò)完成訓(xùn)練，其中學(xué)生網(wǎng)絡(luò)可以很好的應(yīng)用在只有可見光的行人數(shù)據(jù)集上。

綜上所述，使用深度學(xué)習(xí)的多光譜行人檢測方法多數(shù)采用特征級融合，基于決策級的融合主要在測試階段對目標(biāo)檢測框進(jìn)行處理，缺少網(wǎng)絡(luò)訓(xùn)練過程中的交互，因此較少采用。模態(tài)遷移方法不同依賴數(shù)據(jù)，并且遷移方法對結(jié)果的影響較大，精度較低于其它融合方法。另外還有基于混合方法的融合，即同時采用特征融合和決策級融合的方法，此類方法大多會將研究的重點(diǎn)落在特征融合上，因此基于特征級融合的多光譜行人檢測方法仍是目前最常用的研究方法。

3 深度學(xué)習(xí)在多光譜行人檢測中的應(yīng)用前景

3.1 全時段檢測

可見光圖像受到因白天和夜間光照變化的影響而導(dǎo)致不同的行人目標(biāo)特征，從而使得可見光與熱紅外圖像融合特征在不同光照環(huán)境下具有差異性。目前多光譜行人檢測大多采用單一分類器進(jìn)行特征分類，無法有效識別因光照環(huán)境變化而導(dǎo)致的不同行人特征，從而出現(xiàn)漏檢的情況，增強(qiáng)多光譜行人檢測在全時段檢測的魯棒性是未來的發(fā)展方向之一。

3.2 實時檢測

使用深度學(xué)習(xí)方法的多光譜行人檢測模型雖然檢測精度高，但檢測速度并不高，而對實時性要求高的場景如自動駕駛，對檢測速度要求很高，現(xiàn)有方法并不能滿足較高的實時性，因此有必要平衡檢測精度和速度之間的矛盾，即在滿足檢測精度的條件下提高檢測速度，是多光譜行人檢測面向自動駕駛應(yīng)用的關(guān)鍵技術(shù)之一。