白 玉， 侯志強(qiáng)， 劉曉義， 馬素剛， 余旺盛， 蒲 磊

(1.西安郵電大學(xué)計(jì)算機(jī)學(xué)院， 西安， 710121；2.西安郵電大學(xué)陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室， 西安， 710121；3.空軍工程大學(xué)信息與導(dǎo)航學(xué)院， 西安， 710077)

目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容，廣泛應(yīng)用于目標(biāo)跟蹤、行人識(shí)別、醫(yī)學(xué)圖像、視頻監(jiān)控和智能機(jī)器等方面[1-5]。目標(biāo)檢測(cè)的主要任務(wù)是對(duì)圖像中預(yù)定義類別的實(shí)例目標(biāo)進(jìn)行高效、精確的識(shí)別與定位。

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，出現(xiàn)了越來(lái)越多與之相關(guān)的目標(biāo)檢測(cè)算法。按照是否有區(qū)域候選框(Region Proposals)生成階段，可以將基于深度學(xué)習(xí)的檢測(cè)算法分成2類：基于區(qū)域候選框的檢測(cè)算法和非基于區(qū)域候選框的檢測(cè)算法?；趨^(qū)域候選框的檢測(cè)算法首先生成區(qū)域候選框，然后使用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征提取，以獲得特征對(duì)應(yīng)的類別信息和坐標(biāo)信息。這類算法的檢測(cè)精度較高，但是速度較慢，主要算法有SPP-NET[6]和Faster R-CNN[7]等。非基于區(qū)域候選框的檢測(cè)算法不產(chǎn)生候選框，直接使用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)圖像中每個(gè)位置存在目標(biāo)的可能性進(jìn)行預(yù)測(cè)。這類算法具有速度快、泛化能力強(qiáng)等優(yōu)點(diǎn)，主要算法有SSD[8]和YOLOv3[9]等。

以上所有的目標(biāo)檢測(cè)算法均是對(duì)可見(jiàn)光圖像進(jìn)行檢測(cè)，但在一些特殊場(chǎng)景中，紅外圖像比可見(jiàn)光圖像的表現(xiàn)更好。與可見(jiàn)光圖像相比，紅外圖像主要呈現(xiàn)目標(biāo)的溫度信息，能夠抵抗遮擋等情況，在一些光照不足的環(huán)境或者隱蔽場(chǎng)合中，能夠很好地突出目標(biāo)，例如，夜間監(jiān)控場(chǎng)景下的行人和復(fù)雜海天背景下的船舶等。檢測(cè)算法可以使用在精度和速度方面都有很好表現(xiàn)的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法[10-11]。但是，紅外圖像存在對(duì)比度較低、細(xì)節(jié)信息缺失嚴(yán)重等問(wèn)題，因此，將可見(jiàn)光圖像和紅外圖像進(jìn)行融合可以實(shí)現(xiàn)信息互補(bǔ)，以達(dá)到提高檢測(cè)精度的目的。

為了實(shí)現(xiàn)這一目標(biāo)，針對(duì)可以同時(shí)獲取可見(jiàn)光圖像和紅外圖像的應(yīng)用場(chǎng)景，本文提出了一種基于決策級(jí)融合的目標(biāo)檢測(cè)算法，主要工作如下：建立并標(biāo)注了包含可見(jiàn)光圖像和紅外圖像的實(shí)驗(yàn)數(shù)據(jù)集，用于重新訓(xùn)練YOLOv3網(wǎng)絡(luò)。提出了基于決策級(jí)圖像融合的方式，用于對(duì)可見(jiàn)光圖像和紅外圖像的檢測(cè)結(jié)果進(jìn)行融合，并將融合后的檢測(cè)結(jié)果作為對(duì)應(yīng)的融合圖像中目標(biāo)的檢測(cè)結(jié)果，從而實(shí)現(xiàn)對(duì)融合圖像的準(zhǔn)確檢測(cè)。通過(guò)實(shí)驗(yàn)驗(yàn)證，將本文算法和其他算法的檢測(cè)結(jié)果進(jìn)行對(duì)比，本文算法可以檢測(cè)到更多的目標(biāo)并且減少誤檢，進(jìn)而提高目標(biāo)檢測(cè)的準(zhǔn)確性。

1 檢測(cè)網(wǎng)絡(luò)與融合方式

1.1 YOLOv3檢測(cè)算法

YOLOv3網(wǎng)絡(luò)通過(guò)主體網(wǎng)絡(luò)Darknet-53進(jìn)行特征提取，并使用檢測(cè)網(wǎng)絡(luò)進(jìn)行多尺度預(yù)測(cè)。其中，Darknet-53在全卷積的基礎(chǔ)上添加了殘差(Residual)結(jié)構(gòu)[12]，殘差層的結(jié)構(gòu)如圖1所示，帶加號(hào)的圈表示相加的操作，表示如下：

R(x)=x+F(x)

(1)

式中：x和F(x)分別是殘差層的輸入，F(xiàn)(x)是x經(jīng)過(guò)2次卷積之后得到的結(jié)果。

圖1 殘差層結(jié)構(gòu)圖

在Darknet-53之后使用特征交互層，在每個(gè)特征圖上預(yù)測(cè)3個(gè)錨點(diǎn)框(Anchor Boxes)，進(jìn)而實(shí)現(xiàn)目標(biāo)位置的預(yù)測(cè)。在輸出預(yù)測(cè)結(jié)果之前，先進(jìn)行特征融合，使用步長(zhǎng)為2的卷積操作進(jìn)行下采樣，然后對(duì)得到的特征圖進(jìn)行拼接，使特征獲得更加豐富的語(yǔ)義信息。

在特征圖中，每個(gè)像素點(diǎn)網(wǎng)格預(yù)測(cè)3個(gè)邊界框，如圖2[9]所示。其中，cx和cy分別是網(wǎng)格的坐標(biāo)偏移量，bx和by分別是邊界框中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，bw和bh分別是邊界框的寬和高，pw和ph分別是預(yù)設(shè)的錨點(diǎn)框映射到特征圖中的寬和高，σ是sigmoid函數(shù)，tx和ty分別是網(wǎng)絡(luò)預(yù)測(cè)的目標(biāo)中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，tw和th分別是網(wǎng)絡(luò)預(yù)測(cè)的目標(biāo)的寬和高。

圖2 邊界框預(yù)測(cè)

最后，使用非極大值抑制(Non Maximum Suppression, NMS)算法[13]對(duì)邊界框進(jìn)行篩選，獲得最終的目標(biāo)邊界框。

1.2 圖像融合方式

圖像融合是通過(guò)對(duì)多個(gè)原圖像的信息進(jìn)行相加得到融合圖像，然后對(duì)融合圖像進(jìn)行分析處理的過(guò)程。根據(jù)融合處理的特點(diǎn)和抽象程度，將圖像融合方式[14-15]分為3類：像素級(jí)圖像融合、特征級(jí)圖像融合和決策級(jí)圖像融合。

像素級(jí)圖像融合是指選取融合策略對(duì)嚴(yán)格配準(zhǔn)的源圖像的像素點(diǎn)進(jìn)行處理，從而得到融合圖像的過(guò)程，例如使用基于金字塔變換[16]和小波變化[17]這類算法。這種融合方式的準(zhǔn)確性較高，但是對(duì)像素之間的關(guān)系考慮不夠全面，處理時(shí)的計(jì)算量較大，容易產(chǎn)生大量的冗余信息。

特征級(jí)圖像融合是指提取源圖像中感興趣區(qū)域的目標(biāo)特征，并對(duì)這些特征信息進(jìn)行融合，最后得到融合圖像的過(guò)程，例如使用文獻(xiàn)[12,18]這類算法。在特征提取過(guò)程中，只保留重要的信息，對(duì)于不重要的信息和冗余的信息通常借助降維等方式去除。這種融合方式壓縮了源圖像的信息，計(jì)算速度有明顯提升，但是會(huì)丟失一些細(xì)節(jié)信息。

決策級(jí)圖像融合是一種基于認(rèn)知模型的融合方式，以特征提取為基礎(chǔ)，對(duì)圖像的特征信息進(jìn)行識(shí)別和判斷，并根據(jù)實(shí)際需要，選擇合適的決策方式對(duì)圖像進(jìn)行全局最優(yōu)處理的過(guò)程，例如使用文獻(xiàn)[19-20]這類算法。這種融合方式的算法復(fù)雜度不高，具有一定的靈活性，針對(duì)特殊場(chǎng)景更加容易實(shí)現(xiàn)，容錯(cuò)能力強(qiáng)。本文使用了決策級(jí)融合方式對(duì)可見(jiàn)光圖像和紅外圖像的檢測(cè)結(jié)果進(jìn)行融合。

2 基于決策級(jí)融合的檢測(cè)算法

本文提出的基于決策級(jí)融合的目標(biāo)檢測(cè)算法主要包括3個(gè)部分：建立實(shí)驗(yàn)數(shù)據(jù)集；使用YOLOv3作為基礎(chǔ)網(wǎng)絡(luò)對(duì)可見(jiàn)光圖像和紅外圖像分別進(jìn)行檢測(cè)；設(shè)計(jì)決策級(jí)融合方式對(duì)檢測(cè)結(jié)果進(jìn)行融合。

2.1 數(shù)據(jù)集的構(gòu)建

2.1.1 數(shù)據(jù)集的分類

實(shí)驗(yàn)使用的圖像均來(lái)源于李成龍團(tuán)隊(duì)建立的RGBT210數(shù)據(jù)集[21]，從該數(shù)據(jù)集中選取了5 105幅可見(jiàn)光圖像和相應(yīng)的5 105幅紅外圖像，并確定了10類目標(biāo)，分別為“kite”“dog”“car”“toy”“ball”“plant”“person”“bicycle”“umbrella”和“motorcycle”。表1為實(shí)驗(yàn)數(shù)據(jù)集中10類目標(biāo)的占比情況。

表1 數(shù)據(jù)集目標(biāo)占比情況

2.1.2 數(shù)據(jù)集的處理

本文使用標(biāo)注工具LabelImg進(jìn)行圖像標(biāo)注，以不同顏色和尺寸的矩形框確定目標(biāo)的類別和位置。為了提高實(shí)驗(yàn)數(shù)據(jù)的數(shù)量，通過(guò)加噪、改變圖像對(duì)比度和直方圖均衡化等圖像增強(qiáng)方式對(duì)原始圖像進(jìn)行處理，共獲得了15 315幅可見(jiàn)光圖像和相應(yīng)的15 315幅紅外圖像，并從中隨機(jī)選取了對(duì)應(yīng)的12 000 幅圖像作為訓(xùn)練集圖像，3 315幅圖像作為測(cè)試集圖像。

2.1.3 標(biāo)注結(jié)果樣例

圖3為實(shí)驗(yàn)數(shù)據(jù)集中4組圖像的標(biāo)注結(jié)果圖，從圖中可以看出，對(duì)圖像中不同位置和不同尺寸的目標(biāo)“car”和“person”進(jìn)行了標(biāo)注。其中，第1行是可見(jiàn)光圖像的標(biāo)注結(jié)果圖，第2行是與可見(jiàn)光圖像分別對(duì)應(yīng)的紅外圖像的標(biāo)注結(jié)果圖。

圖3 數(shù)據(jù)集標(biāo)注結(jié)果樣例

2.2 網(wǎng)絡(luò)訓(xùn)練與融合前檢測(cè)

由于紅外圖像和可見(jiàn)光圖像攜帶不同的信息，存在一定的差異性，而且YOLOv3網(wǎng)絡(luò)的預(yù)訓(xùn)練模型是通過(guò)對(duì)可見(jiàn)光圖像進(jìn)行訓(xùn)練得到的，不適用于對(duì)紅外圖像進(jìn)行檢測(cè)。因此，為了保證檢測(cè)結(jié)果的準(zhǔn)確性，本文使用可見(jiàn)光圖像數(shù)據(jù)集和紅外圖像數(shù)據(jù)集中的訓(xùn)練集分別對(duì)YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

在進(jìn)行網(wǎng)絡(luò)訓(xùn)練之前，修改目標(biāo)類別為10，初學(xué)習(xí)率為0.000 01，批尺寸(BatchSize)為64，迭代次數(shù)為500 000次。然后，進(jìn)行代碼編譯，編譯通過(guò)后開(kāi)始訓(xùn)練，并對(duì)訓(xùn)練過(guò)程中生成的模型進(jìn)行保存。最后，使用訓(xùn)練完成的網(wǎng)絡(luò)模型對(duì)相應(yīng)的可見(jiàn)光圖像測(cè)試集和紅外圖像測(cè)試集進(jìn)行目標(biāo)檢測(cè)。

2.3 決策級(jí)融合

為了更好地表達(dá)本文提出的決策級(jí)融合的設(shè)計(jì)思路，下面以可見(jiàn)光圖像中某一目標(biāo)A的實(shí)際檢測(cè)結(jié)果為例進(jìn)行詳細(xì)說(shuō)明。

2.3.1 判定目標(biāo)A是否在可見(jiàn)光圖像中被準(zhǔn)確檢測(cè)

如果目標(biāo)A的檢測(cè)框的置信度小于閾值α，說(shuō)明檢測(cè)結(jié)果不準(zhǔn)確，則舍棄該結(jié)果；如果檢測(cè)框的置信度大于或等于設(shè)定的閾值α，說(shuō)明檢測(cè)結(jié)果準(zhǔn)確，并保留該結(jié)果。

Dbv≥α，IoU(bv,br)<β

(2)

式中：Dbv是bv的置信度；bv和br分別是目標(biāo)A的檢測(cè)框和相應(yīng)的紅外圖像中與目標(biāo)A同類別的檢測(cè)框；IoU(bv,br)是bv和br的交并比；α和β均為閾值。

這種方法同樣適用于判定紅外圖像中某一目標(biāo)的實(shí)際檢測(cè)結(jié)果是否準(zhǔn)確的情況。其中，閾值α(0≤α≤1，步長(zhǎng)為0.1)的選擇見(jiàn)表2。

表2 選擇閾值α

從表2可以看出，當(dāng)α≥0.5時(shí)，算法的平均準(zhǔn)確度較高并呈現(xiàn)遞增趨勢(shì)，因此，當(dāng)目標(biāo)A的檢測(cè)框的置信度大于或等于0.5時(shí)，表明目標(biāo)A的檢測(cè)結(jié)果是準(zhǔn)確的。

2.3.2 判定目標(biāo)A是否在紅外圖像中被準(zhǔn)確檢測(cè)

結(jié)合式(2)，在確保目標(biāo)A在可見(jiàn)光圖像中的檢測(cè)結(jié)果是準(zhǔn)確的前提下，從相應(yīng)的紅外圖像中選擇與目標(biāo)A的檢測(cè)框類別相同的檢測(cè)框，并計(jì)算這些檢測(cè)框與目標(biāo)A的檢測(cè)框的交并比IoU。如果IoU<β，說(shuō)明紅外圖像中的這些檢測(cè)框檢測(cè)的不是目標(biāo)A，即目標(biāo)A只在可見(jiàn)光圖像中被準(zhǔn)確檢測(cè)到，并將該結(jié)果作為融合圖像中對(duì)應(yīng)目標(biāo)的檢測(cè)結(jié)果；如果IoU≥β，說(shuō)明紅外圖像的這些檢測(cè)框中存在目標(biāo)A的檢測(cè)框，進(jìn)而從中選擇與目標(biāo)A的檢測(cè)框的中心點(diǎn)距離最小且置信度大于或等于閾值α的檢測(cè)框，則該檢測(cè)框?yàn)槟繕?biāo)A在紅外圖像中的檢測(cè)框，即目標(biāo)A在可見(jiàn)光圖像和紅外圖像中被同時(shí)準(zhǔn)確檢測(cè)到。這種方法同樣適用于判定在紅外圖像中被準(zhǔn)確檢測(cè)到的某一目標(biāo)是否在相應(yīng)的可見(jiàn)光圖像中被準(zhǔn)確檢測(cè)。其中，閾值β(0≤β≤1，步長(zhǎng)為0.1)的選擇如表3所示。

Dbv≥α,Dbr1≥α,IoU(bv,br)≥β

(3)

式中：Dbr1是br1的置信度；br1是與bv的中心點(diǎn)距離最小且置信度大于或等于閾值α的檢測(cè)框；α=0.5，β=0.6。

從表3可以看出，當(dāng)β≥0.6時(shí)，算法的平均準(zhǔn)確度較高并呈現(xiàn)遞增趨勢(shì)。

表3 選擇閾值β

2.3.3 加權(quán)融合目標(biāo)A的檢測(cè)結(jié)果

本文通過(guò)加權(quán)融合的方式對(duì)可見(jiàn)光圖像和紅外圖像中同時(shí)準(zhǔn)確檢測(cè)到的目標(biāo)A的檢測(cè)框位置進(jìn)行融合，從而得到融合圖像中對(duì)應(yīng)目標(biāo)的準(zhǔn)確檢測(cè)框位置。其中，加權(quán)融合的計(jì)算表示為：

Rf=θvRv+θrRr

(4)

式中：Rv和Rr分別是可見(jiàn)光圖像和紅外圖像中目標(biāo)A的準(zhǔn)確檢測(cè)框位置；θv和θr分別是Rv和Rr對(duì)應(yīng)的權(quán)值；Rf是目標(biāo)A在融合圖像中對(duì)應(yīng)目標(biāo)的檢測(cè)框位置。

加權(quán)融合的過(guò)程如表4所示。本文以不同權(quán)值組合下得到的檢測(cè)結(jié)果對(duì)應(yīng)的平均準(zhǔn)確度作為判斷依據(jù)，選擇最高的平均準(zhǔn)確度對(duì)應(yīng)的權(quán)值組合，表中粗體數(shù)據(jù)為最優(yōu)的平均準(zhǔn)確度。

表4 不同權(quán)值組合下的平均準(zhǔn)確度對(duì)比

從表4可以看出，當(dāng)θv=0.7，θr=0.3時(shí)，可見(jiàn)光圖像和紅外圖像中同一目標(biāo)的檢測(cè)結(jié)果的平均準(zhǔn)確度最高。因此，本文選擇θv=0.7，θr=0.3作為最終的權(quán)值組合，通過(guò)式(5)對(duì)目標(biāo)準(zhǔn)確檢測(cè)結(jié)果進(jìn)行合并：

U=U1+U2

(5)

式中：U1是只在可見(jiàn)光圖像或只在紅外圖像中檢測(cè)到的所有目標(biāo)的準(zhǔn)確結(jié)果；U2是在可見(jiàn)光圖像和紅外圖像中同時(shí)檢測(cè)到的所有目標(biāo)的準(zhǔn)確結(jié)果；U是可見(jiàn)光圖像和紅外圖像的融合圖像中所有對(duì)應(yīng)目標(biāo)的準(zhǔn)確檢測(cè)結(jié)果。

綜上可知，本文使用的決策級(jí)融合方式，不僅對(duì)目標(biāo)檢測(cè)結(jié)果的準(zhǔn)確性進(jìn)行判斷，而且對(duì)準(zhǔn)確的檢測(cè)結(jié)果進(jìn)行了處理，最終獲得了融合圖像中目標(biāo)的準(zhǔn)確檢測(cè)結(jié)果。

2.4 算法整體框架

本文算法的具體步驟見(jiàn)表5，檢測(cè)過(guò)程見(jiàn)圖4。

表5 一種基于決策級(jí)融合的目標(biāo)檢測(cè)算法

圖4 本文算法框架

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，在Ubuntu 18.04，64位操作系統(tǒng)和NVIDIA GeForce GTX 1080Ti的處理器下搭建Darknet-53框架和MATLAB環(huán)境進(jìn)行實(shí)驗(yàn)。使用平均準(zhǔn)確度(mean Average Precision，mAP)、召回率(Recall)、F1分?jǐn)?shù)和檢測(cè)速度(Frame Per Second，F(xiàn)PS)作為評(píng)價(jià)指標(biāo)，從定性和定量2個(gè)方面對(duì)算法的檢測(cè)性能進(jìn)行分析。

3.1 定性分析

為了驗(yàn)證決策級(jí)融合算法在目標(biāo)檢測(cè)過(guò)程中的有效性，將本文算法的檢測(cè)結(jié)果與使用YOLOv3網(wǎng)絡(luò)分別檢測(cè)可見(jiàn)光圖像和紅外圖像的結(jié)果進(jìn)行比較，如圖5所示。從圖5可以看出，YOLOv3網(wǎng)絡(luò)檢測(cè)可見(jiàn)光圖像時(shí)漏檢了遠(yuǎn)處的“person”，網(wǎng)絡(luò)檢測(cè)紅外圖像漏檢了“car”，本文算法在對(duì)應(yīng)的融合圖像中同時(shí)檢測(cè)到了漏檢的“person”和“car”。YOLOv3網(wǎng)絡(luò)檢測(cè)可見(jiàn)光圖像漏檢了左下方的“person”，檢測(cè)紅外圖像時(shí)漏檢了與可見(jiàn)光圖像不同的另一個(gè)“person”，而且出現(xiàn)了誤檢“car”的情況，本文算法在對(duì)應(yīng)的融合圖像中不僅同時(shí)檢測(cè)到了2個(gè)漏檢的“person”，而且修正了誤檢目標(biāo)的情況。

為了進(jìn)一步驗(yàn)證本文算法的檢測(cè)優(yōu)勢(shì)，將本文算法與其他算法的檢測(cè)結(jié)果進(jìn)行對(duì)比，由于目前沒(méi)有通用的決策級(jí)融合目標(biāo)檢測(cè)算法，因此，將本文算法的檢測(cè)結(jié)果與3種基于特征級(jí)圖像融合的檢測(cè)算法的結(jié)果進(jìn)行比較，如圖6所示。

圖5 實(shí)驗(yàn)結(jié)果對(duì)比

圖6 本文算法與3種基于特征級(jí)圖像融合的檢測(cè)算法的實(shí)驗(yàn)結(jié)果對(duì)比

圖6中，基于特征級(jí)圖像融合的檢測(cè)算法分別為先使用VSM-and-WLS算法[22]進(jìn)行圖像融合，再使用YOLOv3網(wǎng)絡(luò)對(duì)融合圖像進(jìn)行檢測(cè)(VSM-and-WLS+YOLOv3)；先使用LatLRR算法[23]進(jìn)行圖像融合，再使用YOLOv3網(wǎng)絡(luò)對(duì)融合圖像進(jìn)行檢測(cè)(LatLRR+YOLOv3)；先使用DenseFuse算法[24]進(jìn)行圖像融合，再使用YOLOv3網(wǎng)絡(luò)對(duì)融合圖像進(jìn)行檢測(cè)(DenseFuse+YOLOv3)。

從圖6可以看出，VSM-and-WLS、LatLRR和DenseFuse算法在對(duì)融合圖像進(jìn)行檢測(cè)時(shí)，均出現(xiàn)了漏檢目標(biāo)的情況，或檢測(cè)不夠準(zhǔn)確。本文算法檢測(cè)到了圖像中的所有目標(biāo)，降低了目標(biāo)的漏檢率。本文算法不僅檢測(cè)到了所有漏檢的目標(biāo)，而且提高了檢測(cè)的準(zhǔn)確性。

從以上圖例的檢測(cè)結(jié)果可以看出，決策級(jí)融合檢測(cè)算法與單獨(dú)檢測(cè)可見(jiàn)光圖像和紅外圖像的算法相比，減少了漏檢和誤檢目標(biāo)的情況；與基于特征級(jí)圖像融合的檢測(cè)算法相比，檢測(cè)性能也均有提升，說(shuō)明本文算法具有一定的優(yōu)勢(shì)。

3.2 定量分析

通過(guò)比較本文算法和5種算法在相同測(cè)試集下的檢測(cè)結(jié)果，進(jìn)一步分析驗(yàn)證了本文算法的檢測(cè)性能，結(jié)果見(jiàn)表6。粗體為最優(yōu)的目標(biāo)檢測(cè)結(jié)果。

表6 本文算法與5種算法的檢測(cè)性能對(duì)比

從表6可以看出，與單獨(dú)檢測(cè)可見(jiàn)光圖像和紅外圖像的算法相比，本文算法的檢測(cè)精度分別提升了2.44%和21.89%，召回率分別提升了1.12%和17.21%；與3種基于特征級(jí)融合檢測(cè)的算法相比，算法的檢測(cè)精度分別提升了4.5%、1.74%和3.42%，召回率分別提升了0.48%、0.39%和0.58%；同時(shí)，F(xiàn)1分?jǐn)?shù)和速度均有較好的表現(xiàn)。通過(guò)實(shí)驗(yàn)比較可以證明，本文提出的基于決策級(jí)融合的目標(biāo)檢測(cè)算法可以對(duì)融合圖像進(jìn)行準(zhǔn)確的目標(biāo)檢測(cè)。

4 結(jié)語(yǔ)

本文對(duì)可見(jiàn)光圖像和紅外圖像的融合檢測(cè)問(wèn)題進(jìn)行了研究，提出了一種基于決策級(jí)融合的目標(biāo)檢測(cè)算法。算法在使用YOLOv3網(wǎng)絡(luò)對(duì)可見(jiàn)光圖像和紅外圖像分別進(jìn)行訓(xùn)練的基礎(chǔ)上，借助基于決策級(jí)融合的方式對(duì)目標(biāo)檢測(cè)結(jié)果進(jìn)行處理，進(jìn)而獲得了融合圖像的準(zhǔn)確檢測(cè)結(jié)果。相較于其他算法，本文算法的檢測(cè)性能均有不同程度的提升，實(shí)現(xiàn)了對(duì)融合圖像的準(zhǔn)確檢測(cè)。在融合過(guò)程中，本文使用的手工選擇閾值和權(quán)重的方式存在一定的局限性，在接下來(lái)的工作中，我們將對(duì)融合策略進(jìn)行改進(jìn)，考慮加入自適應(yīng)學(xué)習(xí)過(guò)程，并且使用更多的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，在保證算法魯棒性的基礎(chǔ)上，進(jìn)一步提高目標(biāo)檢測(cè)的性能。