殷旭平 鐘平 薛偉 肖子軒 李廣

摘 要： 雨霧惡劣天氣條件下，無(wú)人機(jī)獲取的圖像細(xì)節(jié)丟失嚴(yán)重，直接對(duì)降質(zhì)圖像進(jìn)行目標(biāo)檢測(cè)會(huì)導(dǎo)致目標(biāo)的漏檢和錯(cuò)檢。先去霧后檢測(cè)的方法對(duì)薄霧天氣條件下無(wú)人機(jī)圖像的目標(biāo)檢測(cè)性能提升顯著，但無(wú)法解決目標(biāo)檢測(cè)模型過(guò)度依靠圖像中目標(biāo)物紋理和表面信息分類的問(wèn)題，? 濃霧天氣條件下性能較差。針對(duì)這一問(wèn)題提出通過(guò)風(fēng)格遷移的無(wú)人機(jī)圖像目標(biāo)檢測(cè)方法，在保持圖像內(nèi)容不變的基礎(chǔ)上改變圖像的風(fēng)格，使目標(biāo)檢測(cè)模型從學(xué)習(xí)目標(biāo)物紋理和表面信息轉(zhuǎn)變?yōu)閷W(xué)習(xí)目標(biāo)物輪廓這一更高難度的任務(wù)。實(shí)驗(yàn)在無(wú)人機(jī)數(shù)據(jù)集Visdrone2019上進(jìn)行，首先利用不同濃度霧氣圖像在梯度特征、暗通道特征及小波特征上的差異，將無(wú)人機(jī)圖像劃分為無(wú)霧、薄霧、濃霧圖像。其次針對(duì)薄霧和濃霧圖像分別采取去霧和風(fēng)格遷移的處理方式。實(shí)驗(yàn)結(jié)果表明，通過(guò)風(fēng)格遷移的目標(biāo)檢測(cè)方法可以進(jìn)一步減緩光照、噪聲帶來(lái)的影響，并顯著提升無(wú)人機(jī)濃霧圖像的目標(biāo)檢測(cè)性能，與先去霧后檢測(cè)的方法結(jié)合，可以自適應(yīng)地完成無(wú)人機(jī)濃霧天氣條件下圖像的目標(biāo)檢測(cè)任務(wù)。

關(guān)鍵詞：無(wú)人機(jī)圖像;霧圖像;風(fēng)格遷移;目標(biāo)檢測(cè);圖像分類

中圖分類號(hào)： TP751; V279? 文獻(xiàn)標(biāo)識(shí)碼： A? ?文章編號(hào)：1673-5048（2021）03-0022-09

0 引? 言

隨著科學(xué)技術(shù)的快速發(fā)展，無(wú)人機(jī)技術(shù)不斷取得新進(jìn)展。無(wú)人機(jī)趨于微型化、自動(dòng)化、智能化，因而被廣泛應(yīng)用在軍事和民事領(lǐng)域[1]，如自然災(zāi)害檢測(cè)調(diào)查、空中偵察預(yù)警、航空監(jiān)測(cè)等。目標(biāo)檢測(cè)作為無(wú)人機(jī)感知和理解環(huán)境的重要手段，是計(jì)算機(jī)視覺(jué)的一項(xiàng)基礎(chǔ)而又高難度的任務(wù)[2]，長(zhǎng)久以來(lái)一直被國(guó)內(nèi)外學(xué)者所研究。目標(biāo)檢測(cè)算法中的一個(gè)重要過(guò)程是圖像特征提取，主要可以分為手工設(shè)計(jì)特征提取和深度學(xué)習(xí)特征提取?；谏疃葘W(xué)習(xí)特征提取的方法在無(wú)人機(jī)圖像目標(biāo)檢測(cè)領(lǐng)域有著優(yōu)良的效果，尤其是對(duì)于無(wú)人機(jī)拍攝的清晰無(wú)降質(zhì)的圖像，可以進(jìn)一步分為雙階段目標(biāo)檢測(cè)算法[3-6]以及單階段目標(biāo)檢測(cè)算法[7-10]。兩種檢測(cè)算法各有特點(diǎn)，雙階段目標(biāo)檢測(cè)算法準(zhǔn)確率和精度更高，適用于需要高精度識(shí)別的任務(wù);單階段目標(biāo)檢測(cè)算法速度更快，適合實(shí)時(shí)識(shí)別任務(wù)。然而常見(jiàn)的雨霧惡劣天氣下，無(wú)人機(jī)獲取的圖像質(zhì)量受到極大的影響，直接對(duì)降質(zhì)圖像進(jìn)行目標(biāo)檢測(cè)性能不佳。

一種直接提升降質(zhì)圖像目標(biāo)檢測(cè)性能的方法，是在目標(biāo)檢測(cè)之前，對(duì)降質(zhì)圖像進(jìn)行去霧，增強(qiáng)圖像中的有效信息。然而基于先驗(yàn)的去霧方法，如暗通道先驗(yàn)（DCP）[11]和顏色衰減先驗(yàn)（CAP）[12]，基于模型驅(qū)動(dòng)的深度網(wǎng)絡(luò)去霧方法， 如MSCNN[13]和AOD-Net[14]，基于生成對(duì)抗網(wǎng)絡(luò)的去霧方法，如EPDN[15]，以及基于編碼解碼結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)去霧方法，如GMAN[16]和MSBDN[17]等，都是以人的視覺(jué)感知為基礎(chǔ)設(shè)計(jì)評(píng)判標(biāo)準(zhǔn)的。以這種準(zhǔn)則為基礎(chǔ)設(shè)計(jì)的圖像復(fù)原方法，雖然可以獲得感知良好的圖像，但目標(biāo)檢測(cè)模型仍過(guò)度關(guān)注圖像中目標(biāo)物紋理和表面信息，無(wú)法充分利用目標(biāo)物形狀信息，這通常會(huì)損失與目標(biāo)檢測(cè)相關(guān)的有效信息，導(dǎo)致濃霧天氣條件下無(wú)人機(jī)圖像的目標(biāo)檢測(cè)性能變差。事實(shí)上，

相比依靠人的視覺(jué)感知復(fù)原的清晰圖像，風(fēng)格遷移可能更有利于后續(xù)的目標(biāo)檢測(cè)、分類、識(shí)別、理解等中高層任務(wù)。

風(fēng)格遷移通過(guò)圖像生成網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行變換，在保持圖像內(nèi)容不變的基礎(chǔ)上，將圖像風(fēng)格變換為預(yù)設(shè)風(fēng)格。風(fēng)格遷移可以平滑圖像中目標(biāo)物的局部細(xì)小紋理特征，豐富目標(biāo)物的顏色信息，使CNN不能輕易學(xué)到目標(biāo)物的紋理和表面特征，轉(zhuǎn)而學(xué)習(xí)目標(biāo)物輪廓這一更高難度的任務(wù)[18]，而輪廓是人類和生物視覺(jué)中定義形狀最可靠的信息。據(jù)此，本文提出通過(guò)風(fēng)格遷移的無(wú)人機(jī)濃霧圖像的目標(biāo)檢測(cè)方法，對(duì)無(wú)人機(jī)濃霧圖像進(jìn)行風(fēng)格遷移，來(lái)弱化光照、噪聲、天氣變化等帶來(lái)的影響，加強(qiáng)目標(biāo)檢測(cè)模型對(duì)圖像中目標(biāo)物邊緣信息的利用。

本文在無(wú)人機(jī)數(shù)據(jù)集Visdrone2019[19]上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，將歸一化的梯度特征、暗通道特征及小波特征作為組合特征，可以準(zhǔn)確描述不同霧氣濃度下無(wú)人機(jī)圖像的特征差異。與先去霧后檢測(cè)的方法相比，本文方法對(duì)真實(shí)無(wú)人機(jī)濃霧圖像的檢測(cè)效果更好，在合成的無(wú)人機(jī)濃霧數(shù)據(jù)集上進(jìn)行檢測(cè)，mAP50可提升2%～8%。

1 總體方法

本文方法可以自適應(yīng)地完成不同霧氣濃度的無(wú)人機(jī)圖像的目標(biāo)檢測(cè)任務(wù)，整個(gè)過(guò)程分3個(gè)步驟進(jìn)行。

（1） 數(shù)據(jù)集的構(gòu)建。在無(wú)人機(jī)數(shù)據(jù)集Visdrone 2019[19]上根據(jù)風(fēng)格遷移模型以及大氣散射模型分別生成32種不同的風(fēng)格數(shù)據(jù)集和18種不同濃度的霧天數(shù)據(jù)集。

（2） 無(wú)人機(jī)霧天圖像的分類。結(jié)合圖像的梯度特征、暗通道特征及小波特征，通過(guò)SVM進(jìn)行有監(jiān)督學(xué)習(xí)， 將無(wú)人機(jī)霧天圖像分為無(wú)霧、薄霧、濃霧圖像。

（3） 無(wú)人機(jī)霧天圖像的目標(biāo)檢測(cè)。根據(jù)無(wú)人機(jī)霧天圖像的分類結(jié)果，對(duì)無(wú)霧、薄霧、濃霧圖像分別采用直接檢測(cè)、先去霧后檢測(cè)、通過(guò)風(fēng)格遷移的檢測(cè)方法進(jìn)行圖像檢測(cè)。本文重點(diǎn)描述通過(guò)風(fēng)格遷移的無(wú)人機(jī)濃霧圖像的目標(biāo)檢測(cè)方法。

整個(gè)工作流程圖如圖1所示。

1.1 數(shù)據(jù)集的構(gòu)建

將無(wú)人機(jī)數(shù)據(jù)集Visdrone2019[19]作為基礎(chǔ)數(shù)據(jù)集來(lái)構(gòu)建實(shí)驗(yàn)相關(guān)的風(fēng)格數(shù)據(jù)集和霧天數(shù)據(jù)集。Visdrone2019由8 629張帶標(biāo)注圖像和1 580張不帶標(biāo)注圖像組成，包含12類常見(jiàn)目標(biāo)，如行人、車輛等。該數(shù)據(jù)集中圖像目標(biāo)物尺度變化較大，從幾像素到幾千像素不等，且弱小目標(biāo)十分密集，對(duì)其進(jìn)行目標(biāo)檢測(cè)具有一定挑戰(zhàn)。

1.1.1 風(fēng)格數(shù)據(jù)集的構(gòu)建

本文采用快速風(fēng)格遷移模型[20]來(lái)生成風(fēng)格數(shù)據(jù)集。快速風(fēng)格遷移模型由圖像生成網(wǎng)絡(luò)和損失網(wǎng)絡(luò)兩部分組成，其結(jié)構(gòu)圖如圖2所示。圖像生成網(wǎng)絡(luò)本質(zhì)是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)，由5個(gè)殘差模塊和一對(duì)下采樣和上采樣模塊組成。通過(guò)圖像生成網(wǎng)絡(luò)將輸入圖像映射成內(nèi)容和風(fēng)格與原圖像及風(fēng)格圖像相似的輸出圖像。

損失網(wǎng)絡(luò)本質(zhì)是一個(gè)特征提取網(wǎng)絡(luò)。通過(guò)預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)提取輸出圖像的感知特征，將其作為度量構(gòu)建出內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)。此外，為了使輸出圖像更加自然，還引入總變分正則函數(shù)[21]進(jìn)行約束。

內(nèi)容損失函數(shù)：

l? ， jfeat（y^， x）=1CjHjWjj（y^）-j（x）2F（1）

風(fēng)格損失函數(shù)：

Gj（y）c， c′=1CjHjWj∑Hjh=1∑Wjw=1j（y）h， w， cj（y）h， w， c′

（2）

l ， jstyle（y^， y）=Gj（y^）-Gj（y）2F（3）

整體損失函數(shù)：

L=λcl? ， jfeat（y^， x）+∑Jλsl? ， Jstyle（y^， y）+λTVl? TV（y^）

（4）

式中：j（·）表示第j層的損失網(wǎng)絡(luò);x表示輸入的內(nèi)容圖像;y表示輸入的風(fēng)格圖像;y^表示輸出的圖像;Cj，Hj，Wj表示特征變量的通道和高寬; λc， λs， λTV為標(biāo)量。采用adam優(yōu)化整體損失函數(shù)。

Geirhos等人[18]指出，CNN根據(jù)圖像中局部紋理和表面信息進(jìn)行分類，并不是設(shè)計(jì)出來(lái)的，而是由訓(xùn)練數(shù)據(jù)引起的。標(biāo)準(zhǔn)數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)模型可能會(huì)通過(guò)關(guān)注圖像中局部顏色和紋理信息來(lái)達(dá)到分類捷徑。而風(fēng)格數(shù)據(jù)集通過(guò)風(fēng)格遷移來(lái)改變了圖像中的局部信息，從而迫使網(wǎng)絡(luò)模型更多地關(guān)注圖像全局形狀信息。

1.1.2 霧天數(shù)據(jù)集的構(gòu)建

目前還沒(méi)有專門針對(duì)目標(biāo)檢測(cè)的無(wú)人機(jī)霧天數(shù)據(jù)集，因此，本文采用人工合成的方法，借助大氣散射模型在Visdrone2019數(shù)據(jù)集上生成不同濃度的霧天圖像。在強(qiáng)散射介質(zhì)下，引起探測(cè)系統(tǒng)成像結(jié)果降質(zhì)有兩種原因：一是目標(biāo)反射光受大氣中懸浮粒子的吸收和散射作用，造成目標(biāo)反射光能量的衰減，導(dǎo)致探測(cè)系統(tǒng)成像結(jié)果亮度降低，對(duì)比度下降;二是太陽(yáng)光等環(huán)境光受大氣中散射介質(zhì)的散射作用形成背景光，通常這部分背景光強(qiáng)度大于目標(biāo)光，造成探測(cè)系統(tǒng)的成像結(jié)果模糊不清。

雖然遙感圖像與自然圖像的雨霧成像模型略有不同，但無(wú)人機(jī)在中低空飛行時(shí)所拍攝圖像，其成像模型可以近似為自然圖像的雨霧成像模型，表示為

I（x）=J（x）·t（x）+A（1-t（x））（5）

式中：I（x）和J（x）分別代表有霧圖像和無(wú)霧圖像在位置x上像素值;A代表大氣光強(qiáng)，是一個(gè)常量;t（x）代表位置x上的透射率，表示為

t（x）=e-βd（x）（6）

式中：β代表大氣散射系數(shù);d（x）代表場(chǎng)景深度，隨著位置的變化而變化。

根據(jù)上述方程，采用深度模型[22]估計(jì)場(chǎng)景深度d（x），并通過(guò)調(diào)整參數(shù)A和β生成18種不同濃度霧氣圖像，其中大氣光強(qiáng)A∈（0.9，? 0.8，? 0.7），大氣散射系數(shù)β∈（0.5，? 1.0，? 1.5，? 2.0，? 3.0，? 4.0）。以β=3.0劃分霧氣濃度，β≥3.0時(shí)為濃霧圖像，β<3.0時(shí)為薄霧圖像。Visdrone2019數(shù)據(jù)集中的無(wú)霧圖像以及生成的景深圖像和霧天圖像如圖3所示。

1.2 無(wú)人機(jī)霧天圖像的分類

針對(duì)不同濃度霧氣圖像自適應(yīng)地選擇合適的處理方法，將會(huì)顯著提升目標(biāo)檢測(cè)模型的性能。綜合考慮分類算法的時(shí)間復(fù)雜度、空間復(fù)雜度以及準(zhǔn)確率，本文采用基于SVM和混合特征的霧天圖像分類算法。經(jīng)過(guò)大量實(shí)驗(yàn)分析，發(fā)現(xiàn)利用歸一化的梯度特征、暗通道特征及小波特征，可以準(zhǔn)確地表征不同霧天圖像的濃度。因此，本文將上述三種特征作為混合特征完成對(duì)無(wú)人機(jī)霧天圖像的分類。

1.2.1 歸一化的梯度特征（NGrad）

不同濃度霧氣圖像最直觀的區(qū)別是清晰度不同。相同場(chǎng)景下，霧氣濃度越低，圖像越清晰，圖像中目標(biāo)物邊緣信息和梯度信息越豐富。相同霧氣濃度下，圖像清晰度和目標(biāo)物景深呈負(fù)相關(guān)，在不考慮無(wú)人機(jī)圖像倒置的情況下，利用圖像上方區(qū)域目標(biāo)物景深大的特點(diǎn)，可以更容易、準(zhǔn)確地區(qū)分圖像的霧氣濃度。

本文使用無(wú)人機(jī)圖像上1/3區(qū)域的梯度圖，來(lái)表征圖像的清晰度。無(wú)霧、薄霧、濃霧圖像及對(duì)應(yīng)的局部梯度圖像如圖4所示。可以發(fā)現(xiàn)，隨著霧氣濃度的加深，局部梯度圖中的梯度信息明顯減弱。對(duì)局部梯度圖中灰度值低于200的像素進(jìn)行直方圖統(tǒng)計(jì)，將其簡(jiǎn)化為20維直方圖并進(jìn)行歸一化，建立歸一化的梯度特征，如圖5所示。

1.2.2 歸一化的暗通道特征（NDCP）

2009年He等人提出暗通道先驗(yàn) [11]，通過(guò)對(duì)大量室外無(wú)霧圖像作統(tǒng)計(jì)分析，發(fā)現(xiàn)在無(wú)霧圖像的局部區(qū)域存在一些像素，這些像素中至少有一個(gè)顏色通道亮度值非常低;相反地，有霧圖像中通道亮度值普遍偏高。根據(jù)這一特性，本文采用歸一化的暗通道特征來(lái)區(qū)分圖像中霧氣濃度。圖4中無(wú)霧、薄霧、濃霧圖像對(duì)應(yīng)的暗通道圖如圖6所示。同樣，采取和歸一化梯度特征相同的方式，建立20維的歸一化暗通道特征，如圖7所示。

1.2.3 歸一化的小波特征（NWTM）

小波變換在圖像處理領(lǐng)域被稱為圖像顯微鏡，具有

多分辨能力，可以將圖像信號(hào)分解為由原始小波位移和縮放后的一組小波，反映圖像在不同方向上的高頻信息和低頻信息。對(duì)M×N的圖像進(jìn)行二尺度小波變化后的尺度系數(shù)和小波系數(shù)分別為

Wφ（j0， m， n）=1MN∑M-1x=0∑N-1y=0f（x， y）φj0， m， n（x， y）（7）

Wiψ（j， m， n）=1MN∑M-1x=0∑N-1y=0f（x， y）ψij， m， n（x， y） （8）

式中：j0為任意的開(kāi)始尺度;φj0， m， n（x， y）和ψij， m， n（x， y）為尺度和平移基函數(shù)， i={H， V， D};? f（x， y）為待變換的圖像。在極限情況下，即當(dāng)j→∞時(shí)，可對(duì)f（x， y）實(shí)現(xiàn)精確表示。

本文采用三尺度小波變換，對(duì)圖4中無(wú)霧、薄霧、濃霧圖像進(jìn)行變換，變換后的尺度系數(shù)和小波系數(shù)圖如圖8所示。考慮到尺度系數(shù)和小波系數(shù)量綱相差太大，將尺度系數(shù)縮放10倍，對(duì)縮放的尺度系數(shù)和小波系數(shù)求絕對(duì)值的均值并進(jìn)行歸一化，構(gòu)成10維歸一化的小波特征，如圖9所示。

1.3 無(wú)人機(jī)霧天圖像的目標(biāo)檢測(cè)

目前，針對(duì)無(wú)人機(jī)霧天圖像的目標(biāo)檢測(cè)，主流方法是直接檢測(cè)或先去霧后檢測(cè)，然而這些方法對(duì)于無(wú)人機(jī)

濃霧圖像的目標(biāo)檢測(cè)效果較差。因此， 本文提出通過(guò)風(fēng)格遷移的無(wú)人機(jī)濃霧圖像目標(biāo)檢測(cè)方法。方法的關(guān)鍵在于挑選使目標(biāo)檢測(cè)性能最優(yōu)的遷移風(fēng)格。文獻(xiàn)[23]提出， 風(fēng)格的選取會(huì)對(duì)風(fēng)格遷移過(guò)程產(chǎn)生明顯的影響，通過(guò)精心挑選遷移風(fēng)格可以使風(fēng)格遷移效果得到顯著的提高。然而目前還沒(méi)有詳細(xì)的分析來(lái)可靠地確定哪些風(fēng)格對(duì)風(fēng)格遷移方法有促進(jìn)作用。為此，本文采用兩種評(píng)價(jià)準(zhǔn)則：主觀評(píng)價(jià)及定量評(píng)價(jià)rAP50來(lái)衡量遷移風(fēng)格的好壞，并從中挑選出使目標(biāo)檢測(cè)性能最優(yōu)的遷移風(fēng)格。

（1） 主觀評(píng)價(jià)

主觀評(píng)價(jià)遷移風(fēng)格的好壞，主要基于對(duì)原數(shù)據(jù)集和霧天數(shù)據(jù)集進(jìn)行風(fēng)格遷移后生成的風(fēng)格數(shù)據(jù)集，背景是否連續(xù)，目標(biāo)物是否突出，目標(biāo)物是否發(fā)生形變，風(fēng)格遷移過(guò)程中是否產(chǎn)生新的干擾。

（2） rAP50

目標(biāo)檢測(cè)問(wèn)題中最常用評(píng)估指標(biāo)是mAP50，然而當(dāng)目標(biāo)檢測(cè)模型或數(shù)據(jù)集發(fā)生變化時(shí)，無(wú)法直接通過(guò)mAP50數(shù)值來(lái)衡量各種影響因素之間的相對(duì)關(guān)系。本文提出一種新的評(píng)估指標(biāo)rAP50，表示為

rAP50=mAPsys50mAPori50 （9）

式中：mAPsys50和mAPori50分別代表目標(biāo)檢測(cè)模型在原數(shù)據(jù)集圖像和生成圖像上的平均精度。

對(duì)不同遷移風(fēng)格生成的風(fēng)格數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)，挑選出rAP50較高的遷移風(fēng)格，作為候選最優(yōu)遷移風(fēng)格。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

CPU： Xeon E5-2620 v4 @2.10 GHz; RAM： 16 GB; Graphics Card： RTX 2080Ti @11 GB; Operating System： Ubuntu; Frame： pytorch. 1.2.0。

2.2 基于SVM的無(wú)人機(jī)霧天圖像分類

本文構(gòu)建的無(wú)人機(jī)霧天數(shù)據(jù)集包括18種不同濃度霧氣圖像，如圖3所示。分別隨機(jī)選取無(wú)霧、薄霧、濃霧共4 320張圖像組成霧氣分類數(shù)據(jù)集。提取這些圖像的歸一化梯度特征、暗通道特征及小波特征，合并成50維的混合特征集。

從4 320張圖像中隨機(jī)選出2 592張圖像做訓(xùn)練集，1 728張圖像做測(cè)試集，利用訓(xùn)練集的混合特征集對(duì)SVM進(jìn)行監(jiān)督學(xué)習(xí)。SVM分別采用高斯核exp（-γ‖xi-xj‖2）， γ=0.9，多項(xiàng)式核（γxTixj+b）d， d=3，? b=20，線性核xTixj，以及sigmoid核tanh（γxTixj+b）， γ=0.000 1， b=-1。對(duì)無(wú)人機(jī)霧天圖像的分類結(jié)果如表1所示。

由表1可見(jiàn)，采用高斯核函數(shù)時(shí)SVM的分類精度最高，可以達(dá)到93.4%，且對(duì)無(wú)霧圖像和濃霧圖像的分類正確率高于薄霧圖像。這是因?yàn)楸窘M實(shí)驗(yàn)中，采用的測(cè)試數(shù)據(jù)中部分無(wú)霧-薄霧圖像、薄霧-濃霧圖像分類邊界模糊，容易被SVM判錯(cuò)，但這并不影響無(wú)人機(jī)霧天圖像的目標(biāo)檢測(cè)。例如對(duì)于處在薄霧-濃霧邊緣的圖像，既可以采用先去霧后檢測(cè)的方法，? 也可以采用通過(guò)風(fēng)格遷移的檢測(cè)方法。

2.3 通過(guò)風(fēng)格遷移的目標(biāo)檢測(cè)方法

2.3.1 訓(xùn)練設(shè)置

本文采用一階段目標(biāo)檢測(cè)器RefineDet [7]來(lái)完成無(wú)人機(jī)霧天圖像的目標(biāo)檢測(cè)。考慮到采用Visdrone2019[19]基礎(chǔ)數(shù)據(jù)集訓(xùn)練的目標(biāo)檢測(cè)模型仍可有限地利用目標(biāo)物形狀信息，本文將基礎(chǔ)數(shù)據(jù)集、最優(yōu)遷移風(fēng)格作用于基礎(chǔ)數(shù)據(jù)集和濃霧數(shù)據(jù)集生成的風(fēng)格數(shù)據(jù)集共同作為訓(xùn)練集，對(duì)RefineDet進(jìn)行重新訓(xùn)練。初始學(xué)習(xí)率設(shè)置為0.001， 動(dòng)量設(shè)置為0.9， 權(quán)重衰減設(shè)置為0.000 5，? 訓(xùn)練迭代輪次設(shè)置為 400 000次，? 批尺寸設(shè)置為16。當(dāng)?shù)螖?shù)為200 000和320 000時(shí)，將學(xué)習(xí)率降低至原來(lái)的1/10。按照訓(xùn)練驗(yàn)證集和測(cè)試集為8∶2 的比例進(jìn)行數(shù)據(jù)集的隨機(jī)分組。

2.3.2 挑選最優(yōu)的遷移風(fēng)格

通過(guò)風(fēng)格遷移的目標(biāo)檢測(cè)方法的關(guān)鍵在于最適合目標(biāo)檢測(cè)的遷移風(fēng)格的選取，為此需要盡可能包含不同的遷移風(fēng)格。本文選取了32種包含不同的紋理、形狀、顏色以及分布特點(diǎn)的遷移風(fēng)格，如圖10所示。借助快速風(fēng)格遷移模型[20]在Visdrone2019數(shù)據(jù)集上生成32種不同的風(fēng)格數(shù)據(jù)集，如圖11所示。采用RefineDet[7]目標(biāo)檢測(cè)模型對(duì)這32種不同的風(fēng)格數(shù)據(jù)集分別進(jìn)行檢測(cè)，相對(duì)于基礎(chǔ)數(shù)據(jù)集的目標(biāo)檢測(cè)結(jié)果rAP50如表2所示。可以發(fā)現(xiàn)，選用遷移風(fēng)格1，5，6，7，13，21，25，29，30時(shí)，rAP50較高，均在0.700以上。

對(duì)上述9種遷移風(fēng)格作用于濃霧數(shù)據(jù)集生成的風(fēng)格數(shù)據(jù)集（如圖12所示）進(jìn)行主觀評(píng)價(jià)，可以發(fā)現(xiàn)采用遷移風(fēng)格1，5，6生成的風(fēng)格數(shù)據(jù)集的效果明顯優(yōu)于其他遷移風(fēng)格，表現(xiàn)為背景連續(xù)，目標(biāo)物突出且未發(fā)生形變，風(fēng)格遷移過(guò)程中未產(chǎn)生新的干擾。進(jìn)一步對(duì)遷移風(fēng)格1，5，6作用于濃霧數(shù)據(jù)集生成的風(fēng)格數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)，rAP50如表3所示。遷移風(fēng)格1的rAP50最高，因此，最終選擇風(fēng)格1作為最優(yōu)遷移風(fēng)格。綜合分析，好的遷移風(fēng)格通常具備顏色分布均勻、結(jié)構(gòu)簡(jiǎn)單且平滑、無(wú)明顯線條感和塊狀感等特點(diǎn)。

2.3.3 與其他方法的對(duì)比

霧氣的干擾會(huì)使無(wú)人機(jī)獲取的圖像細(xì)節(jié)信息丟失嚴(yán)重，直接對(duì)降質(zhì)圖像進(jìn)行目標(biāo)檢測(cè)，性能不佳，如表4所示。采用CAP[12]和MSBDN[17]算法對(duì)降質(zhì)圖像去霧， 可以使無(wú)人機(jī)薄霧圖像的目標(biāo)檢測(cè)性能得到顯著提升，但對(duì)于無(wú)人機(jī)濃霧圖像， 該方法性能仍較差，如表5所示。為此， 本文提出通過(guò)風(fēng)格遷移的無(wú)人機(jī)濃霧圖像目標(biāo)檢測(cè)方法。本文方法相對(duì)于其他方法的優(yōu)勢(shì)在于：進(jìn)一步弱化了霧氣干擾對(duì)目標(biāo)檢測(cè)模型的影響;解決了目標(biāo)檢測(cè)模型過(guò)度依靠圖像中目標(biāo)物紋理和表面信息分類的問(wèn)題，使目標(biāo)檢測(cè)模型更充分地利用圖像中目標(biāo)物的形狀和輪廓信息。

（1） 弱化霧氣干擾對(duì)目標(biāo)檢測(cè)模型的影響

從圖13可以看出，大氣光強(qiáng)A及大氣散射系數(shù)β均會(huì)對(duì)目標(biāo)檢測(cè)模型性能產(chǎn)生影響。隨著A和β的增大，降質(zhì)圖像相對(duì)于原圖的目標(biāo)檢測(cè)性能逐漸降低。相比于其他方法，本文的方法rAP50下降緩慢，且不同A下，rAP50 基本相等。這說(shuō)明本文方法可以進(jìn)一步緩解大氣散射和光強(qiáng)變化引起的性能下降。

（2） 充分利用目標(biāo)物的形狀和輪廓信息

當(dāng)待檢測(cè)數(shù)據(jù)集顏色、紋理及表面信息發(fā)生較大變化時(shí)，目標(biāo)檢測(cè)模型性能下降嚴(yán)重，如對(duì)圖11中采用遷移風(fēng)格6生成的風(fēng)格數(shù)據(jù)集進(jìn)行檢測(cè)，mAP50從0.373下降到0.260。而通過(guò)本文方法重新訓(xùn)練的目標(biāo)檢測(cè)模型可以將mAP50提升到0.299，說(shuō)明本文方法可以使目標(biāo)檢測(cè)模型更充分地利用目標(biāo)物的形狀和輪廓信息。

然而本文方法也存在一定局限性。對(duì)合成的18種不同濃度的無(wú)人機(jī)霧天數(shù)據(jù)集中的目標(biāo)物進(jìn)行分類檢測(cè)，檢測(cè)結(jié)果如圖14所示?？梢园l(fā)現(xiàn)本文方法對(duì)大目標(biāo)，如car，van，truck，bus的檢測(cè)性能較高，但是對(duì)于小目標(biāo)的檢測(cè)性能低于其他方法。這是因?yàn)閷W(xué)習(xí)目標(biāo)物的形狀和輪廓信息是一項(xiàng)更高難度的任務(wù);小目標(biāo)的輪廓信息較弱，快速風(fēng)格遷移過(guò)程可能會(huì)把過(guò)小目標(biāo)的輪廓平滑掉。

進(jìn)一步，由表4～5可知，對(duì)于無(wú)人機(jī)清晰圖像采用直接檢測(cè)的方法，mAP50最高，為0.373，而對(duì)于無(wú)人機(jī)薄霧和濃霧圖像分別采用MSBDN去霧后檢測(cè)的方法以及通過(guò)風(fēng)格遷移的目標(biāo)檢測(cè)方法性能最優(yōu)。因此，針對(duì)不同濃度霧氣圖像自適應(yīng)地選擇合適的處理方法，將會(huì)顯著提升目標(biāo)檢測(cè)模型的性能。

2.4 真實(shí)霧天圖像檢測(cè)

盡管本文方法是在合成的數(shù)據(jù)集上訓(xùn)練的，但同樣適用于真實(shí)無(wú)人機(jī)濃霧圖像的目標(biāo)檢測(cè)，如圖15所示。可以發(fā)現(xiàn)，采用MSBDN[17]對(duì)濃霧圖像去霧后檢測(cè)，雖然會(huì)使降質(zhì)圖像得到一定恢復(fù)，但由于濃霧圖像中霧氣濃度太大，在圖像復(fù)原過(guò)程中容易產(chǎn)生黑影，相較于直接檢測(cè)的方法性能提升不明顯;本文方法可以增大目標(biāo)物與背景的對(duì)比度，將目標(biāo)物從濃霧背景中凸顯出來(lái)，并根據(jù)目標(biāo)物的輪廓信息進(jìn)行準(zhǔn)確檢測(cè)。但本文方法也可能會(huì)將風(fēng)格遷移后輪廓相近的兩類物體判別為同類，如圖15（d）中將路燈判別為行人。

3 結(jié) 束 語(yǔ)

針對(duì)無(wú)人機(jī)霧天圖像的目標(biāo)檢測(cè)任務(wù)，本文首先采用SVM借助歸一化的梯度特征、暗通道特征、小波特征形成的混合特征對(duì)無(wú)人機(jī)圖像進(jìn)行霧氣分類，并自適應(yīng)匹配最優(yōu)的檢測(cè)算法，其次考慮到先去霧后檢測(cè)方法無(wú)法解決目標(biāo)檢測(cè)模型過(guò)度依靠圖像中目標(biāo)物紋理和表面信息分類，濃霧天氣條件下性能較差的問(wèn)題，提出通過(guò)風(fēng)格遷移的無(wú)人機(jī)濃霧圖像目標(biāo)檢測(cè)方法。本文方法進(jìn)一步弱化了霧氣干擾對(duì)目標(biāo)檢測(cè)模型的影響，解決了目標(biāo)檢測(cè)模型過(guò)度依靠圖像中目標(biāo)物紋理和表面信息分類的問(wèn)題，使目標(biāo)檢測(cè)模型更充分地利用圖像中目標(biāo)物的形狀和輪廓信息。經(jīng)測(cè)試，相比于其他方法，本文方法對(duì)合成和真實(shí)的無(wú)人機(jī)濃霧圖像的目標(biāo)檢測(cè)性能均有明顯的提升，在合成的無(wú)人機(jī)濃霧數(shù)據(jù)集上mAP50最高可提升8%。但本文方法對(duì)較小目標(biāo)的檢測(cè)能力相對(duì)較弱，對(duì)薄霧圖像中目標(biāo)物的檢測(cè)性能低于先去霧后檢測(cè)方法。下一步工作中，將在風(fēng)格遷移過(guò)程中進(jìn)一步利用圖像的深度信息，研究以目標(biāo)檢測(cè)為驅(qū)動(dòng)的風(fēng)格遷移方法。

參考文獻(xiàn)：

[1] 路靜. 微型無(wú)人機(jī)的應(yīng)用現(xiàn)狀及未來(lái)發(fā)展[J]. 集成電路應(yīng)用，? 2018， 35（4）： 88-91.

Lu Jing. Application Status and Future Development of Micro UAV[J]. Applications of IC，? 2018，? 35（4）： 88-91.（in Chinese）

[2] 周啟晨. 基于深度學(xué)習(xí)的無(wú)人機(jī)對(duì)地目標(biāo)跟蹤算法研究[D]. 北京： 北方工業(yè)大學(xué)，? 2019.

Zhou Qichen. Research on Object Tracking Algorithm of UAV Based on Deep Learning[D].Beijing：North China University of Technology，? 2019. （in Chinese）

[3] Girshick R，? Donahue J，? Darrell T，? et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition，? 2014： 580-587.

[4] Girshick R. Fast R-CNN [C]∥ Proceedings of the IEEE International Conference on Computer Vision （ICCV），? 2015： 1440-1448.

[5] Ren S Q，? He K M，? Girshick R，? et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2017，? 39（6）： 1137-1149.

[6] Lin T Y，? Dollár P，? Girshick R，? et al. Feature Pyramid Networks for Object Detection[EB/OL].（2017-04-19） [2020-10-13]. https：∥arxiv.org/pdf/1612.03144.pdf.

[7] Zhang S F，? Wen L Y，? Bian X，? et al. Single-Shot Refinement Neural Network for Object Detection[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition，? 2018： 4203-4212.

[8] Redmon J，? Divvala S，? Girshick R，? et al. You Only Look Once： Unified，? Real-Time Object Detection[EB/OL].（2015-06-08） [2020-10-13].https：∥ai2-website.s3.amazonaws. com/publications/YOLO.pdf.

[9] Redmon J，? Farhadi A. YOLOv3： An Incremental Improvement[EB/OL]. （2018-04-08） [2020-10-13]. https： ∥arxiv.org/pdf/1804.02767.

[10]? Liu W，? Anguelov D，? Erhan D，? et al. SSD： Single Shot MultiBox Detector[EB/OL]. （2015-12-08） [2020-10-13]. https：∥arxiv.org/abs/1512.02325.

[11]? He K M，? Sun J，? Tang X O. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2011，? 33（12）： 2341-2353.

[12]? Zhu Q S，? Mai J M，? Shao L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior[J]. IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society，? 2015，? 24（11）： 3522-3533.

[13]? Ren W Q，? Pan J S，? Zhang H，? et al. Single Image Dehazing via Multi-Scale Convolutional Neural Networks with Holistic Edges[J]. International Journal of Computer Vision，? 2020，? 128（1）： 240-259.

[14]? Li B Y，? Peng X L，? Wang Z Y，? et al. AOD-Net： All-in-One Dehazing Network[C]∥2017 IEEE International Conference on Computer Vision （ICCV），? 2017： 4780-4788.

[15]? Qu Y Y，? Chen Y Z，? Huang J Y，? et al. Enhanced Pix2pix Dehazing Network[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），? 2019： 8160-8168.

[16]? Liu Z，? Xiao B T，? Alrabeiah M，? et al. Single Image Dehazing with a Generic Model-Agnostic Convolutional Neural Network[J]. IEEE Signal Processing Letters，? 2019，? 26（6）： 833-837.

[17]? Dong H，? Pan J S，? Xiang L，? et al. Multi-Scale Boosted Dehazing Network with Dense Feature Fusion[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），? 2020： 2154-2164.

[18] Geirhos R，? Rubisch P，? Michaelis C，? et al. ImageNet-Trained CNNs are Biased Towards Texture; Increasing Shape Bias Improves Accuracy and Robustness[EB/OL]. （2018-10-29）[2020-10-13].https： ∥arxiv.org/abs/1811.12231.

[19] Zhu P F，? Wen L Y，? Bian X，? et al. Vision Meets Drones： A Challenge[EB/OL]. （2018-04-20） [2020-10-13]. https： ∥arxiv.org/abs/1804.07437.

[20] Johnson J，? Alahi A，?? Li F F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[EB/OL]. （2016-03-27）[2020-10-13]. https：∥arxiv.org/abs/1603.08155.

[21] Aly H A，? Dubois E. Image Up-Sampling Using Total-Variation Regularization with a New Observation Model[J]. IEEE Transactions Image Processing，? 2005，? 14（10）： 1647-1659.

[22] Ranftl R，? Lasinger K，? Schindler K，? et al. Towards Robust Monocu-lar Depth Estimation： Mixing Datasets for Zero-Shot Cross-Dataset Transfer[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2020. DOI： 10.1109/TPAMI.2020.3019967.

[23] Yeh M C，? Tang S，? Bhattad A，? et al. Improving Style Transfer with Calibrated Metrics[C]∥ IEEE Winter Conference on Applications of Computer Vision （WACV），? 2020： 3149-3157.

The Method of UAV Image Object Detection under

Foggy Weather by Style Transfer

Yin Xuping1，? Zhong Ping1*，? Xue Wei1， 2，? Xiao Zixuan1，? Li Guang1

（1. National Key Laboratory of Science and Technology on Automatic Target Recognition，

College of Electrical Science，? National University of Defense Technology，? Changsha 410073，? China;

2. School of Computer Science and Technology，? Anhui University of Technology，? Maanshan 243032，? China）

Abstract： Under the bad weather conditions such as foggy or rainy weather，? the details of UAV images are seriously lost. Consequently，? directly detecting without dehazing may lead to object missing and wrong inspection. Although the method of dehazing firstly and then detecting can significantly improve the detection performance of UAV images under misty weather conditions，? it can not solve the problem that object detection model relies too much on the texture and surface information of the targets in the image which are used to classify，? and thus leads to a poor detection performance on heavy fog images. In response to this problem，? a method to detect after style transfer instead of haze removal is proposed to accomplish object detection of the UAV images under dense fog weather conditions. The method can change the style of the image while keep the content in image unchanged，? making the object detection model transform from learning the object texture and surface information to learning the object contour，? which is a more difficult task. The experiment is carried out on the UAV dataset Visdrone2019. Firstly，? the UAV images are divided into fog-free，? mist and dense fog images by using the differences in gradient features，? dark channel features and wavelet features of fog images. Secondly，? the processing methods of dehazing and style transfer are adopted respectively according to the concentration of fog. The experimental results show that the proposed method can further reduce the impact of light and noise，? and can significantly improve the object detection performance of UAV dense fog images. Moreover，? combining with the method of dehazing firstly and then detecting， the proposed method can adaptively complete the object detection task of UAV fog images.

Key words： UAV image; fog? image; style transfer; target detection;? image classification

收稿日期：2020-10-14

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61671456; 61971428）

作者簡(jiǎn)介：殷旭平（1996-），男，山西朔州人，碩士，研究方向是計(jì)算機(jī)視覺(jué)中的目標(biāo)檢測(cè)、風(fēng)格遷移、去霧。

通訊作者：鐘平（1979-），男，河北趙縣人，研究員，研究方向是衛(wèi)星或航空光學(xué)圖像的復(fù)原與增強(qiáng)、目標(biāo)檢測(cè)、目標(biāo)識(shí)別、機(jī)器學(xué)習(xí)理論及其在航空領(lǐng)域的應(yīng)用研究。