殷旭平 鐘平 薛偉 肖子軒 李廣

摘 要： 雨霧惡劣天氣條件下，無人機獲取的圖像細節(jié)丟失嚴重，直接對降質(zhì)圖像進行目標檢測會導致目標的漏檢和錯檢。先去霧后檢測的方法對薄霧天氣條件下無人機圖像的目標檢測性能提升顯著，但無法解決目標檢測模型過度依靠圖像中目標物紋理和表面信息分類的問題，? 濃霧天氣條件下性能較差。針對這一問題提出通過風格遷移的無人機圖像目標檢測方法，在保持圖像內(nèi)容不變的基礎(chǔ)上改變圖像的風格，使目標檢測模型從學習目標物紋理和表面信息轉(zhuǎn)變?yōu)閷W習目標物輪廓這一更高難度的任務。實驗在無人機數(shù)據(jù)集Visdrone2019上進行，首先利用不同濃度霧氣圖像在梯度特征、暗通道特征及小波特征上的差異，將無人機圖像劃分為無霧、薄霧、濃霧圖像。其次針對薄霧和濃霧圖像分別采取去霧和風格遷移的處理方式。實驗結(jié)果表明，通過風格遷移的目標檢測方法可以進一步減緩光照、噪聲帶來的影響，并顯著提升無人機濃霧圖像的目標檢測性能，與先去霧后檢測的方法結(jié)合，可以自適應地完成無人機濃霧天氣條件下圖像的目標檢測任務。

關(guān)鍵詞：無人機圖像;霧圖像;風格遷移;目標檢測;圖像分類

中圖分類號： TP751; V279? 文獻標識碼： A? ?文章編號：1673-5048（2021）03-0022-09

0 引? 言

隨著科學技術(shù)的快速發(fā)展，無人機技術(shù)不斷取得新進展。無人機趨于微型化、自動化、智能化，因而被廣泛應用在軍事和民事領(lǐng)域[1]，如自然災害檢測調(diào)查、空中偵察預警、航空監(jiān)測等。目標檢測作為無人機感知和理解環(huán)境的重要手段，是計算機視覺的一項基礎(chǔ)而又高難度的任務[2]，長久以來一直被國內(nèi)外學者所研究。目標檢測算法中的一個重要過程是圖像特征提取，主要可以分為手工設(shè)計特征提取和深度學習特征提取。基于深度學習特征提取的方法在無人機圖像目標檢測領(lǐng)域有著優(yōu)良的效果，尤其是對于無人機拍攝的清晰無降質(zhì)的圖像，可以進一步分為雙階段目標檢測算法[3-6]以及單階段目標檢測算法[7-10]。兩種檢測算法各有特點，雙階段目標檢測算法準確率和精度更高，適用于需要高精度識別的任務;單階段目標檢測算法速度更快，適合實時識別任務。然而常見的雨霧惡劣天氣下，無人機獲取的圖像質(zhì)量受到極大的影響，直接對降質(zhì)圖像進行目標檢測性能不佳。

一種直接提升降質(zhì)圖像目標檢測性能的方法，是在目標檢測之前，對降質(zhì)圖像進行去霧，增強圖像中的有效信息。然而基于先驗的去霧方法，如暗通道先驗（DCP）[11]和顏色衰減先驗（CAP）[12]，基于模型驅(qū)動的深度網(wǎng)絡(luò)去霧方法， 如MSCNN[13]和AOD-Net[14]，基于生成對抗網(wǎng)絡(luò)的去霧方法，如EPDN[15]，以及基于編碼解碼結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)去霧方法，如GMAN[16]和MSBDN[17]等，都是以人的視覺感知為基礎(chǔ)設(shè)計評判標準的。以這種準則為基礎(chǔ)設(shè)計的圖像復原方法，雖然可以獲得感知良好的圖像，但目標檢測模型仍過度關(guān)注圖像中目標物紋理和表面信息，無法充分利用目標物形狀信息，這通常會損失與目標檢測相關(guān)的有效信息，導致濃霧天氣條件下無人機圖像的目標檢測性能變差。事實上，

相比依靠人的視覺感知復原的清晰圖像，風格遷移可能更有利于后續(xù)的目標檢測、分類、識別、理解等中高層任務。

風格遷移通過圖像生成網(wǎng)絡(luò)對輸入圖像進行變換，在保持圖像內(nèi)容不變的基礎(chǔ)上，將圖像風格變換為預設(shè)風格。風格遷移可以平滑圖像中目標物的局部細小紋理特征，豐富目標物的顏色信息，使CNN不能輕易學到目標物的紋理和表面特征，轉(zhuǎn)而學習目標物輪廓這一更高難度的任務[18]，而輪廓是人類和生物視覺中定義形狀最可靠的信息。據(jù)此，本文提出通過風格遷移的無人機濃霧圖像的目標檢測方法，對無人機濃霧圖像進行風格遷移，來弱化光照、噪聲、天氣變化等帶來的影響，加強目標檢測模型對圖像中目標物邊緣信息的利用。

本文在無人機數(shù)據(jù)集Visdrone2019[19]上進行實驗。實驗結(jié)果表明，將歸一化的梯度特征、暗通道特征及小波特征作為組合特征，可以準確描述不同霧氣濃度下無人機圖像的特征差異。與先去霧后檢測的方法相比，本文方法對真實無人機濃霧圖像的檢測效果更好，在合成的無人機濃霧數(shù)據(jù)集上進行檢測，mAP50可提升2%～8%。

1 總體方法

本文方法可以自適應地完成不同霧氣濃度的無人機圖像的目標檢測任務，整個過程分3個步驟進行。

（1） 數(shù)據(jù)集的構(gòu)建。在無人機數(shù)據(jù)集Visdrone 2019[19]上根據(jù)風格遷移模型以及大氣散射模型分別生成32種不同的風格數(shù)據(jù)集和18種不同濃度的霧天數(shù)據(jù)集。

（2） 無人機霧天圖像的分類。結(jié)合圖像的梯度特征、暗通道特征及小波特征，通過SVM進行有監(jiān)督學習， 將無人機霧天圖像分為無霧、薄霧、濃霧圖像。

（3） 無人機霧天圖像的目標檢測。根據(jù)無人機霧天圖像的分類結(jié)果，對無霧、薄霧、濃霧圖像分別采用直接檢測、先去霧后檢測、通過風格遷移的檢測方法進行圖像檢測。本文重點描述通過風格遷移的無人機濃霧圖像的目標檢測方法。

整個工作流程圖如圖1所示。

1.1 數(shù)據(jù)集的構(gòu)建

將無人機數(shù)據(jù)集Visdrone2019[19]作為基礎(chǔ)數(shù)據(jù)集來構(gòu)建實驗相關(guān)的風格數(shù)據(jù)集和霧天數(shù)據(jù)集。Visdrone2019由8 629張帶標注圖像和1 580張不帶標注圖像組成，包含12類常見目標，如行人、車輛等。該數(shù)據(jù)集中圖像目標物尺度變化較大，從幾像素到幾千像素不等，且弱小目標十分密集，對其進行目標檢測具有一定挑戰(zhàn)。

1.1.1 風格數(shù)據(jù)集的構(gòu)建

本文采用快速風格遷移模型[20]來生成風格數(shù)據(jù)集?？焖亠L格遷移模型由圖像生成網(wǎng)絡(luò)和損失網(wǎng)絡(luò)兩部分組成，其結(jié)構(gòu)圖如圖2所示。圖像生成網(wǎng)絡(luò)本質(zhì)是一個全卷積神經(jīng)網(wǎng)絡(luò)，由5個殘差模塊和一對下采樣和上采樣模塊組成。通過圖像生成網(wǎng)絡(luò)將輸入圖像映射成內(nèi)容和風格與原圖像及風格圖像相似的輸出圖像。

損失網(wǎng)絡(luò)本質(zhì)是一個特征提取網(wǎng)絡(luò)。通過預訓練的VGG-16網(wǎng)絡(luò)提取輸出圖像的感知特征，將其作為度量構(gòu)建出內(nèi)容損失函數(shù)和風格損失函數(shù)。此外，為了使輸出圖像更加自然，還引入總變分正則函數(shù)[21]進行約束。

內(nèi)容損失函數(shù)：

l? ， jfeat（y^， x）=1CjHjWjj（y^）-j（x）2F（1）

風格損失函數(shù)：

Gj（y）c， c′=1CjHjWj∑Hjh=1∑Wjw=1j（y）h， w， cj（y）h， w， c′

（2）

l ， jstyle（y^， y）=Gj（y^）-Gj（y）2F（3）

整體損失函數(shù)：

L=λcl? ， jfeat（y^， x）+∑Jλsl? ， Jstyle（y^， y）+λTVl? TV（y^）

（4）

式中：j（·）表示第j層的損失網(wǎng)絡(luò);x表示輸入的內(nèi)容圖像;y表示輸入的風格圖像;y^表示輸出的圖像;Cj，Hj，Wj表示特征變量的通道和高寬; λc， λs， λTV為標量。采用adam優(yōu)化整體損失函數(shù)。

Geirhos等人[18]指出，CNN根據(jù)圖像中局部紋理和表面信息進行分類，并不是設(shè)計出來的，而是由訓練數(shù)據(jù)引起的。標準數(shù)據(jù)集訓練的網(wǎng)絡(luò)模型可能會通過關(guān)注圖像中局部顏色和紋理信息來達到分類捷徑。而風格數(shù)據(jù)集通過風格遷移來改變了圖像中的局部信息，從而迫使網(wǎng)絡(luò)模型更多地關(guān)注圖像全局形狀信息。

1.1.2 霧天數(shù)據(jù)集的構(gòu)建

目前還沒有專門針對目標檢測的無人機霧天數(shù)據(jù)集，因此，本文采用人工合成的方法，借助大氣散射模型在Visdrone2019數(shù)據(jù)集上生成不同濃度的霧天圖像。在強散射介質(zhì)下，引起探測系統(tǒng)成像結(jié)果降質(zhì)有兩種原因：一是目標反射光受大氣中懸浮粒子的吸收和散射作用，造成目標反射光能量的衰減，導致探測系統(tǒng)成像結(jié)果亮度降低，對比度下降;二是太陽光等環(huán)境光受大氣中散射介質(zhì)的散射作用形成背景光，通常這部分背景光強度大于目標光，造成探測系統(tǒng)的成像結(jié)果模糊不清。

雖然遙感圖像與自然圖像的雨霧成像模型略有不同，但無人機在中低空飛行時所拍攝圖像，其成像模型可以近似為自然圖像的雨霧成像模型，表示為

I（x）=J（x）·t（x）+A（1-t（x））（5）

式中：I（x）和J（x）分別代表有霧圖像和無霧圖像在位置x上像素值;A代表大氣光強，是一個常量;t（x）代表位置x上的透射率，表示為

t（x）=e-βd（x）（6）

式中：β代表大氣散射系數(shù);d（x）代表場景深度，隨著位置的變化而變化。

根據(jù)上述方程，采用深度模型[22]估計場景深度d（x），并通過調(diào)整參數(shù)A和β生成18種不同濃度霧氣圖像，其中大氣光強A∈（0.9，? 0.8，? 0.7），大氣散射系數(shù)β∈（0.5，? 1.0，? 1.5，? 2.0，? 3.0，? 4.0）。以β=3.0劃分霧氣濃度，β≥3.0時為濃霧圖像，β<3.0時為薄霧圖像。Visdrone2019數(shù)據(jù)集中的無霧圖像以及生成的景深圖像和霧天圖像如圖3所示。

1.2 無人機霧天圖像的分類

針對不同濃度霧氣圖像自適應地選擇合適的處理方法，將會顯著提升目標檢測模型的性能。綜合考慮分類算法的時間復雜度、空間復雜度以及準確率，本文采用基于SVM和混合特征的霧天圖像分類算法。經(jīng)過大量實驗分析，發(fā)現(xiàn)利用歸一化的梯度特征、暗通道特征及小波特征，可以準確地表征不同霧天圖像的濃度。因此，本文將上述三種特征作為混合特征完成對無人機霧天圖像的分類。

1.2.1 歸一化的梯度特征（NGrad）

不同濃度霧氣圖像最直觀的區(qū)別是清晰度不同。相同場景下，霧氣濃度越低，圖像越清晰，圖像中目標物邊緣信息和梯度信息越豐富。相同霧氣濃度下，圖像清晰度和目標物景深呈負相關(guān)，在不考慮無人機圖像倒置的情況下，利用圖像上方區(qū)域目標物景深大的特點，可以更容易、準確地區(qū)分圖像的霧氣濃度。

本文使用無人機圖像上1/3區(qū)域的梯度圖，來表征圖像的清晰度。無霧、薄霧、濃霧圖像及對應的局部梯度圖像如圖4所示?？梢园l(fā)現(xiàn)，隨著霧氣濃度的加深，局部梯度圖中的梯度信息明顯減弱。對局部梯度圖中灰度值低于200的像素進行直方圖統(tǒng)計，將其簡化為20維直方圖并進行歸一化，建立歸一化的梯度特征，如圖5所示。

1.2.2 歸一化的暗通道特征（NDCP）

2009年He等人提出暗通道先驗 [11]，通過對大量室外無霧圖像作統(tǒng)計分析，發(fā)現(xiàn)在無霧圖像的局部區(qū)域存在一些像素，這些像素中至少有一個顏色通道亮度值非常低;相反地，有霧圖像中通道亮度值普遍偏高。根據(jù)這一特性，本文采用歸一化的暗通道特征來區(qū)分圖像中霧氣濃度。圖4中無霧、薄霧、濃霧圖像對應的暗通道圖如圖6所示。同樣，采取和歸一化梯度特征相同的方式，建立20維的歸一化暗通道特征，如圖7所示。

1.2.3 歸一化的小波特征（NWTM）

小波變換在圖像處理領(lǐng)域被稱為圖像顯微鏡，具有

多分辨能力，可以將圖像信號分解為由原始小波位移和縮放后的一組小波，反映圖像在不同方向上的高頻信息和低頻信息。對M×N的圖像進行二尺度小波變化后的尺度系數(shù)和小波系數(shù)分別為

Wφ（j0， m， n）=1MN∑M-1x=0∑N-1y=0f（x， y）φj0， m， n（x， y）（7）

Wiψ（j， m， n）=1MN∑M-1x=0∑N-1y=0f（x， y）ψij， m， n（x， y） （8）

式中：j0為任意的開始尺度;φj0， m， n（x， y）和ψij， m， n（x， y）為尺度和平移基函數(shù)， i={H， V， D};? f（x， y）為待變換的圖像。在極限情況下，即當j→∞時，可對f（x， y）實現(xiàn)精確表示。

本文采用三尺度小波變換，對圖4中無霧、薄霧、濃霧圖像進行變換，變換后的尺度系數(shù)和小波系數(shù)圖如圖8所示。考慮到尺度系數(shù)和小波系數(shù)量綱相差太大，將尺度系數(shù)縮放10倍，對縮放的尺度系數(shù)和小波系數(shù)求絕對值的均值并進行歸一化，構(gòu)成10維歸一化的小波特征，如圖9所示。

1.3 無人機霧天圖像的目標檢測

目前，針對無人機霧天圖像的目標檢測，主流方法是直接檢測或先去霧后檢測，然而這些方法對于無人機

濃霧圖像的目標檢測效果較差。因此， 本文提出通過風格遷移的無人機濃霧圖像目標檢測方法。方法的關(guān)鍵在于挑選使目標檢測性能最優(yōu)的遷移風格。文獻[23]提出， 風格的選取會對風格遷移過程產(chǎn)生明顯的影響，通過精心挑選遷移風格可以使風格遷移效果得到顯著的提高。然而目前還沒有詳細的分析來可靠地確定哪些風格對風格遷移方法有促進作用。為此，本文采用兩種評價準則：主觀評價及定量評價rAP50來衡量遷移風格的好壞，并從中挑選出使目標檢測性能最優(yōu)的遷移風格。

（1） 主觀評價

主觀評價遷移風格的好壞，主要基于對原數(shù)據(jù)集和霧天數(shù)據(jù)集進行風格遷移后生成的風格數(shù)據(jù)集，背景是否連續(xù)，目標物是否突出，目標物是否發(fā)生形變，風格遷移過程中是否產(chǎn)生新的干擾。

（2） rAP50

目標檢測問題中最常用評估指標是mAP50，然而當目標檢測模型或數(shù)據(jù)集發(fā)生變化時，無法直接通過mAP50數(shù)值來衡量各種影響因素之間的相對關(guān)系。本文提出一種新的評估指標rAP50，表示為

rAP50=mAPsys50mAPori50 （9）

式中：mAPsys50和mAPori50分別代表目標檢測模型在原數(shù)據(jù)集圖像和生成圖像上的平均精度。

對不同遷移風格生成的風格數(shù)據(jù)集進行目標檢測，挑選出rAP50較高的遷移風格，作為候選最優(yōu)遷移風格。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境

CPU： Xeon E5-2620 v4 @2.10 GHz; RAM： 16 GB; Graphics Card： RTX 2080Ti @11 GB; Operating System： Ubuntu; Frame： pytorch. 1.2.0。

2.2 基于SVM的無人機霧天圖像分類

本文構(gòu)建的無人機霧天數(shù)據(jù)集包括18種不同濃度霧氣圖像，如圖3所示。分別隨機選取無霧、薄霧、濃霧共4 320張圖像組成霧氣分類數(shù)據(jù)集。提取這些圖像的歸一化梯度特征、暗通道特征及小波特征，合并成50維的混合特征集。

從4 320張圖像中隨機選出2 592張圖像做訓練集，1 728張圖像做測試集，利用訓練集的混合特征集對SVM進行監(jiān)督學習。SVM分別采用高斯核exp（-γ‖xi-xj‖2）， γ=0.9，多項式核（γxTixj+b）d， d=3，? b=20，線性核xTixj，以及sigmoid核tanh（γxTixj+b）， γ=0.000 1， b=-1。對無人機霧天圖像的分類結(jié)果如表1所示。

由表1可見，采用高斯核函數(shù)時SVM的分類精度最高，可以達到93.4%，且對無霧圖像和濃霧圖像的分類正確率高于薄霧圖像。這是因為本組實驗中，采用的測試數(shù)據(jù)中部分無霧-薄霧圖像、薄霧-濃霧圖像分類邊界模糊，容易被SVM判錯，但這并不影響無人機霧天圖像的目標檢測。例如對于處在薄霧-濃霧邊緣的圖像，既可以采用先去霧后檢測的方法，? 也可以采用通過風格遷移的檢測方法。

2.3 通過風格遷移的目標檢測方法

2.3.1 訓練設(shè)置

本文采用一階段目標檢測器RefineDet [7]來完成無人機霧天圖像的目標檢測?？紤]到采用Visdrone2019[19]基礎(chǔ)數(shù)據(jù)集訓練的目標檢測模型仍可有限地利用目標物形狀信息，本文將基礎(chǔ)數(shù)據(jù)集、最優(yōu)遷移風格作用于基礎(chǔ)數(shù)據(jù)集和濃霧數(shù)據(jù)集生成的風格數(shù)據(jù)集共同作為訓練集，對RefineDet進行重新訓練。初始學習率設(shè)置為0.001， 動量設(shè)置為0.9， 權(quán)重衰減設(shè)置為0.000 5，? 訓練迭代輪次設(shè)置為 400 000次，? 批尺寸設(shè)置為16。當?shù)螖?shù)為200 000和320 000時，將學習率降低至原來的1/10。按照訓練驗證集和測試集為8∶2 的比例進行數(shù)據(jù)集的隨機分組。

2.3.2 挑選最優(yōu)的遷移風格

通過風格遷移的目標檢測方法的關(guān)鍵在于最適合目標檢測的遷移風格的選取，為此需要盡可能包含不同的遷移風格。本文選取了32種包含不同的紋理、形狀、顏色以及分布特點的遷移風格，如圖10所示。借助快速風格遷移模型[20]在Visdrone2019數(shù)據(jù)集上生成32種不同的風格數(shù)據(jù)集，如圖11所示。采用RefineDet[7]目標檢測模型對這32種不同的風格數(shù)據(jù)集分別進行檢測，相對于基礎(chǔ)數(shù)據(jù)集的目標檢測結(jié)果rAP50如表2所示?？梢园l(fā)現(xiàn)，選用遷移風格1，5，6，7，13，21，25，29，30時，rAP50較高，均在0.700以上。

對上述9種遷移風格作用于濃霧數(shù)據(jù)集生成的風格數(shù)據(jù)集（如圖12所示）進行主觀評價，可以發(fā)現(xiàn)采用遷移風格1，5，6生成的風格數(shù)據(jù)集的效果明顯優(yōu)于其他遷移風格，表現(xiàn)為背景連續(xù)，目標物突出且未發(fā)生形變，風格遷移過程中未產(chǎn)生新的干擾。進一步對遷移風格1，5，6作用于濃霧數(shù)據(jù)集生成的風格數(shù)據(jù)集進行目標檢測，rAP50如表3所示。遷移風格1的rAP50最高，因此，最終選擇風格1作為最優(yōu)遷移風格。綜合分析，好的遷移風格通常具備顏色分布均勻、結(jié)構(gòu)簡單且平滑、無明顯線條感和塊狀感等特點。

2.3.3 與其他方法的對比

霧氣的干擾會使無人機獲取的圖像細節(jié)信息丟失嚴重，直接對降質(zhì)圖像進行目標檢測，性能不佳，如表4所示。采用CAP[12]和MSBDN[17]算法對降質(zhì)圖像去霧， 可以使無人機薄霧圖像的目標檢測性能得到顯著提升，但對于無人機濃霧圖像， 該方法性能仍較差，如表5所示。為此， 本文提出通過風格遷移的無人機濃霧圖像目標檢測方法。本文方法相對于其他方法的優(yōu)勢在于：進一步弱化了霧氣干擾對目標檢測模型的影響;解決了目標檢測模型過度依靠圖像中目標物紋理和表面信息分類的問題，使目標檢測模型更充分地利用圖像中目標物的形狀和輪廓信息。

（1） 弱化霧氣干擾對目標檢測模型的影響

從圖13可以看出，大氣光強A及大氣散射系數(shù)β均會對目標檢測模型性能產(chǎn)生影響。隨著A和β的增大，降質(zhì)圖像相對于原圖的目標檢測性能逐漸降低。相比于其他方法，本文的方法rAP50下降緩慢，且不同A下，rAP50 基本相等。這說明本文方法可以進一步緩解大氣散射和光強變化引起的性能下降。

（2） 充分利用目標物的形狀和輪廓信息

當待檢測數(shù)據(jù)集顏色、紋理及表面信息發(fā)生較大變化時，目標檢測模型性能下降嚴重，如對圖11中采用遷移風格6生成的風格數(shù)據(jù)集進行檢測，mAP50從0.373下降到0.260。而通過本文方法重新訓練的目標檢測模型可以將mAP50提升到0.299，說明本文方法可以使目標檢測模型更充分地利用目標物的形狀和輪廓信息。

然而本文方法也存在一定局限性。對合成的18種不同濃度的無人機霧天數(shù)據(jù)集中的目標物進行分類檢測，檢測結(jié)果如圖14所示。可以發(fā)現(xiàn)本文方法對大目標，如car，van，truck，bus的檢測性能較高，但是對于小目標的檢測性能低于其他方法。這是因為學習目標物的形狀和輪廓信息是一項更高難度的任務;小目標的輪廓信息較弱，快速風格遷移過程可能會把過小目標的輪廓平滑掉。

進一步，由表4～5可知，對于無人機清晰圖像采用直接檢測的方法，mAP50最高，為0.373，而對于無人機薄霧和濃霧圖像分別采用MSBDN去霧后檢測的方法以及通過風格遷移的目標檢測方法性能最優(yōu)。因此，針對不同濃度霧氣圖像自適應地選擇合適的處理方法，將會顯著提升目標檢測模型的性能。

2.4 真實霧天圖像檢測

盡管本文方法是在合成的數(shù)據(jù)集上訓練的，但同樣適用于真實無人機濃霧圖像的目標檢測，如圖15所示?？梢园l(fā)現(xiàn)，采用MSBDN[17]對濃霧圖像去霧后檢測，雖然會使降質(zhì)圖像得到一定恢復，但由于濃霧圖像中霧氣濃度太大，在圖像復原過程中容易產(chǎn)生黑影，相較于直接檢測的方法性能提升不明顯;本文方法可以增大目標物與背景的對比度，將目標物從濃霧背景中凸顯出來，并根據(jù)目標物的輪廓信息進行準確檢測。但本文方法也可能會將風格遷移后輪廓相近的兩類物體判別為同類，如圖15（d）中將路燈判別為行人。

3 結(jié) 束 語

針對無人機霧天圖像的目標檢測任務，本文首先采用SVM借助歸一化的梯度特征、暗通道特征、小波特征形成的混合特征對無人機圖像進行霧氣分類，并自適應匹配最優(yōu)的檢測算法，其次考慮到先去霧后檢測方法無法解決目標檢測模型過度依靠圖像中目標物紋理和表面信息分類，濃霧天氣條件下性能較差的問題，提出通過風格遷移的無人機濃霧圖像目標檢測方法。本文方法進一步弱化了霧氣干擾對目標檢測模型的影響，解決了目標檢測模型過度依靠圖像中目標物紋理和表面信息分類的問題，使目標檢測模型更充分地利用圖像中目標物的形狀和輪廓信息。經(jīng)測試，相比于其他方法，本文方法對合成和真實的無人機濃霧圖像的目標檢測性能均有明顯的提升，在合成的無人機濃霧數(shù)據(jù)集上mAP50最高可提升8%。但本文方法對較小目標的檢測能力相對較弱，對薄霧圖像中目標物的檢測性能低于先去霧后檢測方法。下一步工作中，將在風格遷移過程中進一步利用圖像的深度信息，研究以目標檢測為驅(qū)動的風格遷移方法。

參考文獻：

[1] 路靜. 微型無人機的應用現(xiàn)狀及未來發(fā)展[J]. 集成電路應用，? 2018， 35（4）： 88-91.

Lu Jing. Application Status and Future Development of Micro UAV[J]. Applications of IC，? 2018，? 35（4）： 88-91.（in Chinese）

[2] 周啟晨. 基于深度學習的無人機對地目標跟蹤算法研究[D]. 北京： 北方工業(yè)大學，? 2019.

Zhou Qichen. Research on Object Tracking Algorithm of UAV Based on Deep Learning[D].Beijing：North China University of Technology，? 2019. （in Chinese）

[3] Girshick R，? Donahue J，? Darrell T，? et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition，? 2014： 580-587.

[4] Girshick R. Fast R-CNN [C]∥ Proceedings of the IEEE International Conference on Computer Vision （ICCV），? 2015： 1440-1448.

[5] Ren S Q，? He K M，? Girshick R，? et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2017，? 39（6）： 1137-1149.

[6] Lin T Y，? Dollár P，? Girshick R，? et al. Feature Pyramid Networks for Object Detection[EB/OL].（2017-04-19） [2020-10-13]. https：∥arxiv.org/pdf/1612.03144.pdf.

[7] Zhang S F，? Wen L Y，? Bian X，? et al. Single-Shot Refinement Neural Network for Object Detection[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition，? 2018： 4203-4212.

[8] Redmon J，? Divvala S，? Girshick R，? et al. You Only Look Once： Unified，? Real-Time Object Detection[EB/OL].（2015-06-08） [2020-10-13].https：∥ai2-website.s3.amazonaws. com/publications/YOLO.pdf.

[9] Redmon J，? Farhadi A. YOLOv3： An Incremental Improvement[EB/OL]. （2018-04-08） [2020-10-13]. https： ∥arxiv.org/pdf/1804.02767.

[10]? Liu W，? Anguelov D，? Erhan D，? et al. SSD： Single Shot MultiBox Detector[EB/OL]. （2015-12-08） [2020-10-13]. https：∥arxiv.org/abs/1512.02325.

[11]? He K M，? Sun J，? Tang X O. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2011，? 33（12）： 2341-2353.

[12]? Zhu Q S，? Mai J M，? Shao L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior[J]. IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society，? 2015，? 24（11）： 3522-3533.

[13]? Ren W Q，? Pan J S，? Zhang H，? et al. Single Image Dehazing via Multi-Scale Convolutional Neural Networks with Holistic Edges[J]. International Journal of Computer Vision，? 2020，? 128（1）： 240-259.

[14]? Li B Y，? Peng X L，? Wang Z Y，? et al. AOD-Net： All-in-One Dehazing Network[C]∥2017 IEEE International Conference on Computer Vision （ICCV），? 2017： 4780-4788.

[15]? Qu Y Y，? Chen Y Z，? Huang J Y，? et al. Enhanced Pix2pix Dehazing Network[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），? 2019： 8160-8168.

[16]? Liu Z，? Xiao B T，? Alrabeiah M，? et al. Single Image Dehazing with a Generic Model-Agnostic Convolutional Neural Network[J]. IEEE Signal Processing Letters，? 2019，? 26（6）： 833-837.

[17]? Dong H，? Pan J S，? Xiang L，? et al. Multi-Scale Boosted Dehazing Network with Dense Feature Fusion[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），? 2020： 2154-2164.

[18] Geirhos R，? Rubisch P，? Michaelis C，? et al. ImageNet-Trained CNNs are Biased Towards Texture; Increasing Shape Bias Improves Accuracy and Robustness[EB/OL]. （2018-10-29）[2020-10-13].https： ∥arxiv.org/abs/1811.12231.

[19] Zhu P F，? Wen L Y，? Bian X，? et al. Vision Meets Drones： A Challenge[EB/OL]. （2018-04-20） [2020-10-13]. https： ∥arxiv.org/abs/1804.07437.

[20] Johnson J，? Alahi A，?? Li F F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[EB/OL]. （2016-03-27）[2020-10-13]. https：∥arxiv.org/abs/1603.08155.

[21] Aly H A，? Dubois E. Image Up-Sampling Using Total-Variation Regularization with a New Observation Model[J]. IEEE Transactions Image Processing，? 2005，? 14（10）： 1647-1659.

[22] Ranftl R，? Lasinger K，? Schindler K，? et al. Towards Robust Monocu-lar Depth Estimation： Mixing Datasets for Zero-Shot Cross-Dataset Transfer[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2020. DOI： 10.1109/TPAMI.2020.3019967.

[23] Yeh M C，? Tang S，? Bhattad A，? et al. Improving Style Transfer with Calibrated Metrics[C]∥ IEEE Winter Conference on Applications of Computer Vision （WACV），? 2020： 3149-3157.

The Method of UAV Image Object Detection under

Foggy Weather by Style Transfer

Yin Xuping1，? Zhong Ping1*，? Xue Wei1， 2，? Xiao Zixuan1，? Li Guang1

（1. National Key Laboratory of Science and Technology on Automatic Target Recognition，

College of Electrical Science，? National University of Defense Technology，? Changsha 410073，? China;

2. School of Computer Science and Technology，? Anhui University of Technology，? Maanshan 243032，? China）

Abstract： Under the bad weather conditions such as foggy or rainy weather，? the details of UAV images are seriously lost. Consequently，? directly detecting without dehazing may lead to object missing and wrong inspection. Although the method of dehazing firstly and then detecting can significantly improve the detection performance of UAV images under misty weather conditions，? it can not solve the problem that object detection model relies too much on the texture and surface information of the targets in the image which are used to classify，? and thus leads to a poor detection performance on heavy fog images. In response to this problem，? a method to detect after style transfer instead of haze removal is proposed to accomplish object detection of the UAV images under dense fog weather conditions. The method can change the style of the image while keep the content in image unchanged，? making the object detection model transform from learning the object texture and surface information to learning the object contour，? which is a more difficult task. The experiment is carried out on the UAV dataset Visdrone2019. Firstly，? the UAV images are divided into fog-free，? mist and dense fog images by using the differences in gradient features，? dark channel features and wavelet features of fog images. Secondly，? the processing methods of dehazing and style transfer are adopted respectively according to the concentration of fog. The experimental results show that the proposed method can further reduce the impact of light and noise，? and can significantly improve the object detection performance of UAV dense fog images. Moreover，? combining with the method of dehazing firstly and then detecting， the proposed method can adaptively complete the object detection task of UAV fog images.

Key words： UAV image; fog? image; style transfer; target detection;? image classification

收稿日期：2020-10-14

基金項目：國家自然科學基金項目（61671456; 61971428）

作者簡介：殷旭平（1996-），男，山西朔州人，碩士，研究方向是計算機視覺中的目標檢測、風格遷移、去霧。

通訊作者：鐘平（1979-），男，河北趙縣人，研究員，研究方向是衛(wèi)星或航空光學圖像的復原與增強、目標檢測、目標識別、機器學習理論及其在航空領(lǐng)域的應用研究。