林 猛，周 剛，楊亞偉，石 軍

新疆大學(xué) 信息科學(xué)與工程學(xué)院 信號(hào)檢測(cè)與處理重點(diǎn)實(shí)驗(yàn)室，烏魯木齊 830046

目標(biāo)檢測(cè)是一項(xiàng)重要的計(jì)算機(jī)視覺(jué)任務(wù)，主要任務(wù)是正確檢測(cè)圖像中目標(biāo)對(duì)象的存在并準(zhǔn)確定位。作為計(jì)算機(jī)視覺(jué)中最具挑戰(zhàn)的問(wèn)題之一，目標(biāo)檢測(cè)能夠?yàn)閳D像的語(yǔ)義理解提供有價(jià)值的信息，并且與許多應(yīng)用相關(guān)，一直受到極大的關(guān)注。目標(biāo)檢測(cè)涵蓋不同的應(yīng)用目標(biāo)，例如行人檢測(cè)[1]、人臉檢測(cè)[2]、文本檢測(cè)[3]等。目標(biāo)檢測(cè)的目的是開(kāi)發(fā)高效的計(jì)算模型和技術(shù)，同時(shí)它也是許多其他高級(jí)計(jì)算機(jī)視覺(jué)任務(wù)的基礎(chǔ)，比如實(shí)例分割[4]、語(yǔ)義分割[5]、目標(biāo)跟蹤[6]等。

早期，基于手工特征構(gòu)建的目標(biāo)檢測(cè)方法在21 世紀(jì)初陷入瓶頸。隨著2012 年AlexNet[7]的誕生，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)時(shí)代便由此揭開(kāi)序幕。以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法能夠?qū)W習(xí)更高級(jí)、更深層次的特征。在深度學(xué)習(xí)時(shí)代，目標(biāo)檢測(cè)方法可以分為兩種：兩階段目標(biāo)檢測(cè)方法和單階段目標(biāo)檢測(cè)方法。前者先由算法生成一系列的錨框，再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類和定位，這類方法以R-CNN系列[8]和FPN[9]為代表。而后者則直接通過(guò)主干網(wǎng)絡(luò)回歸物體的類別概率和位置坐標(biāo)，其中以YOLO 系列[10]、SSD 系列[11]和Retina-Net[12]是為典型。

隨著基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法的發(fā)展，有很多學(xué)者對(duì)此進(jìn)行了總結(jié)和分析。Zou等人[13]對(duì)目標(biāo)檢測(cè)近二十年的技術(shù)發(fā)展進(jìn)行了詳細(xì)的概括。Agarwal 等人[14]、Zhao等人[15]、Liu等人[16]對(duì)基于深度學(xué)習(xí)的通用目標(biāo)檢測(cè)框架進(jìn)行了綜述。但這些綜述均未研究目標(biāo)檢測(cè)框架在特殊天氣條件下的有效性。特殊天氣是相對(duì)一般晴朗天氣的，造成視程障礙現(xiàn)象：包括霧霾、沙塵、降雨和降雪等天氣情況。特殊天氣會(huì)造成圖像模糊、特征無(wú)法辨識(shí)等問(wèn)題，會(huì)讓常規(guī)的目標(biāo)檢測(cè)方法的檢測(cè)性能大幅下降，甚至失效。陳飛等人[17]對(duì)復(fù)雜環(huán)境下的交通標(biāo)志檢測(cè)與識(shí)別方法進(jìn)行了綜述。董天天等人[18]對(duì)復(fù)雜天氣條件下的交通場(chǎng)景多目標(biāo)識(shí)別方法進(jìn)行了綜述。然而目前針對(duì)特殊天氣條件下的一般目標(biāo)檢測(cè)方法綜述相當(dāng)缺乏，這也是本文撰寫的必要之處。本文將對(duì)特殊天氣條件下的目標(biāo)檢測(cè)方法進(jìn)行詳細(xì)的闡述和總結(jié)，主要內(nèi)容結(jié)構(gòu)如圖1所示，將特殊天氣條件下的目標(biāo)檢測(cè)相關(guān)文獻(xiàn)分成三個(gè)部分進(jìn)行分析：（1）數(shù)據(jù)集的構(gòu)建，針對(duì)特殊天氣下目標(biāo)檢測(cè)任務(wù)數(shù)據(jù)集的來(lái)源和制作方法進(jìn)行總結(jié)歸納，按數(shù)據(jù)集的屬性分成真實(shí)數(shù)據(jù)集與合成數(shù)據(jù)集兩大類，并對(duì)合成數(shù)據(jù)集部分以合成方式展開(kāi)為物理驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)。（2）基于圖像恢復(fù)的目標(biāo)檢測(cè)，將這一大類方法分為恢復(fù)與檢測(cè)相獨(dú)立和恢復(fù)與檢測(cè)相統(tǒng)一兩部分，分析圖像恢復(fù)方法相關(guān)文獻(xiàn)并說(shuō)明其與目標(biāo)檢測(cè)任務(wù)之間的聯(lián)系。（3）基于遷移學(xué)習(xí)的目標(biāo)檢測(cè)，以特征對(duì)齊機(jī)制的研究和多步域自適應(yīng)兩部分展開(kāi)，總結(jié)遷移學(xué)習(xí)在特殊天氣下目標(biāo)檢測(cè)的應(yīng)用，尤其是分析領(lǐng)域自適應(yīng)方法在該問(wèn)題上近些年的研究發(fā)展。最后對(duì)全文進(jìn)行了總結(jié)，指出目前存在的問(wèn)題并展望未來(lái)研究方向。

圖1 本文主要內(nèi)容結(jié)構(gòu)Fig.1 Main content structure of this paper

1 數(shù)據(jù)集的構(gòu)建

目前在特殊天氣條件下的目標(biāo)檢測(cè)研究面臨的主要難題之一是缺少面向特殊天氣的目標(biāo)檢測(cè)數(shù)據(jù)集，這使得難以通過(guò)深度學(xué)習(xí)的方法來(lái)訓(xùn)練模型。一般情況下很難構(gòu)造出相同位置、相同光照條件下的同一個(gè)場(chǎng)景的清晰圖像和對(duì)應(yīng)的特殊天氣圖像。同時(shí)在真實(shí)特殊天氣圖像中進(jìn)行目標(biāo)檢測(cè)標(biāo)注，也將會(huì)耗費(fèi)很大的人工成本。表1 總結(jié)了目前研究中常見(jiàn)的公開(kāi)數(shù)據(jù)集[19-30]。這些特殊天氣數(shù)據(jù)集主要以霧天和雨天為主，雪天和沙塵的數(shù)據(jù)集較為缺乏。同時(shí)在這些數(shù)據(jù)集當(dāng)中，具有目標(biāo)標(biāo)注信息的較少，這對(duì)特殊天氣條件下的目標(biāo)檢測(cè)研究造成了很大的限制。針對(duì)數(shù)據(jù)集的構(gòu)建問(wèn)題，目前的研究主要采用兩種方法：真實(shí)數(shù)據(jù)標(biāo)注和合成數(shù)據(jù)生成。真實(shí)數(shù)據(jù)標(biāo)注是通過(guò)輔助算法和人工方式，對(duì)采集到的真實(shí)圖像進(jìn)行標(biāo)注。這類方法生成的數(shù)據(jù)集的清晰圖像和對(duì)應(yīng)特殊天氣下的圖像均由人工方式在現(xiàn)實(shí)環(huán)境中獲取而來(lái)。Liu等人[19]通過(guò)固定攝像機(jī)在場(chǎng)景中的位置歷經(jīng)一年的時(shí)間進(jìn)行拍攝，再由人工選取清晰圖像和對(duì)應(yīng)的4種不同濃度的霧天圖像，形成真實(shí)圖像數(shù)據(jù)集。Zhao 等人[20]對(duì)23 個(gè)城市進(jìn)行圖像采集，并采用圖像配準(zhǔn)和數(shù)據(jù)清洗獲取同一場(chǎng)景的無(wú)霧霾圖像和有霧霾圖像，最后人工標(biāo)注圖像中的視覺(jué)目標(biāo)和霧霾等級(jí)。盡管作者使用了圖像配準(zhǔn)和數(shù)據(jù)清洗等方法來(lái)使得帶霧霾的圖像和不帶霧霾的圖像之間盡可能的配對(duì)，但是相機(jī)視角的細(xì)微調(diào)整、場(chǎng)景環(huán)境的變化、光照條件的不可控等因素都會(huì)導(dǎo)致其難以達(dá)到嚴(yán)格意義上的圖像配對(duì)。即便如此，它的存在對(duì)于本文的研究問(wèn)題仍具有十分重要的參考價(jià)值。Wang等人[31]通過(guò)拍攝雨天的視頻獲取多幅同一場(chǎng)景的雨天圖像，并利用算法標(biāo)注出每幅圖像的雨滴位置，最后用多幅圖像來(lái)估計(jì)出無(wú)雨的背景圖像。這類方法雖然能夠獲取較為真實(shí)的圖像數(shù)據(jù)，但是無(wú)法利用已有的數(shù)據(jù)集，而且需要大量的數(shù)據(jù)采集和人工標(biāo)注成本。由于能見(jiàn)度較差，難以提供精確的人工標(biāo)注，使得在特殊天氣下人工標(biāo)注成本提高更為明顯。因此很多研究者致力于特殊天氣的合成算法研究，在已有標(biāo)注信息的數(shù)據(jù)集上合成特殊天氣效果。針對(duì)特殊天氣的合成方法，大致可以分為兩類：基于物理模型驅(qū)動(dòng)的方法和基于數(shù)據(jù)驅(qū)動(dòng)的方法。

表1 常見(jiàn)的特殊天氣數(shù)據(jù)集Table 1 Common adverse weather datasets

基于物理模型驅(qū)動(dòng)的方法，利用特殊天氣的成像特點(diǎn)，進(jìn)行特殊天氣的合成。文獻(xiàn)[32]提出的光學(xué)散射模型已被廣泛用于合成霧圖像，也是雨合成的重要理論參考。該模型的經(jīng)典描述如下：

其中I(x)為帶霧圖像，J(x)為清晰圖像，A為大氣光，t(x)為透射率。衰減系數(shù)β控制著霧的密度，β值越大，霧越密。d(x)為物體與相機(jī)之間的距離。通常在已有清晰圖像基礎(chǔ)上，估計(jì)出深度信息從而利用公式（2）計(jì)算出透射率，然后利用公式（1），調(diào)整不同的大氣光和衰減系數(shù)，獲得不同效果霧霾。雨雪等情況，則需要制作出雨線或雪花的蒙版，添加到清晰圖像上。

Tarel等人[21]用SiVICTM軟件構(gòu)建了一個(gè)真實(shí)的復(fù)雜的城市模型來(lái)生成圖像，同時(shí)可得到清晰圖像的深度圖，利用光學(xué)散射模型[32]為圖像添加霧效果，通過(guò)設(shè)置不同的β和A合成了4種不同類型的霧天圖像，從而得到去霧領(lǐng)域的第一個(gè)小型合成數(shù)據(jù)集。該數(shù)據(jù)集用于評(píng)估自動(dòng)駕駛系統(tǒng)在各種霧天環(huán)境中的性能，后續(xù)又用類似的方法得到了擴(kuò)充版本的合成數(shù)據(jù)集[22]。但該數(shù)據(jù)集的樣本圖像分辨率很低，真實(shí)感較差，同時(shí)數(shù)據(jù)集規(guī)模較小，難以進(jìn)行深度學(xué)習(xí)模型的訓(xùn)練。Ancuti 等人[23]通過(guò)傳感器設(shè)備采集圖像的深度信息，然后利用文獻(xiàn)[32]提出的光學(xué)散射模型在不同的深度下改變透射率來(lái)實(shí)現(xiàn)霧效果。此外，還通過(guò)專業(yè)霧霾機(jī)生成霧霾的方式為清晰場(chǎng)景制造霧霾效果，再通過(guò)相機(jī)拍攝的方式分別制作了室內(nèi)圖像[24]和室外圖像[25]的兩個(gè)用于評(píng)估去霧算法的數(shù)據(jù)集。Li 等人[26]同樣基于物理模型驅(qū)動(dòng)的方法，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的方法來(lái)估計(jì)真實(shí)圖像的深度，將式（1）和（2）中的大氣光系數(shù)A和衰減系數(shù)β賦予不同的數(shù)值來(lái)合成帶霧圖像，并對(duì)4 322 幅真實(shí)帶霧圖像進(jìn)行了標(biāo)注。Cityscapes[33]能夠充分反映真實(shí)晴天下的復(fù)雜城市交通場(chǎng)景，但缺乏相應(yīng)的特殊天氣場(chǎng)景。在文獻(xiàn)[28]中，對(duì)計(jì)算得來(lái)的原始深度圖進(jìn)行去噪和補(bǔ)全后使用光學(xué)散射模型進(jìn)行霧合成并將其添加到Cityscapes 數(shù)據(jù)集的圖像中，從而建立了名為“Foggy Cityscapes”的數(shù)據(jù)集。其中有550張精煉的高質(zhì)量合成霧圖像帶有精細(xì)語(yǔ)義標(biāo)注，可以直接利用其進(jìn)行目標(biāo)檢測(cè)的監(jiān)督訓(xùn)練，并通過(guò)半監(jiān)督學(xué)習(xí)方法將這550張圖像擴(kuò)充為20 000 張沒(méi)有精細(xì)標(biāo)注的合成霧圖像。但是該合成數(shù)據(jù)集受到原有數(shù)據(jù)集標(biāo)注信息的限制，同時(shí)還需要獲取真實(shí)場(chǎng)景的完整深度信息，這本身就是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題。后續(xù)使用與文獻(xiàn)[28]中相同的基于物理模型的霧渲染方法，對(duì)合成數(shù)據(jù)集Synscapes[34]中的圖像進(jìn)行霧渲染，得到了名為“Foggy Synscapes”的純合成數(shù)據(jù)集[27]，并且證明混合使用純合成數(shù)據(jù)和真實(shí)數(shù)據(jù)比單獨(dú)使用它們的效果更好。Garg 等人[35]分析雨滴成像的物理模型，認(rèn)為雨滴會(huì)造成圖像亮度增加并具有運(yùn)動(dòng)模糊的現(xiàn)象，由此構(gòu)建出適用于單幅圖像和視頻的雨線成像數(shù)據(jù)集。Hu等人[30]分析了不同場(chǎng)景深度下的雨的視覺(jué)效果，發(fā)現(xiàn)雨滴在近景位置呈現(xiàn)出雨線效果，而在遠(yuǎn)景位置呈現(xiàn)出霧效果，認(rèn)為雨天圖像由雨線和霧共同構(gòu)成，由此構(gòu)建了雨成像模型，生成了名為“Rain Cityscapes”的合成雨數(shù)據(jù)集。類似的還有Ren等人[36]利用紐約大學(xué)深度數(shù)據(jù)集[37]中的圖像和對(duì)應(yīng)的深度信息來(lái)計(jì)算透射率從而得到相應(yīng)的帶霧圖像。Liu等人[29]認(rèn)為雪天圖像是由雪花前景和無(wú)雪圖像組合而成，并通過(guò)PhotoShop 軟件制作了5.8×103的基礎(chǔ)蒙版來(lái)模擬飄落的雪的顆粒大小的變化。每個(gè)基底掩模由小、中、大顆粒之一組成。同時(shí)，每個(gè)基模中的雪粒子具有不同的密度、形狀、運(yùn)動(dòng)軌跡和透明度，從而增加了變化，最終構(gòu)造了10萬(wàn)張合成雪天圖像。Tremblay等人[38]提出了雨強(qiáng)度可控的物理框架，并用這個(gè)框架對(duì)現(xiàn)有的數(shù)據(jù)集[39]進(jìn)行了雨合成，得到了高度逼真的雨渲染結(jié)果。與Tremblay 等人[38]的工作較為接近的是Halder 等人[40]提出的基于物理粒子模擬器[41]、場(chǎng)景照明估計(jì)和雨光度建模實(shí)現(xiàn)晴天圖像雨渲染。他們都利用合成數(shù)據(jù)集進(jìn)行了特殊天氣下的目標(biāo)檢測(cè)任務(wù)實(shí)驗(yàn)，證明擴(kuò)充后的數(shù)據(jù)集可顯著增加檢測(cè)性能。

基于物理模型驅(qū)動(dòng)的方法，可以非常方便的通過(guò)調(diào)整物理模型參數(shù)來(lái)合成各種各樣的特殊天氣效果，同時(shí)也不需要任何訓(xùn)練數(shù)據(jù)。但是他們通常把實(shí)際環(huán)境中復(fù)雜的成像原因抽象為簡(jiǎn)化的物理模型，從而容易造成合成圖像與真實(shí)圖像的偏差?；跀?shù)據(jù)驅(qū)動(dòng)的方法，往往利用真實(shí)圖像數(shù)據(jù)對(duì)圖像進(jìn)行“風(fēng)格轉(zhuǎn)換”，實(shí)現(xiàn)更為接近真實(shí)的效果。早期基于生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格轉(zhuǎn)換[42]由于需要成對(duì)的訓(xùn)練數(shù)據(jù)，導(dǎo)致實(shí)用性大大降低。Huang 等人[43]提出一種生成對(duì)抗網(wǎng)絡(luò)用來(lái)合成圖像數(shù)據(jù)，采用同一場(chǎng)景下白天的圖像來(lái)生成夜晚的圖像，將譯碼、生成和判定三個(gè)部分整合在統(tǒng)一的網(wǎng)絡(luò)中。Zhai等人[44]提出將雨圖像合成和對(duì)抗性攻擊這兩種研究結(jié)合起來(lái)，并根據(jù)成像模型模擬雨條紋來(lái)合成真實(shí)感較強(qiáng)的雨水圖像，同時(shí)驗(yàn)證了這種方法對(duì)目標(biāo)檢測(cè)任務(wù)的有效性。Shao 等人[45]提出一種利用圖像深度信息將原有物理模型合成霧霾的圖像通過(guò)生成對(duì)抗網(wǎng)絡(luò)轉(zhuǎn)換成與真實(shí)霧霾圖像具備相同概率分布的合成霧圖像。Yasarla等人[46]提出一種基于高斯過(guò)程的半監(jiān)督編碼-解碼網(wǎng)絡(luò)，通過(guò)無(wú)標(biāo)注真實(shí)數(shù)據(jù)對(duì)已有的物理模型合成的雨圖像在特征層面進(jìn)行生成，從而獲得更好的去雨效果?；跀?shù)據(jù)驅(qū)動(dòng)的方法可以合成與真實(shí)圖像相近的概率分布的圖像，且這類方法通常借助生成對(duì)抗網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，能夠比較方便地嵌入到其他的網(wǎng)絡(luò)模型當(dāng)中，同時(shí)可以緩解數(shù)據(jù)集的標(biāo)注壓力，但這種方式不能控制各種物理成像條件，比如雨量的大小、霧的濃度等等。

2 基于圖像恢復(fù)的目標(biāo)檢測(cè)

為了解決特殊天氣條件下對(duì)目標(biāo)檢測(cè)問(wèn)題，一種思路是從圖像恢復(fù)的角度出發(fā)，先對(duì)圖像進(jìn)行恢復(fù)，再用常規(guī)的方法進(jìn)行目標(biāo)檢測(cè)。

目前針對(duì)特殊天氣的圖像恢復(fù)算法的研究，大多是通過(guò)成像模型來(lái)進(jìn)行理論分析的。Li 等人[47]針對(duì)霧霾的光學(xué)散射模型進(jìn)行了詳細(xì)分析，并總結(jié)近二十年的去霧算法與光學(xué)散射模型的關(guān)系。文獻(xiàn)[48-49]也對(duì)包括深度估計(jì)、小波、增強(qiáng)、濾波等在內(nèi)的經(jīng)典的去霧方法進(jìn)行了詳細(xì)的總結(jié)。Gui等人[50]對(duì)基于深度學(xué)習(xí)的去霧算法進(jìn)行了全面的總結(jié)。Wang等人[51]對(duì)視頻和單圖像去雨算法進(jìn)行了歸納總結(jié)，認(rèn)為雨滴成像的物理特性是構(gòu)建絕大多數(shù)去雨算法的基礎(chǔ)。然而基于成像模型的圖像恢復(fù)算法，需要計(jì)算的參數(shù)多，屬于一種病態(tài)問(wèn)題。針對(duì)這個(gè)難點(diǎn)，目前研究方法基本可以分為兩大類：模型驅(qū)動(dòng)方法和數(shù)據(jù)驅(qū)動(dòng)方法。模型驅(qū)動(dòng)方法需要對(duì)成像模型中的參數(shù)進(jìn)行先驗(yàn)假設(shè)，然后對(duì)圖像進(jìn)行恢復(fù)。He等人[52]提出了一種暗通道先驗(yàn)，基于此先驗(yàn)知識(shí)，粗略估計(jì)透射率，再根據(jù)引導(dǎo)濾波[53]進(jìn)行優(yōu)化并估計(jì)大氣光系數(shù)，最終獲得去霧圖像。Peng等人[54]提出一種基于改進(jìn)的光學(xué)散射模型去沙塵算法，首先對(duì)環(huán)境光進(jìn)行白光校正，其次用一種光學(xué)濾波器濾除非噪聲的區(qū)域，最后利用最大值通道和最小值通道的差值作為先驗(yàn)信息來(lái)估計(jì)透射率。數(shù)據(jù)驅(qū)動(dòng)方法是通過(guò)數(shù)據(jù)集訓(xùn)練的方式來(lái)估計(jì)合適的參數(shù)。Yang 等人[55]提出了一種基于先驗(yàn)學(xué)習(xí)的圖像去霧深度網(wǎng)絡(luò)，它結(jié)合了傳統(tǒng)去霧方法和基于深度學(xué)習(xí)方法的優(yōu)點(diǎn)。Yang 等人[56]對(duì)近十年來(lái)從模型驅(qū)動(dòng)到數(shù)據(jù)驅(qū)動(dòng)的去雨方法進(jìn)行了全面的綜述，并通過(guò)比較各類去雨方法的實(shí)驗(yàn)結(jié)果來(lái)表明數(shù)據(jù)驅(qū)動(dòng)的方法通常比模型驅(qū)動(dòng)的方法性能更好。

在對(duì)特殊天氣圖像恢復(fù)的基礎(chǔ)上，進(jìn)行后續(xù)的目標(biāo)檢測(cè)算法，可以實(shí)現(xiàn)系統(tǒng)性的應(yīng)用。Li等人[57]提出基于光學(xué)散射模型的AOD-Net 用來(lái)去霧，并與目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)合形成端到端的訓(xùn)練，在合成濃霧條件下目標(biāo)檢測(cè)平均精確率提高了12%，同時(shí)這也是第一個(gè)端到端可訓(xùn)練的去霧目標(biāo)檢測(cè)模型。Huang等人[58]利用兩個(gè)子網(wǎng)來(lái)共同學(xué)習(xí)可視性增強(qiáng)和目標(biāo)檢測(cè)，并通過(guò)共享特征提取層來(lái)減少圖像退化的影響，最終提出了一個(gè)聯(lián)合學(xué)習(xí)可見(jiàn)性增強(qiáng)、目標(biāo)分類和目標(biāo)定位的用于霧天目標(biāo)檢測(cè)的多任務(wù)網(wǎng)絡(luò)（DSNet）。Li 等人[59]提出一種輕量級(jí)的去霧網(wǎng)絡(luò)PDR-Net，并結(jié)合經(jīng)典的目標(biāo)檢測(cè)網(wǎng)絡(luò)Faster R-CNN[60]，平均精確率提高了約2%。Zhang等人[61]提出了一種條件生成對(duì)抗網(wǎng)絡(luò)（ID-CGAN）來(lái)進(jìn)行去雨，與去雨前圖像的目標(biāo)檢測(cè)相比，這種去雨方法能夠使得目標(biāo)檢測(cè)的平均精確率提高30%。Fu 等人[62]將經(jīng)典的高斯拉普拉斯金字塔技術(shù)與CNN相結(jié)合提出了一種輕量金字塔網(wǎng)絡(luò)（LPNet）用來(lái)去雨，并利用LPNet+Faster R-CNN 的方式，實(shí)驗(yàn)證明了LPNet 對(duì)目標(biāo)檢測(cè)這種高級(jí)視覺(jué)任務(wù)的潛在價(jià)值。Fan 等人[63]提出了一種Res GuideNet的單幅圖像去雨方法，并驗(yàn)證了這種圖像恢復(fù)方法對(duì)后續(xù)目標(biāo)檢測(cè)任務(wù)的有效性。Jiang 等人[64]提出了一種多尺度漸進(jìn)式融合網(wǎng)絡(luò)（MSPFN）來(lái)利用雨條紋跨尺度的相關(guān)信息進(jìn)行單幅圖像去雨，MSPFN 生成的去雨圖像的檢測(cè)精度比原始雨圖像的檢測(cè)精度提高了近10%。圖像去退化（去雨、去霧、去雪等）往往作為目標(biāo)檢測(cè)的預(yù)處理步驟，并用目標(biāo)檢測(cè)任務(wù)來(lái)評(píng)價(jià)去退化效果[65]。

將部分恢復(fù)結(jié)合檢測(cè)方法的實(shí)驗(yàn)數(shù)據(jù)列于表2中。首先，圖像恢復(fù)對(duì)于目標(biāo)檢測(cè)任務(wù)肯定是有益的，列于表二中的幾種方法在圖像恢復(fù)性能指標(biāo)上均有不錯(cuò)的表現(xiàn)，它們?cè)诟髯詳?shù)據(jù)集上進(jìn)行圖像恢復(fù)過(guò)后，目標(biāo)檢測(cè)性能均有不同幅度的提升。尤其ID-CGAN[61]在基于PASCAL VOC 2007的合成的雨圖像數(shù)據(jù)集上，先進(jìn)行圖像恢復(fù)再進(jìn)行目標(biāo)檢測(cè)的平均精確度相比于直接進(jìn)行目標(biāo)檢測(cè)的平均精確度提升高達(dá)78%。其中PDR-Net[59]、ID-CGAN[61]、MSPFN[64]先將圖像進(jìn)行恢復(fù)，再聯(lián)合目標(biāo)檢測(cè)方法，即去退化網(wǎng)絡(luò)與目標(biāo)檢測(cè)網(wǎng)絡(luò)單獨(dú)進(jìn)行訓(xùn)練。但這種對(duì)退化圖像進(jìn)行預(yù)處理的方法通常涉及復(fù)雜的網(wǎng)絡(luò)，需要在像素級(jí)監(jiān)督下單獨(dú)訓(xùn)練。這種方法在處理過(guò)程中能夠獲得圖像恢復(fù)指標(biāo)較高的圖像，圖像恢復(fù)的評(píng)價(jià)指標(biāo)通常以PSNR與SSIM為主，但這兩項(xiàng)指標(biāo)的數(shù)值與圖像的真實(shí)感程度并非是相關(guān)的，經(jīng)過(guò)恢復(fù)的圖像不一定是有利于目標(biāo)檢測(cè)任務(wù)的[26]。圖像恢復(fù)過(guò)程中也會(huì)引入各種失真，從而導(dǎo)致域偏移[28]，以至于難以獲得較好的目標(biāo)檢測(cè)性能。同時(shí)，這種預(yù)處理也會(huì)占用更多的算力，對(duì)實(shí)際應(yīng)用造成困難。同時(shí)從表2 可以看出在處理霧天條件的目標(biāo)檢測(cè)任務(wù)時(shí)，聯(lián)調(diào)（JAOD-Faster R-CNN）的方法相比于單獨(dú)訓(xùn)練的AOD-Net+F的方法在檢測(cè)性能上有大幅提升。而經(jīng)過(guò)微調(diào)的Retrained F與聯(lián)調(diào)的JAOD-Faster R-CNN性能接近，這說(shuō)明簡(jiǎn)單的級(jí)聯(lián)結(jié)構(gòu)并不優(yōu)于合成數(shù)據(jù)集直接訓(xùn)練方法。最近的DSNet[58]證明了目標(biāo)檢測(cè)可以受益于與圖像恢復(fù)之間的聯(lián)合學(xué)習(xí)，并以未做任何改動(dòng)RetinaNet、恢復(fù)+檢測(cè)以及恢復(fù)聯(lián)合目標(biāo)檢測(cè)的DSNet三類方法在合成霧天圖像數(shù)據(jù)集（FOD）和真實(shí)霧天圖像數(shù)據(jù)集（Foggy Driving）上分別進(jìn)行了實(shí)驗(yàn)，可以發(fā)現(xiàn)表中所示的3 種恢復(fù)+檢測(cè)的方法在Foggy Driving上的表現(xiàn)甚至不如未對(duì)霧天圖像進(jìn)行任何恢復(fù)處理的RetinaNet，相比于去霧前，mAP 下降了2～6 個(gè)百分點(diǎn)，也印證了經(jīng)過(guò)恢復(fù)的圖像不一定是有利于目標(biāo)檢測(cè)任務(wù)的觀點(diǎn)，同時(shí)這種恢復(fù)+檢測(cè)簡(jiǎn)單級(jí)聯(lián)的方法在單幅圖像的處理時(shí)間上大幅增加。DSNet 在與RetinaNet 時(shí)間成本相當(dāng)?shù)那闆r下，mAP提升了約6個(gè)百分點(diǎn)。由此可見(jiàn)將圖像恢復(fù)與目標(biāo)檢測(cè)任務(wù)進(jìn)行聯(lián)合學(xué)習(xí)的優(yōu)越性，也說(shuō)明了DSNet 的輕量級(jí)與較高的準(zhǔn)確率。此外，應(yīng)當(dāng)注意的是，上述三類方法在真實(shí)霧天圖像數(shù)據(jù)集（Foggy Driving）上的mAP相比于合成霧天圖像數(shù)據(jù)集都有所下降，原因是由于此訓(xùn)練集為合成數(shù)據(jù)，沒(méi)有對(duì)真實(shí)圖像進(jìn)行利用，這種合成圖像與真實(shí)圖像在目標(biāo)檢測(cè)準(zhǔn)確率上的所表現(xiàn)出的偏差，暴露了在合成數(shù)據(jù)集上訓(xùn)練的模型應(yīng)用在現(xiàn)實(shí)環(huán)境中會(huì)出現(xiàn)性能下降的問(wèn)題，同時(shí)構(gòu)建大規(guī)模數(shù)據(jù)集的成本壓力也成為了這類方法的一大瓶頸。

表2 基于圖像恢復(fù)的目標(biāo)檢測(cè)方法的實(shí)驗(yàn)結(jié)果Table 2 Experimental results of image restoration and joint object detection

3 基于遷移學(xué)習(xí)的目標(biāo)檢測(cè)

在許多實(shí)際應(yīng)用中，重新收集所需要的數(shù)據(jù)集需要較高人工成本甚至是不現(xiàn)實(shí)的。這種情況下，在任務(wù)域之間進(jìn)行遷移學(xué)習(xí)是可取的。遷移學(xué)習(xí)[66-67]在分類、回歸和聚類等任務(wù)中都已經(jīng)取得了顯著的成功。從目標(biāo)檢測(cè)出發(fā)，通過(guò)遷移學(xué)習(xí)的方式提高特征的適用性是目前特殊天氣條件下目標(biāo)檢測(cè)任務(wù)的主流研究思路。

特殊天氣下圖像特征會(huì)發(fā)生域偏移（domain shift），這種偏移會(huì)導(dǎo)致目標(biāo)檢測(cè)性能的顯著下降[68]。域偏移目標(biāo)檢測(cè)的常用方法主要有兩個(gè)方向：（1）訓(xùn)練有監(jiān)督的模型，然后對(duì)目標(biāo)域進(jìn)行微調(diào)；（2）無(wú)監(jiān)督跨域表示學(xué)習(xí)。前者需要重新構(gòu)建數(shù)據(jù)集，這一點(diǎn)已經(jīng)在前文中進(jìn)行了敘述，而后者目前主要流行的是領(lǐng)域自適應(yīng)（domain adaptive，DA）[69-70]的方法，是一種模型適應(yīng)新的領(lǐng)域而不需要重新訓(xùn)練的技術(shù)，近年來(lái)受到越來(lái)越多的關(guān)注。它通常被認(rèn)為是解決缺乏特定領(lǐng)域的訓(xùn)練數(shù)據(jù)集的一種有效方法。但這類方法仍然存在一些挑戰(zhàn)：第一是源/目標(biāo)域的特征對(duì)齊機(jī)制還有待進(jìn)一步研究；第二是源域和目標(biāo)域數(shù)據(jù)的特征空間差異較大時(shí)難以遷移。源域的特征空間和目標(biāo)域的特征空間存在一定的相關(guān)性，特征對(duì)齊機(jī)制就是研究某種特征變換以獲得域不變特征。Chen 等人[71]基于H-divergence 理論從圖像級(jí)和實(shí)例級(jí)兩個(gè)方面來(lái)處理域偏移，并使用正則化損失以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)領(lǐng)域不變特征。這也是第一篇解決目標(biāo)檢測(cè)領(lǐng)域自適應(yīng)問(wèn)題的工作，獲得了突破性的實(shí)驗(yàn)結(jié)果。該方法將晴天圖像作為源域而將霧霾圖像作為目標(biāo)域，二者通過(guò)特征對(duì)齊模塊實(shí)現(xiàn)了域遷移。此外，在一些場(chǎng)景中，如在大霧天氣中駕駛，域偏移會(huì)隨著物體尺度的變化而變化。霧通常使遠(yuǎn)處的物體比近處的物體更模糊。因此，在所有尺度上執(zhí)行一致的特征對(duì)齊效果不佳，需要對(duì)不同尺度的目標(biāo)在兩個(gè)域之間分別進(jìn)行對(duì)齊。于是Chen等人[72]又將尺度問(wèn)題納入考量，將FPN嵌入到目標(biāo)檢測(cè)網(wǎng)絡(luò)當(dāng)中，形成了SA-DA-Faster。He等人[73]提出了多重對(duì)抗Faster R-CNN（MAF）框架用于域偏移目標(biāo)檢測(cè)，該框架主要通過(guò)層次域的特征對(duì)齊模塊和聚合候選特征對(duì)齊模塊來(lái)實(shí)現(xiàn)領(lǐng)域自適應(yīng)。Zhu等人[74]認(rèn)為對(duì)局部區(qū)域的關(guān)注才是目標(biāo)檢測(cè)成功的關(guān)鍵，提出了由“區(qū)域挖掘”和“區(qū)域級(jí)對(duì)齊”兩個(gè)關(guān)鍵組件組成的框架，但是在該方法中區(qū)域分類器的損失梯度僅傳播到骨干網(wǎng)絡(luò)中，而沒(méi)有對(duì)RPN 進(jìn)行自適應(yīng)。Saito等人[75]提出一種基于強(qiáng)局部對(duì)準(zhǔn)和弱全局對(duì)準(zhǔn)的自適應(yīng)檢測(cè)模型用于目標(biāo)檢測(cè)，但它僅在骨干網(wǎng)絡(luò)較低層和最后一層進(jìn)行特征對(duì)齊。在文獻(xiàn)[76]中，認(rèn)為僅僅調(diào)整和適應(yīng)主干網(wǎng)絡(luò)的全局特征是遠(yuǎn)遠(yuǎn)不夠的，進(jìn)一步研究了RPN 模塊的可移植性。Xie 等人[77]受[75]的啟發(fā)，提出了一種多級(jí)領(lǐng)域自適應(yīng)Faster R-CNN，使用不同的域分類器來(lái)監(jiān)督多尺度的特征對(duì)齊，同時(shí)增加領(lǐng)域分類器的數(shù)量來(lái)提高模型的識(shí)別能力，優(yōu)化了整體對(duì)抗訓(xùn)練。Pan等人[78]提出了一種具有魯棒性的多尺度對(duì)抗學(xué)習(xí)方法用于跨域目標(biāo)檢測(cè)，該方法主要通過(guò)多重?cái)U(kuò)張卷積核減小圖像級(jí)域差異，并剔除可轉(zhuǎn)移性較低的圖像和實(shí)例來(lái)減弱負(fù)遷移的影響。有些學(xué)者認(rèn)為相關(guān)局部區(qū)域的上下文信息對(duì)提高模型的整體性能有很大的幫助。文獻(xiàn)[79]在文獻(xiàn)[75]的基礎(chǔ)上提出了一種基于不同尺度的層次上下文向量并結(jié)合目標(biāo)檢測(cè)的信息，形成無(wú)監(jiān)督領(lǐng)域自適應(yīng)目標(biāo)檢測(cè)方法。該方法利用多重互補(bǔ)損失函數(shù)進(jìn)行優(yōu)化，并提出梯度分離訓(xùn)練以學(xué)習(xí)更有針對(duì)性的特征表示。Cai等人[80]從區(qū)域?qū)用婧蛨D結(jié)構(gòu)一致性的角度出發(fā)，利用mean teacher[81]在目標(biāo)檢測(cè)背景下通過(guò)一致性正則化來(lái)彌合領(lǐng)域差距，以Faster R-CNN為主干，通過(guò)將對(duì)象關(guān)系集成到一致性代價(jià)的度量中，對(duì)mean teacher 進(jìn)行了全新的重構(gòu)用于跨域目標(biāo)檢測(cè)。但是文獻(xiàn)[80]并沒(méi)有解決mean teacher 的內(nèi)在模型偏差，Deng等人[82]提出了一種無(wú)偏mean teacher（UMT）方法，使用CycleGAN 轉(zhuǎn)換的源類目標(biāo)圖像作為teacher 模型的輸入，原始目標(biāo)圖像作為student模型的輸入來(lái)減少模型偏差的影響，采用非分布估計(jì)策略選擇最適合當(dāng)前模型的樣本。此外，由于所使用的特定領(lǐng)域自適應(yīng)方法在很大程度上受到底層目標(biāo)檢測(cè)方法架構(gòu)的影響。針對(duì)Faster R-CNN 目標(biāo)檢測(cè)及其變體的領(lǐng)域自適應(yīng)已經(jīng)進(jìn)行了相當(dāng)廣泛的研究，但是Faster R-CNN 作為兩階段目標(biāo)檢測(cè)方法，存在推理時(shí)間過(guò)長(zhǎng)的問(wèn)題。因此，對(duì)于自動(dòng)駕駛等對(duì)時(shí)間要求苛刻的實(shí)時(shí)應(yīng)用來(lái)說(shuō)，它可能不是最佳選擇。于是Hnewa 等人[83]提出了多尺度域自適應(yīng)YOLO（MS-DAYOLO）算法，該算法支持YOLOv4 骨干網(wǎng)在特征提取階段的不同層次上進(jìn)行領(lǐng)域自適應(yīng)，使它們對(duì)不同尺度的領(lǐng)域遷移具有魯棒性。Wang等人[84]從CNN 模型如何獲得可轉(zhuǎn)移性的視角出發(fā)，將權(quán)值的方向和梯度分為領(lǐng)域特定部分和領(lǐng)域不變部分，領(lǐng)域自適應(yīng)的目標(biāo)是在消除領(lǐng)域特定方向的干擾的同時(shí)集中于領(lǐng)域不變方向。針對(duì)目標(biāo)檢測(cè)設(shè)計(jì)的帶噪聲標(biāo)簽的學(xué)習(xí)方法很少。Khodabandeh等人[85]將目標(biāo)檢測(cè)問(wèn)題簡(jiǎn)化為圖像分類的方法，將整個(gè)學(xué)習(xí)過(guò)程分為三步：利用源域中的標(biāo)記數(shù)據(jù)訓(xùn)練模型，并用該模型在目標(biāo)域數(shù)據(jù)上生成帶噪聲的標(biāo)簽，使用分類模塊對(duì)標(biāo)簽進(jìn)行細(xì)化，最后利用源域數(shù)據(jù)與帶噪聲標(biāo)簽的目標(biāo)域數(shù)據(jù)再訓(xùn)練模型，從而提高其魯棒性。

以上方法采用領(lǐng)域自適應(yīng)原則，側(cè)重于對(duì)源域與目標(biāo)域之間分布的特征進(jìn)行對(duì)齊，而基于天氣的圖像恢復(fù)過(guò)程中可能獲得的潛在信息往往被忽略。為了解決上述局限性，在文獻(xiàn)[86]中，將特殊天氣的先驗(yàn)知識(shí)納入考量，提出了一個(gè)無(wú)監(jiān)督的基于先驗(yàn)的域?qū)鼓繕?biāo)檢測(cè)框架，利用圖像成像原理獲取特殊天氣的先驗(yàn)知識(shí)來(lái)定義一種新的先驗(yàn)對(duì)抗損失函數(shù)，從而減輕天氣對(duì)檢測(cè)性能的影響。Liu等人[87]提出了一種名為IA-YOLO圖像自適應(yīng)目標(biāo)檢測(cè)方法，設(shè)計(jì)了一個(gè)可微分圖像處理模塊（DIP），該模塊的超參數(shù)由一個(gè)基于輕量CNN的參數(shù)預(yù)測(cè)器（CNN-PP）自適應(yīng)學(xué)習(xí)。CNN-PP根據(jù)輸入圖像的亮度、顏色、色調(diào)和特定天氣信息自適應(yīng)預(yù)測(cè)DIP 的超參數(shù)。圖像經(jīng)過(guò)DIP模塊處理后，可以抑制天氣信息對(duì)圖像的干擾，同時(shí)恢復(fù)潛在信息，最終得到了一種端到端學(xué)習(xí)DIP、CNN-PP 和YOLOv3 骨干檢測(cè)網(wǎng)絡(luò)的聯(lián)合優(yōu)化方案。將圖像恢復(fù)與單步領(lǐng)域自適應(yīng)相結(jié)合的方法為特殊天氣條件下的目標(biāo)檢測(cè)提供了一種新的思路。

上述方法在源域和目標(biāo)域直接相關(guān)時(shí)，可以較好地完成知識(shí)轉(zhuǎn)移。但當(dāng)兩個(gè)域之間差異性較大時(shí)，難以單純從特征層面進(jìn)行遷移。近些年來(lái)，許多學(xué)者提出需要一個(gè)或多個(gè)中間域?qū)⒉町愝^大的源域和目標(biāo)域橋接起來(lái)，用于解決二者特征空間差異較大的問(wèn)題。Kim 等人[88]從源域產(chǎn)生各種不同的移動(dòng)域，并通過(guò)學(xué)習(xí)多領(lǐng)域不變表示來(lái)提高領(lǐng)域之間的特征不可區(qū)分性。Shan 等人[89]提出了一種基于像素和特征級(jí)的領(lǐng)域自適應(yīng)目標(biāo)檢測(cè)方法。該方法首先采用基于CycleGAN 的像素級(jí)領(lǐng)域自適應(yīng)，然后采用基于Faster R-CNN 的特征級(jí)領(lǐng)域自適應(yīng)方法。這種多步領(lǐng)域自適應(yīng)的方法在Foggy Cityscapes數(shù)據(jù)集上相比于單步的方法[71]的結(jié)果提高了約1 個(gè)百分點(diǎn)，同時(shí)還進(jìn)行了雨天場(chǎng)景的目標(biāo)檢測(cè)，在數(shù)據(jù)集VKITTI-Rainy 上，平均精確度達(dá)到52.2%。Hsu等人[90]提出了一種漸進(jìn)領(lǐng)域自適應(yīng)目標(biāo)檢測(cè)方法。通過(guò)合成圖像的方法將源圖像轉(zhuǎn)換成與目標(biāo)圖像相似的圖像，構(gòu)造了一個(gè)中間域。為了保證中間域與目標(biāo)域的相似性，采用生成對(duì)抗網(wǎng)絡(luò)的方法使得中間域生成的圖像與目標(biāo)域的圖像概率分布接近。Chen 等人[91]利用CycleGAN實(shí)現(xiàn)加權(quán)插值后的圖像級(jí)特征增強(qiáng)全局可分辨性，并通過(guò)上下文信息來(lái)增強(qiáng)局部識(shí)別能力。Soviany等人[92]首先將CycleGAN從源域轉(zhuǎn)換到目標(biāo)域的圖像加入到訓(xùn)練集中。其次，采用課程自主學(xué)習(xí)的方法，利用帶偽標(biāo)簽的真實(shí)目標(biāo)圖像進(jìn)一步適應(yīng)目標(biāo)檢測(cè)模型。當(dāng)兩個(gè)領(lǐng)域的差異性較大時(shí)，這類利用生成對(duì)抗網(wǎng)絡(luò)對(duì)齊源域和目標(biāo)域圖像分布的多步領(lǐng)域自適應(yīng)的方法往往比單步的方法更加有效。在無(wú)監(jiān)督領(lǐng)域自適應(yīng)的假設(shè)中，帶標(biāo)簽的源域數(shù)據(jù)和不帶標(biāo)簽的目標(biāo)域數(shù)據(jù)都是可供使用的，并且通常將它們一起訓(xùn)練以減少域間的差異。無(wú)源數(shù)據(jù)領(lǐng)域自適應(yīng)方法在分類任務(wù)中已經(jīng)有了一些應(yīng)用[93-94]，受此啟發(fā)，Li等人[95]首次提出了一個(gè)無(wú)源數(shù)據(jù)領(lǐng)域自適應(yīng)目標(biāo)檢測(cè)（SFOD）框架。并提出了自熵下降法來(lái)尋找合適的置信度閾值從而尋找可靠的偽標(biāo)簽用于優(yōu)化模型。

把本章所提到的10種領(lǐng)域自適應(yīng)的目標(biāo)檢測(cè)方法及其性能效果列于表3。表中“性能效果”一列：Dataset A→Dataset B 表示A 為源域，B 為目標(biāo)域；括號(hào)內(nèi)為未采用領(lǐng)域自適應(yīng)方法的基礎(chǔ)檢測(cè)框架的檢測(cè)性能；表格最右側(cè)3列數(shù)據(jù)分別為該算法在該數(shù)據(jù)集上AP表現(xiàn)最差的類別、表現(xiàn)最好的類別以及所有類別的AP均值；表格的最后一行，將Sindagi等[86]的方法與基于恢復(fù)的方法進(jìn)行了對(duì)比。從表3中可以看出，上述方法大多以目標(biāo)檢測(cè)框架Faster R-CNN 為主，對(duì)單階段目標(biāo)檢測(cè)方法如YOLO、SSD等方法的研究較少。同時(shí)從源域數(shù)據(jù)集Cityscapes 遷移到目標(biāo)域數(shù)據(jù)集Foggy Cityscapes 是研究此類問(wèn)題較為流行的一種方式。通過(guò)表3 來(lái)比較不同方法在從Cityscapes 到Foggy Cityscapes 的域遷移上所表現(xiàn)的性能。從表中數(shù)據(jù)來(lái)看，不論是該算法AP 表現(xiàn)最差的類別，還是AP 表現(xiàn)最好的類別以及所有類別的均值A(chǔ)P，基于領(lǐng)域自適應(yīng)的目標(biāo)檢測(cè)方法在檢測(cè)性能上相比于原始檢測(cè)方法來(lái)說(shuō)都有較大幅度的提升。在Cityscapes→Foggy Cityscapes的遷移中，上述實(shí)驗(yàn)主要采用8個(gè)帶有實(shí)例級(jí)注釋的類別進(jìn)行實(shí)驗(yàn)，用二者的訓(xùn)練集共同訓(xùn)練，用Foggy Cityscapes 的驗(yàn)證集進(jìn)行測(cè)試。從收集到的文獻(xiàn)中發(fā)現(xiàn)，檢測(cè)效果較好的目標(biāo)大多是樣本較多或者目標(biāo)尺度較大，例如car 類別。其中文獻(xiàn)[86]作為這其中較為重要方法在霧天、雨天、雪天3種天氣條件下進(jìn)行了目標(biāo)檢測(cè)任務(wù)?；谶w移學(xué)習(xí)的方法比恢復(fù)+檢測(cè)這種簡(jiǎn)單級(jí)聯(lián)的方法有較大優(yōu)勢(shì)。例如，在Cityscapes→Foggy Cityscapes 的遷移中，僅使用源域數(shù)據(jù)訓(xùn)練得到的Faster R-CNN 其mAP 為24.4%。將DCPDN[96]和Grid-Dehaze[97]去霧網(wǎng)絡(luò)作為預(yù)處理步驟時(shí)mAP 分別提升至26.4%、29.2%，提升幅度較小，而使用基于先驗(yàn)的域自適應(yīng)方法時(shí)獲得mAP為39.3%，檢測(cè)精度得到了大幅增長(zhǎng)。

表3 基于領(lǐng)域自適應(yīng)的目標(biāo)檢測(cè)方法的實(shí)驗(yàn)結(jié)果Table 3 Experimental results of object detection based on domain adaptation

這類遷移學(xué)習(xí)的方法的優(yōu)點(diǎn)是可以讓未標(biāo)注的目標(biāo)域圖像參與到模型的訓(xùn)練過(guò)程中。由此，可以利用到真實(shí)圖像的有效信息，減小數(shù)據(jù)集的標(biāo)注壓力，且這種方法能夠?qū)δ繕?biāo)域的特征進(jìn)行有效的學(xué)習(xí)并取得較好的檢測(cè)性能，從而成為目前用于解決特殊天氣下的檢測(cè)問(wèn)題的主流方法。但從實(shí)驗(yàn)結(jié)果分析來(lái)看，實(shí)驗(yàn)結(jié)果距離清晰圖像上的檢測(cè)結(jié)果仍然有較大差距。例如，現(xiàn)有的目標(biāo)檢測(cè)方法在PASCAL VOC 2007 數(shù)據(jù)集上的mAP最高能夠達(dá)到90%左右，而在一些特殊天氣的目標(biāo)檢測(cè)數(shù)據(jù)集上檢測(cè)結(jié)果不足60%。這類方法仍然具有較大的提升空間。

4 結(jié)束語(yǔ)

本文對(duì)特殊天氣條件下的目標(biāo)檢測(cè)方法從數(shù)據(jù)集的構(gòu)建、基于圖像恢復(fù)和基于遷移學(xué)習(xí)三個(gè)方面進(jìn)行了綜述。從調(diào)研的文獻(xiàn)來(lái)看，現(xiàn)有的特殊天氣數(shù)據(jù)集主要以合成霧天為主，而在這其中能夠直接用于目標(biāo)檢測(cè)任務(wù)的較少?；趫D像恢復(fù)的方法很多，但是與目標(biāo)檢測(cè)任務(wù)相結(jié)合的較少。遷移學(xué)習(xí)作為該類問(wèn)題的主流方法已經(jīng)取得了不錯(cuò)的進(jìn)展，但是檢測(cè)性能仍然有大幅的提升空間，目標(biāo)檢測(cè)任務(wù)在特殊天氣條件下仍然面臨許多困難和挑戰(zhàn)。本文對(duì)下一步待解決的問(wèn)題與研究方向進(jìn)行了總結(jié)：

（1）缺乏數(shù)據(jù)集?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)方法十分依賴于數(shù)據(jù)集，由于特殊天氣下真實(shí)圖像數(shù)據(jù)難以標(biāo)注，因此大多數(shù)研究都是在合成數(shù)據(jù)集上進(jìn)行的。目前雪天和沙塵天的數(shù)據(jù)集比較匱乏，希望未來(lái)能夠用于目標(biāo)檢測(cè)任務(wù)的特殊天氣數(shù)據(jù)集覆蓋領(lǐng)域更加的全面。在將要開(kāi)展的研究中，期望首先在已有的在晴朗天氣條件下采集而來(lái)的目標(biāo)檢測(cè)的數(shù)據(jù)集中挑選合適的圖像獲取深度信息，再根據(jù)物理成像模型將仿真的特殊天氣合成到圖像中。最后以數(shù)據(jù)模型驅(qū)動(dòng)的方式，使得之前的合成圖像更加接近于真實(shí)特殊天氣圖像[38]。

（2）將圖像恢復(fù)與目標(biāo)檢測(cè)任務(wù)相結(jié)合往往具有較好的效果，但這兩個(gè)任務(wù)往往是獨(dú)立的。雖然統(tǒng)一的端到端的多任務(wù)框架能夠有效提升效果，但目前端到端的方法只能在合成數(shù)據(jù)集上進(jìn)行[61]，缺乏對(duì)真實(shí)情況的考慮。與此同時(shí)，發(fā)現(xiàn)遷移學(xué)習(xí)應(yīng)用于跨域目標(biāo)檢測(cè)問(wèn)題時(shí)[79，86]，其檢測(cè)性能是能夠有較大幅度的提升的。因此將圖像恢復(fù)嵌入到基于遷移學(xué)習(xí)的目標(biāo)檢測(cè)框架之中，可能是未來(lái)研究熱點(diǎn)[87]。

（3）由于現(xiàn)實(shí)中的特殊天氣復(fù)雜多變，有限的數(shù)據(jù)集難以覆蓋所有天氣情況，而領(lǐng)域自適應(yīng)方法只研究對(duì)特定的目標(biāo)域進(jìn)行特征空間對(duì)齊。與領(lǐng)域自適應(yīng)方法不同，領(lǐng)域泛化[98]重點(diǎn)強(qiáng)調(diào)對(duì)任意未知的目標(biāo)域的學(xué)習(xí)能力。在未來(lái)，領(lǐng)域泛化的思想或許能夠?qū)?fù)雜多變特殊天氣下的目標(biāo)檢測(cè)問(wèn)題提供一個(gè)好的研究思路。