劉小波 劉 鵬 蔡之華 喬禹霖 王 凌 汪 敏

1.中國地質(zhì)大學(xué)(武漢)自動(dòng)化學(xué)院 武漢 430074 2.復(fù)雜系統(tǒng)先進(jìn)控制與智能自動(dòng)化湖北省重點(diǎn)實(shí)驗(yàn)室 武漢 430074 3.地質(zhì)探測(cè)與評(píng)估教育部重點(diǎn)實(shí)驗(yàn)室 武漢 430074 4.中國地質(zhì)大學(xué)(武漢)計(jì)算機(jī)學(xué)院 武漢 430074 5.北部灣大學(xué)北部灣大數(shù)據(jù)資源利用實(shí)驗(yàn)室 欽州 535011 6.清華大學(xué)自動(dòng)化系 北京 100084

光學(xué)遙感[1],是指?jìng)鞲衅鞴ぷ鞑ǘ卧诳梢姽獠ǘ?也就是0.38～0.76 μm 范圍的遙感技術(shù),這個(gè)范圍的波段是傳統(tǒng)航空攝影偵查和航空攝影測(cè)繪中最常用的工作波段.隨著衛(wèi)星數(shù)量的增多、重訪周期的縮短、圖像分辨率的提高,遙感圖像數(shù)據(jù)量越來越大,且隨著新衛(wèi)星的升空,數(shù)據(jù)量將會(huì)不斷增加.劇增的數(shù)據(jù)量為科學(xué)研究提供了很多可利用的信息,但是要利用好遙感圖像還有一定的難度,特別是受天氣、光照、海況、傳感器參數(shù)等多種因素影響,使得光學(xué)遙感圖像的特征提取較為困難.

光學(xué)遙感圖像目標(biāo)檢測(cè)是確定在給定的航空或衛(wèi)星圖像中是否包含一個(gè)或多個(gè)感興趣的地物對(duì)象,并對(duì)對(duì)象進(jìn)行定位的任務(wù).作為航空和衛(wèi)星圖像分析領(lǐng)域的基本問題,光學(xué)遙感圖像中的目標(biāo)檢測(cè)在環(huán)境檢測(cè)等領(lǐng)域有著廣泛的應(yīng)用,如檢測(cè)、地質(zhì)災(zāi)害探測(cè)、土地利用和土地覆蓋(Land-use and land-cover,LULC)制圖、地理信息系統(tǒng)(Geographic information system,GIS)更新、精準(zhǔn)農(nóng)業(yè)、城市規(guī)劃等.常見的光學(xué)遙感圖像的檢測(cè)目標(biāo)有人造物體,如船只、車輛、房屋等,以及非人造的自然環(huán)境中的物體,如動(dòng)物、樹木、江河等.

傳統(tǒng)的光學(xué)遙感圖像目標(biāo)檢測(cè)算法都是以區(qū)域選擇 - 特征提取 - 分類器為主線的方法[2],通過滑動(dòng)窗口的方法來遍歷整幅圖像,滑動(dòng)窗口設(shè)置有不同的長寬比以增強(qiáng)對(duì)不同形狀的目標(biāo)的識(shí)別能力.接著對(duì)每一個(gè)滑動(dòng)窗口進(jìn)行特征提取,這個(gè)階段常用的特征有Haar 特征、尺度不變特征變換(Scale-invariant feature transform,SIFT)匹配算法、方向梯度直方圖(Histogram of oriented gradient,HOG)等,都是基于圖像的紋理、色彩、尺度等特征[3-4],特征的可解釋性較強(qiáng).最后通過傳統(tǒng)機(jī)器學(xué)習(xí)分類器(如支持向量機(jī)(Support vector machine,SVM)、Adaboost 等)對(duì)滑動(dòng)窗口進(jìn)行分類來達(dá)到目標(biāo)檢測(cè)的目的.傳統(tǒng)的遙感圖像目標(biāo)檢測(cè)算法有著嚴(yán)重的弊端,由于滑動(dòng)窗口法使用的是窮舉法,導(dǎo)致時(shí)間復(fù)雜度過高,并且產(chǎn)生了很多冗余的窗口,這也嚴(yán)重影響后續(xù)特征提取以及檢測(cè)的速度和精度[5].并且由于目標(biāo)的形態(tài)多樣性、光照變化多樣性[6]、背景多樣性等因素使得設(shè)計(jì)一個(gè)魯棒性好的特征存在一定的難度,而且所提取特征的好壞直接影響到分類的準(zhǔn)確性[7].基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)在2016年Girshick 等[8]首次將深度神經(jīng)網(wǎng)絡(luò)用于目標(biāo)檢測(cè)之后開始快速發(fā)展起來,深度神經(jīng)網(wǎng)絡(luò)由于其強(qiáng)大的自動(dòng)提取特征的能力,使得其在遙感圖像目標(biāo)檢測(cè)任務(wù)中被廣泛運(yùn)用.相比于傳統(tǒng)光學(xué)遙感圖像目標(biāo)檢測(cè)算法,基于深度學(xué)習(xí)的方法解決了傳統(tǒng)檢測(cè)算法適應(yīng)性不高、對(duì)背景模型的更新要求高、提取特征魯棒性差和檢測(cè)的實(shí)時(shí)性差等缺點(diǎn)[9],使檢測(cè)模型在精度和速度方面都有了很大的提升.基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)方法,是計(jì)算機(jī)視覺檢測(cè)領(lǐng)域的一個(gè)重大創(chuàng)新[10].這些算法的創(chuàng)新點(diǎn)都是把傳統(tǒng)的計(jì)算機(jī)視覺和深度學(xué)習(xí)方法進(jìn)行結(jié)合,并取得了良好的檢測(cè)效果.準(zhǔn)確性和實(shí)時(shí)性是衡量目標(biāo)檢測(cè)系統(tǒng)性能的重要指標(biāo)[11],也是一對(duì)矛盾體,如何更好地平衡它們一直是目標(biāo)檢測(cè)算法研究的一個(gè)重要方向.隨著深度學(xué)習(xí)的不斷發(fā)展,檢測(cè)的精度和實(shí)效性也逐漸提升.因此,基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)算法得到了廣大研究者的關(guān)注,成為機(jī)器學(xué)習(xí)領(lǐng)域的熱點(diǎn)話題之一.

光學(xué)遙感圖像目標(biāo)識(shí)別技術(shù)在表征學(xué)習(xí)以及檢測(cè)方面取得了穩(wěn)定進(jìn)展,特征提取由原來的手動(dòng)提取特征轉(zhuǎn)變成深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)來自動(dòng)提取特征,就提取效率而言是一種長遠(yuǎn)的進(jìn)步.近年來的算法框架大部分都是基于深度學(xué)習(xí)的通用目標(biāo)檢測(cè)算法框架,并試圖通過在一個(gè)或多個(gè)方面進(jìn)行改進(jìn)來達(dá)到在特定數(shù)據(jù)集實(shí)現(xiàn)目標(biāo)檢測(cè).大致上,這些算法可以分為兩大類,第1 類是基于區(qū)域的算法(Two-stage),其將檢測(cè)問題劃分為兩個(gè)階段,首先產(chǎn)生區(qū)域提議(Region proposal),然后對(duì)候選區(qū)域分類(一般還需要對(duì)位置精修),該類算法的特點(diǎn)是精度高但速度相對(duì)慢.第2 類是端到端的算法(One-stage),這是一種整體性更高的方法,不需要區(qū)域提議階段,直接產(chǎn)生目標(biāo)的類別概率和位置坐標(biāo)值,該類算法的特點(diǎn)是速度快但精度相對(duì)低.基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)方法都是基于這兩類方法而演變得來的.

本文的其余部分安排如下:第1 節(jié)對(duì)光學(xué)遙感圖像目標(biāo)檢測(cè)目前存在的難點(diǎn)進(jìn)行介紹,第2 節(jié)對(duì)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法進(jìn)行了概括介紹.第3 節(jié)以不同難點(diǎn)為驅(qū)動(dòng),分析比較了基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)不同算法的優(yōu)缺點(diǎn).第4節(jié)進(jìn)行總結(jié)與展望.

1 光學(xué)遙感圖像目標(biāo)檢測(cè)面臨的挑戰(zhàn)

光學(xué)遙感圖像不同于普通光學(xué)圖像,其差異性主要體現(xiàn)在傳感器和拍攝角度上.隨著遙感技術(shù)的發(fā)展,遙感設(shè)備所搭載的傳感器分辨率以每10年一個(gè)數(shù)量級(jí)的速度提升,高分辨率甚至超高分辨率成為了新一代遙感衛(wèi)星的發(fā)展趨勢(shì),同時(shí),高的空間覆蓋能力也在同步加強(qiáng).高分辨率和高覆蓋范圍在帶來了巨大信息量的同時(shí),也給遙感圖像目標(biāo)檢測(cè)領(lǐng)域帶來了全新的挑戰(zhàn).一方面,盡管基于深度學(xué)習(xí)的方法與傳統(tǒng)方法相比有著很強(qiáng)的特征提取能力,但是其良好的表現(xiàn)基于大量被標(biāo)記樣本的重復(fù)迭代學(xué)習(xí)以及較高的計(jì)算消耗,面對(duì)如今超高分辨率的遙感圖像(如GF-2 數(shù)據(jù)集圖像的分辨率為27 620×29 200 像素),基于深度學(xué)習(xí)的方法難以高效地進(jìn)行檢測(cè).另一方面,相對(duì)于巨幅遙感圖像,部分目標(biāo)類別(如車輛、房屋等)在整幅圖像所占像素則偏小,僅有十幾個(gè)像素,即使性能優(yōu)異的深度學(xué)習(xí)方法也難以達(dá)到理想的檢測(cè)效果.普通光學(xué)圖像所拍攝的事物大多分布在垂直方向,并且目標(biāo)往往會(huì)占據(jù)整幅圖的大面積區(qū)域,整幅圖像的語義信息較為簡(jiǎn)單.而光學(xué)遙感圖像的語義信息較為復(fù)雜,地表上空的拍攝角度所帶來的問題有:目標(biāo)方向以及尺寸多變、目標(biāo)密集排列出現(xiàn)、復(fù)雜的背景區(qū)域占據(jù)整幅圖的較大區(qū)域等.圖1 分別展示了光學(xué)遙感圖像目標(biāo)檢測(cè)所遇到的幾個(gè)問題的典型案例.

圖1 光學(xué)遙感圖像目標(biāo)檢測(cè)所遇到的幾個(gè)問題的典型案例圖Fig.1 A typical case diagram showing several problems encountered in optical remote sensing image target detection

2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法

2.1 基于區(qū)域的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

對(duì)于傳統(tǒng)目標(biāo)檢測(cè)算法中滑動(dòng)窗口造成大量信息冗余的問題,候選區(qū)域提供了很好的解決方案[12].區(qū)域提議利用了圖像中的紋理、邊緣、顏色等信息預(yù)先找出圖中目標(biāo)可能出現(xiàn)的位置,可以保證在選取較少窗口(幾千個(gè)甚至幾百個(gè))的情況下保持較高的召回率[13].這大大降低了后續(xù)操作的時(shí)間復(fù)雜度,并且獲取的候選窗口要比滑動(dòng)窗口的質(zhì)量更高.這類算法的典型代表是基于候選區(qū)域的R-CNN(Region-based convolutional neural network)[8]系列算法,如R-CNN、Fast R-CNN[14]、Faster R-CNN[15]等,圖2為Two-stage 網(wǎng)絡(luò)的算法流程圖.

圖2 Two-stage 算法流程圖Fig.2 Two-stage algorithm flow chart

目前,Two-stage 通用目標(biāo)檢測(cè)算法有如下幾種:1)R-CNN,由3 個(gè)部分組成,第1 部分使用一種稱為“選擇性搜索”的算法掃描可能是目標(biāo)的輸入圖像,生成約2 000 個(gè)區(qū)域推薦;第2 部分在這些區(qū)域推薦上使用CNN;第3 部分取每個(gè)CNN 的輸出使用支持向量機(jī)進(jìn)行分類和線性回歸來進(jìn)行目標(biāo)檢測(cè).2)Fast R-CNN,通過兩個(gè)方面的增強(qiáng)提高了檢測(cè)速度,第1 個(gè)是在推薦區(qū)域之前在圖像上執(zhí)行特征提取,因此在整個(gè)圖像上僅運(yùn)行一個(gè)CNN而不是在超過2 000 個(gè)重疊區(qū)域運(yùn)行2 000 個(gè)CNN;第2 個(gè)是用Softmax 層代替SVM,從而擴(kuò)展神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè),而不是創(chuàng)建一個(gè)新的模型.3)Faster R-CNN,使用快速神經(jīng)網(wǎng)絡(luò)來代替慢速的選擇性搜索算法,提出了區(qū)域提議網(wǎng)絡(luò)(Region proposal network,RPN)來獲取候選區(qū)域,取得了更快的檢測(cè)速度和更好的檢測(cè)精度.4)R-FCN(Region fully convolutional netural network),采用100% 共享計(jì)算的全卷積設(shè)計(jì),并提出了位置敏感分?jǐn)?shù)圖(Position-sensitive score maps),通過將感興趣的區(qū)域(Region of interest,ROI)進(jìn)行劃分,并給每個(gè)區(qū)域進(jìn)行類別和位置的評(píng)估來最終確定整個(gè)目標(biāo)的類別和位置,最終在速度和精度上具有比Faster-RCNN更好的效果.5)Mask-RCNN[16],在網(wǎng)絡(luò)的第2 階段,Mask-RCNN 加入了一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)的分支,它能對(duì)每個(gè)感興趣區(qū)域輸出一個(gè)二進(jìn)制的掩膜(Mask)從而提取精細(xì)的空間布局,實(shí)現(xiàn)了像素級(jí)別的預(yù)測(cè).

2.2 基于端到端的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

自R-CNN 以來,基于區(qū)域的兩階段網(wǎng)絡(luò)在檢測(cè)問題上一直占有優(yōu)勢(shì).近期,隨著研究者的共同努力,R-CNN 系列算法在精度和效率上具有很好的表現(xiàn),但是檢測(cè)速度仍有待提高.很多研究學(xué)者已經(jīng)開始從研究兩階段網(wǎng)絡(luò)效率問題轉(zhuǎn)向了整體性更高的單階段網(wǎng)絡(luò)的精度問題.One-stage 網(wǎng)絡(luò)泛指直接進(jìn)行分類預(yù)測(cè)和邊界框回歸的算法結(jié)構(gòu),沒有像兩階段網(wǎng)絡(luò)一樣的區(qū)域提議階段和分類階段.One-stage 網(wǎng)絡(luò)與Two-stage 網(wǎng)絡(luò)相比結(jié)構(gòu)更簡(jiǎn)單,它將所有計(jì)算封裝在一個(gè)網(wǎng)絡(luò)中.整個(gè)檢測(cè)流程是一個(gè)單一的網(wǎng)絡(luò),可以在檢測(cè)性能上進(jìn)行端到端的優(yōu)化.圖3 為One-stage 算法的流程圖.

圖3 One-stage 算法流程圖Fig.3 One-stage algorithm flow chart

目前,One-stage 通用目標(biāo)檢測(cè)算法有如下幾種:1)YOLOv1(You only look once v1)[17],由于區(qū)域提議生成階段被完全取消,YOLOv1 直接使用一小部分候選區(qū)域來預(yù)測(cè)檢測(cè).與Two-stage 的方法不同,例如Faster R-CNN,從局部區(qū)域的特征來預(yù)測(cè)目標(biāo),YOLOv1 全局地使用來自整個(gè)圖像的特征.特別是,YOLOv1 將圖像劃分為S×S個(gè)網(wǎng)格.每個(gè)網(wǎng)格預(yù)測(cè)C類概率、B個(gè)邊界框位置和這些框的置信度得分.這些預(yù)測(cè)被編碼為S×S×(5B+C)的張量.通過完全放棄區(qū)域推薦生成步驟,YOLOv1在設(shè)計(jì)上是運(yùn)行效率高的,可以在45 幀/s 上實(shí)時(shí)運(yùn)行.2)YOLOv2[18],YOLOv1 的改進(jìn)版本,將YOLOv1 中的GoogleNet[19]換成了更簡(jiǎn)單的DarkNet-19,此外,還利用了許多從現(xiàn)有工作中得出的策略,如批歸一化、刪除全連接層、以及使用從K 均值和多尺度中學(xué)到好的錨框.3)YOLOv3,相比V2 版本,主要進(jìn)行了如下幾方面的改進(jìn),首先是網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn),網(wǎng)絡(luò)的結(jié)構(gòu)由Darknet-19 變?yōu)镈arknet-53,跳躍連接的現(xiàn)象越來越普遍.接著是末端激活函數(shù)的改進(jìn):尾部的激活函數(shù)(類別預(yù)測(cè))由Softmax 改為Sigmoid.最后是錨框數(shù)量的改變:Anchor box 的數(shù)量由5 個(gè)改為3 個(gè).4)SSD(Single shot multiBox detector)[20],其結(jié)合了Faster RCNN、YOLO 以及多尺度卷積特征的思想.與YOLO 類似,SSD 對(duì)在邊界框中的目標(biāo)實(shí)例進(jìn)行預(yù)測(cè)時(shí)得出可能的目標(biāo)的邊界框以及評(píng)價(jià),再通過非最大值抑制算法(Non-maximum suppression,NMS)算法得出最可能的一個(gè)目標(biāo)類.SSD 采用全卷積神經(jīng)網(wǎng)絡(luò),通過在多個(gè)卷積特征映射上操作來執(zhí)行多個(gè)尺度上的檢測(cè),每個(gè)映射都預(yù)測(cè)適當(dāng)大小的邊界框的類別分?jǐn)?shù)和邊界框偏移量.

注 1.YOLOv3 是一個(gè)未正式發(fā)表的算法,可參見文獻(xiàn):Adam V.You only look twice:Rapid multi-scale object detection in satellite imagery.arXiv:1805.09512v1[cs.CV].2018.

3 基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)方法研究現(xiàn)狀

深度學(xué)習(xí)因其更強(qiáng)大的泛化能力,在光學(xué)遙感圖像目標(biāo)檢測(cè)領(lǐng)域已經(jīng)得到廣泛運(yùn)用.光學(xué)遙感圖像由于其傳感器以及拍攝角度的特殊性,與普通圖像相比有諸多差異.盡管有著強(qiáng)大的分歧特征提取能力,受限于光學(xué)遙感圖像的超高分辨率和超大覆蓋面積所帶來的新問題,傳統(tǒng)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法難以取得理想的效果.

目前已經(jīng)有許多學(xué)者正在嘗試使用深度學(xué)習(xí)的方法來解決光學(xué)遙感圖像目標(biāo)檢測(cè),這些創(chuàng)新性的算法結(jié)構(gòu)都以傳統(tǒng)的深度學(xué)習(xí)方法為基礎(chǔ).本節(jié)將以深度學(xué)習(xí)方法的光學(xué)遙感圖像目標(biāo)檢測(cè)所面臨的問題為導(dǎo)向,進(jìn)行不同算法的歸納和總結(jié).

3.1 面向光學(xué)遙感圖像分辨率過高問題的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

深度學(xué)習(xí)方法的強(qiáng)大性能是以犧牲計(jì)算速度為代價(jià)的,其訓(xùn)練過程需要反復(fù)迭代才能達(dá)到較好效果.面對(duì)超高分辨所帶來的超大數(shù)據(jù)量,傳統(tǒng)深度學(xué)習(xí)的方法很難在保證檢測(cè)質(zhì)量的同時(shí)快速的學(xué)習(xí)其中的重要信息.表1 對(duì)當(dāng)前解決圖像分辨率過高問題的部分算法進(jìn)行了比較.

表1 解決圖像分辨率過高問題的不同方法對(duì)比Table 1 Comparison of different methods to solve the problem of high image resolution

文獻(xiàn)[21-27]將原始尺寸的大圖切割為一系列的小圖進(jìn)行處理,不僅使得網(wǎng)絡(luò)有了處理這些數(shù)據(jù)的能力,同時(shí)也放大了圖片,提高了檢測(cè)效果,但是該方法容易使得位于小圖片邊緣區(qū)域的目標(biāo)被切割.文獻(xiàn)[28]借鑒了卷積神經(jīng)網(wǎng)路重疊區(qū)塊的思想,以一定重疊率對(duì)原圖進(jìn)行滑動(dòng)切割,避免了小圖邊緣區(qū)域目標(biāo)被切割的問題.但是滑動(dòng)取塊使得整幅大圖的處理時(shí)間變得更加冗余,文獻(xiàn)[29]發(fā)現(xiàn)滑動(dòng)取塊法會(huì)造成信息冗余的原因是大圖中部分的滑動(dòng)窗口區(qū)域并沒有包含有需要被檢測(cè)的目標(biāo),因此,利用RCNN 網(wǎng)絡(luò)的兩階段檢測(cè)特點(diǎn),在使用20%重疊率的大圖取塊后,首先使用第一階段的定位器對(duì)不包含有目標(biāo)的凸顯塊進(jìn)行過濾,從而減小第二階段的分類器的計(jì)算負(fù)擔(dān),該方法在保證檢測(cè)效果的同時(shí),減少了多余的計(jì)算消耗.但是對(duì)于重疊部分可能會(huì)出現(xiàn)多次檢測(cè)的問題,因此算法YOLT(You only look twice)在使用15% 重疊率的滑動(dòng)取塊之后,利用非極大值抑制來防止重疊部分的多次檢測(cè),進(jìn)一步減小了計(jì)算消耗.但是將大圖切割為小圖進(jìn)行計(jì)算始終不是一個(gè)高效的處理方式.

注 2.YOLT 是一個(gè)未正式發(fā)表的算法,可參見文獻(xiàn):Adam V.You only look twice:Rapid multi-scale object detection in satellite imagery.arXiv:1805.09512v1[cs.CV].2018.

文獻(xiàn)[30]直接對(duì)原圖進(jìn)行處理,使用全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行候選區(qū)域映射(每個(gè)像素預(yù)測(cè)是否為飛機(jī),如果是,則以此為中心,取196×196 像素的框作為候選區(qū)域,最后使用非最大值抑制來減少重復(fù)框),提取可能存在目標(biāo)的區(qū)域,然后訓(xùn)練一個(gè)分類器來驗(yàn)證結(jié)果,有效減少搜索區(qū)域,但是候選框的大小是基于先驗(yàn)信息決定的,面對(duì)尺寸多變的檢測(cè)任務(wù)則難以有效處理.

3.2 面向光學(xué)遙感圖像目標(biāo)過小問題的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法大多以卷積神經(jīng)網(wǎng)絡(luò)作為主干網(wǎng)絡(luò),因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)在圖像處理方面有著優(yōu)異的表現(xiàn).但是面對(duì)僅有幾十或者幾百個(gè)像素的小目標(biāo)時(shí),卷積神經(jīng)網(wǎng)絡(luò)反而成了劣勢(shì),這是由其下采樣層造成的,小目標(biāo)往往會(huì)在經(jīng)過多層下采樣層的深層網(wǎng)絡(luò)后消失.表2 對(duì)當(dāng)前解決圖像目標(biāo)過小問題的部分算法進(jìn)行了比較.

表2 解決目標(biāo)像素過少問題的不同方法對(duì)比Table 2 Comparison of different methods to solve the problem of too few object pixels

最直觀的解決辦法是重新擴(kuò)大特征圖尺寸,大多數(shù)文獻(xiàn)通過加入反卷積層來擴(kuò)大特征圖,算法YOLT 使用類似ResNet(Residual neural network)恒等映射的通過層(Passthrough layer)將最后一層網(wǎng)絡(luò)輸出層與中間層拼接,淺層網(wǎng)絡(luò)的加入提高了小目標(biāo)的檢測(cè)能力,同時(shí)作者增加了YOLO的網(wǎng)格個(gè)數(shù),使得每個(gè)網(wǎng)格能預(yù)測(cè)更小的目標(biāo),但是對(duì)小目標(biāo)提取能力的提高有限,考慮到計(jì)算消耗,也不能無限增加網(wǎng)格個(gè)數(shù).文獻(xiàn)[31]以Faster RCNN 為基礎(chǔ)網(wǎng)絡(luò),在進(jìn)行區(qū)域推薦后加入反卷積層,重新放大小目標(biāo)的尺寸,改善了小目標(biāo)的檢測(cè)效果.但是反卷積的作用體現(xiàn)在當(dāng)深層網(wǎng)絡(luò)特征圖中依然存在少數(shù)小目標(biāo)的像素點(diǎn)時(shí),對(duì)于在深層網(wǎng)絡(luò)中已經(jīng)消失的小目標(biāo)特征無法起到放大作用,并且該網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于不同大小的目標(biāo)檢測(cè)魯棒性差.文獻(xiàn)[25]則利用反卷積層進(jìn)行淺層和深層網(wǎng)絡(luò)的多尺度的特征融合,不僅為特征提取引入了上下文信息,同時(shí)還能兼顧大、小目標(biāo)的檢測(cè).但是淺層網(wǎng)絡(luò)對(duì)于小目標(biāo)來說會(huì)引入過多的背景噪聲,因此文獻(xiàn)[24]在使用多尺度信息進(jìn)行特征融合的同時(shí),使用平衡系數(shù)來平衡加入的上下文信息所引入的噪聲.但是平衡因子的選擇沒有很好的理論依據(jù),只能憑經(jīng)驗(yàn)選擇,對(duì)不同數(shù)據(jù)集的魯棒性較差.

反卷積的加入同時(shí)也會(huì)引入過多的參數(shù),文獻(xiàn)[32]在YOLOv2 模型中加入了膨脹卷積,在擴(kuò)大感受野的同時(shí),相比反卷積減少了參數(shù).但是膨脹卷積會(huì)造成局部信息丟失的問題,文獻(xiàn)[33]使用像素級(jí)注意力機(jī)制來融合局部信息和全局信息,彌補(bǔ)了膨脹卷積的不足,同時(shí),全局注意力將淺層和深層特征結(jié)合,改善了小目標(biāo)的檢測(cè)效果.但是其全局注意機(jī)制是通過全局池化結(jié)合平均池化,然后再進(jìn)行下采樣獲得的,同樣面臨CNN 網(wǎng)絡(luò)下采樣所面臨的問題.

文獻(xiàn)[27]提供了不同的思路,采用由粗到精的檢測(cè)方法,結(jié)合兩個(gè)CNN 網(wǎng)絡(luò),第1 階段使用CNN進(jìn)行范圍較大的粗糙的目標(biāo)檢測(cè)(檢測(cè)結(jié)果里只包含一個(gè)目標(biāo)),第2 階段網(wǎng)絡(luò)對(duì)第1 階段網(wǎng)絡(luò)的粗預(yù)測(cè)結(jié)果再進(jìn)行仔細(xì)的檢測(cè),縮小范圍可以解決直接檢測(cè)難以檢測(cè)小目標(biāo)的問題.但是兩步檢測(cè)都存在檢測(cè)效率低的問題.

如何在保證大目標(biāo)檢測(cè)效果的同時(shí)提高小目標(biāo)的檢測(cè)效果,并且保證較快的檢測(cè)速度,還需要更進(jìn)一步研究.

3.3 面向光學(xué)遙感圖像目標(biāo)方向變化問題的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

光學(xué)遙感圖像由于其特殊的拍照角度,會(huì)更加凸顯目標(biāo)的方向性,而CNN 的深度學(xué)習(xí)模型是不具有旋轉(zhuǎn)不變性的,多變的角度會(huì)給檢測(cè)帶來困擾.目前解決目標(biāo)方向變化的思路主要有兩種:數(shù)據(jù)增強(qiáng)以及改變網(wǎng)絡(luò)結(jié)構(gòu).表3 對(duì)當(dāng)前解決圖像目標(biāo)方向變化問題的部分算法進(jìn)行了比較.

表3 解決目標(biāo)方向變化問題的不同方法對(duì)比Table 3 Comparison of different methods to solve the problem of object direction change

文獻(xiàn)[22-26,34] 分別使用幾個(gè)不同的旋轉(zhuǎn)角度,對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行翻轉(zhuǎn)擴(kuò)充增強(qiáng),擴(kuò)充不同角度的樣本數(shù)量,改善目標(biāo)旋轉(zhuǎn)對(duì)檢測(cè)效果的影響.不同于普通的旋轉(zhuǎn)變換,文獻(xiàn)[35] 使用單應(yīng)性變換(Homography transform)來進(jìn)行數(shù)據(jù)增強(qiáng),其能夠準(zhǔn)確捕捉平面場(chǎng)景的范圍變化,達(dá)到更好的增強(qiáng)效果.

數(shù)據(jù)增強(qiáng)中的旋轉(zhuǎn)增強(qiáng)是一種簡(jiǎn)單的改善目標(biāo)方向變化問題的方法,有著一定的效果,但是旋轉(zhuǎn)增強(qiáng)方式的旋轉(zhuǎn)角度是固定的,無法有效地解決網(wǎng)絡(luò)對(duì)于目標(biāo)方向變化的處理能力.文獻(xiàn)[36]在框架的基礎(chǔ)網(wǎng)絡(luò)后加入旋轉(zhuǎn)不變層,通過引入正則化約束項(xiàng)來強(qiáng)制訓(xùn)練樣本在旋轉(zhuǎn)前后共享相似的特征,從而達(dá)到旋轉(zhuǎn)不變性.文獻(xiàn)[37]在Faster R-CNN模型的RPN 網(wǎng)絡(luò)中加入多角度錨框來解決目標(biāo)方向變化問題.文獻(xiàn)[38]采用多尺度信息融合的全連接層來增強(qiáng)對(duì)于旋轉(zhuǎn)和尺度變化的魯棒性.

目標(biāo)方向變化不僅給網(wǎng)絡(luò)特征提取帶來障礙,同時(shí)給目標(biāo)檢測(cè)過程中的定位任務(wù)造成了困擾.尤其對(duì)于艦船這樣細(xì)長的目標(biāo),水平檢測(cè)框難以達(dá)到精確的定位.為此,文獻(xiàn)[25]在網(wǎng)絡(luò)檢測(cè)階段加入了方向預(yù)測(cè)分支,使得目標(biāo)檢測(cè)框能按照目標(biāo)不同的方向進(jìn)行精確定位.文獻(xiàn)[39]在加入方向邊界框的基礎(chǔ)上,使用基于旋轉(zhuǎn)的ROI 池化,解決了普通的ROI 池化對(duì)于艦船這樣細(xì)長的目標(biāo)會(huì)引入很多噪聲的問題.文獻(xiàn)[22]在使用方向邊界框的基礎(chǔ)上創(chuàng)新性地提出了船頭方向預(yù)測(cè).

3.4 面向光學(xué)遙感圖像目標(biāo)尺寸變化問題的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

如今光學(xué)遙感圖像目標(biāo)檢測(cè)的任務(wù)大多為多類別的檢測(cè)任務(wù),這些類別中有相對(duì)小的目標(biāo)如艦船、飛機(jī)、車輛、房屋建筑、儲(chǔ)油罐等,也有相對(duì)大的目標(biāo)如籃球場(chǎng)、田徑場(chǎng)、飛機(jī)場(chǎng)、網(wǎng)球場(chǎng)等.當(dāng)大目標(biāo)和小目標(biāo)同時(shí)出現(xiàn)在檢測(cè)任務(wù)當(dāng)中時(shí),網(wǎng)絡(luò)對(duì)于較大的尺寸變化難以做出很好的處理.表4 對(duì)當(dāng)前解決圖像目標(biāo)尺 寸變化問題的部分算法進(jìn)行了比較.

表4 解決目標(biāo)尺寸變化問題的不同方法對(duì)比Table 4 Comparison of different methods to solve the problem of object size change

目前的研究主要通過加入多尺度信息來解決不同大小目標(biāo)的檢測(cè)問題,文獻(xiàn)[30]目標(biāo)推薦區(qū)域調(diào)整為3 個(gè)不同尺寸圖,并將3 個(gè)圖分別使用3 個(gè)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè),最終通過投票決定最后的目標(biāo)類別,使得不同尺寸目標(biāo)在同一標(biāo)準(zhǔn)下分類預(yù)測(cè).文獻(xiàn)[22]使用稠密特征金字塔網(wǎng)絡(luò),對(duì)不同層的特征圖使用RPN 網(wǎng)絡(luò),最后通過卷積層映射到同一維度進(jìn)行融合,結(jié)合了淺層網(wǎng)絡(luò)的位置信息以及深層網(wǎng)絡(luò)的語義信息,解決了不同大小的目標(biāo)檢測(cè)問題.文獻(xiàn)[40]在RCNN 基礎(chǔ)網(wǎng)絡(luò)的兩個(gè)不同尺度特征圖中加入了兩個(gè)RPN 網(wǎng)絡(luò),來應(yīng)對(duì)不同大小的目標(biāo)提案.文獻(xiàn)[28]通過使用跳躍鏈接的自編碼機(jī)多尺度結(jié)構(gòu)來適應(yīng)不同尺度的變化,對(duì)不同尺度使用不同錨框進(jìn)行預(yù)測(cè),解決目標(biāo)尺度變化問題.

3.5 面向光學(xué)遙感圖像目標(biāo)密集排列問題的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

部分目標(biāo)類別如艦船、車輛、飛機(jī)等交通工具,因人為因素會(huì)出現(xiàn)密集排列的問題,這增加了目標(biāo)定位和目標(biāo)分類的難度.表5 對(duì)當(dāng)前解決圖像目標(biāo)密集排列問題的部分算法進(jìn)行了比較.

表5 解決目標(biāo)密集排列問題的不同方法對(duì)比Table 5 Comparison of different methods to solve the problem that objects are densely arranged

對(duì)于密集排列目標(biāo)的定位問題,文獻(xiàn)[22,39]通過帶有方向的邊界框檢測(cè)解決了這個(gè)問題.對(duì)于密集排列目標(biāo)的區(qū)分問題,文獻(xiàn)[41]使用了一種局部再識(shí)別機(jī)制,利用網(wǎng)絡(luò)中的一個(gè)尺度來重新識(shí)別每個(gè)目標(biāo)塊,然后使用非最大值抑制過濾,達(dá)到更精細(xì)的目標(biāo)框定位,從而減小邊界框重疊.算法YOLT 對(duì)圖像進(jìn)行上采樣,以確保感興趣的目標(biāo)大且足夠分散,在提高小目標(biāo)檢測(cè)能力的同時(shí)改善了目標(biāo)的密集排列檢測(cè)問題.

3.6 面向光學(xué)遙感圖像復(fù)雜背景問題的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

光學(xué)遙感圖像目標(biāo)檢測(cè)除了常見的目標(biāo)類別(標(biāo)準(zhǔn)數(shù)據(jù)集NWPU VHR-10 包含有10 類目標(biāo))以外,其他沒有被檢測(cè)的地物類別都被劃分為背景,而且由于圖像覆蓋范圍廣,與普通圖像相比背景所占比例較高,這也給檢測(cè)任務(wù)帶來了困難.表6 對(duì)當(dāng)前解決圖像復(fù)雜背景問題的部分算法進(jìn)行了比較.

表6 解決復(fù)雜背景問題的不同方法對(duì)比Table 6 Comparison of different methods for solving complex background problems

靠岸艦船檢測(cè)是受遙感圖像復(fù)雜背景影響的一個(gè)典型問題.靠岸船只的特點(diǎn)是緊靠船塢并且與船塢平行.從上空角度來看,船塢的結(jié)構(gòu)與艦船的結(jié)構(gòu)混淆,這也是造成靠岸艦船難檢測(cè)的一個(gè)重要原因.文獻(xiàn)[42]使用全卷積網(wǎng)絡(luò)來訓(xùn)練提取靠岸艦船、海洋以及陸地三種類別的語義特征,然后作為注意力機(jī)制來給各個(gè)類別事物加權(quán),提升了網(wǎng)絡(luò)海陸分離的能力.但是利用先驗(yàn)信息不具有普適性,當(dāng)船塢的艦船密集停靠的時(shí)候,其特征與陸地特征相近,難以進(jìn)行海陸分割.文獻(xiàn)[23]將大量不包含目標(biāo)的圖片用于負(fù)樣本進(jìn)行訓(xùn)練,同時(shí)訓(xùn)練一種綜合性的損失,該損失在當(dāng)陸地上類似艦船的目標(biāo)被識(shí)別為艦船時(shí)最大,從而有效抑制陸地背景中與艦船有相似特征的地物的影響,實(shí)現(xiàn)無需海陸分離的靠岸艦船識(shí)別.

除靠岸艦船檢測(cè)之外,還有其他受復(fù)雜背景影響的例子.文獻(xiàn)[43]使用多尺度特征提取方法,將各層特征圖單獨(dú)使用視覺注意力機(jī)制增強(qiáng)并檢測(cè),消除了不同大小目標(biāo)檢測(cè)過程中的背景噪聲影響,但多尺度分別預(yù)測(cè)造成了網(wǎng)絡(luò)計(jì)算量的增大.文獻(xiàn)[44] 結(jié)合R-FCN 網(wǎng)絡(luò)的位置敏感分?jǐn)?shù)圖以及Faster R-CNN 網(wǎng)絡(luò)的RPN,在使用RPN 網(wǎng)絡(luò)獲得區(qū)域推薦之后,在目標(biāo)提案上使用位置敏感分?jǐn)?shù)圖,實(shí)現(xiàn)目標(biāo)局部位置的預(yù)測(cè),只有達(dá)到一定的局部特征相似度才能被判別為某一目標(biāo)類,消除了背景的影響,但是該方法對(duì)于較為相似的背景類,可能會(huì)出現(xiàn)誤判,對(duì)復(fù)雜背景的分辨能力不夠高.

3.7 面向光學(xué)遙感圖像樣本不足問題的深度學(xué)習(xí)目標(biāo)檢測(cè)方法

樣本不足問題是所有目標(biāo)檢測(cè)任務(wù)都要面臨的問題.面對(duì)高昂的圖片獲取的成本以及人工標(biāo)記成本,光學(xué)遙感圖像目標(biāo)檢測(cè)數(shù)據(jù)集更加顯得珍貴.并且深度學(xué)習(xí)的方法對(duì)數(shù)據(jù)集的要求較高,現(xiàn)有數(shù)據(jù)集的樣本分布難以有效地訓(xùn)練模型.目前解決訓(xùn)練樣本不足的問題主要的思路有:數(shù)據(jù)增強(qiáng)、弱監(jiān)督學(xué)習(xí)以及遷移學(xué)習(xí).表7 對(duì)當(dāng)前解決圖像樣本不足問題的部分算法進(jìn)行了比較.

表7 解決樣本不足問題的不同方法對(duì)比Table 7 Comparison of different methods for solving sample insufficient

文獻(xiàn)[24-27,36,44-46] 分別使用了包括平移、縮放、旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、水平翻轉(zhuǎn)、對(duì)比度增強(qiáng)、亮度調(diào)節(jié)、紡射變換等方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充.這些數(shù)據(jù)增強(qiáng)方法不僅成倍擴(kuò)充了樣本數(shù)量,而且一定程度上解決了部分前面提到的問題(如方向和尺度變化).但是數(shù)據(jù)增強(qiáng)并沒有從本質(zhì)上解決網(wǎng)絡(luò)本身性能不足的問題,并且這些變換都是基于原始訓(xùn)練數(shù)據(jù),經(jīng)過變換之后的樣本相似度太高,本質(zhì)上講仍然是原始樣本,因此對(duì)檢測(cè)效果的提升有限.

弱監(jiān)督學(xué)習(xí)分為不完全監(jiān)督(即關(guān)注于現(xiàn)有標(biāo)記數(shù)據(jù)集不足以訓(xùn)練出好的模型)、不確切監(jiān)督(即關(guān)注于現(xiàn)有標(biāo)記數(shù)據(jù)提供的信息不夠準(zhǔn)確)、不準(zhǔn)確監(jiān)督(即關(guān)注于現(xiàn)有標(biāo)記數(shù)據(jù)集的信息不總是真值).光學(xué)遙感圖像目標(biāo)檢測(cè)主要的問題是不完全監(jiān)督.文獻(xiàn)[47]使用生成式對(duì)抗網(wǎng)絡(luò)(Generative adversarial network,GAN)通過少量訓(xùn)練樣本來進(jìn)行虛擬樣本生成.相比數(shù)據(jù)增強(qiáng)方法,其生成的樣本與原始訓(xùn)練樣本并不相同,因此能更好的解決樣本不足問題.但是單獨(dú)使用GAN 進(jìn)行預(yù)處理降低了網(wǎng)絡(luò)的運(yùn)行速度.文獻(xiàn)[30]在對(duì)模型迭代訓(xùn)練過程中通過挖掘難分負(fù)樣本來迭代擴(kuò)充包含不同場(chǎng)景類別的負(fù)樣本,改善由于復(fù)雜背景導(dǎo)致的誤檢問題,但是僅鑒于負(fù)樣本的擴(kuò)充,沒有解決有標(biāo)記正樣本的不足問題.

深度學(xué)習(xí)方法因?yàn)樾枰獙?duì)數(shù)據(jù)進(jìn)行反復(fù)迭代學(xué)習(xí),使得樣本數(shù)量的問題在深度學(xué)習(xí)方法上顯得格外重要.遷移學(xué)習(xí)作為解決訓(xùn)練集不足問題廣泛運(yùn)用在多個(gè)領(lǐng)域,目前對(duì)于光學(xué)遙感圖像目標(biāo)檢測(cè)任務(wù),其主要運(yùn)用是使用源域數(shù)據(jù)對(duì)模型進(jìn)行預(yù)訓(xùn)練,然后將預(yù)訓(xùn)練模型的知識(shí)進(jìn)行遷移,再在目標(biāo)域數(shù)據(jù)上進(jìn)行進(jìn)一步訓(xùn)練.例如文獻(xiàn)[16] 使用ImageNet 數(shù)據(jù)集對(duì)YOLOv3 網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,然后再遷移至目標(biāo)域數(shù)據(jù)進(jìn)行微調(diào).文獻(xiàn)[41]使用ImageNet 數(shù)據(jù)集對(duì)主干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,然后遷移至目標(biāo)域數(shù)據(jù)進(jìn)行微調(diào).這些方法的理論基礎(chǔ)是深度神經(jīng)網(wǎng)絡(luò)(Deep neural network,DNN)的淺層是低級(jí)語義信息(如邊緣信息、顏色信息等),DNN 的深層是高級(jí)語義信息(不同目標(biāo)類別之間的分歧信息).

4 總結(jié)與展望

本文簡(jiǎn)要回顧了光學(xué)遙感圖像目標(biāo)檢測(cè)的研究背景,介紹了傳統(tǒng)的檢測(cè)方法,并概括了基于深度學(xué)習(xí)的傳統(tǒng)目標(biāo)檢測(cè)方法,接著對(duì)基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)所面臨的困難進(jìn)行了歸納,并以此對(duì)目前基于深度學(xué)習(xí)的光學(xué)遙感圖像檢測(cè)方法進(jìn)行了分類對(duì)比,并總結(jié)了目前的研究現(xiàn)狀.隨著遙感技術(shù)的發(fā)展,光學(xué)遙感圖像的質(zhì)量會(huì)有進(jìn)一步提升,因此光學(xué)遙感圖像的應(yīng)用前景依然十分廣闊,目前基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)發(fā)展迅速,潛力巨大.使用基于深度學(xué)習(xí)的模型可以有效解放人力,將特征工程交于算法完成,極大提高網(wǎng)絡(luò)對(duì)于不同數(shù)據(jù)的魯棒性.

目前基于深度學(xué)習(xí)的光學(xué)遙感圖像目標(biāo)檢測(cè)主要問題在第3 節(jié)已經(jīng)列出.盡管有很多研究致力于解決這些問題,并且取得了一定的效果,但是在尋找更好和更高效的解決辦法上仍然留有很大的發(fā)揮空間.因此,在后續(xù)的研究應(yīng)該考慮以下幾個(gè)研究方向.

1)在解決因圖像分辨率過高造成網(wǎng)絡(luò)計(jì)算負(fù)擔(dān)增加的問題上,目前較多的方案是將大圖切割成小圖進(jìn)行訓(xùn)練.這些方法在提高檢測(cè)精度的同時(shí)引入了過多冗余的計(jì)算,因?yàn)樵紙D像中的某些圖像塊不包含目標(biāo)或者包含有少量的目標(biāo),但是目前的網(wǎng)絡(luò)會(huì)對(duì)這些塊等同處理.如何選取有效的圖像塊使得目標(biāo)盡可能多地落入該區(qū)域,如何優(yōu)化網(wǎng)絡(luò)使得網(wǎng)絡(luò)能夠?qū)⒏嗟淖⒁饬Ψ旁诎心繕?biāo)的圖像塊,可以作為后續(xù)的一個(gè)研究方向.

2)在解決因目標(biāo)方向變化影響檢測(cè)效果的問題上,數(shù)據(jù)增強(qiáng)可以作為后續(xù)研究的一個(gè)優(yōu)化技巧被嵌入網(wǎng)絡(luò)中,在算法優(yōu)化上,考慮使用一種更加有效的旋轉(zhuǎn)不變映射機(jī)制,改善基于CNN 的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)于旋轉(zhuǎn)的魯棒性.

3)在目標(biāo)尺寸變化問題上,網(wǎng)絡(luò)的淺層對(duì)應(yīng)更小的感受野,適用于提取小目標(biāo)特征,網(wǎng)絡(luò)的深層對(duì)應(yīng)更大的感受野,適用于提取大目標(biāo)特征.目前不同算法在解決目標(biāo)尺寸變化問題上,都是基于這一理論使用多尺度信息來改善不同尺寸目標(biāo)的檢測(cè)效果.但是多尺度的選取僅僅對(duì)大和小進(jìn)行了區(qū)分,不能適應(yīng)不同數(shù)據(jù)集中的目標(biāo)尺寸變化問題.后續(xù)的研究考慮加入多尺度自適應(yīng)機(jī)制,針對(duì)不同數(shù)據(jù)集中目標(biāo)大和小的具體尺寸情況來選取適合的多尺度信息.

4)在解決因目標(biāo)密集排列造成目標(biāo)難定位問題上,目前的解決方法大多集中在引入方向邊界框預(yù)測(cè),對(duì)密集排列目標(biāo)的定位問題進(jìn)行了很好的解決,但是同時(shí)目標(biāo)密集排列還會(huì)造成單個(gè)目標(biāo)信息難以提取的問題.考慮在網(wǎng)絡(luò)中加入更加精準(zhǔn)的目標(biāo)分割技術(shù),首先對(duì)密集排列目標(biāo)進(jìn)行圖像分割,再使用網(wǎng)絡(luò)對(duì)分割的目標(biāo)進(jìn)行特征提取.

5)在解決因復(fù)雜背景影響檢測(cè)效果的問題上,大多方法利用分割技術(shù),將背景和目標(biāo)區(qū)分開,從而改善網(wǎng)絡(luò)對(duì)目標(biāo)特征的提取能力,也有部分方法是通過提高網(wǎng)絡(luò)對(duì)于背景和目標(biāo)的分歧能力來減小復(fù)雜背景的影響.這些解決方法作用在算法的不同階段,可以考慮使用一種有效的結(jié)合方法,共同用來解決復(fù)雜背景問題.

6)在解決樣本不足的問題上,數(shù)據(jù)增強(qiáng)作為一種易于實(shí)現(xiàn)的小技巧,可以繼續(xù)用于后續(xù)新算法的研究.考慮針對(duì)不同類樣本的分布情況以及不同的背景情況,使用弱監(jiān)督學(xué)習(xí)方法來改善樣本不平衡問題.在遷移學(xué)習(xí)的應(yīng)用上,目前的研究都是使用通用目標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行遷移.目標(biāo)域與源域的數(shù)據(jù)有著很大差別,使得只能進(jìn)行淺層低級(jí)語義信息的遷移.光學(xué)遙感圖像有著其特殊拍攝角度,如果使用同為高空角度拍攝圖像(如其他光學(xué)傳感器拍攝的光學(xué)遙感圖像、合成孔徑雷達(dá)影像、高光譜影像等),其與目標(biāo)域的高層語義特征會(huì)更加相似,因此可以考慮使用同為高空拍攝的數(shù)據(jù)進(jìn)行更深層的遷移以減少網(wǎng)絡(luò)對(duì)于源域數(shù)據(jù)的依賴.