涂 鑫，王 濱

(華北計(jì)算技術(shù)研究所基礎(chǔ)四部，北京 100083)

0 引 言

遙感圖像中的船、飛機(jī)等目標(biāo)通?？梢詡鬟_(dá)出非常有價(jià)值的語(yǔ)義信息，因此，遙感圖像的目標(biāo)檢測(cè)在計(jì)算機(jī)視覺(jué)領(lǐng)域引起了越來(lái)越多的關(guān)注。以前的研究[1-4]中利用滑動(dòng)窗口或具有手工特征設(shè)計(jì)的組件占據(jù)主導(dǎo)地位，這種方法將任務(wù)劃分為一系列獨(dú)特的步驟，充分利用自底向上的策略對(duì)目標(biāo)進(jìn)行搜索。盡管這些方法已顯示出較好的性能，但由于遙感場(chǎng)景實(shí)例的多樣性和較差的圖像質(zhì)量，這些方法的使用會(huì)受到限制。隨著深度學(xué)習(xí)技術(shù)在自然場(chǎng)景目標(biāo)檢測(cè)領(lǐng)域的快速發(fā)展，遙感圖像的目標(biāo)檢測(cè)納入了通用的目標(biāo)檢測(cè)框架。這些目標(biāo)檢測(cè)框架可以分為2大類：基于proposal驅(qū)動(dòng)的two-stage方法和基于proposal-free的one-stage方法。雖然two-stage的方法目前在各類公開(kāi)數(shù)據(jù)集上有著更高的準(zhǔn)確率，但是one-stage的方法在速度與精度上具有更好的平衡。

two-stage檢測(cè)方法可以通過(guò)proposal和region pooling操作對(duì)在任何位置出現(xiàn)的具有任何形狀的目標(biāo)進(jìn)行分類。而one-stage檢測(cè)方法則嚴(yán)重依賴高密度的候選框去覆蓋目標(biāo)所在的區(qū)域，尤其是在遙感場(chǎng)景中，通常采用的實(shí)現(xiàn)高覆蓋率的方法是使用多種尺度和寬高比的候選框。例如，TextBoxes++[5]基于SSD[6]檢測(cè)網(wǎng)絡(luò)定義了7種特定的寬高比(包括1、2、3、5、1/2、1/3和1/5)的候選框。DMPNet[7]添加了幾個(gè)旋轉(zhuǎn)框，合計(jì)12個(gè)(6個(gè)常規(guī)和6個(gè)傾斜)用以完全覆蓋任意方向的目標(biāo)。DeepTextSpotter[8]跟著YOLOv2[9]利用訓(xùn)練集上的k均值聚類(k=14)框以自動(dòng)找到合適的候選框，而不是手動(dòng)設(shè)計(jì)候選框。

以上檢測(cè)網(wǎng)絡(luò)的候選框設(shè)計(jì)方法會(huì)帶來(lái)3個(gè)問(wèn)題：1)必須針對(duì)不同的檢測(cè)物體的外觀預(yù)先定義候選框的形狀和尺度，一旦設(shè)計(jì)錯(cuò)誤會(huì)對(duì)檢測(cè)性能造成極大的損害[10]；2)大量的候選框會(huì)消耗較高的計(jì)算成本，尤其是當(dāng)檢測(cè)網(wǎng)絡(luò)的分類層和回歸層有較多參數(shù)的時(shí)候該現(xiàn)象更為明顯；3)大量anchor的生成通常需要花費(fèi)較多的時(shí)間。

在簡(jiǎn)單的網(wǎng)絡(luò)架構(gòu)和高計(jì)算效率的吸引下，本文研究上面提到的one-stage檢測(cè)方法中的候選框設(shè)計(jì)問(wèn)題。受到two-stage檢測(cè)方法中l(wèi)eaned proposal啟發(fā)，本文利用通過(guò)回歸操作所獲得的候選框來(lái)代替原來(lái)的框進(jìn)入最終的分類層和回歸層,并且將特征圖的每個(gè)位置設(shè)置為僅與一個(gè)候選框關(guān)聯(lián)。值得注意的是，與two-stage中能把候選框數(shù)量降低至1000到2000的RPN不同，本文方法仍然保持原始的數(shù)量不變，此外仍能保持one-stage中的其余檢測(cè)架構(gòu)不變。為了進(jìn)一步降低網(wǎng)絡(luò)計(jì)算復(fù)雜度，本文采用Mobilenetv2[11]作為主干結(jié)構(gòu)，并最終提出一個(gè)高效快速的遙感圖像目標(biāo)檢測(cè)器，名為FRDet(Fast Rotation Detector)。本文方法在DOTA數(shù)據(jù)集上飛機(jī)的檢測(cè)率可達(dá)96.8%，虛警率為6.7%，mAP值達(dá)0.87,并且具有完全的實(shí)時(shí)結(jié)果。不僅如此，本文方法的性能超越了許多基于候選框特征提取的one-stage方法。

1 基于候選框特征修正的遙感目標(biāo)快速檢測(cè)方法

1.1 Focal Loss

在one-stage目標(biāo)檢測(cè)方法中，OverFeat[12]是第一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的one-stage目標(biāo)檢測(cè)器，近年來(lái)研究者提出的SSD[6]和YOLOv2[9]重新引起了人們對(duì)one-stage方法的興趣。它們的關(guān)鍵思想是在特征圖每個(gè)位置的正中央預(yù)定義候選框，并根據(jù)這些預(yù)定義框出最終預(yù)測(cè)[13]。圖1顯示了通用的目標(biāo)檢測(cè)框架，其中l(wèi)oc回歸指的是候選框位置坐標(biāo)回歸，RP表示候選區(qū)域(Region Proposal)，SS表示選擇性搜索算法(Selective Search)。one-stage方法的基本結(jié)構(gòu)是基于全圖的特征抽取的骨干網(wǎng)絡(luò)和2個(gè)并行的子網(wǎng)絡(luò)，其中一個(gè)子網(wǎng)絡(luò)用來(lái)預(yù)測(cè)每個(gè)候選框的類別概率分布，另外一個(gè)用來(lái)預(yù)測(cè)每個(gè)候選框離最近的ground truth的位置偏移量。

圖1 2種通用檢測(cè)方法對(duì)比

與圖1所示的two-stage的模型(如R-CNN系列)相比，one-stage方法會(huì)跳過(guò)候選區(qū)域提取步驟直接基于原始的候選框給出最終預(yù)測(cè)。然而，它的檢測(cè)精度通常落后于two-stage的方法，主要原因之一是one-stage檢測(cè)網(wǎng)絡(luò)必須處理在整個(gè)圖像進(jìn)行采樣的大量背景候選框,因此one-stage會(huì)遇到前景與背景類別不平衡的問(wèn)題，并最終影響到模型的性能。所以在本文方法中，采用FL(Focal Loss)來(lái)解決類別不平衡問(wèn)題。FL是由CE損失函數(shù)修改完成的。其中CE損失函數(shù)如下:

其中，y=1代表樣本的標(biāo)簽ground-truth，p是在[0,1]區(qū)間的概率值,類別t的預(yù)測(cè)概率值pt定義如下：

令CE(p,y)=-log(pt)，則分類損失函數(shù)可以定義為：

Lcls=FL(pt)=-αt(1-pt)γlog(pt)

其中，αt是權(quán)重平衡因子，γ是focusing參數(shù)。在本文的實(shí)驗(yàn)中，取αt=0.25,γ=2.0。

1.2 旋轉(zhuǎn)框回歸

在遙感圖像中，大量目標(biāo)如艦船、飛機(jī)、車輛等往往多方向密集并排?？俊Ｊ褂镁匦慰蚧貧w會(huì)產(chǎn)生大量的背景噪聲以及會(huì)框選到多余目標(biāo)導(dǎo)致網(wǎng)絡(luò)的檢測(cè)性能受到極大損失，如圖2所示。

圖2 正矩形框會(huì)框選到除船體之外的多余噪聲

因此，本文采用旋轉(zhuǎn)矩形框去覆蓋遙感場(chǎng)景的各種目標(biāo)。每一個(gè)旋轉(zhuǎn)框由一個(gè)五維的向量進(jìn)行描述。設(shè)x、y代表中心點(diǎn)，w、h代表寬、高，θ代表矩形的旋轉(zhuǎn)角度。旋轉(zhuǎn)框回歸操作的目標(biāo)是將含有待檢測(cè)目標(biāo)的候選框的位置回歸到與它最近的ground truth。為了保證回歸過(guò)程中的尺度不變性和平移不變性，距離向量Δ=(δx,δy,δw,δh,δθ)定義如下：

δx=(gx-bx)/bw,δy=(gy-by)/bt

δw=log(gw/bw),δh=log(gh/bh)

δθ=tan(gθ)-tan(bθ)

其中，b、g分別代表候選框、ground-truth(例如bx代表候選框中心點(diǎn)橫坐標(biāo)，gx代表ground-truth的候選框中心點(diǎn)橫坐標(biāo))。同時(shí)回歸層的損失函數(shù)定義如下:

Lloc=smoothL1(Δt-Δp)

其中，smoothL1表示L1范數(shù)，Δt表示真實(shí)值的距離向量，Δp表示預(yù)測(cè)值的距離向量，這有助于加快檢測(cè)網(wǎng)絡(luò)模型的收斂。

1.3 候選框修正

通常情況下，one-stage檢測(cè)網(wǎng)絡(luò)[17-20]需要從數(shù)千個(gè)候選框中搜索到正樣本框，并調(diào)整位置和形狀，使得正樣本框和真實(shí)值更加緊密接近。由于數(shù)千個(gè)候選框中混合有正樣本框和負(fù)樣本框，從這些框中快速搜索出正樣本框比較困難。在實(shí)際算法中，通常采用ground truth和候選框IoU值快速配對(duì)的方式去解決該問(wèn)題。在正框回歸中，如下公式經(jīng)常用于篩選正樣本：

其中，μ為篩選正樣本的IoU閾值。但是該式中的IoU計(jì)算方式并不適合旋轉(zhuǎn)框回歸任務(wù)。

同時(shí)由于原始的anchor往往是由人為預(yù)設(shè)固定的長(zhǎng)寬比和尺度得到的，這些參數(shù)往往不是最優(yōu)的。而在two-stage的檢測(cè)網(wǎng)絡(luò)中，候選區(qū)域都是通過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到的，它不僅減少了網(wǎng)絡(luò)的搜索空間，還優(yōu)化了候選區(qū)域的特征。受到該方法的啟發(fā)，本文在回歸層的前面添加一個(gè)候選區(qū)位置修正模塊，通過(guò)學(xué)習(xí)對(duì)候選框進(jìn)行修正后，再將修正后的anchor送入到分類層和回歸層。

正如Wang等人[10]提到的，anchor的一個(gè)重要設(shè)計(jì)原則是anchor的中心與待檢測(cè)目標(biāo)的中心對(duì)齊，即讓生成的anchor的中心盡可能與待檢測(cè)目標(biāo)的中心接近，使得anchor能充分覆蓋住目標(biāo)。因此可以僅修正位置參數(shù)Δ′=(δw,δh,δθ)。修正損失定義如下：

Lref=smoothL1(Δ′t-Δ′p)

其中，Δ′t表示修正位置真實(shí)值，Δ′p表示修正位置預(yù)測(cè)值，通過(guò)在各種公開(kāi)數(shù)據(jù)集上的評(píng)估發(fā)現(xiàn)，與未修正前相比，目標(biāo)的覆蓋程度有了較大范圍的提升。整個(gè)網(wǎng)絡(luò)總的損失函數(shù)為：

L=λrefLref+λlocLloc+λclsLcls

在實(shí)驗(yàn)中，λref、λloc、λcls的值分別取0.5、0.5、1.0。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)參數(shù)設(shè)置

網(wǎng)絡(luò)的主干結(jié)構(gòu)是在ImageNet數(shù)據(jù)集上充分預(yù)訓(xùn)練，網(wǎng)絡(luò)是用Adam優(yōu)化器訓(xùn)練。由于硬件資源的限制，batch size設(shè)置為4，學(xué)習(xí)率初始值設(shè)置為10-4。隨機(jī)從SynthText[14]中選取100,000張圖像做5個(gè)epochs的預(yù)訓(xùn)練，然后在DOTA數(shù)據(jù)集上微調(diào)25個(gè)epochs，在微調(diào)15個(gè)epochs后將學(xué)習(xí)率設(shè)置為10-5。訓(xùn)練過(guò)程中隨機(jī)從480～800的范圍內(nèi)改變輸入圖像的尺寸，同時(shí)采用隨機(jī)翻轉(zhuǎn)對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。

為了更多地獲取含有目標(biāo)的候選區(qū)域，在特征修正階段，將IoU值設(shè)置為0.3。在前向測(cè)試階段，置信度值設(shè)置為0.3，將NMS時(shí)的閾值設(shè)置為0.3。整個(gè)目標(biāo)檢測(cè)算法由Pytorch框架實(shí)現(xiàn)，硬件配置為Intel i7-6800k和單張NVIDIA TITAN Xp。

2.2 消融實(shí)驗(yàn)

為了驗(yàn)證方法的有效性，進(jìn)行了多個(gè)消融實(shí)驗(yàn)，所有的模型都是在DOTA數(shù)據(jù)集和HRSC2016數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

表1 不同anchor設(shè)計(jì)參數(shù)對(duì)網(wǎng)絡(luò)性能的影響

圖3 IoU閾值變化曲線

2)修正模塊數(shù)量。和Cascade R-CNN類似，本文增加了多級(jí)anchor修正模塊去研究對(duì)網(wǎng)絡(luò)檢測(cè)性能的影響。在每個(gè)anchor修正模塊逐漸增大IoU值，結(jié)果見(jiàn)表2。增加多個(gè)級(jí)聯(lián)模塊并不會(huì)帶來(lái)精度的提升，甚至?xí)芯鹊南陆?。同時(shí)，多個(gè)級(jí)聯(lián)模塊會(huì)降低網(wǎng)絡(luò)的運(yùn)行速度，因此，將網(wǎng)絡(luò)修正模塊的個(gè)數(shù)設(shè)置為1，可得到最好的實(shí)驗(yàn)結(jié)果，是較好的選擇。

表2 修正模塊數(shù)量對(duì)網(wǎng)絡(luò)性能影響

2.3 與其他網(wǎng)絡(luò)的比較

在幾個(gè)公開(kāi)數(shù)據(jù)集上評(píng)估本文的方法，并與多個(gè)state-of-the-art模型作比較，表3、表4展示了每個(gè)數(shù)據(jù)集的測(cè)試結(jié)果。

1)DOTA數(shù)據(jù)集。基準(zhǔn)DOTA數(shù)據(jù)集用于航空?qǐng)D像中的目標(biāo)檢測(cè)，它包含了來(lái)自不同傳感器和平臺(tái)的2806幅航空?qǐng)D像，圖像大小從800×800像素到4000×4000像素不等，包含顯示各種比例、方向和形狀的對(duì)象。這些圖像由專業(yè)人士使用15種常見(jiàn)的物體類別進(jìn)行標(biāo)注。完整注釋的DOTA基準(zhǔn)測(cè)試包含188，282個(gè)實(shí)例，每個(gè)實(shí)例都由一個(gè)任意四邊形標(biāo)記。該標(biāo)記有2種檢測(cè)框:水平邊界框(HBB)和旋轉(zhuǎn)邊界框(OBB)。在本實(shí)驗(yàn)中，選取旋轉(zhuǎn)邊界框。采用飛機(jī)目標(biāo)隨機(jī)選取一半的原始圖像作為訓(xùn)練集，1/6作為驗(yàn)證集，1/3作為測(cè)試集。將圖像分成600×600子圖像，并將其縮放到800×800。從表3可以看出，本文方法在DOTA數(shù)據(jù)集上具有最高的檢測(cè)精度，mAP值能達(dá)到0.87，而且檢測(cè)速度能達(dá)到26.5幀/s。該算法在DOTA數(shù)據(jù)集上的檢測(cè)結(jié)果如圖4所示。

表3 DOTA數(shù)據(jù)集檢測(cè)結(jié)果

圖4 DOTA數(shù)據(jù)集飛機(jī)檢測(cè)結(jié)果

2)HRSC2016。該數(shù)據(jù)集包含2種場(chǎng)景的圖像：海上船舶和近岸船舶。所有圖片都是從6個(gè)著名港口收集的。圖像大小從300×300像素到1500×900像素。訓(xùn)練集、驗(yàn)證集和測(cè)試集分別包含436幅圖像、181幅圖像和444幅圖像。實(shí)驗(yàn)用800×800圖像比例尺進(jìn)行訓(xùn)練和測(cè)試。從表4可以看出，在HRSC2016數(shù)據(jù)集上，本文方法的檢測(cè)精度超過(guò)了SSD、YOLOv3、Textboxes++等，且具有最快的速度。該算法在HRSC2016數(shù)據(jù)集上的檢測(cè)結(jié)果如圖5所示。

表4 HRSC2016檢測(cè)結(jié)果

圖5 HRSC2016數(shù)據(jù)集檢測(cè)結(jié)果示意圖

3 結(jié)束語(yǔ)

本文提出了一種基于候選框特征修正的快速檢測(cè)算法，它具有每個(gè)特征圖僅設(shè)置一個(gè)候選框的特點(diǎn)。在各種公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法檢測(cè)精度優(yōu)于SSD、YOLOv3等各種基于候選框特征提取的one-stage檢測(cè)方法[21-23]，同時(shí)，該方法還具有實(shí)時(shí)性的效果。由于該方法可以較少考慮候選框的先驗(yàn)設(shè)計(jì)，因此可以廣泛適用于其他檢測(cè)任務(wù)，即插即用，具有良好的適應(yīng)性。在今后的工作中，筆者將研究將該方法遷移到其他檢測(cè)任務(wù)中，進(jìn)一步驗(yàn)證該方法的有效性。