焦新泉,李?？?陳建軍

(中北大學(xué)電子測(cè)試技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,山西 太原 030051)

0 引 言

近年來(lái)出現(xiàn)了許多高質(zhì)量的遙感圖像數(shù)據(jù)集，但在衛(wèi)星實(shí)際拍攝的圖像中存在著多種問(wèn)題，例如衛(wèi)星受到了大氣條件(云層、霧霾)、太陽(yáng)光照條件、拍攝曝光條件等限制，最終得到的遙感圖像往往并沒(méi)有市面上常見(jiàn)的理想，造成了訓(xùn)練樣本難度可能低于實(shí)際對(duì)遙感圖像檢測(cè)的難度。此外，在遙感圖像數(shù)據(jù)集中，有些目標(biāo)占圖像比例差距較大，例如飛機(jī)、汽車和操場(chǎng)、港口，一些目標(biāo)之間相似度接近易于造成混淆識(shí)別，例如山地、丘陵地形等分類和形狀相似的一些建筑物，還有一些目標(biāo)在平時(shí)被拍攝到的難易程度不同，引起了數(shù)據(jù)樣本分布不均勻。這些問(wèn)題造成了遙感圖像人工標(biāo)注時(shí)標(biāo)準(zhǔn)不統(tǒng)一，提高了人工標(biāo)注的成本。一些方法能夠檢測(cè)出云層和云陰影[1]，或者在云、雪共存的復(fù)雜情況檢測(cè)出云層[2]，減弱了氣象條件的影響，但是數(shù)據(jù)分布不均勻的問(wèn)題依然存在。

針對(duì)數(shù)據(jù)集標(biāo)注存在的問(wèn)題，無(wú)監(jiān)督對(duì)比學(xué)習(xí)可以提高模型的識(shí)別率和檢測(cè)精度。目標(biāo)分類和目標(biāo)檢測(cè)是不同的任務(wù)，在分類任務(wù)中，整幅圖像被分類為單一的標(biāo)簽，而在檢測(cè)任務(wù)中，除了目標(biāo)的類別之外，還有它具體的位置，且整幅圖像中有可能存在不同分類的多個(gè)目標(biāo)。雖然2種任務(wù)不同，但是檢測(cè)任務(wù)可以認(rèn)為是分類任務(wù)的下游任務(wù)，在對(duì)比學(xué)習(xí)中，將特征提取網(wǎng)絡(luò)訓(xùn)練好的權(quán)重作為固定值，參與下游的檢測(cè)任務(wù)，可以提高整體模型的檢測(cè)精度。將通道注意力機(jī)制添加到對(duì)比學(xué)習(xí)中的編碼器網(wǎng)絡(luò)，可以增強(qiáng)特征提取，提高檢測(cè)精度。全局通道注意力機(jī)制[3]建立了全局信息的交互聯(lián)系，通過(guò)迭代獲取每個(gè)通道的重要程度。局部的通道注意力[4]認(rèn)為獲取所有通道之間的交互關(guān)系效率不高且不必要，只考慮每個(gè)通道及其相鄰的部分通道之間的聯(lián)系以增強(qiáng)模型的效率及有效性。

本文提出一個(gè)由局部的注意力機(jī)制改善的MoCo v2的模型，將MoCo v2預(yù)訓(xùn)練得到的權(quán)重作為固定參數(shù)應(yīng)用于以YOLOv5為基礎(chǔ)的目標(biāo)檢測(cè)框架，以提高遙感圖像檢測(cè)精度。實(shí)驗(yàn)在AID Dataset[5]進(jìn)行分類訓(xùn)練，遷移對(duì)比學(xué)習(xí)得到的預(yù)訓(xùn)練權(quán)重到Y(jié)OLOv5中進(jìn)行遙感圖像檢測(cè)，在TGRS-HRRSD[6]數(shù)據(jù)集上進(jìn)行檢測(cè)訓(xùn)練。

1 相關(guān)研究

1.1 傳統(tǒng)遙感圖像檢測(cè)方法

Chen等人[7]通過(guò)多尺度特征融合，提高了遙感圖像檢測(cè)精度，使用通道注意力機(jī)制，生成集成多尺度的注意力特征圖，利于關(guān)注不同背景和大小的物體，一定程度上改善了大小目標(biāo)之間的特征信息不對(duì)等的情況。還有基于多特征融合的變化檢測(cè)方法，通過(guò)計(jì)算結(jié)構(gòu)相似的紋理差，利用紋理和光譜特征提高遙感圖像中樣本的可信度，提高了檢測(cè)性能。Tan等人[8]提出了對(duì)Faster R-CNN的剪枝和量化的優(yōu)化方法，提高了對(duì)遙感圖像中車輛的檢測(cè)性能。這些方法雖然在各自的數(shù)據(jù)集上提高了檢測(cè)表現(xiàn)，但在實(shí)際應(yīng)用的多分類場(chǎng)景中沒(méi)有改善標(biāo)簽標(biāo)注的標(biāo)準(zhǔn)不統(tǒng)一和相似樣本之間難于區(qū)分的情況。

1.2 YOLO系列的目標(biāo)檢測(cè)方法

到目前為止，流行的目標(biāo)檢測(cè)模型可以分為2類，其中一類是R-CNN系列的兩階段檢測(cè)算法，例如：RCNN[9]和Faster R-CNN[10]，另外一類是單階段檢測(cè)算法，例如：YOLOv3[11]、YOLOv4[12]、YOLOv5和SSD[13]及DSSD[14]，其中YOLO系列在檢測(cè)效果的實(shí)時(shí)性和精度上都更優(yōu)秀。經(jīng)過(guò)YOLOv1到Y(jié)OLOv5這6年的發(fā)展，現(xiàn)在許多檢測(cè)項(xiàng)目和實(shí)際應(yīng)用都使用YOLO算法，YOLOv5模型已經(jīng)在目標(biāo)檢測(cè)領(lǐng)域有最好的速度和精度的綜合性能。自從ResNet[15]提出以來(lái)有許多實(shí)驗(yàn)證明了用于提取信息的骨干網(wǎng)絡(luò)對(duì)于殘差結(jié)構(gòu)的依賴。YOLOv5的骨干網(wǎng)絡(luò)使用了類似于ResNet結(jié)構(gòu)的CSP網(wǎng)絡(luò)，增加殘差結(jié)構(gòu)可以增強(qiáng)網(wǎng)絡(luò)層與網(wǎng)絡(luò)層之間反向傳播的梯度值，有利于網(wǎng)絡(luò)層的加深，從而可以提取到更微小、更豐富的特征信息而不必?fù)?dān)心網(wǎng)絡(luò)退化。之后經(jīng)過(guò)不同尺度的池化操作，送入特征融合網(wǎng)絡(luò)FPN[16]和PAN[17]，最后再預(yù)測(cè)分類和回歸具體位置。

1.3 無(wú)監(jiān)督對(duì)比學(xué)習(xí)

近年來(lái)，無(wú)監(jiān)督對(duì)比學(xué)習(xí)領(lǐng)域迅速發(fā)展，許多模型和方法在分類任務(wù)上的表現(xiàn)已經(jīng)超過(guò)了有監(jiān)督模型，在目標(biāo)檢測(cè)任務(wù)上也有相近或者超過(guò)的性能。無(wú)監(jiān)督對(duì)比學(xué)習(xí)本質(zhì)上是利用大量的無(wú)標(biāo)注數(shù)據(jù)與復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，從圖像中吸取本身的分布，學(xué)習(xí)到高級(jí)的語(yǔ)義特征信息。目前效果比較好的對(duì)比學(xué)習(xí)方法主要分為2類：對(duì)比聚類和對(duì)比反例，基于負(fù)例的對(duì)比學(xué)習(xí)方法在目標(biāo)檢測(cè)、語(yǔ)義分割的下游任務(wù)的表現(xiàn)會(huì)更好一點(diǎn)。典型無(wú)監(jiān)督訓(xùn)練模型[18]和無(wú)監(jiān)督embedding學(xué)習(xí)[19]目的是在無(wú)標(biāo)定樣本中發(fā)現(xiàn)視覺(jué)相似性或者弱類別信息?；谪?fù)例的對(duì)比學(xué)習(xí)模型的發(fā)展從端到端的模型例如CPC v1[20]、CPC v2[21]、DIM[22]、AMDIM[23]，到關(guān)鍵分支采用Memory Bank[24]再到動(dòng)態(tài)字典的分支構(gòu)建[25]，這些方法注重于關(guān)鍵值分支的處理，MoCo已經(jīng)實(shí)現(xiàn)了穩(wěn)定的迭代方法，訓(xùn)練出了高質(zhì)量的編碼器。MoCo v2[26]、SimCLR[27]進(jìn)一步對(duì)編碼器輸出的表示做了改進(jìn)，增加了全連接層，能夠過(guò)濾圖像更多的像素級(jí)的細(xì)節(jié)特征，能夠促進(jìn)模型對(duì)高級(jí)語(yǔ)義特征、一些通用特征的學(xué)習(xí)。為了改善對(duì)比學(xué)習(xí)在圖像分類任務(wù)和目標(biāo)檢測(cè)任務(wù)上的精度不一致的情況，Xie等人[28]提出了除了全局圖像特征之外，局部特征也很重要，加入了跨局部和全局的對(duì)比損失和多階段的對(duì)比損失，大大提高了對(duì)比學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)的性能。在遙感圖像領(lǐng)域，也有一些方法使用了弱監(jiān)督或者無(wú)監(jiān)督對(duì)比學(xué)習(xí)方法。 Li等人[29]使用場(chǎng)景級(jí)標(biāo)記進(jìn)行多類地理空間目標(biāo)檢測(cè)的弱監(jiān)督深度學(xué)習(xí)方法，利用分離的場(chǎng)景類別信息和場(chǎng)景對(duì)之間的相互線索來(lái)充分訓(xùn)練深度網(wǎng)絡(luò)，以追求更高的目標(biāo)檢測(cè)性能。2020年，Li等人[30]又提出了一種基于弱監(jiān)督深度學(xué)習(xí)的云檢測(cè)方法，一定程度上減弱了云層覆蓋對(duì)光學(xué)遙感圖像可用性的影響。Li等人[31]提出在遙感特征的基礎(chǔ)上，重新構(gòu)建了一種新的遙感知識(shí)圖，用于支持未知遙感圖像場(chǎng)景的推理識(shí)別，在遙感圖像分類任務(wù)上有很好的表現(xiàn)。

2 基于改進(jìn)的MoCo的遙感圖像檢測(cè)

2.1 基于MoCo v2的對(duì)比學(xué)習(xí)的改進(jìn)

對(duì)比學(xué)習(xí)可以大致分為3個(gè)部分，如圖1所示。第一部分是數(shù)據(jù)輸入端，對(duì)樣本使用2種不同的數(shù)據(jù)增強(qiáng)方法得到2種樣本作為對(duì)比2個(gè)分支的輸入，經(jīng)過(guò)2種數(shù)據(jù)增強(qiáng)后，2個(gè)分支中的由相同圖像增強(qiáng)后得到的2個(gè)樣本互為正例，不同圖像進(jìn)行增強(qiáng)后的2個(gè)樣本互為負(fù)例，基于負(fù)例的對(duì)比學(xué)習(xí)通過(guò)比較正負(fù)例之間的相似性學(xué)習(xí)到圖像內(nèi)的分類信息。第二部分為編碼器，通過(guò)編碼器來(lái)提取圖像中的表示和特征，查詢分支提取出的特征表示可以用于下游任務(wù)。第三部分為損失函數(shù)，通過(guò)計(jì)算2個(gè)分支中的樣本的相似性來(lái)定義損失函數(shù)，得到樣本的偽標(biāo)簽，達(dá)到分類的效果。

圖1 基于負(fù)例的對(duì)比學(xué)習(xí)模型

數(shù)據(jù)輸入端的改進(jìn)：MoCo v2使用了比較大的動(dòng)態(tài)字典構(gòu)建關(guān)鍵值分支的樣本，并對(duì)關(guān)鍵值分支的編碼器采用了動(dòng)量迭代的方法，以能夠緩慢穩(wěn)定地訓(xùn)練。對(duì)比學(xué)習(xí)中好的特征通過(guò)大量的反例來(lái)學(xué)習(xí)，但AID數(shù)據(jù)集中的圖像總數(shù)遠(yuǎn)遠(yuǎn)小于MoCo v2用到的ImageNet，為了在下一個(gè)迭代周期時(shí)打亂樣本批量隊(duì)列更新，降低抽到重復(fù)的樣本的概率，需要改變動(dòng)態(tài)字典的大小，MoCo v2的字典大小為65536，對(duì)于AID數(shù)據(jù)集，可以設(shè)置為1024或者2048。其次對(duì)關(guān)鍵值的分支使用的數(shù)據(jù)增強(qiáng)方法再增加隨機(jī)對(duì)比度轉(zhuǎn)換以增大2個(gè)分支樣本的區(qū)別，加快訓(xùn)練速度。

編碼器的改進(jìn)：許多遙感圖像中目標(biāo)與背景之間相似度很高，部分種類之間的相似度也很高，降低了識(shí)別率以及目標(biāo)錨框的準(zhǔn)確度，許多不同類別的物體在整幅圖像中所占的比例差距很大，造成了標(biāo)注時(shí)的標(biāo)準(zhǔn)不統(tǒng)一的問(wèn)題。如圖2所示，圖2(a)飛機(jī)和圖2(b)立交橋所占整個(gè)圖像比例差距很大，帶來(lái)標(biāo)注的麻煩，圖2(c)是裸地與圖2(d)中沙漠的相似度很高，分類時(shí)容易發(fā)生錯(cuò)誤。使用通道注意力可以改善這種情況，通道注意力機(jī)制會(huì)分配更多的權(quán)重在局部關(guān)注的區(qū)域，增強(qiáng)了重點(diǎn)區(qū)域的信息表達(dá)。在對(duì)比學(xué)習(xí)中增加注意力模塊能夠有效地提高目標(biāo)的特征提取，能夠改善遙感圖像中大、小目標(biāo)占圖像的比例差距過(guò)大的情況，能夠抑制無(wú)用背景或者干擾信息。如圖3所示為局部通道注意力機(jī)制實(shí)現(xiàn)方法,對(duì)輸入做不改變通道維度的全局平均池化操作，在通道維上使用卷積核為設(shè)定值的一維的1×1卷積，在經(jīng)過(guò)sigmoid激活函數(shù)之后得到各個(gè)通道的權(quán)重值，將各權(quán)重值應(yīng)用于原輸入，最終得到經(jīng)過(guò)注意力權(quán)值分配之后的特征圖。

(a) 飛機(jī) (b) 立交橋 (c) 裸地 (d) 沙漠圖2 遙感圖像對(duì)比

圖3 局部通道注意力原理圖

圖4是添加了注意力機(jī)制的ResNet結(jié)構(gòu)圖，實(shí)際中將注意力機(jī)制添加到ResNet50時(shí)，可以在Conv2、Conv3、Conv4、Conv5層的最后加入注意力機(jī)制，在殘差網(wǎng)絡(luò)的每一個(gè)階段都加入注意力機(jī)制，對(duì)每一階段得到的不同通道數(shù)的特征進(jìn)行注意力權(quán)重分配。整個(gè)獲得特征圖的網(wǎng)絡(luò)作為之后檢測(cè)網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)，特征圖接后續(xù)的網(wǎng)絡(luò)可以實(shí)現(xiàn)目標(biāo)分類與邊界框位置回歸。

圖4 ResNet50添加通道注意力機(jī)制結(jié)構(gòu)圖

損失函數(shù)的計(jì)算：如圖5所示，基于負(fù)例的對(duì)比學(xué)習(xí)的目的是將查詢分支的樣本和關(guān)鍵值分支上的正樣本匹配、負(fù)樣本區(qū)分，相同分類在向量投影空間上的分布體現(xiàn)一致性，距離很接近，不同分類在投影空間上的分布比較均勻。對(duì)比學(xué)習(xí)中的損失函數(shù)通過(guò)比較2個(gè)分支上的特征相似度來(lái)得到，公式(1)用來(lái)計(jì)算2個(gè)向量之間的相似度，通過(guò)點(diǎn)積運(yùn)算方法，以判斷2個(gè)向量在投影空間上的距離遠(yuǎn)近。

圖5 對(duì)比損失在投影空間上的理解

(1)

在經(jīng)過(guò)編碼器網(wǎng)絡(luò)之后，許多對(duì)比學(xué)習(xí)方法都直接進(jìn)行相似度的計(jì)算，但是MoCo v2、SimCLR提出在編碼器網(wǎng)絡(luò)之后加入非線性變換，原因是編碼器得到的特征表會(huì)包含包括圖像增強(qiáng)信息在內(nèi)的底層通用的細(xì)節(jié)信息，增加一個(gè)非線性網(wǎng)絡(luò)層可以聚集這些通用特征，形成高階特征信息，有利于對(duì)比和計(jì)算2個(gè)特征圖之間的相似度。和MoCo v2相同，使用的是infoNCE損失函數(shù)[32]，公式(2)為損失函數(shù)計(jì)算公式，在迭代過(guò)程中，分子上代表正例之間的相似度越來(lái)越大，分母上代表負(fù)例之間的相似度會(huì)越來(lái)越低，達(dá)到訓(xùn)練模型的目的。

(2)

2.2 基于YOLOv5的下游目標(biāo)檢測(cè)網(wǎng)絡(luò)

YOLOv5是目前精度較高，實(shí)際應(yīng)用性最好的目標(biāo)檢測(cè)框架，也能較快地部署到不同的設(shè)備之中，因此下游檢測(cè)任務(wù)的基本框架選用YOLOv5模型。整體框架包括輸入端的Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放。骨干網(wǎng)絡(luò)通常是一些性能優(yōu)異的網(wǎng)絡(luò)用于提取特征，neck網(wǎng)絡(luò)用于進(jìn)一步提升特征的多樣性以及魯棒性，包括了FPN網(wǎng)絡(luò)和PAN網(wǎng)絡(luò)。最后是head輸出端，包含分類分支和位置回歸分支，使用GIOU損失函數(shù)。YOLOv5對(duì)這4個(gè)模塊不斷加深和加寬，最后形成了4個(gè)版本YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。

圖6 YOLOv5中骨干網(wǎng)絡(luò)的殘差模塊

YOLOv5的骨干網(wǎng)絡(luò)是CSPDarknet53結(jié)構(gòu)，主要由卷積層、殘差塊、連接層組成。如圖6所示為YOLOv5中的殘差模塊，CBL模塊為卷積層-批量歸一化層-Leaky Relu激活函數(shù)，用于提取特征信息。大部分對(duì)比學(xué)習(xí)中使用的用于提取特征信息的編碼網(wǎng)絡(luò)是ResNet50，ResNet50帶有殘差組件的神經(jīng)網(wǎng)絡(luò)可以促進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的加深，提高對(duì)特征信息的提取。為了更方便地遷移對(duì)比學(xué)習(xí)中學(xué)習(xí)到的用于特征提取的編碼器模型，需要對(duì)YOLOv5中的骨干網(wǎng)絡(luò)進(jìn)行更換。實(shí)際中將YOLOv5中的骨干網(wǎng)絡(luò)更換為帶有注意力機(jī)制的ResNet50網(wǎng)絡(luò)，使用了對(duì)比學(xué)習(xí)訓(xùn)練同樣的帶有注意力機(jī)制的ResNet50編碼器的權(quán)重作為骨干網(wǎng)絡(luò)的權(quán)重，這一權(quán)重在訓(xùn)練時(shí)不進(jìn)行梯度迭代，作為固定權(quán)重生成特征圖。使用帶有注意力機(jī)制的ResNet50網(wǎng)絡(luò)為YOLOv5骨干網(wǎng)絡(luò)的好處有2個(gè)，第一點(diǎn)是對(duì)ResNet50增加了注意力結(jié)構(gòu)，增強(qiáng)了特征提取，第二點(diǎn)是可以直接用許多對(duì)比學(xué)習(xí)方法中的預(yù)訓(xùn)練權(quán)重參與到下游的檢測(cè)任務(wù)中，方便了實(shí)驗(yàn)結(jié)果的比較、驗(yàn)證工作。更換之后的網(wǎng)絡(luò)整體模型如圖7所示。

圖7 改進(jìn)的YOLOv5整體模型結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果及分析

整體實(shí)驗(yàn)分為2個(gè)部分，第一部分為對(duì)比學(xué)習(xí)方法的改進(jìn)，在遙感圖像分類數(shù)據(jù)集上進(jìn)行訓(xùn)練、驗(yàn)證、測(cè)試。第二部分為遷移對(duì)比學(xué)習(xí)中獲得的編碼器網(wǎng)絡(luò)到下游的檢測(cè)任務(wù)，在遙感圖像目標(biāo)檢測(cè)數(shù)據(jù)集上進(jìn)行訓(xùn)練、驗(yàn)證、測(cè)試。

3.1 無(wú)監(jiān)督對(duì)比學(xué)習(xí)分類實(shí)驗(yàn)

無(wú)監(jiān)督對(duì)比學(xué)習(xí)的實(shí)驗(yàn)環(huán)境：Intel(R) Xeon(R) Gold 5218 CPU，4個(gè)GeForce GTX 2080Ti(每個(gè)顯卡11 GB顯存)，CUDA 11.1，Ubuntu 18.04操作系統(tǒng)，深度學(xué)習(xí)框架是Pytorch 1.9。無(wú)監(jiān)督對(duì)比學(xué)習(xí)實(shí)驗(yàn)在AID數(shù)據(jù)集上進(jìn)行，設(shè)置batch-size為64，MoCo中維護(hù)的字典隊(duì)列的大小設(shè)置為2048，設(shè)置溫度超參數(shù)T為0.07，學(xué)習(xí)率為0.015，計(jì)算分類損失之前的特征維度是128，使用多GPU分布式訓(xùn)練。

AID數(shù)據(jù)集共有10000余張遙感圖像，30種分類，每種分類包含的圖像數(shù)目都在300以上，由于AID Dataset包含的圖像數(shù)目要遠(yuǎn)遠(yuǎn)小于ImageNet數(shù)據(jù)集，所以設(shè)置批量數(shù)和維護(hù)字典隊(duì)列要盡量小一點(diǎn)，ImageNet雖然是全世界種類最全，圖像數(shù)目最多的數(shù)據(jù)集，但是由于拍攝角度和圖像分辨率的問(wèn)題，直接使用在ImageNet上預(yù)訓(xùn)練的權(quán)重去對(duì)遙感圖像分類效果不好，所以還是需要在ImageNet預(yù)訓(xùn)練權(quán)重的基礎(chǔ)之上在AID Dataset上訓(xùn)練一個(gè)針對(duì)遙感圖像分類的權(quán)重，以使該權(quán)重在之后的目標(biāo)檢測(cè)任務(wù)上有更好的表現(xiàn)。分類精度采用top1精度和top5精度。如表1所示，實(shí)驗(yàn)首先對(duì)比了使用MoCo v2在使用在ImageNet的預(yù)訓(xùn)練權(quán)重和在AID Dataset上進(jìn)一步訓(xùn)練得到的權(quán)重進(jìn)行分類實(shí)驗(yàn)，結(jié)果顯示，在ImageNet預(yù)訓(xùn)練權(quán)重的基礎(chǔ)之上在AID Dataset上進(jìn)行微調(diào)200 epochs之后分類的精度更高，top1精度提高了1.838個(gè)百分點(diǎn)，top5精度提高了0.612個(gè)百分點(diǎn)，體現(xiàn)了當(dāng)訓(xùn)練自己的數(shù)據(jù)集時(shí)，ImageNet上的預(yù)訓(xùn)練權(quán)重微調(diào)后，整個(gè)模型的表現(xiàn)會(huì)更好。

表1 ImageNet上的預(yù)訓(xùn)練權(quán)重在AID數(shù)據(jù)集上微調(diào)的結(jié)果

除此之外，對(duì)MoCo v2的輸入端數(shù)據(jù)增強(qiáng)和編碼器進(jìn)行了改進(jìn)，分別都在ImageNet預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上微調(diào)，實(shí)驗(yàn)結(jié)果如表2所示。結(jié)果顯示，在MoCo v2的基礎(chǔ)上，針對(duì)AID Dataset數(shù)據(jù)量比較小的情況，對(duì)2個(gè)對(duì)比的分支使用不同的數(shù)據(jù)增強(qiáng)方法比對(duì)2個(gè)分支使用隨機(jī)數(shù)據(jù)增強(qiáng)表現(xiàn)要好一點(diǎn)，top1精度提高了0.277個(gè)百分點(diǎn)。通過(guò)對(duì)編碼器使用局部的通道注意力改進(jìn)之后，整個(gè)對(duì)比的學(xué)習(xí)模型在AID Dataset上分類精度達(dá)到了95.888%，較MoCo v2不改進(jìn)之前的top1精度提高了2.712個(gè)百分點(diǎn)，top5精度提高了且額外引入的參數(shù)大小增加量可以微乎不計(jì)，證明了局部的注意力是輕量化的、有效的。

表2 MoCo v2和改進(jìn)過(guò)后的MoCo v2在AID數(shù)據(jù)集上的結(jié)果對(duì)比

實(shí)驗(yàn)還選取了之前的幾種對(duì)比學(xué)習(xí)方法進(jìn)行比較，主要分為對(duì)比聚類方法和基于負(fù)例的對(duì)比方法2類，基于聚類的方法選擇了Deep Cluster[33]和SwAV[34]這2種方法，基于負(fù)例的對(duì)比方法選擇了MoCo v1、SimCLR v1，MoCo v2和改進(jìn)過(guò)的MoCo v2。為了公平，除了改進(jìn)過(guò)的MoCo v2這些模型的編碼器都選用了ResNet50，都是用它們各自在ImageNet上的預(yù)訓(xùn)練權(quán)重在AID Dataset進(jìn)行微調(diào)。

如表3所示，基于聚類的對(duì)比學(xué)習(xí)方法SwAV在AID Dataset上分類精度最高95.963%，在基于負(fù)例的方法中改進(jìn)過(guò)的MoCo v2表現(xiàn)最好，top1精度達(dá)到了95.888%。雖然改進(jìn)的MoCo v2的性能并沒(méi)有SwAV的聚類方法高，但這并不意味著基于聚類的對(duì)比學(xué)習(xí)方法更適合下游的檢測(cè)任務(wù)，原因是對(duì)于目標(biāo)檢測(cè)、語(yǔ)義分割等像素級(jí)的任務(wù)時(shí)基于負(fù)例的對(duì)比學(xué)習(xí)方法往往能夠獲得不同種類物體的關(guān)鍵信息，而這些信息能夠在像素級(jí)的任務(wù)中起到很大的幫助作用。這一觀點(diǎn)也在之后的目標(biāo)檢測(cè)任務(wù)的實(shí)驗(yàn)中得到了驗(yàn)證。

表3 不同方法的預(yù)訓(xùn)練權(quán)重在AID數(shù)據(jù)集上的分類精確度

3.2 遙感圖像檢測(cè)實(shí)驗(yàn)

這部分實(shí)驗(yàn)設(shè)備與對(duì)比學(xué)習(xí)實(shí)驗(yàn)的基本相同，只是使用了單張GeForce GTX 2080Ti顯卡。

遙感圖像檢測(cè)實(shí)驗(yàn)使用的數(shù)據(jù)集為TGRS數(shù)據(jù)集，TGRS數(shù)據(jù)集共有大約21700張遙感圖像，有13種遙感圖像中常見(jiàn)的分類，例如airplane、ship、harbor。劃分?jǐn)?shù)據(jù)集時(shí)，整個(gè)數(shù)據(jù)集隨機(jī)分配為訓(xùn)練集，測(cè)試集，比例為9:1，并且同樣對(duì)訓(xùn)練集以9∶1的比例劃分出訓(xùn)練驗(yàn)證集。每一次訓(xùn)練的迭代輪數(shù)為100。初始學(xué)習(xí)率為0.01，樣本批量為16，輸入圖像的分辨率為640×640。目標(biāo)檢測(cè)任務(wù)采用YOLOv5框架，將YOLOv5中的骨干網(wǎng)絡(luò)更換為對(duì)比學(xué)習(xí)中的編碼器的結(jié)構(gòu)，各種功能神經(jīng)網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)都是用來(lái)提取特征的，訓(xùn)練過(guò)程這一部分的權(quán)重是通用的，所以實(shí)驗(yàn)中可以將對(duì)比學(xué)習(xí)中的編碼器網(wǎng)絡(luò)作為YOLOv5的骨干網(wǎng)絡(luò)，并在訓(xùn)練的過(guò)程中不對(duì)這部分模塊進(jìn)行參數(shù)的更新、迭代。這樣做一方面可以直接使用無(wú)監(jiān)督對(duì)比學(xué)習(xí)訓(xùn)練得到的性能比較好的權(quán)重，另一方面可以減少計(jì)算量，加快訓(xùn)練速度。

首先在骨干網(wǎng)絡(luò)上進(jìn)行了消融實(shí)驗(yàn)，設(shè)置了不同結(jié)構(gòu)骨干網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重，使用了從MoCo v2和使用改進(jìn)的MoCo v2在AID數(shù)據(jù)集得到的預(yù)訓(xùn)練權(quán)重，也將骨干網(wǎng)絡(luò)加入訓(xùn)練中的迭代更新與以上2個(gè)結(jié)果對(duì)比。結(jié)果如表4所示，分析結(jié)果可得，當(dāng)骨干網(wǎng)絡(luò)使用了由對(duì)比學(xué)習(xí)得到的權(quán)重并在遙感圖像檢測(cè)任務(wù)中凍結(jié)它們，可以提高檢測(cè)精度，使用改進(jìn)MoCo v2得到的權(quán)重的mAP@0.5為95.2%，比不使用預(yù)訓(xùn)練模型時(shí)提高了3.4個(gè)百分點(diǎn)，更嚴(yán)格的指標(biāo)mAP@.5:.95提高了5.6個(gè)百分點(diǎn)，作為改進(jìn)，比MoCo v2的預(yù)訓(xùn)練權(quán)重分別提高了1.2個(gè)百分點(diǎn)和2.8個(gè)百分點(diǎn)。證明了使用對(duì)比學(xué)習(xí)中編碼器得到的預(yù)訓(xùn)練權(quán)重可以對(duì)目標(biāo)檢測(cè)任務(wù)的性能起到提高的作用，也證明了改進(jìn)的MoCo v2中對(duì)于遙感圖像的檢測(cè)是有效果的。

表4 在TGRS數(shù)據(jù)集上的下游檢測(cè)任務(wù)微調(diào)的結(jié)果

遙感圖像檢測(cè)實(shí)驗(yàn)還使用了其他一些之前不同方法的骨干網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重作為固定值參與訓(xùn)練，和改進(jìn)的MoCo v2一起比較。每一次訓(xùn)練都是100輪，用時(shí)12.6 h。結(jié)果如表5所示，雖然在對(duì)比學(xué)習(xí)的分類任務(wù)中基于聚類方法的SwAV表現(xiàn)最好，但是在目標(biāo)檢測(cè)中像素級(jí)別的分類和回歸的要求更高，基于負(fù)例的對(duì)比學(xué)習(xí)在檢測(cè)方面的任務(wù)遷移時(shí)表現(xiàn)更好。使用改進(jìn)的MoCo v2預(yù)訓(xùn)練權(quán)重的mAP@0.5比SwAV的高了1.1個(gè)百分點(diǎn)，mAP@.5:.95提高了2.8個(gè)百分點(diǎn)，改進(jìn)的模型取得了最好的表現(xiàn)，證明了改進(jìn)MoCo v2模型的通用性和魯棒性。

表5 不同方法在TGRS數(shù)據(jù)集上的檢測(cè)結(jié)果對(duì)比

下一步進(jìn)行了停車場(chǎng)類別上的檢測(cè)，在TGRS- HRRSD數(shù)據(jù)集上使用的每種方法對(duì)于不同種類的檢測(cè)精度都是停車場(chǎng)的檢測(cè)精度最低。表6是各種方法在停車場(chǎng)上的表現(xiàn)，圖8對(duì)比了使用改進(jìn)的MoCo v2預(yù)訓(xùn)練權(quán)重與不使用預(yù)訓(xùn)練權(quán)重在停車場(chǎng)上的檢測(cè)結(jié)果。圖8(a)和圖8(c)中使用了改進(jìn)的MoCo v2的預(yù)訓(xùn)練權(quán)重檢測(cè)效果會(huì)更好，證明了對(duì)比學(xué)習(xí)對(duì)于目標(biāo)檢測(cè)任務(wù)的幫助作用。

表6 不同方法檢測(cè)停車場(chǎng)的結(jié)果對(duì)比

(a) (b) (c)圖8 在TGRS-HRRSD數(shù)據(jù)集的停車場(chǎng)類別的目標(biāo)檢測(cè)結(jié)果對(duì)比

最后為了進(jìn)一步驗(yàn)證改進(jìn)模型的通用性，在RSOD遙感數(shù)據(jù)集[35]上進(jìn)行目標(biāo)檢測(cè)實(shí)驗(yàn)。RSOD數(shù)據(jù)集包含4種分類，共976張衛(wèi)星遙感圖像。模型骨干網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重設(shè)置為在AID數(shù)據(jù)集上微調(diào)過(guò)的MoCo v2和改進(jìn)的MoCo v2相同，結(jié)果與骨干網(wǎng)絡(luò)參與迭代做對(duì)比，迭代輪數(shù)都設(shè)置為100。結(jié)果如表7所示，使用微調(diào)過(guò)改進(jìn)的MoCo v2的預(yù)訓(xùn)練權(quán)重取得了最好的表現(xiàn)，體現(xiàn)了模型的先進(jìn)性。

表7 在RSOD數(shù)據(jù)集上的下游檢測(cè)任務(wù)微調(diào)的結(jié)果

為了體現(xiàn)基于無(wú)監(jiān)督對(duì)比學(xué)習(xí)的先進(jìn)性，選擇幾種流行的或性能優(yōu)越的目標(biāo)檢測(cè)方法在TGRS-HRRSD數(shù)據(jù)集上進(jìn)行對(duì)比，對(duì)比結(jié)果如表8所示，基于改進(jìn)的MoCo v2的YOLOv5取得了最好的表現(xiàn)。

表8 在TGRS數(shù)據(jù)集上的不同算法的目標(biāo)檢測(cè)精度

4 結(jié)束語(yǔ)

針對(duì)衛(wèi)星遙感圖像中存在的標(biāo)注標(biāo)準(zhǔn)不統(tǒng)一，大小目標(biāo)占圖比例差距過(guò)大的問(wèn)題，本文提出了一種改進(jìn)的MoCo v2基于無(wú)監(jiān)督對(duì)比學(xué)習(xí)方法，將對(duì)比學(xué)習(xí)中的提取特征的網(wǎng)絡(luò)遷移到目標(biāo)檢測(cè)任務(wù)中。對(duì)于對(duì)比學(xué)習(xí)中數(shù)據(jù)增強(qiáng)做出了改進(jìn)，并對(duì)編碼器加入了局部的通道注意力機(jī)制，增強(qiáng)了提取特征，在一定程度上幫助模型識(shí)別和分類小目標(biāo)和相似目標(biāo)。遷移預(yù)訓(xùn)練權(quán)重時(shí)，將YOLOv5的骨干網(wǎng)絡(luò)更換為改進(jìn)的MoCo v2的編碼器。無(wú)監(jiān)督對(duì)比學(xué)習(xí)的方法不僅能夠解決遙感圖像中標(biāo)簽標(biāo)注時(shí)的標(biāo)準(zhǔn)不統(tǒng)一的問(wèn)題，而且也能夠提高對(duì)遙感圖像檢測(cè)的精度。實(shí)驗(yàn)結(jié)果表明在TGRS數(shù)據(jù)集上的mAP@.5:.95最高達(dá)到了67.8%，利用無(wú)監(jiān)督對(duì)比學(xué)習(xí)方法得到的權(quán)重可以提高下游檢測(cè)任務(wù)的表現(xiàn)。同時(shí)使用YOLOv5作為目標(biāo)檢測(cè)的框架，保持了檢測(cè)精度、速度的優(yōu)點(diǎn)，與其他的常用檢測(cè)模型相比，該網(wǎng)絡(luò)具有良好的通用性，當(dāng)對(duì)比學(xué)習(xí)中的編碼器部分做出了改進(jìn)，很方便地能夠把相同的改動(dòng)應(yīng)用到Y(jié)OLOv5的骨干網(wǎng)絡(luò)，遷移的訓(xùn)練方法也能夠加快整體網(wǎng)絡(luò)訓(xùn)練的速度。在未來(lái)，也可以繼續(xù)對(duì)無(wú)監(jiān)督對(duì)比學(xué)習(xí)改進(jìn)，一方面可以更加正確地做數(shù)據(jù)增強(qiáng)，構(gòu)造有難度的正例，增強(qiáng)模型的表示學(xué)習(xí)能力，另一方面針對(duì)下游檢測(cè)、分割任務(wù)的像素級(jí)別的任務(wù)時(shí)，可以提高像素級(jí)別的細(xì)節(jié)學(xué)習(xí)能力。