姚俞成，李旭，徐啟敏，孔棟

東南大學(xué) 儀器科學(xué)與工程學(xué)院，南京 210016

近年來，搭載視覺傳感器的無人機在智能交通系統(tǒng)領(lǐng)域已成為一種重要工具，相較于傳統(tǒng)載體，無人機成本更低，靈活的可部署性使其受到的空間環(huán)境因素制約較少，能快速適配不同任務(wù)需求開展數(shù)據(jù)收集［1］，且無人機航拍可提供更廣的視角，進而可為智能化交通監(jiān)管提供更豐富多樣的數(shù)據(jù)來源。隨著交通狀況的愈加復(fù)雜，基于航拍視角的車輛實例分割技術(shù)是當(dāng)下無人機應(yīng)用于智能交通監(jiān)管領(lǐng)域的研究熱點，對推動智能交通系統(tǒng)的構(gòu)建與發(fā)展具有重要意義。基于航拍視角的車輛實例分割不僅包含車輛個體層面的位置信息，還實現(xiàn)了對車輛像素級的分割，即實例分割技術(shù)同時完成了目標(biāo)檢測和語義分割目的的更高層級的任務(wù)［2］。此外，實例分割可以很好地抑制車輛外的背景像素，以便于智能交通系統(tǒng)后續(xù)的高層復(fù)雜視覺任務(wù)（例如車輛重識別、語義地圖制作等）的應(yīng)用。

概括地講，航拍視角下的車輛實例分割算法主要遵循2 種路線，一是基于語義分割網(wǎng)絡(luò)自下而上的路線，二是基于目標(biāo)檢測網(wǎng)絡(luò)自上而下的路線。

1）基于語義分割網(wǎng)絡(luò)的方法

基于語義分割網(wǎng)絡(luò)的方法一般遵循先分割后檢測的范式，首先對圖像進行像素級的分割，再使用聚類等方法區(qū)分不同的實例，得到實例掩碼。Mou 和Zhu［3］提出一種基于邊界的語義分割多任務(wù)學(xué)習(xí)模型，將車輛實例分割劃分成車輛區(qū)域語義分割和邊界語義檢測2 個子任務(wù)，利用邊界語義檢測子網(wǎng)絡(luò)輔助車輛區(qū)域語義分割子網(wǎng)絡(luò)以區(qū)分不同車輛實例，并在BPL［3］數(shù)據(jù)集上取得了初步的實例分割效果。Ammour 等［4］則提出了一種結(jié)合了圖像分割算法和深度學(xué)習(xí)算法的車輛實例分割方法，首先用均值漂移聚類算法分割出不同尺寸的同質(zhì)區(qū)域，其次使用預(yù)訓(xùn)練的VGG［5］網(wǎng)絡(luò)提取每個區(qū)域內(nèi)的圖像特征，然后使用支持向量機SVM 將像素分類為“車”和“非車”，最后進行區(qū)域平滑和合并，該方法由于主要使用了機器學(xué)習(xí)的聚類方法和層數(shù)較少的深度學(xué)習(xí)網(wǎng)絡(luò)，因此對訓(xùn)練數(shù)據(jù)依賴較小，推理時間也較低。Audebert 等［6］將實例分割分為3 個步驟，首先是使用SegNet［7］對無人機圖像進行語義分割，其次使用圖形學(xué)開運算腐蝕車輛掩碼以區(qū)分不同車輛實例，最后使用預(yù)訓(xùn)練的分類網(wǎng)絡(luò)VGG-16 對每個掩碼進行分類。基于語義分割網(wǎng)絡(luò)的方法一般依賴于車輛尺度等先驗信息，僅僅適用于高度固定的垂直視角的航拍圖像，一旦高度變化或視角傾斜，會導(dǎo)致精準(zhǔn)度顯著降低，泛化性能差，且后處理步驟較為繁瑣，難以實現(xiàn)端到端訓(xùn)練。

2）基于目標(biāo)檢測網(wǎng)絡(luò)的方法

基于目標(biāo)檢測網(wǎng)絡(luò)的方法則一般先通過目標(biāo)檢測定位出包含每個實例的檢測框，再在檢測框內(nèi)部分割出每個實例掩碼?；谀繕?biāo)檢測網(wǎng)絡(luò)的實例分割方法可以分為一階段方法、二階段方法和多階段方法。對于一階段方法，YOLACT［8］將實例分割任務(wù)劃分為2 個子任務(wù)：一個分支負(fù)責(zé)生成一系列原型掩碼另一個分支負(fù)責(zé)針對每個實例預(yù)測其掩碼系數(shù)。CondInst［9］在YOLACT 基礎(chǔ)上引入對相對位置信息較為敏感的條件卷積提升了預(yù)測效果。FB-ISNet［10］在CondInst 基礎(chǔ)上進行改進，將深度聚合網(wǎng)絡(luò)DLA［11］作為骨干網(wǎng)絡(luò)，同時將雙向特征金字塔BiFPN［12］引入CondInst 從而實現(xiàn)多尺度特征融合，將其應(yīng)用在了遙感圖像實例分割領(lǐng)域。一階段網(wǎng)絡(luò)結(jié)構(gòu)簡潔，去除了候選框提取網(wǎng)絡(luò)，因此效率較高，但由于原型掩碼分支使用的特征圖分辨率較低，因此整體精度較低。對于二階段方法，Mask R-CNN［13］在目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN 的基礎(chǔ)上增加掩碼分支實現(xiàn)了實例分割。受目標(biāo)檢測中旋轉(zhuǎn)檢測框的啟發(fā)，Mask OBB［14］將旋轉(zhuǎn)矩形框的回歸問題轉(zhuǎn)換成像素級分類問題以消除旋轉(zhuǎn)矩形框定義的模糊性，提出了用于增強特征提取的特征橫向連接網(wǎng)絡(luò)和用于提供語義特征的語義注意力網(wǎng)絡(luò)，從而使掩碼分割分支能更有效地區(qū)分前景和背景。同樣受旋轉(zhuǎn)檢測框啟發(fā)，Pan 等［15］提出了旋轉(zhuǎn)候選框方法，在RoI 模塊后增加一個旋轉(zhuǎn)RoI 匹配模塊，以有監(jiān)督地將水平檢測框轉(zhuǎn)換成旋轉(zhuǎn)檢測框。為了避免RoI 池化中的量化操作，Hu 等［16］使用精確RoI 池化在池化過程中采用雙線性插值以避免量化操作，并自適應(yīng)地學(xué)習(xí)池化子區(qū)域的個數(shù)，從而使候選框更加精確，Zhang等［17］則使用多尺度自適應(yīng)融合模塊和區(qū)域注意力模塊對Mask R-CNN 進行改進，同時提出了UVSD 航拍車輛實例分割數(shù)據(jù)集。二階段網(wǎng)絡(luò)由于候選框提取網(wǎng)絡(luò)去除了大量背景，所以掩碼分支簡單易學(xué)，且對于小目標(biāo)檢測效果較好，整體精度較高，是應(yīng)用最為廣泛的網(wǎng)絡(luò)類型。對于多階段方法，Cascade Mask R-CNN［18］通過分別級聯(lián)多個檢測框分支和多個掩碼分支，實現(xiàn)了高精度的實例分割。HTC［19］在Cascade Mask RCNN 的基礎(chǔ)上進行改進，將檢測任務(wù)和分割任務(wù)進行交互并融入語義分割分支提高預(yù)測效果。HQ-ISNet［20］則基于Cascade Mask R-CNN 對特征金字塔和掩碼分支進行改進并應(yīng)用于遙感圖像。多階段網(wǎng)絡(luò)基于逐階段精細(xì)化預(yù)測的思想，對二階段網(wǎng)絡(luò)在精度上有了進一步提高，但由于其級聯(lián)多個分支的特性，網(wǎng)絡(luò)參數(shù)量和計算量都較大。

綜上，基于目標(biāo)檢測的方法分割精度相對較高，支持端到端訓(xùn)練，部署方便且泛化性更好，是當(dāng)前實例分割的主流方法。然而，當(dāng)前基于目標(biāo)檢測網(wǎng)絡(luò)的實例分割方法大都面向通用目標(biāo)或垂直視角的遙感圖像場景，難以適應(yīng)車輛分布密集、車輛遮擋多、車輛尺度變化大的航拍車輛實例分割任務(wù)。

針對以上問題，本文提出了一種基于特征增強和校準(zhǔn)的航拍車輛實例分割方法，其主要創(chuàng)新點如下：

1）本文提出一種多尺度語義增強模塊（MSEM），充分利用骨干網(wǎng)絡(luò)中的高層語義特征，通過多個空洞卷積塊，實現(xiàn)對特征的多次重用，實現(xiàn)對多尺度語義特征的融合，最后將融合特征輸入空間注意力模塊，抑制冗余信息，增強特征表達。MSEM 可以應(yīng)對航拍車輛實例分割中車輛尺度變化大的問題，提高不同尺度車輛預(yù)測效果。

2）本文提出一種全局-局部特征校準(zhǔn)模塊（GLFCM），其子模塊全局特征校準(zhǔn)模塊（Global Feature Calibration Module，GFCM）整合特征金字塔中多個尺度的特征，利用通道注意力和自注意力機制學(xué)習(xí)全局特征之間的依賴關(guān)系，實現(xiàn)全局特征的校準(zhǔn)；其子模塊局部特征校準(zhǔn)模塊（Local Feature Calibration Module，LFCM）利用改進的多頭自注意力機制Transformer［21］抑制局部特征中的干擾信息，實現(xiàn)局部特征的校準(zhǔn)。GLFCM 可以充分挖掘全局特征的上下文信息以提高小尺度車輛的預(yù)測效果，同時抑制局部干擾以應(yīng)對車輛的遮擋問題。

1 本文方法

特征金字塔結(jié)構(gòu)是在實例分割網(wǎng)絡(luò)中廣泛應(yīng)用的模型結(jié)構(gòu)，其使用側(cè)向連接的方法，自上而下地將高級的語義特征融合到多個尺度的特征圖中，并輸出多個尺度的特征圖到后續(xù)頭部網(wǎng)絡(luò)進行預(yù)測。在特征融合階段，高層特征會自上而下地將豐富的語義信息逐級融合到低層特征中，但在開始融合前，高層特征經(jīng)過側(cè)向連接，其通道數(shù)會減小為原來的1/4，從而一定程度上造成了語義信息的損失。ThunderNet［22］采用全局平均池化的方法壓縮特征空間信息，利用廣播操作與不同層次的特征相加來抑制語義信息的損失，但使用池化操作融合特征圖會將特征圖壓縮成一維向量，直接丟失了大量空間關(guān)系信息，對于有多目標(biāo)密集分布的航拍圖像并不適用。因此，本文提出多尺度語義增強模塊（Multi-scale Semantic Enhancement Module，MSEM）嵌入特征金字塔結(jié)構(gòu)，其結(jié)構(gòu)如圖1 中MSEM 所示，在不損失空間關(guān)系信息的前提下，MSEM 充分利用高層特征，使用多個空洞卷積密集連接的結(jié)構(gòu)提高其在后續(xù)特征融合階段的多尺度適應(yīng)性，并增加空間注意力結(jié)構(gòu)以捕獲各個子區(qū)域的語義信息依賴關(guān)系。

同時，為了抑制特征圖中的冗余信息，許多研究將注意力模塊添加到特征金字塔結(jié)構(gòu)和頭部網(wǎng)絡(luò)之間以對各通道特征進行重新校準(zhǔn)，然而，這些方法往往只對特征金字塔中各個尺度特征圖分別進行“局部”校準(zhǔn)。無人機視角下的視覺任務(wù)中，全局上下文信息對于各個尺度目標(biāo)的預(yù)測效果都有十分關(guān)鍵的作用，且航拍圖像的分辨率高、噪聲干擾多等特點，因此，為了實現(xiàn)全局多尺度特征之間的信息交互和特征校準(zhǔn)，同時充分抑制局部特征的干擾以提取精確的位置信息，本文提出全局-局部特征校準(zhǔn)模塊（Global-Local Feature Calibration Module，GLFCM），其結(jié)構(gòu)如圖1 中GLFCM 所示。GLFCM 分為2 個部分：全局特征校準(zhǔn)模塊（GFCM）和局部特征校準(zhǔn)模塊（LFCM）。GFCM 主要構(gòu)建全局各層次的特征之間的依賴關(guān)系，LFCM 則使用高效的多頭局部注意力，分別對各個尺度特征進行特征校準(zhǔn)，將特征圖映射到多個獨立的注意力子空間進行學(xué)習(xí)，均衡單個注意力子空間可能產(chǎn)生的注意力偏差，提高單一尺度特征內(nèi)部信息整合的多樣性，同時為了減少參數(shù)量和計算量，本文對注意力模塊進行了線性化。其整體的模型結(jié)構(gòu)如圖1所示。

1.1 多尺度語義增強模塊MSEM

主干網(wǎng)絡(luò)自底向上提取的特征圖為{F2，F(xiàn)3，F(xiàn)4，F(xiàn)5}，其示意如圖2 所示，在特征金字塔網(wǎng)絡(luò)中，通過側(cè)向卷積，生成一組通道數(shù)一致的特征圖{L2，L3，L4，L5}，特征圖通道數(shù)一般都為256，生成的L5會自上而下地逐級與{L4，L3，L2}以直接相加的方式進行特征融合，得到最終輸出{P2，P3，P4，P5}，在自上而下融合過程中，較低層次的特征會從較高層次的特征上獲得更豐富的語義信息，從而具有更豐富的上下文信息表示，但是在特征金字塔自上而下逐級融合的過程中存在2點不足：①轉(zhuǎn)化過程的中間特征L5僅包含單一尺度的特征，多尺度信息不夠豐富。② 在F5→P5的轉(zhuǎn)化過程中，特征通道數(shù)會減少為原來的1/4，存在很大的特征損失；

圖2 主干網(wǎng)絡(luò)提取特征示意圖Fig.2 Features extracted from backbone

因此，針對以上問題，為了在不增加卷積核大小的情況下提取不同尺度的特征，MSEM 模塊使用多個空洞卷積豐富高層語義特征的多尺度信息；為了在不增加額外特征層的情況下融合空洞卷積提取到的特征，MSEM 模塊以密集連接的結(jié)構(gòu)對多尺度特征逐級融合，最終使用一個空間注意力模塊抑制其中部分噪聲，并將融合特征添加到原特征中，以實現(xiàn)特征增強，緩解特征損失的作用。增強特征在后續(xù)與各個尺度特征的融合過程中，為其提供了更豐富的多尺度信息，從而有利于提高其多尺度適應(yīng)性，最終提高其對不同尺度車輛的預(yù)測效果。MSEM 模塊僅對F5進行處理，為研究增加增強特征的數(shù)量對網(wǎng)絡(luò)效果的提升作用，本文增加了相關(guān)對比實驗，實驗結(jié)果及分析見附錄A。MSEM 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

具體地，MSEM 模塊的5 個空洞卷積塊的空洞率分別為｛3，6，9，12，18｝，對于第l個空洞卷積塊，為了適應(yīng)性地融合多個尺度的特征，本文參考DenseNet［23］提出的密集連接結(jié)構(gòu)，同時為了避免語義特征的通道損失，將原始的特征圖和前l(fā)-1 個空洞卷積塊的所有輸出沿通道進行拼接，作為第l個空洞卷積塊的輸入，即

式中：xl為第l個空洞卷積塊輸出的特征圖，Dl為第l個空洞卷積塊。

在卷積塊內(nèi)部，為了控制整個模型的大小，使用通道降維的方法減少內(nèi)部計算量，首先使用卷積核大小為1 的卷積將通道壓縮到512，其次進行組數(shù)為32 的組歸一化，然后使用ReLu 進行激活，之后進行空洞卷積，同時將通道數(shù)再次壓縮到256，然后通過ReLu 激活函數(shù)，最后使用Dropout 操作以提高模型的魯棒性。

DenseNet 的提出主要是為了在減小參數(shù)量的情況下緩解神經(jīng)網(wǎng)絡(luò)加深過程中的梯度消失問題，并增強特征的傳遞和特征重用，將密集連接引入MSEM 模塊主要是為了在減少通道特征的損失的前提下，以一個合理的網(wǎng)絡(luò)結(jié)構(gòu)，融合不同尺度的上下文信息，緩解特征在自上而下傳遞過程中出現(xiàn)的特征尺度不匹配問題，并對特征多次重用，增強特征表達。

盡管通過MSEM 模塊輸出的特征圖融合多尺度的特征，但并非所有位置的特征都是有效的，為了捕捉融合特征中各個子區(qū)域中重要的特征，本文將輸入空間注意力模塊。對于空間注意力模塊，其主要關(guān)注特征中不同位置上的哪些特征更為重要，首先將沿通道方向進行平均池化操作AvgPool(·)得到和最大池化操作MaxPool(·)得到，2 種池化操作可以保留中不同數(shù)值大小的信息，同時壓縮通道減少網(wǎng)絡(luò)參數(shù)量，將得到的壓縮特征圖沿通道拼接后通過一個卷積層conv(·)學(xué)習(xí)特征不同位置的權(quán)重，從而抑制不重要位置的噪聲，強調(diào)重要位置的特征，然后通過一個Sigmoid 激活函數(shù)σ(·)進行激活，最后以殘差連接的方式與得到最終空間注意力特征圖相加得到最終輸出P5，即

經(jīng)過MSEM 模塊輸出的特征P5，中間特征和主干網(wǎng)絡(luò)提取的特征F5的對比如圖4 所示，可以看到相較于F5，不同尺度的信息更加豐富，而經(jīng)過空間注意力模塊輸出的P5相較于保留了各個子區(qū)域中更為重要的信息，抑制了部分噪聲。

圖4 MSEM 模塊中間特征示意圖Fig.4 Intermediate features in MSEM

1.2 全局特征校準(zhǔn)模塊

盡管通過MSEM 將豐富的多尺度語義信息自上而下地逐級進行融合，并且避免了通道特征的損失和特征尺度的不匹配問題。但僅僅依靠自上而下的特征融合，仍然無法從全局角度學(xué)習(xí)到不同特征通道之間的依賴關(guān)系，因此本文提出全局特征校準(zhǔn)模塊（GFCM），由于GFCM 中沒有引入任何降低特征分辨率的下采樣操作，因此可以在不損失信息的同時更充分地對全局特征進行校準(zhǔn)。

式中：Wi∈R1×1×2C×C為卷積層權(quán)重；⊙表示廣播點乘操作；‖表示通道級拼接操作。

至此，各層級特征完成了層級間充分的信息交互和校準(zhǔn)，從而具備了真正意義上的全局信息。GFCM 模塊效果對比如圖5 所示，第1 行為特征金字塔輸出的5 層特征圖，第2 行為GFCM模塊校準(zhǔn)后的5 層特征圖，可以看到校準(zhǔn)后各層級的特征發(fā)生了明顯的信息交互，從而具備較為完整和豐富的全局信息，更有利于提升整體網(wǎng)絡(luò)的預(yù)測效果。

圖5 GFCM 校準(zhǔn)效果圖Fig.5 Calibration effect of GFCM

1.3 局部特征校準(zhǔn)模塊

MSEM 和GFCM 會對各個尺度的特征進行融合并對全局特征重新校準(zhǔn)，使得各個尺度的特征具有跨特征層次的全局上下文信息，這對小目標(biāo)檢測十分有效，但航拍圖像中，背景復(fù)雜，干擾多，而局部特征對抑制干擾，提取精確的位置信息也有非常重要的作用。因此本節(jié)提出一個具有多頭結(jié)構(gòu)的局部特征校準(zhǔn)模塊（LFCM）對GFCM 輸出的每個層次的特征分別進行局部特征校準(zhǔn)，以豐富當(dāng)前尺度特征的局部特征表示，得到局部特征校準(zhǔn)后的特征其網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示。多頭結(jié)構(gòu)將特征圖映射到多個獨立的注意力子空間進行學(xué)習(xí)，其因此注意力模型更容易收斂，Pecoraro 等［25］量化分析了多頭結(jié)構(gòu)在對特征之間的依賴進行建模的過程中，無論從特征關(guān)系的數(shù)量還是參數(shù)維度，其規(guī)模都小于單頭結(jié)構(gòu)，也因此更為高效。同時，LFCM 還結(jié)合了改進的線性自注意力模塊，可以極大減少局部特征提取的計算和空間復(fù)雜度。值得一提的是，多頭結(jié)構(gòu)支持多頭并行計算，因此對比單頭結(jié)構(gòu)并不會增加額外的計算的時間。

圖6 LFCM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Network structure of LFCM

接下來，需要將局部特征映射到多個子空間，具體地，設(shè)局部特征頭數(shù)為n∈N+，將Q、K、V按通道方向切分成n份并轉(zhuǎn)換成二維張量，對于第h個頭，得到其輸入(Qh、Kh、Vh)

接著在每個頭內(nèi)部，對Qh、Kh、Vh使用自注意力機制Transformer 進行自注意力運算即可。然而，Transformer 模塊具有極高的計算復(fù)雜度和空間復(fù)雜度，具體來說，對于第h個頭內(nèi)部的Transformer 模塊A(·) 可以定義為輸入是Qh、Kh、Vh矩陣的計算局部自注意力矩陣Mh∈RHW×C/n的函數(shù)，其輸出Mh可以表示為

式中：sim(qi，kj)為計算Qh矩陣通道i的特征qi∈R1×C/n與Kh矩陣通道j的特征kj∈R1×C/n的相似度函數(shù)，普遍方法是使用即整體結(jié)構(gòu)變成矩陣點積函數(shù)與Softmax 歸一化函數(shù)的結(jié)合。值得注意的是，Softmax 操作具有2 種非常重要的性質(zhì)：①Softmax 可以保證注意力矩陣的非負(fù)性；② Softmax 以一種非線性重加權(quán)機制使注意力特征分布在訓(xùn)練過程中保持穩(wěn)定。但是Softmax 操作與特征圖大小的平方（H2W2）正相關(guān)，計算Mh的時間復(fù)雜度達到O(H2W2C/n)，空間復(fù)雜度達到O(H2W2)，在航拍圖像中這樣的高分辨率是無法容忍的。為了將時間和空間復(fù)雜度降低到線性，一些學(xué)者將sim(qi，kj)推廣到核函數(shù)的形式［26］，去掉Softmax歸一化形式，式（10）可以重寫成

式中：?(·)表示一種核函數(shù)，意在將qi、kj映射到核函數(shù)定義的核空間，其相似度就可以以核空間向量的內(nèi)積進行度量，此時Transformer 的時間和空間復(fù)雜度就有了線性化的可能，由矩陣乘法的結(jié)合律可知

因此，可以將式（11）進一步化簡，得到

此時 Transformer 的時間復(fù)雜度為O(HW(C/n)2)，空間復(fù)雜度為O((C/n)2)，對于圖像的特征圖來說通常有HW?C/n，因此這對于時間空間復(fù)雜度是極大的優(yōu)化。例如Katharopoulos 等［27］就選擇?(·)=elu(·)+1 作為核函數(shù)。

受NLP 領(lǐng)域中cosFormer［28］及其對比實驗的啟發(fā)，為了保證注意力矩陣的非負(fù)性，同時抑制負(fù)相關(guān)信息的干擾，本文選擇ReLU(·)作為核函數(shù)?(·)嵌入Transformer 模塊從而有效避免負(fù)注意力值的出現(xiàn)，代入式（13），得到

在原始的cosFormer 中，為了增強對局部特征的學(xué)習(xí)，減弱過遠的距離的信息關(guān)聯(lián)，采用了余弦分解的方法進行權(quán)值平衡，但該方法主要針對一維信息，不適用于航拍圖像等二維信息，且在視覺任務(wù)中，卷積網(wǎng)絡(luò)本身也具有較強的局部性，因此本文沒有使用原cosFormer 中的權(quán)值平衡后處理方法。

線性化注意力模塊可以即插即用地嵌入網(wǎng)絡(luò)模型，易于部署和實現(xiàn)，并以較低的時間和空間代價提高模型的局部特征表示能力。在本文的多頭模型中，每個頭內(nèi)部都獨立部署了本節(jié)的線性化注意力模塊。

經(jīng)過LFCM 之后得到第h個頭的輸出Mh∈RHW×C/n，將n個頭的輸出轉(zhuǎn)化為三維張量，并在沿通道進行拼接，得到整體的輸出

不同LFCM 校準(zhǔn)效果對比如圖7 所示，第1 行為GFCM 模塊輸出的5 層待校準(zhǔn)特征圖，第2、3 行分別為原始Transformer 構(gòu)成的LFCM 模塊和線性Transformer 構(gòu)成的LFCM 模塊進行局部特征校準(zhǔn)后輸出的5 層特征圖，可以看到2 種LFCM 對每個層次的局部特征中的噪聲均具有一定抑制作用，輸出的各層次特征具有更精確的位置信息。線性LFCM 模塊在分辨率較低的對噪聲抑制較好，這會使得其在預(yù)測相對較大尺度的車輛時表現(xiàn)更好，但在分辨率較高的其特征卻不如顯著，這可能會一定程度上降低整體網(wǎng)絡(luò)在預(yù)測小尺度車輛時的精度。

圖7 不同LFCM 校準(zhǔn)效果對比圖Fig.7 Comparison of calibration effects of different LFCMs

2 實驗與分析

2.1 數(shù)據(jù)集與實驗設(shè)置

采用具有挑戰(zhàn)性的航拍車輛實例分割數(shù)據(jù)集UVSD［17］進行廣泛的實驗驗證，UVSD 包括城市道路、郊區(qū)、停車場、高速公路等場景的數(shù)據(jù)，其數(shù)據(jù)具有多視角、尺度變化大、有局部遮擋、分布密集、光照變化大等特點，其中包含5 874 張4K 圖片共98 600 個高質(zhì)量實例級標(biāo)注的車輛，平均每張圖片車輛數(shù)高達150 輛。該車輛實例分割數(shù)據(jù)集的主要難點在于：①車輛分布密集，車輛或其他物體如路燈、樹木等會對車輛實例形成遮擋。② 無人機拍攝角度和飛行高度變化大，數(shù)據(jù)包含垂直拍攝視角和傾斜拍攝視角，飛行高度覆蓋10～150 m，車輛實例的尺寸變化較大，包含了許多小目標(biāo)。③場景光照變化大，包含夜晚，強光直射，且通過圖像處理手段對數(shù)據(jù)的亮度、對比度進行調(diào)整，還增加了很多干擾噪聲和模糊處理。依照基準(zhǔn)實驗的配置，使用3 564 張圖片作為訓(xùn)練集，585 張圖片作為驗證集，1 725 張圖片作為測試集。

數(shù)據(jù)集的標(biāo)注信息被轉(zhuǎn)化成COCO 格式，因此也采用COCO 標(biāo)準(zhǔn)作為評價標(biāo)準(zhǔn)，網(wǎng)絡(luò)的有效性可以使用所有類別平均精度的均值mAP（mean Average Precision）體現(xiàn)，由于車輛實例分割任務(wù)只包含一個類別，因此mAP 等價于AP（Average Precision）。根據(jù)COCO 標(biāo)準(zhǔn)，AP50表示交并比IoU 閾值為0.5 時的平均精度，AP75表示交并比IoU 閾值為0.75 時的平均精度，而AP為交并比IoU 閾值t從0.5～0.95 之間的10 個閾值的平均精度的均值，即

APs、APm、APl分別表示對于小目標(biāo)（面積＜322像素）、中目標(biāo)（322像素＜面積＜962像素）、大目標(biāo)（面積＞962像素）的平均精度。由于實例分割包含檢測和分割2 個任務(wù)，因此AP 還具體分為APbbox和APmask，分別表示檢測框和分割掩膜的平均精度。網(wǎng)絡(luò)復(fù)雜度具體評估指標(biāo)為模型參數(shù)量Params（Parameters）用于衡量模型內(nèi)存資源的消耗，每秒浮點運算次數(shù)FLOPs（FLoatingpoint Operations Per second）用于衡量模型的計算復(fù)雜度。

實驗設(shè)置方面，本文使用的實驗平臺搭載Intel 至強E5 系列CPU，128 GB 內(nèi)存，并在NVIDIA RTX 3090 GPU 上進行單卡訓(xùn)練。在不改變圖像比例的情況下，所有原始圖像都被處理成1 333×H或W×800 的大小。訓(xùn)練過程中，為了對比公平性，所有超參數(shù)設(shè)置都保證嚴(yán)格一致，批大小Batchsize 設(shè)置為4，訓(xùn)練時間為1×12 epochs 周期，使用隨機梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器進行學(xué)習(xí)率優(yōu)化，其中初始學(xué)習(xí)率設(shè)置為0.002，權(quán)重衰減設(shè)置為0.000 1，動量設(shè)置為0.9，整個訓(xùn)練和測試過程中沒有引入如多尺度輸入、剪切翻轉(zhuǎn)、噪聲等任何數(shù)據(jù)增強操作。

2.2 不同實例分割方法對比

由于MSEM 和GLFCM 可以應(yīng)用于任何基于特征金字塔結(jié)構(gòu)的網(wǎng)絡(luò)，因此本文選取了一階段實例分割代表性的網(wǎng)絡(luò)YOLACT，二階段實例分割代表性網(wǎng)絡(luò)Mask R-CNN 與多階段實例分割代表性的網(wǎng)絡(luò)Cascade Mask R-CNN 作為基線網(wǎng)絡(luò)，分別加入MSEM 和GLFCM 以驗證本文方法有效性。各個模型采用的骨干網(wǎng)絡(luò)均為ResNet-50，且使用ImageNet-1K 上訓(xùn)練的預(yù)訓(xùn)練權(quán)重，基于各類代表性網(wǎng)絡(luò)的效果對比如表1所示。

表1 基于各類代表性網(wǎng)絡(luò)的效果對比Table 1 Comparisons based on different representative networks

對于YOLACT，添加本文模型之后整體APmask提升了5.1%，APbbox提升了1.8%，由于一階段網(wǎng)絡(luò)直接生成全局掩膜而沒有經(jīng)過局部區(qū)域的裁剪和RoI Align 的過程，因此對于小目標(biāo)的檢測效果總體不佳，盡管如此，得益于高層語義信息的充分利用依然取得了2%的提升，而分割方面，為了減少計算量，YOLACT 對輸入圖像進行了壓縮，導(dǎo)致原型掩碼預(yù)測分支采用的特征圖分辨率還不足輸入圖像的1/8，因此對于小目標(biāo)的分割效果較差僅有5%左右。而對于中尺度，大尺度車輛的檢測和分割效果均有一定提升，其中大尺度車輛提升最大，提升了7.3%提升了2.2%，這主要得益于本文網(wǎng)絡(luò)充分抑制了特征圖中的背景干擾和冗余信息，因此在YOLACT 的原型掩碼預(yù)測分支中各個原型掩碼粒度更細(xì)、耦合更少，進而提高了原型掩碼的表達能力。

對于Mask R-CNN，添加本文模型之后整體APmask、APbbox分別達到了82.2%和83.7%，效果較好，相較于基線網(wǎng)絡(luò)分別提升了2.9% 和3.1%，在各尺度車輛的檢測和分割都取得了較大提高，對于網(wǎng)絡(luò)各個模塊的實驗分析具體可見2.3 節(jié)。值得一提的是，相較于多階段實例分割代表性網(wǎng)絡(luò)Cascade Mask R-CNN，在參數(shù)量減少18M，每秒浮點操作數(shù)減少84.16G 的情況下，APmask高出了0.7%，對于小尺度車輛的檢測和分割精度均高出了2%，充分驗證了本文網(wǎng)絡(luò)對全局語義信息利用的充分性。

對于Cascade Mask R-CNN，其通過級聯(lián)多個階段的檢測頭，逐步增加IoU 閾值，相較于二階段網(wǎng)絡(luò)大大提升了檢測精度，盡管如此，得益于本文網(wǎng)絡(luò)對高層語義特征的充分利用和對全局特征、局部特征的重新校準(zhǔn)，多階段網(wǎng)絡(luò)添加本文模型之后整體APmask、APbbox依然分別提升了1.6%和1.5%，對于小尺度和中尺度車輛效果最為明顯分別提升了3.7% 和3.8%，分別提升了2.7%和2.9%。

模型效率方面，本文模型對于所有網(wǎng)絡(luò)均會增加約15M 的參數(shù)量和約46.61G 的少量每秒浮點操作數(shù)，卻得到了較大的精度提升。

為驗證本文方法相較于其他針對遮擋、小目標(biāo)問題的先進實例分割方法的優(yōu)越性，本文選取了SOLO［29］、QueryInst［30］、MSOA-Net［17］、PointRend［31］、DetectoRS［32］與本文基于Mask RCNN改進的方法進行對比，實驗結(jié)果如表2 所示。綜合來看，本文方法在整體和各個尺度的APmask均取得了最優(yōu)效果。具體地說，APmask相較最先進的DetectoRS 提高了0.5%，對于小尺度車輛目標(biāo)的預(yù)測效果尤其突出相較最先進的DetectoRS 分別提高了1.3% 和1.4%。此外，在目標(biāo)檢測方面，本文方法的和指標(biāo)僅僅稍低于DetectoRS，這主要是由于DetectoRS 是一個模型復(fù)雜度較高的多階段網(wǎng)絡(luò)，在檢測方面具有一定優(yōu)勢，但其參數(shù)量相較于本文方法增加了75.5M，F(xiàn)LOPs 增加了132.65G。

表2 不同先進方法的對比實驗結(jié)果Table 2 Comparisons of experimental results with different state-of-the-art methods

實驗結(jié)果證明，本文模型從減少高層語義特征損失，提高其語義特征的多尺度適應(yīng)性，對全局特征和局部特征進行特征校準(zhǔn)，抑制冗余信息干擾等角度，在增加一定參數(shù)量和少量的計算量的前提下，提高了基于特征金字塔結(jié)構(gòu)的網(wǎng)絡(luò)的目標(biāo)檢測與實例分割性能，且本文模型適用于添加到多種一階段、二階段、多階段實例分割網(wǎng)絡(luò)中。對比其他先進的實例分割方法，本文方法在預(yù)測精度和模型復(fù)雜度之間取得了較好的平衡，即以更小的模型規(guī)模和計算代價在實例分割任務(wù)中取得了最好的精度，其中小尺度車輛的檢測和分割效果最為突出。

2.3 消融實驗

為了驗證本文方法各個子結(jié)構(gòu)對整體網(wǎng)絡(luò)的貢獻，本節(jié)對MSEM 和GLFCM 模塊進行消融實驗，同時將本文使用的線性Transformer 結(jié)構(gòu)與原始Transformer 結(jié)構(gòu)進行對比。由于一階段網(wǎng)絡(luò)YOLACT 精度較低而多階段網(wǎng)絡(luò)Cascade Mask R-CNN 參數(shù)量和計算量過高，因此選擇模型復(fù)雜度較為適中，預(yù)測精度較高的Mask R-CNN 作為基線網(wǎng)絡(luò)進行消融實驗，所有實驗的骨干網(wǎng)絡(luò)均為ResNet-50，消融實驗的實驗設(shè)置與2.2 節(jié)保持一致。

從表3 可知，對于MSEM 模塊，其主要作用是減少高層語義特征的通道特征的損失，同時解決與低層次特征融合的過程中的尺度不匹配問題，根據(jù)表3，可以發(fā)現(xiàn)添加MSEM 后的網(wǎng)絡(luò)相比于基線網(wǎng)絡(luò)，APmask提升了0.8%，APbbox提升了0.9%，對于小尺度、中尺度、大尺度車輛的分割和檢測效果均有較大的提升。在特征金字塔結(jié)構(gòu)中，由于MSEM 的輸入是骨干網(wǎng)絡(luò)最高層的特征，并且沒有引入任何通道壓縮操作，因此減少了高層語義特征的通道特征損失，而多尺度空洞卷積與密集連接結(jié)構(gòu)則增強了語義特征的尺度適應(yīng)性與特征表達能力，這也是所有尺度車輛的檢測和分割效果都有提升的原因，其中小尺度和中尺度車輛效果提升最為明顯，小尺度的檢測和分割效果分別提升了1.4%和0.3%，中尺度的檢測分割效果分別提升了1.6%和1.2%。模型效率方面，由于引入了密集連接結(jié)構(gòu)，參數(shù)量增加了12.95M，F(xiàn)LOPs 增加了12.96G。

表3 本文方法中各模塊的消融實驗Table 3 Ablation studies of each component in our methods

為了量化評估MSEM 中密集連接的多個空洞卷積模塊和空間注意力模塊對網(wǎng)絡(luò)的貢獻，本文對這2 個子模塊進行了消融實驗，實驗結(jié)果如表4 所示。從表4 中可知，僅在MSEM 模塊中使用空間注意力模塊，模型的參數(shù)量增加了0.2M，F(xiàn)LOPs 增加了0.2G，同時該模塊對檢測和分割效果提升較小，這是由于空間注意力模塊僅僅起到抑制噪聲的作用，并沒有引入新的信息，沒有起到特征增強的作用。僅在MSEM 模塊中使用空洞卷積模塊會使得模型的參數(shù)量增加12.8M，F(xiàn)LOPs 增加12.8G，同時整體APmask和APbbox分別提升了0.5%和0.7%，小尺度車輛和中尺度車輛的檢測和分割效果均有較大的提升和分別提升了1.0% 和1.2%，和分別提升了0.7%和1.2%，這是因為空洞卷積模塊可以增強高層語義特征的多尺度信息，這對于提升小中尺度車輛的檢測和分割十分重要。同時使用空洞卷積模塊和空間注意力模塊會使模型的參數(shù)量增加13.0M，F(xiàn)LOPs 增加13.0G，相比于僅使用空洞卷積模塊，模型復(fù)雜度幾乎沒有增加，但各個尺度車輛的檢測和分割精度有了進一步的提升，這是因為增加的空間注意力模塊抑制了增強特征中的噪聲，從而保證了多尺度信息的準(zhǔn)確性。

表4 MSEM 模塊的消融實驗Table4 Ablation studies of each component in MSEM

對于GLFCM 模塊，其主要作用是對全局各個尺度的特征進行重新校準(zhǔn)，學(xué)習(xí)全局特征之間的依賴關(guān)系，并采用多頭結(jié)構(gòu)的自注意力機制抑制局部特征的中復(fù)雜背景的干擾，分而治之地提高各個層次的特征圖的表征能力。為了驗證本文線性Transformer 能夠在保持與原始Transformer 相近的預(yù)測精度的同時，降低模型的參數(shù)量和計算量，還增加了與原始Transformer 的對比。根據(jù)表3 可以發(fā)現(xiàn)在基線網(wǎng)絡(luò)上添加使用原始Transformer 的GLFCM 模塊，APmask提升了2.3%，APbbox提升了2.2%，添加使用線性Transformer 的GLFCM 模塊，APmask提升了2.2%，APbbox提升了2.4%，其中原始Transformer 極大地提高了小尺度車輛的檢測（+4.7%）和分割（+3.9%）精度，而線性Transformer 在中尺度和大尺度車輛的檢測和分割方面則有更好的表現(xiàn)，其APmask與原始Transformer 差距較小，APbbox甚至提升了0.2%。模型效率方面，使用原始Transformer 的GLFCM 模塊參數(shù)量增加了2.36M，由于Softmax 中存在大規(guī)模的矩陣運算，F(xiàn)LOPs 增加了201.26G，而進行線性化之后，參數(shù)量減少了0.19M，F(xiàn)LOPs 減少了167.61G。從實驗中可以看出，無論是使用原始Transformer 還是線性Transformer，都能夠極大地提升小尺度車輛的檢測和分割效果，同時中尺度和大尺度車輛也有較大提升，線性化Transformer會導(dǎo)致小尺度車輛的檢測和分割精度稍有下降，在特征金字塔之后，候選框提取網(wǎng)絡(luò)之前加入GLFCM 模塊可以幫助模型更好地學(xué)習(xí)不同尺度特征之間的依賴關(guān)系并抑制干擾，從而獲得更豐富的特征表征。

將 MSEM 和不同 Transformer 類型的GLFCM 模塊加入基線網(wǎng)絡(luò)，根據(jù)表3，可以發(fā)現(xiàn)，使用線性Transformer 的模型在APmask、APbbox均取得了最佳精度，相較基線網(wǎng)絡(luò)分別提升了2.9%和2.2%，在各尺度車輛的檢測和分割都取得了較大提高，其中提升了5.5%提升了3.6%提升了1.3%提升了1.9%，提升了2.4%提升了1.7%。而使用原始Transformer 的模型，在小尺度車輛的檢測和分割上表現(xiàn)要更好，相較基線網(wǎng)絡(luò)提高了2.3%提高了5.8%。模型效率方面，使用線性Transformer 的模型增加了15.05M 的參數(shù)量和46.61G 的FLOPs，相較于使用原始Transformer 的模型，在總體精度稍高，小尺度車輛檢測和分割精度稍有下降的前提下，減少了一定的參數(shù)量和大量的FLOPs，因此MSEM 加上線性GLFCM 的結(jié)構(gòu)為本文最終采用的模型。

實驗結(jié)果表明，MSEM 模塊添加到特征金字塔結(jié)構(gòu)中能有效減少高層語義特征的損失，同時提高語義特征的多尺度適應(yīng)性，在各個尺度車輛的檢測和分割都取得了提升，GLFCM 模塊則可以對全局各個尺度的特征進行重新校準(zhǔn)，并采用多頭結(jié)構(gòu)的自注意力機制抑制局部特征的中復(fù)雜背景的干擾，進一步提高了各尺度車輛的檢測和分割效果，其中，中尺度和小尺度車輛效果提升最為明顯，對GLFCM 模塊中的Transformer模塊進行線性化之后，網(wǎng)絡(luò)效果沒有明顯降低的同時減少了網(wǎng)絡(luò)一定參數(shù)量和大量的計算量。

2.4 算法有效性分析

由于二階段網(wǎng)絡(luò)Mask R-CNN 精度遠高于一階段網(wǎng)絡(luò)YOLACT，且在參數(shù)量和計算量遠少于多階段網(wǎng)絡(luò)Cascade Mask R-CNN 的情況下與其精度差距很小，因此本文選擇使用添加本文模型的改進Mask R-CNN 網(wǎng)絡(luò)進行預(yù)測，如圖8 所示，本文從UVSD 數(shù)據(jù)集中分別選取了如遮擋、車輛尺度小、光照強度低、背景干擾多4 個不同場景以驗證本文方法對多種場景的適應(yīng)性，同時如圖9 所示對比基線網(wǎng)絡(luò)Mask R-CNN 的預(yù)測效果，以驗證本文模型的有效性。圖8（a）中車輛密集排布，存在被截斷或相互之間形成一定遮擋的現(xiàn)象，距離越遠的車輛形成的遮擋越嚴(yán)重，圖8（b）中車輛排布密集，且無人機飛行高度較高，造成圖中車輛尺度均較小，圖8（c）拍攝于夜間，圖片亮度對比度低，圖8（d）中居民樓和樹木占據(jù)了圖片的很大部分，背景干擾多。圖8 中場景同時包含了遮擋、排布密集、車輛尺度小、光照強度低、背景干擾多等多種特點，具有挑戰(zhàn)性，圖中可以看到，對于車輛尺度較大的場景，網(wǎng)絡(luò)能夠一定程度克服遮擋問題，并準(zhǔn)確分割出車輛的邊緣，對于明暗對比較低或車輛尺度小的場景，網(wǎng)絡(luò)依然能在車輛邊緣形狀不清晰的情況下準(zhǔn)確實現(xiàn)檢測，并實現(xiàn)一定分割效果。

圖8 不同場景下本文方法檢測和分割效果Fig.8 Detection and segmentation effect of proposed methods in different scenarios

圖9（a）樣例1 中，受遮擋或背景等因素的干擾，左側(cè)的基線網(wǎng)絡(luò)產(chǎn)生了較多的誤檢現(xiàn)象，導(dǎo)致檢測和分割效果不佳，而右側(cè)本文方法，由于充分利用了語義信息，且對特征圖進行了特征校準(zhǔn)，因此抑制了許多冗余信息，一定程度上避免了誤檢現(xiàn)象的產(chǎn)生，同時對車輛的分割效果更為精細(xì)。圖9（b）樣例2 中，由于遠處車輛尺度較小且排布密集而導(dǎo)致車輛特征不明顯，實例區(qū)分度低，左側(cè)的基線網(wǎng)絡(luò)產(chǎn)生了許多漏檢，而右側(cè)本文方法對于寬＞15 像素，高度＞12 像素的小尺度車輛檢出率和分割效果都有明顯提升，而對于面積更小且遮擋嚴(yán)重的極小尺度車輛的檢測和分割效果則有待提高。圖9（c）樣例3 中，由于光照較少、亮度較低，相鄰車輛特征區(qū)分度不明顯，左側(cè)基線網(wǎng)絡(luò)產(chǎn)生了較多誤檢，而右側(cè)本文方法對車輛實例分割效果較為準(zhǔn)確，且邊緣更為平滑。

3 結(jié)論

針對航拍車輛實例分割任務(wù)中存在的分布密集、存在遮擋、背景干擾多、車輛尺度小等問題，本文提出了基于特征增強和校準(zhǔn)的航拍車輛實例分割方法。

該方法主要包含MSEM 模塊和GLFCM 模塊，MSEM 可以減少語義特征的通道特征損失，提高特征融合過程中語義特征的多尺度適應(yīng)性；GLFCM 則通過多頭結(jié)構(gòu)和線性化的Transformer，可以在僅增加極少的參數(shù)量和計算量的情況下，學(xué)習(xí)到全局特征的依賴關(guān)系并抑制局部特征中的冗余信息。

基于航拍車輛實例分割數(shù)據(jù)集UVSD 的驗證結(jié)果表明，在遮擋多、車輛尺度小、光照變化大、背景干擾多等挑戰(zhàn)下，本文方法在檢測和分割任務(wù)上對于多個尺度的車輛都有明顯的提升，并且，本文方法適用于一階段、雙階段、多階段的基于特征金字塔結(jié)構(gòu)的實例分割網(wǎng)絡(luò)。

對于一些遮擋嚴(yán)重、像素極少的極小尺度車輛，本文方法還有一定的提升空間，可以作為未來航拍車輛實例分割任務(wù)的重點研究方面。

附錄A：

本文進行了3 組對比實驗，分別使用MSEM模塊增強F5、F5+F4、F5+F4+F3以對比MSEM 模塊增強不同層次特征時對網(wǎng)絡(luò)效果的提升作用，實驗結(jié)果如表A1 所示。模型復(fù)雜度方面，每增加一個MESM 模塊增強一個層次的特征，網(wǎng)絡(luò)參數(shù)量會增加約9M，在增加F4時，F(xiàn)LOPs 相對增加了41.4G，在增加F3時FLOPs相對增加了144.9G，這主要是因為層次越低的特征分辨率越高，對其進行特征增強所增加的計算量越多。模型精度方面，增加增強特征的數(shù)量僅對具有較小的提升，F(xiàn)5+F4+F3的相對于F5提升了0.3%，這是因為對高分辨率特征F4、F3進行增強能在一定程度上豐富小尺度車輛的特征，但這會極大地增加模型復(fù)雜度。此外，其他指標(biāo)的提升效果則并不明顯，精度變化均在0.2% 以內(nèi)，F(xiàn)5+F4相比于F5在的精度甚至有所下滑。因此，為平衡模型精度和復(fù)雜度，最終MSEM 模塊僅用于增強特征F5。

表A1 MSEM 模塊增強不同特征對網(wǎng)絡(luò)效果的提升作用的對比實驗Table A1 Comparison of enhancement effect of different features on network performance by MSEM