王志達 丁勝奪 韓 亮

（中國石油集團安全環(huán)保技術研究院有限公司HSE信息中心 北京 102206）

1 引言

在計算機視覺領域，自然圖像中存在著多目標、姿態(tài)和位置等問題［1］，因此目標檢測是一項富有挑戰(zhàn)性的任務。在過去的二十年中，基于卷積神經網絡（CNNs）［2~5］的檢測器占據(jù)主導地位且取得巨大成就，在精度和速度上都有顯著的提高［6］。但這些檢測大多依賴于錨框來實現(xiàn)檢測任務，錨的設定具有高度的類不平衡問題，使得分類性能下降。模型的檢測性能對人工設定的錨框較為敏感，模型魯棒性差。尤其是對于小目標的檢測，需要設置較小尺寸的錨框，導致錨涉及的相關參數(shù)多、計算復雜、占用內存大等問題。

近年來，無錨檢測器因其克服了錨框的問題而迅速發(fā)展起來。目前有兩種主流的方法來構建無錨檢測器：基于中心的檢測器［7~10］和基于關鍵點的檢測器［11~15］。無錨的方法通過直接獲取目標的中心點或關鍵點來構成目標的邊界框，它們比基于錨的檢測器在速度和計算量上都更高效。但大部分無錨檢測器［7，11，13］在檢測精度方面仍有劣勢，尤其是小目標。主要的原因有三個：1）無錨的檢測方法難以建立關鍵點之間密切的關系，對于目標，往往會產生大量的誤報，導致檢測精度低；2）無錨的檢測方法可能會錯誤地將不相關的關鍵點分組到一個對象中。3）無錨的檢測方法有利于分類任務，但缺乏先驗邊界框，導致回歸效果未能達到最優(yōu)。

近年來，有研究發(fā)現(xiàn)Transformer的核心思self-Attention可以建立目標之間的長距離依賴，能夠獲取全局的上下文信息，從而具有很強的表達能力［16］，基于Transformer的方法得到進一步的研究。將Transformer應用到計算機視覺中的各種特定任務中，如分類［17~19］、目標檢測［20~24］等，通過自注意力獲取全局信息來建立特征之間的聯(lián)系，同樣可以獲得更好的性能，但仍未能很好地解決小目標問題。

2 算法設計

2.1 算法思路

基于錨的檢測方法不僅需要設定不同尺度和寬高比的錨框，如RetinaNet［25］在每個位置包含了45個錨框，且需要對這些錨框進行回歸，這些過程涉及到的參數(shù)較多且計算量大。錨框需要人工設定，模型的性能對錨框較為敏感，從而魯棒性較差。

在本文中，使用一種關鍵點集的表示法［13］，如圖1所示。

通過學習限制對象的空間范圍和指示語義上重要的局部區(qū)域的方式，自適應地將具有代表性意義的點定位在目標上。這些點的訓練是由識別目標和目標定位共同驅動的，計算它們的相似性，忽略無關緊要的點，這樣就可以被真值緊緊包圍，引導檢測器進行正確的目標分類和更細粒度的定位。該方法不需要使用錨來在邊界框的空間上采樣，是以自上而下的方式從輸入圖像或對象特征中學習的，有利于端到端的訓練。

2.2 模型框架

本文提出一種基于交互關鍵點的無錨檢測模型，該模型主要包含：1）主干網用以生成多尺度特征｛F1，F(xiàn)2，F(xiàn)3｝；2）交互的特征金字塔｛Ft1，F(xiàn)t2，F(xiàn)t3｝（如圖2所示）；3）自適應采樣方法生成具有代表意義的關鍵點以構建預測邊界框；4）頭部網絡對關鍵點進行精煉來實現(xiàn)分類和回歸（如圖3所示）。

為了更清楚地闡述檢測基線，只構建了特征金塔單個尺度F2的檢測流程。首先對特征F2進行卷積操作以進行自適應采樣式（1）得到一些具有代表意義的關鍵點：

其中，n為總的采樣點個數(shù)，本文中的n設為9。然后計算這些采樣點的重心作為將要預測對象的中心點(x，y)，假設采樣點分別為｛x1，x2，…，xn｝，并計算偏移（offset）式（2）對這些關鍵點進行精煉：

其中，T1為在這些采樣點的兩個坐標軸方向的Min-max操作來確定Bp，即連接所有采樣點的邊框。T2為子采樣點的空間Min-max操作來決定矩形邊框Bp。T3為采用采樣點的均值和標準差來計算矩形邊框Bp的中心點和尺寸。本文采用T3作為變換函數(shù)，同時利用自注意力機制計算這些關鍵點之間的相似性，在訓練和預測過程中關注與重要關鍵點相似的點，忽略不相似的點，以此實現(xiàn)更精確的關鍵點之間的匹配，同時在對關鍵點回歸時計算關鍵點之間的相似性并評分，得到與每個真值框上的關鍵點相似性最高的哪些點，然后根據(jù)每個真值關鍵點進行回歸，實現(xiàn)更細粒度的定位。如果特征圖中的每個關鍵點都作為一個隨機變量，任意兩個關鍵點a(xi，yi)，b(xj，yj)之間的相似性計算公式如下。

然后根據(jù)真值框和pseudo box的差別計算關鍵點的損失用以訓練。與此同時，對上述方法獲得的offsets進行可變卷積得到類別分數(shù)映射和偏移域（offsets field），分別用以分類和定位。對offsets field進行上述同樣的操作并根據(jù)真值框對關鍵點進行回歸形成最終的檢測邊框。

2.2.1 交互的特征金字塔

為了獲取特征圖的全局信息，本文在主干網生成多尺度特征后，將自注意力層代替卷積層以生成具有局部和全局信息的特征金字塔。對于self-attention層，本文采用scaled-dot-product［26］的形式，給定query矩陣Q，key矩陣K以及value矩陣V，首先將Q和K相乘計算相關性，然后除以縮放因子再進行soft max運算，得到的結果與value向量的加權和就是最終輸出。

其中：

Wq，Wk，Wν分別為Transformer矩陣。

如圖3所示，以特征F2的轉變?yōu)槔?，首先給定一個像素點xi，j，特征的其他像素位置為a，b∈Nk(i，j)，Nk(i，j)為像素個數(shù)。經過單個頭部注意力層可以得到該像素的變換輸出為

其中，qi，j=Wqxi，j，ka，b=Wkxa，b和νa，b=Wνxa，b為位置i，j像素和其他像素的線性轉變，soft maxa，b表示將一個soft max應用到除了位置i，j的其他數(shù)字，然后對它們求和。分別對特征｛F1，F(xiàn)2，F(xiàn)3｝的每個像素進行變換得到特征｛a，b，c｝，然后將他們進行聯(lián)結（concatenate），并添加了殘差連接將特征F2和上述特征進行聯(lián)結得到轉變后的特征Ft2。分別對特征｛F1，F(xiàn)2，F(xiàn)3｝進行上述操作并加上自上而下的連接得到最終的｛Ft1，F(xiàn)t2，F(xiàn)t3｝。

2.2.2 頭部網絡結構

本文的頭部網絡結構（如圖3所示）主要包含兩個子網絡：分類和定位子網絡。

圖3 頭部網絡

分類子網絡主要由四個3×3、通道數(shù)為256的卷積層組成，然后經過一個1×1、通道數(shù)為81（數(shù)據(jù)集類別加背景）的卷積并進行softmax操作得到最終的類別。定位子網絡在經過同樣的四個3×3卷積操作后分為兩部分，一主干部分通過Offsets 1將采樣點轉變?yōu)闃嫵蛇吔缈虻年P鍵點Keypoints 1，分支通過一個3×3卷積和1×1的卷積得到Offsets 2，將兩個分支進行融合對關鍵點進行refine和回歸得到關鍵點Keypoints 2用以形成最終的檢測邊框。

3 實驗

本文以MS COCO 2017［27］為數(shù)據(jù)集進行實驗，COCO包含80個類別，118K張圖像作為訓練集，5K圖像作為消融研究的驗證集（minival）和20K張圖像作為驗證（test-dev）。本文采用標準的Average Precision（AP），APS，APM和APL來評估模型性能。

實驗配置：CPU為Intel i7-9700k；內存為32G；GPU為NVIDIA GeForce GTX TITAN X；深度學習框架為Pytorch 1.7.1；CUDA版本為10.1。

3.1 訓練細節(jié)

為了和SOTA進行比較，本文還采用ResNeXt［4］作為主干網。上述主干網在ImageNet［28］上經過預訓練，然后整個網絡在訓練集上凍結主干網參數(shù)并進行微調。

我們使用文獻［19］的參數(shù)設定，采用了SGD進行訓練，mini-bacth為2。學習率、權重衰減和動量分別設置為0.01、0.0001和0.9。當訓練至80K個interaction時，學習率減少至原來的1/10。本文在訓練中采用圖像的隨機水平翻轉。在推理中，NMS（σ=0.5）被作為后處理方法。

3.2 損失函數(shù)

本文采用的損失為

3.3 與SOTAs進行比較

本文在MS-COCO［27］基準test-dev 2017的測試中將ITKP與最先進的檢測器進行了比較。在這些實驗中，本文在訓練過程中將圖像從640關鍵點到800關鍵點隨機縮放，并將迭代次數(shù)增加至200K（學習率按比例縮放進行變化）。表1列出了實驗結果的比較，在相同的主干網上，本文的網絡在COCO上的檢測精度和基于錨的兩階段檢測器Faster R-CNN［28］和一階段檢測器RetinaNet［25］與基于關鍵點的方法RepPoints［13］相比，雖然有的AP稍低，但整體的檢測精度和在小目標上的AP較高且具有較少的計算量。使用ResNeXt-101作為主干網，ITKP的AP達到41.9%。

表1 與SOTAs的比較（%）

3.4 消融研究

本文的消融研究在MS-COCO 2017 val set［27］上實施，主干網為ResNet-50和ResNet-101。消融研究旨在如下。

1）比較邊界框和關鍵點不同表示方法的效果，網絡配置都一樣，處理方法不同。由表2可以看出，采用關鍵點為表示方法要比使用邊界框為表示方法的精度高約2.1%~2.3%。

表2 邊界框（BB）VS關鍵點（KP）

2）比較單個錨和單個中心點作為初始表示方法。由表3可以看出，中心點作為初始表示方法比錨作為初始表示方法的AP高1.3%~1.6%。

表3 單個錨（SA）VS單個中心點（SC）

3）比較基于錨和無錨的檢測方法，RetinaNet和FPN為基于錨方法，其余的為無錨方法。由表4所示，在相同的主干網上，相比基于錨的檢測器，無錨檢測器不僅避免了錨的設定，還較大幅度地提升了AP。

表4 基于錨和無錨方法的比較

4）比較使用（w）和不使用（w.t）交互的特征金字塔（TFP）的結果。由表5可以看出，使用交互的特征金字塔不僅可以提升整體的AP，還提升了小目標APs為2.3%。

表5 w TFP VS w.t TFP

另外，由圖4所示，我們將采用卷積操作得到的特征金字塔（b）和通過自注意力層得到的特征金字塔（c）的特征進行可視化，可以看出，相比（b），（c）的特征更加豐富，特征之間也存在一定的關聯(lián)，對小目標特征更加敏感。

圖4 特征可視化

3.5 實驗結果

通過上述實驗結果表明，本文提出的模型可以有效地提升目標檢測的精度且具有較少的計算量。本文在COCO中的測試集中挑選了一部分難以檢測的圖像進行檢測，檢測結果如圖5所示。

圖5 檢測結果可視化

4 結語

針對小目標檢測精度低，錨框設定涉及的參數(shù)量大、計算復雜和導致模型魯棒性弱的問題，本文提出一種基于交互關鍵點的無錨檢測模型。該模型避免了錨的設定，通過學習限制目標的空間范圍和語義重要的局部區(qū)域的方式，自適應地將具有代表意義的點定位在目標上。另外，使用自注意力機制建立關鍵點之間的聯(lián)系。設計了一個交互的特征金字塔，結合CNN提取的局部信息和自注意力層來獲取的全局信息。通過上述方法，提升了基于關鍵點的檢測器的小目標的檢測精度。本文提出的檢測模型的性能得到較大的提升且具有較少的計算量。但是，本文提出的模型在精度方面仍有很大的優(yōu)化空間。