馬 碩，高永彬，田方正，盧俊鑫，顧 佳，周意龍

金字塔卷積和改進鉸鏈損失的特征點檢測方法

馬 碩，高永彬，田方正，盧俊鑫，顧 佳，周意龍

（上海工程技術大學 電子電氣工程學院，上海 201620）

針對傳統的特征點檢測方法易受視角、光照、圖像質量等影響，導致圖像的特征匹配不準確，提出了一種基于金字塔卷積和改進鉸鏈損失函數的特征點檢測方法用于圖像匹配。首先，將金字塔卷積核用于特征點檢測和描述子提取算法研究，使用多尺度的卷積核捕捉場景中不同級別的信息；其次，在下采樣過程中引入模糊濾波方法，提升平移不變性；然后，考慮到描述子信息對圖像的特征匹配起決定性作用，采用基于自定義優(yōu)化的鉸鏈損失函數，在訓練過程中給每一對描述子訓練樣本增加可變權重；最后，在HPatches數據集上對提出算法的可重復性和單應性估計能力進行測試，在KITTI數據集上對所提算法的視覺里程計應用進行測試。實驗結果表明，提出的算法結果優(yōu)于其他方法，同時能有效提高視覺里程計的定位精度。

自監(jiān)督學習；特征點檢測；描述子；金字塔卷積核；模糊濾波；可變權重；可重復性

0 引言

很多計算機視覺的任務都是從尋找特征點開始的，比如圖像檢索、同時定位和建圖（simultaneous localization and mapping, SLAM）和三維重建等，因此基于描述子進行圖像匹配是非常重要的。然而在尋找特征點在圖像中的二維位置時，很容易受到視角、光度和成像條件的影響，所以有必要設計對此類變化有較強魯棒性的特征點檢測和描述子提取模型?，F在的特征點檢測和描述子提取算法主要分為傳統方法和基于學習的方法。早期的研究主要集中在傳統方法，如尺度不變特征轉換（scale-invariant feature transform, SIFT）[1]、加速穩(wěn)健特征（speeded up robust features，SURF）[2]和ORB（oriented FAST and rotated BRIEF）[3]特征點檢測器均是基于手工制作的描述子，其目的在于尋找灰度值具有強烈變化或者邊緣曲率較大的點。然而隨著深度學習的發(fā)展，很多計算機視覺的傳統任務受到影響，例如姿勢估計[4-5]、單應性估計[6]、立體匹配[7]和視覺測距[8]等。這種情況下，基于深度學習的特征點檢測和描述子提取研究[9-14]得到發(fā)展，尤其是端到端的學習方法，在一些場景應用中取得較好的效果。文獻[15]提出的超點（SuperPoint）把合成數據的角、交點、斑點和線段等定義為興趣點的真實數據，訓練出一個新的模型來預測興趣點并提取描述子。

在基于深度學習的方法中，一般使用視覺幾何組（visual geometry group, VGG）[16]、殘差網絡（residual network, ResNet）[17]和GoogleNet[18]等編碼器網絡提取圖片的特征。在此類卷積神經網絡中，卷積核起著至關重要的作用，通常使用3×3卷積核或者1×1的卷積核。本文將網絡中的卷積核設置為多尺度的卷積核，與文獻[19]所提出的方法不同，本文使用固定大小的金字塔卷積核擴大感受野，捕捉不同級別的特征信息，讓卷積神經網絡更有效地在復雜場景下提取特征。卷積神經網絡為了減小特征尺寸，會采用最大池化（max-pooling）、跨步卷積或平均池化等降采樣方法，然而每種方法都不可避免地對平移過度敏感而產生鋸齒，這對于描述子信息匹配是非常不利的。受到文獻[20]的啟發(fā)，在訓練特征點檢測器和描述子過程中對最大池化做出改進，在中間特征圖增添模糊濾波器來抗鋸齒，保留平移不變性。針對描述子信息對圖像幾何匹配起決定性作用，改進了文獻[15]中使用的鉸鏈損失，以提取更符合點周圍特征的描述子。結合圓損失（circle loss）函數[21]，給訓練的樣本對增添可變權重，使優(yōu)化效率更高。將改進的鉸鏈損失函數與原鉸鏈損失函數、三元組損失函數[22]的結果進行對比，改進的鉸鏈損失函數的精度有顯著提高。

本文的內容主要有4個方面：①將金字塔卷積核應用在特征點檢測和描述子提取任務中，在卷積神經網絡中使用金字塔卷積核來代替單一的卷積核，從而捕捉場景中不同級別的信息，提取圖像的多尺度特征；②對最大池化做出改進，在下采樣的中間特征圖增添模糊濾波器來抗鋸齒，保留了平移不變性；③改進了鉸鏈損失，給每一對描述子訓練樣本增加可變權重屬性，使用自定義優(yōu)化的方式使梯度變化更符合損失下降的規(guī)律；④最后在HPatches數據集[23]上對本文算法的可重復性和單應性匹配能力進行測試，在KITTI數據集[24]上對提出算法在視覺里程計中的精度進行測試。實驗結果表明，本文算法能夠有效提高可重復性和匹配精度。應用于相機定位中，本文算法能有效提高定位精度。

1 自監(jiān)督特征點檢測算法

1.1 系統架構

基于自監(jiān)督學習的特征點檢測和描述子算法總體網絡框架如圖1所示。輸入為原圖和經過仿射變化的圖，孿生神經網絡的分支和分支同時處理輸入的2種帶有標簽的圖像。2個分支檢測特征點同時生成特征點的描述子信息，根據輸出的描述子的對應關系，建立描述子正樣本對和負樣本對。根據損失函數懲罰樣本對之間的差異性，構建出自監(jiān)督學習的網絡框架。其中孿生神經網絡的單個分支PcsuperPoint是本文主要訓練的特征點檢測模型。

圖1 系統架構示意圖

1.2 PcsuperPoint網絡模型

PcsuperPoint包括特征點檢測和描述子提取2項任務。圖2是特征點檢測器結構總圖，主要包含編碼器、特征點解碼器、描述子解碼器。輸入的圖像通過編碼器網絡減少圖像維度并提取特征，編碼后的中間特征圖（feature map）分別送入特征點解碼器和描述子解碼器，輸出圖像的特征點及其描述子，其中、、分別代表高度、寬度和深度。通過該網絡輸出的特征點位置和描述子可以代替?zhèn)鹘y的特征點檢測器。

圖2 網絡模型PcsuperPoint示意圖

1.3 網絡編碼器

本文的網絡編碼器采用的是類似VGG的卷積神經網絡，與之前不同的是在卷積過程中使用金字塔卷積核代替了原來的3×3的卷積核。具體表現為以3×3、5×5、7×7不同尺寸的卷積核來代替原來的單一尺寸的卷積核，并且保持原有的通道總數不變。較大感受野能夠提取更加抽象的特征信息，較小感受野可以提取更豐富的細節(jié)特征。兩者結合，同時捕捉到宏觀和微小特征信息。緊接著使用1×1的卷積將特征信息連接在一起。不同尺度的卷積核組合稱之為金字塔卷積核。圖3展現了一種金字塔卷積核的結構和通道細節(jié)。

圖3 金字塔卷積核結構

圖4 改進的最大池化結構

1.4 特征點和描述子解碼器

在描述子網絡中，首先對從編碼器網絡獲取的中間特征圖進行操作。以尺寸為3×3、5×5、7×7、9×9卷積核捕獲特征信息，并應用1×1的卷積進行轉換，組合在不同內核大小下提取的信息。值得注意的是，每次卷積之后都使用了標準的修正線性單元（rectified linear units，ReLU）激活函數。后續(xù)使用雙線性插值（bilinear interpolate）進行上采樣，使用L2范式（L2-normalization）進行批歸一化處理，最后得到固定維度的描述子。

1.5 損失函數

2 實驗結果與分析

2.1 訓練細節(jié)

把金字塔卷積應用到了各級網絡結構中，使用通道數為16，大小分別為3×3、5×5、7×7、9×9的卷積核，取代原64通道的3×3卷積核；使用通道數為32的7×7和5×5卷積核以及通道數為64的3×3的卷積核，取代原128通道的3×3卷積核；使用通道數為64，大小分別為3×3、5×5、7×7、9×9的金字塔卷積核，取代原256通道的3×3卷積核。使用1×1卷積核組合不同尺度的特征信息，并緊跟ReLU激活函數和批量歸一化（batch normalization, BatchNorm）。

使用COCO2014數據集[25]，通過矩陣變換生成圖像對作為輸入，生成80106張240×320個像素的灰度圖像對用于訓練。訓練過程中加入了高斯噪聲、散斑噪聲、亮度變化等增強網絡模型的魯棒性。

2.2 可重復性評估實驗結果與分析

其中

表1 可重復性評估

從實驗結果來看，在光度變化的條件下，本文的特征點檢測方法可重復性比Shi、FAST、Harris和SuperPoint等檢測方法分別提高7.5%、8.4%、2.9%、1.8%，具有較好的表現；在角度變化的條件下，本文方法可重復性比Shi、FAST和SuperPoint等檢測方法分別提高1.8%、2.2%、2.6%，但是低于Harris，這是因為Harris檢測使用特征點附近的區(qū)域灰度2階矩陣，具有旋轉不變性，對仿射變化并不敏感。圖5展示出了本文方法在相應的場景圖像中檢測到的特征點，圖5（a）和圖5（c）是每對圖像的原圖，圖5（b）是經過仿射變化后的圖，圖5（d）是經過旋轉后的圖。

圖5 不同場景圖像下的特征點檢測效果圖

2.3 匹配能力評估

匹配分數評估方法：匹配分數用于衡量2張圖片中正確的特征點匹配占所有點的比率；正確的匹配是描述子空間中最接近的2個點。特征點經過單應矩陣變換之后，每一對點都被轉換到同一視圖中，并且2個點的像素距離小于定義的閾值距離3，則是正確的匹配。

將本文方法與ORB[3]、SIFT[1]、LF-net[29]和SuperPoint[15]等方法創(chuàng)建了對比實驗。從同一場景的2幅圖像中選擇滿足特征點和描述子匹配的點，使用OpenCV執(zhí)行最近鄰匹配計算單應矩陣。在實驗的過程中，480×640個像素的圖像最多計算 1000個點，閾值為3，極大值抑制設為8。在相同實驗場景下，對光度和角度不同的圖片進行檢測，實驗結果如表2所示。

不同閾值且亮度和視點同時改變的實驗結果和匹配分數如表3所示。ORB和SIFT使用OpenCV實現，Superpoint和LF-net方法使用作者公開的訓練模型實現。

表2 單應性估計結果

表3 光度、角度同時變化時單應性估計準確性和匹配分數

2.4 損失函數對比結果

使用三元組損失、鉸鏈損失和本文改進的鉸鏈損失函數進行對比實驗，結果如表4所示。

表4 采用不同損失函數時的對比實驗

在優(yōu)化過程中，三元組損失函數和原鉸鏈損失函數對呈線性關系的正樣本和負樣本的懲罰力度是相等的，所以效率不高。本文改進的鉸鏈損失函數，主要考慮到描述子的正樣本與負樣本數量上的不同會導致優(yōu)化速度不同，因此給樣本的優(yōu)化項添加了可變權重，這意味著在優(yōu)化過程中正負樣本的梯度變化可以進行自定義調整，從而使損失函數收斂更加高效。實驗結果證明，本文改進的鉸鏈損失對訓練產生了積極影響。

2.5 特征點在相機定位中的應用能力分析

絕對軌跡誤差評估方法：使用絕對軌跡誤差（absolute trajectory error, ATE）直接計算相機位姿的真實值與視覺里程計系統的估計值之間的差。首先根據位姿的時間戳將真實值和估計值進行對齊，然后計算位姿之間的差值。

相機在未知環(huán)境下，同時進行定位和建圖是SLAM的基本任務。本實驗采用開源的ORB-SLAM[30]算法做比對實驗，選擇KITTI公共數據集評估SLAM系統的精度和穩(wěn)定性。在ORB-SLAM系統中，使用ORB算法提取特征點，使用本文提出的PcsuperPoint檢測算法與其對比，將本文的特征點代替ORB-SLAM中的ORB特征點構建SLAM系統?？紤]到本文方法沒有閉環(huán)檢測、局部和全局優(yōu)化等模塊，因此對比時禁用SLAM系統的局部和全局映射等優(yōu)化部分，僅保留了視覺里程計（visual odometry，VO）功能。在本文視覺里程計與ORB-SLAM視覺里程計對比實驗中，選取了KITTI數據集中的序列03和序列05的結果作為展示效果圖，如圖6、圖7所示。

圖6（a）和圖6（b）為2種視覺里程計方法在序列03和序列05上的絕對軌跡誤差圖，可以看出本文的算法相對于ORB-SLAM（VO）算法在同一時間下誤差更小。圖6（c）和圖6（d）為2種視覺里程計方法在序列03和序列05上的每一幀圖片中檢測到的特征點數量變化圖。根據特征點數量可以看出，ORB特征點在不同幀下特征點數量變化劇烈，會造成前后幀圖片匹配不穩(wěn)點；而本文的PcsuperPoint模型檢測到的特征點數量更為穩(wěn)定，具有更強的魯棒性。圖7（a）和圖7（b）為2種視覺里程計方法在序列03和序列05上的相機運動軌跡，其中、表示相機運動過程中偏離真實軌跡的距離，結果顯示本文方法在視覺里程計中的表現更靠近相機的真實軌跡。

圖7 相機運動軌跡

表5為ORB-SLAM（VO）和本文（VO）在KITTI數據集11個序列中絕對軌跡誤差的實驗結果?？梢钥闯觯疚姆椒ㄋ鶚嫿ǖ囊曈X里程計僅有3個序列表現低于ORB-SLAM（VO）；在序列00、序列02和序列08中，ORB-SLAM（VO）表現更好。這3個序列的真實行駛軌跡中，圖像幀數較少且特征明顯。

表5 相機定位結果

圖8是序列02的運行過程，使用灰度質心法賦予方向信息的ORB特征點更為準確且能保持較好的穩(wěn)定性，本文方法并沒有優(yōu)勢，因此表現出略高的誤差，可以看出傳統方法在該種情況下表現更好。然而在大多數序列上本文方法的結果都優(yōu)于ORB-SLAM（VO），尤其是在序列01和序列05中，圖片幀數較多，場景變化復雜的情況下，ORB-SLAM（VO）隨著時間偏移軌跡非常大。與之相比，本文方法的定位準確性可以提高69%?？傮w來看，本文方法所構建的視覺里程計表現更靠近相機的真實軌跡。

圖8 序列02的運行過程

3 結束語

本文使用自監(jiān)督框架構建了特征點檢測和描述子提取模型。引入不同尺度的金字塔卷積核，確保了多尺度特征的提取，同時在下采樣過程中改進最大池化，增添模糊濾波器來抗鋸齒。注重損失函數對訓練起到的關鍵作用，從最大化類內相似度和最小化類間相似度的角度出發(fā)，給每一對描

述子增加權重屬性，結果表明可變的權重項更有利于描述子的學習。通過實驗證明，本文提出的方法是有效的并優(yōu)于其他方法，可以更好地解決計算機視覺中的圖像匹配問題，在視覺SLAM中的表現也證明了該方法有一定的實用價值。在之后的工作中希望可以進一步優(yōu)化特征點檢測方法，構建更加完整的SLAM系統。

[1] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision(IJCV), 2004, 60(2): 91-110.

[2] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[3] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[EB/OL].[2021-01-18].http://www.gwylab.com/download/ORB_2012.pdf.

[5] KENDALL A, CIPOLLA R. Geometric loss functions for camera pose regression with deep learning[EB/OL].[2021-01-18].https://arxiv.org/pdf/1704.00390.pdf.

[6] DETONE D, MALISIEWICZ T, RABINOVICH A. Deep image homography estimation[EB/OL]. [2021-01-18].https://arxiv. org/pdf/1606. 03798. pdf.

[7] LUO W J, SCHWING A G, URTASUN R. Effiecient deep learning for stereo matching[EB/OL]. [2021-01-18]. https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Luo_Efficient_Deep_Learning_CVPR_2016_ paper.pdf.

[8] WANG S, CLARK R, WEN H K, et al. DeepVO: towards end-to-end visual odometry with deep recurrent convolutional neural networks[EB/OL].[2021-01-18]. https://www.cs.ox.ac.uk/files/9026/DeepVO.pdf.

[9] TIAN Y R, FAN B, WU F C. L2-Net: deep learning of discriminative patch descriptor in Euclidean space[EB/OL].[2021-01-18].https://openaccess.thecvf.com/content_cvpr_2017/papers/Tian_L2-Net_Deep_Learning_ CVPR_2017_paper.pdf.

[10] HAN X F, LEUNG T, JIA Y Q, et al. MatchNet: unifying feature and metric learning for patch-based matching[EB/OL].[2021-01-18].https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Han_MatchNet_ Unifying_Feature_2015_CVPR_paper.pdf.

[11] MATTHEW B, GANG H, SIMON W. GeoDesc: learning local descriptors by integrating geometry constraints[EB/OL].[2021-01-18].https://arxiv.org/pdf/1807.06294.pdf.

[12] SIMO-SERRA E, TRULLS E, FERRAZ L, et al. Discriminative learning of deep convolutional feature point descriptors[EB/OL].[2021-01-18].https://sci-hub.se/10.1109/ICCV.2015.22.

[13] SERGEY Z, NIKOS K. Learning to compare image patches via convolutional neural networks[EB/OL].[2021-01-18].https://arxiv.org/pdf/1504.03641.pdf.

[14] BALNTAS V, JOHNS E, TANG L L, et al. PN-Net: conjoined triple deep network for learning local image descriptors[EB/OL].[2021-01-18].https://arxiv.org/pdf/1601.05030v1. pdf.

[15] DETONE D, MALISIEWICZ T, RABINOVICH A. SuperPoint: self-supervised interest point detection and description[EB/OL].[2021-01-18]. https://openaccess.thecvf.com/content_cvpr_2018_workshops/papers/w9/ DeTone_SuperPoint_Self-Supervised_Interest_CVPR_2018_paper.pdf.

[16] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-01-18].https://arxiv.org/pdf/1409.1556.pdf.

[17] HE K M, ZHANG X Y, REN S Q. Deep residual learning for image recognition[EB/OL].[2021-01-18].https:// openaccess.thecvf.com/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf.

[18] SZEGEDY C, LIU W, JIA Y Q. Going deeper with convolutions[EB/OL].[2021-01-18].https://sci-hub.se/10.1109/ CVPR.2015.7298594.

[19] DUTA I C, LIU L, ZHU F. Pyramidal convolution: rethinking convolutional neural networks for visual recognition[EBJ/OL]. [2021-01-18]. https: //arxiv. org/pdf/2006. 11538v1. pdf.

[20] ZHANG R. Making convolutional networks shift-invariant again[EB/OL].[2021-01-18].http://proceedings.mlr. press/v97/zhang19a/zhang19a.pdf.

[21] SUN Y F, CHENG C M, ZHANG Y H, et al. Circle loss: a unified perspective of pair similarity optimization[EB/OL].[2021-01-18].https://openaccess.thecvf.com/content_CVPR_2020/papers/Sun_Circle_Loss_ A_Unified_Perspective_of_Pair_Similarity_Optimization_CVPR_2020_paper.pdf.

[22] BALNTAS V, RIBA E, PONSA D. Learning local feature descriptors with triplets and shallow convolutional neural networks[EB/OL].[2021-01-18]. http://www.bmva.org/bmvc/2016/papers/paper119/paper119.pdf.

[23] BALNTAS V, LENC K, VEDALDI A, et al. HPatches: a benchmark and evaluation of handcrafted and learned local descriptors[EB/OL].[2021-01-18].https://arxiv.org/pdf/1704.05939.pdf.

[24] GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: the KITTI dataset[J]. The International Journal of Robotics Research, 2013, 32(11): 1231-1237.

[25] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[EB/OL].[2021-01-18].https://arxiv.org/pdf/1405.0312.pdf.

[26] SHI J B, TOMASI C. Good features to track[EB/OL].[2021-01-18].https://ecommons.cornell.edu/bitstream/handle/ 1813/6177/93-1399.ps?sequence=23.

[27] EDWARD R, DRUMMOND T. Machine learning for high-speed corner detection[EB/OL].[2021-01-18].https:// link.springer.com/content/pdf/10.1007/11744023_34.pdf.

[28] HARRIS C G, STEPHENS M J. A combined corner and edge detector[EB/OL].[2021-01-18].http://www.bmva.org/ bmvc/1988/avc-88-023.pdf.

[29] ONO Y, TRULLS E, FUA P, et al. LF-Net: learning local features from images[EB/OL].[2021-01-18].https://proceedings.neurips.cc/paper/2018/file/f5496252609c43eb8a3d147ab9b9c006-Paper.pdf.

[30] MURARTAL R, MONTIEL J M M, TARDOS J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

Feature point detection method using pyramid convolution and improved hinge loss

MA Shuo, GAO Yongbin, TIAN Fangzheng, LU Junxin, GU Jia, ZHOU Yilong

（School of Electronic and Electrical Engineering, Shanghai University of Engineering Science, Shanghai 201620, China）

Aiming at traditional feature point detection methods that are easily affected by viewpoint, illumination, image quality, resulting in inaccurate image feature matching, a feature point detection method based on pyramid convolution and improved hinge loss function was proposed for image matching. Firstly, pyramid convolution kernel was used for feature point detection and descriptor extraction algorithm. Multi-scale convolution kernel was used to capture different levels of information in the scene. Then, a method of blur filter was introduced in the down-sampling process to improve shift-invariant. Aiming at the problem that descriptor information played a decisive role in image geometric matching, the hinge loss function was innovatively improved, and variable weights were added to each pair of descriptor training samples during the training process. Finally, the repeatability and homography estimation ability of the proposed algorithm was tested on the HPatches dataset, and the visual odometry application of the proposed algorithm was tested on the KITTI dataset. Experimental results showed that the proposed algorithm was better than other methods, and it could effectively improve the positioning accuracy of the visual odometer.

self-supervised learning; feature point detection; descriptor; pyramid convolution kernel; blur filter; variable weight; repeatability

P228; TP391

A

2095-4999(2021)06-0116-09

馬碩，高永彬，田方正，等. 金字塔卷積和改進鉸鏈損失的特征點檢測方法[J]. 導航定位學報, 2021, 9(6): 116-124.（MA Shuo, GAO Yongbin, TIAN Fangzheng, et al. Feature point detection method using pyramid convolution and improved hinge loss[J]. Journal of Navigation and Positioning, 2021, 9(6): 116-124.）

10.16547/j.cnki.10-1096.20210618.

2021-02-18

馬碩（1995—），男，江蘇徐州人，碩士研究生，研究方向為計算機視覺、機器學習。

高永彬（1988—），男，上海人，博士，副教授，研究方向為人工智能、機器學習、圖像處理、模式識別。