諶鐘毓，韓 燮，謝劍斌，2，熊風光，況立群

1.中北大學 大數(shù)據(jù)學院，太原 030051

2.國防科技大學 電子科學學院，長沙 410073

如何對多幅圖像進行精確匹配是計算機視覺中的一個重要問題，最近鄰匹配[1]是一種常見的匹配方法，并且產(chǎn)生了不少的改進算法。然而，這類匹配方法通常需要檢索較多的鄰近點并從中求解出最優(yōu)的匹配塊，導致匹配量大，計算復雜度高。因此，以稀疏特征點來代替像素塊進行圖像匹配成為提升計算效率的一個重要手段。特征檢測算法可以從二維圖像集中創(chuàng)建相似的匹配特征點，然后通過更高層次的視覺管道，完成三維建模、目標檢測及物體識別等任務。特征檢測算法在計算機視覺研究中受到了極大關注，涌現(xiàn)了諸多經(jīng)典算法，如SIFT[2]特征檢測器、Harris[3]角點檢測器、ORB[4]檢測器、SURF[5]特征點檢測器等。SIFT和SURF雖然檢測特征點的準確度較高，但算法運算量大，對邊緣光滑的目標無法準確提取特征，而Harris和ORB也有檢測精度不夠和不具有旋轉不變性等問題。近些年來，隨著深度學習的出現(xiàn)，一些學者采用神經(jīng)網(wǎng)絡來替代傳統(tǒng)方法中自己制作檢測器的過程，以訓練網(wǎng)絡的形式來逐步完成對特征點檢測的優(yōu)化[6]。其中，LIFT[7]檢測器按照SIFT的流程對神經(jīng)網(wǎng)絡進行了重構；SuperPoint[8]檢測器建立了自監(jiān)督學習框架，適用于大規(guī)模多視圖像的特征點檢測與描述；DELF[9]檢測器則用在圖像檢索的檢測和描述上。這些學習型方法通常是通過提升低層視覺的匹配準確率來進行啟發(fā)式學習，從而訓練得到神經(jīng)網(wǎng)絡的各項參數(shù)，性能上常常優(yōu)于傳統(tǒng)自制的檢測器。然而，在高級視覺任務中，低層圖像匹配準確率的提升未必就能帶來更佳性能。例如，SuperPoint檢測器在估算圖像對的基礎矩陣時性能低于傳統(tǒng)的SIFT檢測器[10]，同樣，LIFT檢測器在三維結構重建方面亦不如SIFT[11]。

針對學習型檢測器在高級視覺任務中存在的檢測精度不高的問題，本文提出一種雙損失誤差策略下的強化學習方法，利用端到端的訓練方式從兩方面聯(lián)合計算損失效果，從而優(yōu)化完整神經(jīng)網(wǎng)絡的可學習參數(shù)，達到在低級和高級視覺任務中同時提升匹配性能的目標。

1 算法原理

本文提出了雙損失估計下強化學習型圖像匹配算法，該算法流程如圖1所示。首先，對于輸入的一對原始圖像，采用學習型特征檢測器LIFT獲得每幅圖像的特征點。其次，對特征檢測器網(wǎng)絡所輸出的特征點和描述符賦予其概率上的意義，建立概率上的特征匹配關系。然后，為了提升高級視覺任務的性能，從圖像姿態(tài)損失和關鍵點損失誤差兩個方面設計損失函數(shù)，一方面是圖像間真實的相對位姿T*與通過管道之后計算所得的相對位姿T′之間的損失差值，另一方面是在圖像上利用幾何約束關系，計算要查詢的點和所預測匹配的關鍵點之間的損失誤差。最后，產(chǎn)生的聯(lián)合損失誤差用于強化學習關鍵點及其匹配概率，通過多輪強化學習迭代，優(yōu)化得到可學習網(wǎng)絡參數(shù)w，最終提高圖像間稀疏特征點的匹配精度。

圖1 算法流程Fig.1 Algorithm flow chart

本文算法的一個重點是從兩個方面來聯(lián)合設計損失函數(shù)，以期在高級視覺任務中取得良好性能，下面分別闡述這兩個損失估計策略的技術路線。

首先，通過所在網(wǎng)絡中輸入的兩幅圖像I和I′，得到各自關鍵點的匹配和描述子。將它們放入魯棒估計器，如RANSAC[12]和五點求解器[13]等，以尋找一個合適的基礎矩陣，然后再分解基礎矩陣，從而得到一個相對變換的估計T′。本文將上述得到相對變換的估計T′過程理解為一個黑盒，不必關注具體實現(xiàn)細節(jié)，以端到端的形式去實現(xiàn)，通過比較真實值T*與估計值T′之間的損失來對網(wǎng)絡可學習參數(shù)w進行優(yōu)化。因為所得到的損失不能傳回特征檢測器用來優(yōu)化網(wǎng)絡參數(shù)，所以通過強化學習的方式，即，選擇一個關鍵點或兩個關鍵點匹配為概率動作，利用概率的形式優(yōu)化網(wǎng)絡參數(shù)w，并且以抽樣的方式采集部分匹配點，以期剔除一些不可靠的關鍵點，最后，將它們運用在后面估算相對姿態(tài)T′的黑盒中。

其次，將圖像對間的相對位姿(I,I′,T*)轉換為圖像對間的極限約束。核心思想是利用相對位姿和相機的固有特性，引入極線損失Lp和返回損失Lr兩個概念，計算關鍵點與極線之間的誤差，從而起到優(yōu)化描述子的作用。

算法的另一個重點是如何概率化關鍵點和描述符，并通過二者優(yōu)化可學習網(wǎng)絡參數(shù)w，從而達到提高匹配精度的效果，該部分內容將在下章詳細闡述。

2 概率化描述符和關鍵點

2.1 概率化描述符

許多研究通過最近鄰匹配[14]來建立關鍵點之間的對應關系，然而這是一個不可微的操作，因此本文將關鍵點的匹配以概率的形式表現(xiàn)，并以梯度下降的方式來優(yōu)化所設置的參數(shù)。

給定一個網(wǎng)絡所預測的描述符F(x;w)，其中w表示與特征檢測和描述相關的可學習參數(shù)。設mij為圖像I上的一個關鍵點xi與另一幅圖像上的關鍵點x′j所對應的匹配。X={xi}為一幅圖像的所有關鍵點的集合。通過描述符之間距離以概率的形式表現(xiàn)，得到了一個圖像I中某一點xi與I′上的某一點x′j匹配的概率，這個概率可以表示為公式（1）：

2.2 概率化關鍵點

2.3 損失估計

2.3.1 相對位姿損失估計

這部分算法主要計算出相對位姿真實值T*與通過黑盒管道計算所得值T′之間的誤差損失l(M)，因此，只需要計算出損失值的本身而不是它的梯度。本文的訓練目標是減少采樣關鍵點時的預期任務損失，并根據(jù)可學習參數(shù)w參數(shù)化的概率分布進行匹配，如公式（5）：

由上述公式，梯度更新可學習參數(shù)w，遵循Williams[15]的經(jīng)典的強化學習算法如公式（6）所示：

在梯度計算中通過抽樣來近似期望，來分別計算關鍵點和匹配的期望。

2.3.2 幾何約束損失估計

幾何約束損失估計利用了匹配圖像上特征點的極線約束關系。極線約束可以表示為1=0，F(xiàn)x1可以表示為在I′中與x1對應的極線。將x1作為確定點，x2作為在另一幅圖像中與x1最匹配的預測點。此部分是使用概率的方式計算兩個損失：極線損失Lp和返回損失Lr，如圖2所示。

圖2 極線損失和返回損失Fig.2 Epipolar loss and return loss

至此，本文設計出了關鍵點損失函數(shù)。在真實的訓練過程中，一個確定點在另一幅圖像中是否存在真的對應點還未可知（可能由于遮擋或者裁剪而丟失），因此一味減少這些點的損失會導致錯誤的訓練結果。針對該問題，通過計算總方差重新加權每個點的損失，從而得到最終的加權損失函數(shù)，見公式（9）：

其中，n為兩幅圖像中匹配點的數(shù)目，α為返回損失函數(shù)在整個損失函數(shù)中所占的權重。為避免返回損失過大而降低了極線損失的影響，實驗中α取值0.7。同時，權值1/σ2(xi)被歸一化，使得和為1。這種加權策略削弱了不可匹配訓練點的效果，對快速收斂至關重要。

2.3.3 累計損失

估計累積損失可以使用平均絕對誤差或者均方根誤差，進行損失的累積計算。通過2.3.1小節(jié)和2.3.2小節(jié)計算出相對位姿和圖像幾何約束的損失，本文對其平均絕對誤差進行相加，并引入幾何約束損失所對應的權重δ，以擴大或者縮小該部分對整體的影響，聯(lián)合損失誤差函數(shù)如公式（10）所示：

再按照2.3.1節(jié)所述的強化學習梯度更新算法，對w進行優(yōu)化。

3 實驗結果分析

實驗中使用H-Patches數(shù)據(jù)集作為驗證與測試，部分圖像樣本如圖3中的第1行所示。該數(shù)據(jù)集包含116個不同場景下的圖像，其中57個場景進行了光照變換，另外59個場景進行了視角變換。此外，本文進一步按照特定方法[16]制作了6個室外和3個室內視頻數(shù)據(jù)集，作為訓練集使用，部分樣本如圖3中的第2行所示。

圖3 數(shù)據(jù)集樣本圖Fig.3 Sample images of dataset

為了評估本文算法的有效性和可行性，本文與現(xiàn)有的一些主流描述符探測器進行性能評估及對比分析。實驗硬件環(huán)境為Intel?Core?i7-9700 CPU@3.00 GHz處理器、16 GB內存和NIVIDIA GeForce RTX 2070 SUPER顯卡。實驗軟件為：使用pytorch（版本2.7）對LIFT進行訓練，并利用openCV對相對姿態(tài)和匹配精度進行估計。

3.1 相對姿態(tài)誤差比較

實驗中選取了當前兩種主流的、準確度較高的探測器，包括傳統(tǒng)RANSAC[12]估計器和基于深度學習的RANSAC（NG-RANSAC）[17]估計器，并對所得出相對姿態(tài)誤差的AUC指標進行比較。傳統(tǒng)RANSAC估計器的實驗結果如圖4所示，可以看出本文算法的估計精度顯著高于傳統(tǒng)特征檢測器SIFT，以及學習型特征檢測器LIFT和SuperPoint。

圖4 基于RANSAC的相對姿態(tài)精度估計Fig.4 Relative pose accuracy estimation based on RANSAC

由于本文算法為學習型特征檢測器，為了充分發(fā)揮其自學習的優(yōu)勢，進一步采用學習型估計器NGRANSAC進行相同實驗，并加入兩個基于CNN的圖像匹配方法[18-19]進行對比，實驗結果如圖5所示。實驗結果顯示本文算法顯著提高了LIFT[7]的相對位姿估計精度，同時其估計精度也略高于SuperPoint[8]、CNN[18]和RCNN[19]。由于SIFT為傳統(tǒng)型特征檢測器，不支持神經(jīng)網(wǎng)絡引導的估計器NG-RANSAC，故圖5中無SIFT實驗結果。

圖5 基于NG-RANSAC的相對姿態(tài)精度估計Fig.5 Relative pose accuracy estimation based on NG-RANSAC

與圖4相對比，圖5中本文算法精度有了顯著提升，為了驗證是否是NG-RANSAC對本文的網(wǎng)絡改進產(chǎn)生了影響，進一步進行了消融研究，結果如圖6所示。在端到端的訓練中，要么只更新文中算法，要么只更新NG-RANSAC，要么兩者都更新，圖6中ours（init）和ours（e2e）分別表示本文算法原始參數(shù)值和端對端訓練后參數(shù)值；而NR（init）和NR（e2e）則分別表示NG-RANSAC估計器的原始參數(shù)值和端對端訓練后參數(shù)值。實驗結果表明，在逐步更新探測器參數(shù)的同時，AUC的精度也在逐漸提高，說明NG-RANSAC在整個訓練過程中適應本文網(wǎng)絡并影響著整個網(wǎng)絡。

圖6 消融實驗Fig.6 Ablation study

3.2 匹配性能比較

在H-Patches數(shù)據(jù)集上對本文算法進行了圖像匹配的測試，如表1所示。實驗中選取了傳統(tǒng)方法和深度學習方法共七種特征檢測器，并比較它們在匹配性能上的差異。

表1 圖像匹配性能比較Table 1 Image matching performance comparison

由表1可知，在傳統(tǒng)方法中，SIFT雖然檢測到的匹配點較多，但其匹配精度不高（只有80.5%）且匹配時間較長；而ORB檢測到的匹配點少，但運行時間較短，適合使用在需要實時檢測的情況下。同時，如表1所示，使用深度學習的特征檢測器無論是在匹配精度和運算時間上的效果都比傳統(tǒng)方法性能上要優(yōu)良一些。此外，本文算法將LIFT匹配精度提高了約5個百分點，為高級視覺任務提供了強有力的支撐。

隨后，進一步使用LIFT所得的特征匹配點與本文改進算法進行分析比較，實驗結果如圖7～9所示。在圖7中，左圖為LIFT所檢測到的特征點，右圖為本文算法所檢測到的特征點。文中的算法為了提高匹配的精度而剔除了一些不合適的關鍵點，相應地調整了部分剩下的關鍵點位置，可以達到提高低級視覺任務的準確度從而達到改善更高水平視覺任務的效果。

圖7 特征點比較Fig.6 Feature point comparison

部分圖像（圖3中第2行第1幅圖以及第1行前3幅圖）的匹配效果對比如圖8和圖9所示。圖8為LIFT算法匹配效果，圖9為本文算法匹配效果。從效果圖可知，圖8中LIFT算法還存在較多不正確的匹配點，且檢測到的特征點也較多，加大了探測時間和服務器運行壓力，不利于后續(xù)在其他視覺任務中的處理。圖9中本文算法剔除了一些不利于匹配的關鍵點，不僅減少了關鍵點檢測時間，還必將改善后續(xù)的三維重建等高級視覺任務。

圖8 LIFT算法匹配效果Fig.8 Image matching effect of LIFT algorithm

圖9 本文算法匹配效果Fig.9 Matching effect of our algorithm

3.3 光照影響

本文數(shù)據(jù)集中包含了不同光照條件下的圖像，整體匹配效果較好。對于低照度情況下的圖像匹配問題，有些文獻專門進行了研究分析[20]，因此，本文就此開展相關實驗。一方面，在H-Patches中選取多張不同光暗條件下的同一幅圖像驗證本文算法。另一方面，使用與表1所做實驗相同的圖像集和探測器，僅將圖像修改為低照度情況，然后分析各探測器匹配性能，實驗結果如表2所示。本文算法在不同低照度情況下匹配效果如圖10所示。

表2 低照度下匹配性能比較Table 2 Comparison of matching performance under low illumination

圖10 不同光照下的匹配效果Fig.10 Matching effect under different illumination

從表2和圖10中可以看出，由于描述子大多與像素值有關，所以光線較暗情況下各算法的匹配性能都受到了一定程度的影響，但是在不同照度條件下圖像上所檢測到關鍵點的個數(shù)基本保持不變，匹配對個數(shù)隨照度的降低逐漸減少，匹配的準確率都略微有所下降，總體上，本文算法在低照度情況下具有較強的魯棒性，匹配效果依然保持良好。

4 結語

本文提出了一種基于雙損失估計策略的強化學習的方法，將特征點以概率方式進行描述與配對，并從相對位姿損失和幾何約束損失兩個方面來聯(lián)合訓練特征檢測器內的可學習參數(shù)，增強了神經(jīng)網(wǎng)絡的魯棒性。同時，訓練中通過移除不可靠的關鍵點和細化關鍵點位置，提高了配對特征點的配準精度。下一步，將進一步擴展本文工作，將配對關鍵點應用于基于圖像集合的三維模型重建研究。