陳 佳，胡浩博，何儒漢，胡新榮

（1.武漢紡織大學(xué) 數(shù)學(xué)與計算機學(xué)院，武漢 430000；2.湖北省服裝信息化工程技術(shù)研究中心，武漢 430000）

0 概述

圖像匹配是一種通過傳感器獲取不同條件下的待匹配圖像，采用抽象形式提取圖像特征并對特征進行參數(shù)描述，再運用所描述的參數(shù)進行匹配的方法［1］，且作為計算機視覺領(lǐng)域的關(guān)鍵性技術(shù)而得到廣泛應(yīng)用。在影像醫(yī)學(xué)方面，磁共振成像（Magnetic Resonance Imaging，MRI）技術(shù)因其良好的成像方式已成為一種常用和重要的疾病檢測技術(shù)。利用MRI技術(shù)對人體的非均質(zhì)柔性生物組織在不同情況狀態(tài)下獲得圖像，并使用圖像匹配技術(shù)計算出變形前后影像中的特征在目標圖像上產(chǎn)生的精確位移，從而獲得柔性生物組織彈性模量及泊松系數(shù)等物理參數(shù)，可應(yīng)用于器官的損傷程度分析以及虛擬外科手術(shù)仿真過程中。

由于生物組織受力后形成的非規(guī)則、非線性變形場比器官蠕動、呼吸、肌肉伸縮等非線性醫(yī)學(xué)影像配準［2］產(chǎn)生形變的程度更大且變形場更為復(fù)雜，并且柔性體變形場的測量精度要求高于影像配準。因此，實現(xiàn)快速、準確的圖像特征點［3-5］描述是一項極具挑戰(zhàn)性的難題。早期以手工特征為代表的尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法［6］在圖像處理的實際應(yīng)用中非常廣泛，但是因其特征描述子維度過高會造成計算復(fù)雜度增加，難以滿足實時要求且無法避免人工標注特征點帶來的弊端以及特征表達欠缺的問題。

鑒于傳統(tǒng)SIFT 方法存在較為明顯的局限性但易于融合其他方法進行相應(yīng)改進［7-9］的特性，受圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNN）［10］中每個實體（節(jié)點）間相互依賴的特性與注意力機制思想的啟發(fā)，本文提出一種基于圖神經(jīng)網(wǎng)絡(luò)與注意力機制相結(jié)合的特征描述方法。該方法利用多層感知機（Multi-Layer Perceptron，MLP）將特征點的位置信息映射到高維空間中，并通過與特征向量相結(jié)合，解決了將特征點構(gòu)建到高維圖結(jié)構(gòu)中的問題。通過運用注意力機制的思想傳遞消息并更新各個節(jié)點的權(quán)重，利用線性投影得到的增強描述子來豐富描述特征的信息。

1 相關(guān)工作

近年來，國內(nèi)外研究人員在特征點描述方面做了大量工作與研究［11-13］。早期David Lowe 教授提出的手工特征描述SIFT 算法因其強大的優(yōu)勢而廣泛應(yīng)用至今，隨后文獻［14］提出的改進SURF 算法有效提升了速度與實時性，文獻［15］所提與深度學(xué)習(xí)相結(jié)合的特征描述算法SuperPoint 在真實場景下表現(xiàn)出優(yōu)異的性能。

雖然深度學(xué)習(xí)在歐氏空間中的數(shù)據(jù)方面取得了顯著成績，但是眾多成功的案例表明，很多實際應(yīng)用場景中的數(shù)據(jù)是從非歐式空間中生成的且需要進行有效分析。圖神經(jīng)網(wǎng)絡(luò)是將深度學(xué)習(xí)應(yīng)用在圖數(shù)據(jù)上的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它借鑒了卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和深度自動編碼器的思想，其中使用較為廣泛的CNN 是圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network，GCN）和圖注意力網(wǎng)絡(luò)（Graph Attention Networks，GAT）等。文獻［16］首次將GCN 用于圖像語義分割并提出了Graph-FCN 模型，因為使用卷積神經(jīng)網(wǎng)絡(luò)提取特征時，這些特征由于下采樣的原因會導(dǎo)致局部位置信息的損失，而局部位置信息對于語義分割任務(wù)至關(guān)重要。網(wǎng)絡(luò)層數(shù)的加深會使得感受野逐漸增大，此時網(wǎng)絡(luò)不僅具備局部特征，而且可同時捕獲到更加全面的特征，使得捕獲的特征信息更加鮮明，該做法的優(yōu)勢是能夠放大數(shù)據(jù)中最重要部分的影響，且該特性已被證明對機器翻譯和自然語言理解等任務(wù)是有效的。文獻［17］利用MLP 對GNN 提取的物品特征和節(jié)點特征進行評分預(yù)測推薦。隨著融入注意力機制的模型數(shù)量持續(xù)增加，圖神經(jīng)網(wǎng)絡(luò)在聚合過程中使用注意力可對多個模型的輸出進行整合。文獻［18］運用多層注意力神經(jīng)網(wǎng)絡(luò)對中文隱式篇章關(guān)系進行識別，并有效提高結(jié)果準確率。

目前，多數(shù)特征描述方法僅考慮特征點附近的局部特征信息，而忽視相鄰關(guān)鍵點之間的聯(lián)系，從而缺乏信息的豐富性并導(dǎo)致特征描述的信息缺失。為解決該問題，本文提出一種基于GAT 的增強特征描述子。一方面通過消息傳遞機制可有效利用圖神經(jīng)網(wǎng)絡(luò)中復(fù)雜的節(jié)點信息，另一方面運用注意力機制可摒棄無用和干擾信息，并有效完成對特征點的描述。

2 增強特征描述子

2.1 增強特征描述子基本框架

本文提出一種基于注意力圖神經(jīng)網(wǎng)絡(luò)的增強描述子，先運用多層感知機將關(guān)鍵點位置信息嵌入到高維空間中，再通過與初始描述子相結(jié)合來構(gòu)建圖神經(jīng)網(wǎng)絡(luò)模型。本文通過引入注意力機制來提高描述子生成模型的魯棒性。借鑒人類視覺中的選擇性視覺注意力機制，通過快速掃描源圖像和目標圖像來獲取需要重點關(guān)注的相似目標區(qū)域，然后對該區(qū)域投入更多的計算資源，以獲取更多需要關(guān)注的細節(jié)信息并抑制其他無用信息。本文增強特征描述框架如圖1 所示。

圖1 本文所提增強特征描述框架Fig.1 Framework of the proposed enhanced feature description

2.2 關(guān)鍵點編碼器

關(guān)鍵點編碼器利用多層感知機將圖像中的關(guān)鍵點位置信息與關(guān)鍵點初始描述子相結(jié)合，并用于之后形成的復(fù)雜圖結(jié)構(gòu)。

在非均質(zhì)柔性生物組織產(chǎn)生非線性形變時的二維MR 影像上，采用高斯差分算子（Difference of Guassians，DoG）與Harris 角點檢測算子提取大量的特征點，并采用SIFT 描述子對提取的特征點進行描述，從而得到初始描述子di。同時，通過MLP 將特征點位置信息pi嵌入到高維空間，再將初始描述子與嵌入后得到的結(jié)果相結(jié)合形成局部特征，具體如式（1）所示：

2.3 注意力圖神經(jīng)網(wǎng)絡(luò)

考慮到關(guān)鍵點在同一影像的空間和視覺關(guān)系，例如突出的關(guān)鍵點、自相似的關(guān)鍵點或相鄰的關(guān)鍵點的同時，還應(yīng)考慮從另一張目標圖像中的局部特征獲取信息。尤其是對比2 個模棱兩可的圖片時，人們通常都會反復(fù)在2 張圖片之間查看，以篩選出試探性的匹配關(guān)鍵點，并通過尋找周圍的線索來幫助區(qū)分相同與相似之處。基于此，本文在圖神經(jīng)網(wǎng)絡(luò)中引入了注意力機制。在傳統(tǒng)手工描述子的基礎(chǔ)上，將圖像內(nèi)和圖像間的特征進行聚合并得到增強描述子為fi∈?D。

在由特征點構(gòu)成的圖結(jié)構(gòu)中，節(jié)點為關(guān)鍵點，邊則分為同一圖像內(nèi)關(guān)鍵點的邊εself以及不同圖像間關(guān)鍵點的邊εcross。采用消息傳遞式（2）沿上述2 種類型的邊傳播信息，其中在同一圖像中傳遞消息時稱為自我注意，而在不同圖像間傳遞消息時則稱為交叉注意。傳遞的信息在不同層次及層次間可聚集和更新。例如，(L)xAi可以看作是關(guān)鍵點i在源圖像A中的L層上。消息傳遞式的結(jié)果mε→i是所有關(guān)鍵點{j：(i，j)∈ε}消息聚合的結(jié)果，其中ε∈{εself，εcross}。源圖像A中其他剩余關(guān)鍵點i的消息傳遞更新如式（2）所示：

目標圖像B中的所有關(guān)鍵點也同時執(zhí)行類似的更新，將指定數(shù)量具有不同參數(shù)的層L鏈接起來，并同時沿著圖像內(nèi)的邊和圖像間的邊進行消息聚合。當(dāng)L=1 時，如果L為奇數(shù)時，則ε=εself；如果L為偶數(shù)，則ε=εcross。此時，通過傳遞消息mε→i并進行相應(yīng)的計算過程是注意力聚焦的過程，它類似于數(shù)據(jù)庫中的檢索數(shù)據(jù)，且i相當(dāng)于查詢qi的形式，通過某些元素的屬性（關(guān)鍵字ki）來檢索某些元素的值vi。消息計算過程具體如式（3）所示：

其中，權(quán)重wij是Softmax 在關(guān)鍵字和查詢上的相似度，且wij=Softmaxj(qikj)。

鍵、查詢和值被看作圖神經(jīng)網(wǎng)絡(luò)深層特征的線性投影，則所要查詢的關(guān)鍵點i在圖像Q中，源關(guān)鍵點在圖像S中。

在每一層L中，2 個圖中所有的關(guān)鍵點都可以學(xué)習(xí)和共享，那么可根據(jù)初始描述子和關(guān)鍵點位置（在表示xi中進行編碼）進行檢索與聚焦，且最終所得到的增強特征描述子是線性投影，具體如式（6）所示：

3 實驗結(jié)果分析

3.1 實驗步驟

本文實驗的主要步驟為：

步驟1對圖像數(shù)據(jù)集進行預(yù)處理后，將大量源圖像和形變圖像輸入到本文網(wǎng)絡(luò)模型中。

步驟2采用DOG 算子和Harris 檢測器分別從柔性生物組織形變前后的MR 圖像中提取出特征點。

步驟3對于步驟2 得到的特征點，通過采用多層感知機將特征點位置信息編碼并與特征點的初始描述符相結(jié)合，運用圖注意力神經(jīng)網(wǎng)絡(luò)進行監(jiān)督學(xué)習(xí)，并通過消息傳遞式來調(diào)整權(quán)值和偏置，以提升模型性能。

步驟4將源圖像和形變圖像的特征描述符作為結(jié)果進行輸出。

與傳統(tǒng)手工提取圖片特征描述子方法相比，本文方法得到的特征描述子將包含更多的特征信息，且大幅提升特征描述子的健壯性。

3.2 實驗數(shù)據(jù)

3.2.1 訓(xùn)練集

對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練時，實驗使用了多視圖立體數(shù)據(jù)集（MVS）［19］，它包含超過1.5M 個64×64 的灰度圖像塊以及來自不同視圖的500K 個3D 點。同時，本文在該數(shù)據(jù)集基礎(chǔ)上加入了兩組真實采集的志愿者小腿的初始和變形MR 圖像，具體如圖2 所示。在每對圖像中，左圖顯示的是初始自然姿勢，右圖顯示的是生物組織在一定力作用下的變形姿勢。圖2（a）和圖2（b）分別顯示了在腳背和腳趾上發(fā)生推力和擠壓時小腿的變形情況。

圖2 志愿者小腿的初始和變形圖像Fig.2 Initial and deformed images of the lower leg of volunteers

由于真實采集的志愿者MR 圖像樣本容量較小，因此本文對圖2 中的4 張圖片分別進行翻轉(zhuǎn)、鏡像、旋轉(zhuǎn)、調(diào)節(jié)原圖片亮度、對比度、高斯模糊、銳化以及添加噪聲等操作，且每進行一種操作都將轉(zhuǎn)化后的結(jié)果切分成64×64 大小的圖像塊，具體如圖3 所示。

圖3 經(jīng)過一系列操作后得到的多個64×64 圖像塊Fig.3 Multiple 64 × 64 image blocks are obtained after a series of operations

3.2.2 測試集

本文用真實采集的志愿者MR 圖像作為測試集。由于篇幅限制，這里僅顯示4 組測試圖像并對其進行分析說明。如圖4 所示，每組圖像包括原圖和變形后的圖。圖4（a）為使用推力使腹部變形的圖像；圖（b）為使用壓力使腹部變形的圖像；圖4（c）和圖4（d）為志愿者在側(cè)臥的情況下，腹部受到推壓的變形影像。這些圖像是由0.5 T 的MRI 設(shè)備拍攝的，其中的視野或FOV 被設(shè)置為24 cm×24 cm，兩個切片之間的距離是2 mm。

圖4 志愿者腹部的初始和變形圖像Fig.4 Initial and deformed images of the abdomen of volunteers

3.3 系統(tǒng)環(huán)境與參數(shù)設(shè)置

本文系統(tǒng)采用MATLAB 和Python 混合編程技術(shù)實現(xiàn)。使用的工作環(huán)境包括一個2.60 GHz Intel?CoreTMi7-9750H CPU 和一個NVIDIA GeForce RTXTM2060 GPU。

實驗使用以下4 個性能指標對實驗結(jié)果進行評價：1）總匹配對的數(shù)量（NM）；2）正確匹配對的數(shù)量（NCM）；3）不正確匹配對的數(shù)量（NWM）；4）檢測率（DetectionRate），即正確匹配的對數(shù)占總匹配對數(shù)的百分比，其計算方法如式（7）所示：

由于在注意力模塊中層數(shù)L不同，在每層中的關(guān)鍵點的權(quán)重wij也會不同，因此注意力模塊中層數(shù)L的取值是一個關(guān)鍵參數(shù)且對實驗至關(guān)重要。為找到L的最優(yōu)值，當(dāng)層數(shù)L為1～11 時，實驗分別計算了不同層數(shù)時的特征點匹配率。圖5 給出了層數(shù)取值分別為1、3、5、7、9、11 時的檢測率結(jié)果。從圖5 可以看出，當(dāng)層數(shù)L取5 時，源圖像與目標圖像的匹配率效果較好，當(dāng)層數(shù)繼續(xù)增大時，L取7 和9 時效果并未得到大幅提升，然而當(dāng)L取11 時，檢測率反而呈下降趨勢。

圖5 層數(shù)L 對檢測率的影響Fig.5 Influence of the number of layers L on detection rate

圖6 給出了不同L層數(shù)下的程序運行匹配所耗費的時間。從圖6 可以看出，當(dāng)L取1、3 和5 時，程序運行所耗費的時間較少，但是當(dāng)L取7、9、11 時，程序運行所耗費的時間驟然增加且呈現(xiàn)出指數(shù)級增長。這說明僅增加注意力模塊中的層數(shù)不會顯著提高效率。通過結(jié)合圖5 和圖6 可知，當(dāng)層數(shù)L取5 時，匹配檢測率最高且花費的時間相對較少，而當(dāng)層數(shù)L取7、9 和11 時，匹配檢測率呈現(xiàn)出下降趨勢且程序運行耗費的時間顯著增加。因此，本文將實驗層數(shù)L設(shè)定為5。

圖6 在不同層數(shù)L 下程序運行耗費的時間Fig.6 The time of program running under different layers L

3.4 方法對比分析

為驗證本文設(shè)計模型的有效性與優(yōu)越性，實驗將本文提出的特征描述方法與SIFT、SURF、DAISY［20］與GIH［21］進行對比分析。其中SIFT 和SURF 都是基于高斯差分的描述子，且已經(jīng)證明其對于仿射變換是健壯的。DAISY 是面向稠密特征提取的可快速計算的局部圖像特征描述子，它的本質(zhì)思想和SIFT 是一樣的，但不同的是DAISY 在分塊策略上進行了改進，而GIH 是專門為處理非剛性圖像變形而設(shè)計的描述子。上述描述子均使用最近鄰匹配方法進行比較。從圖7（a）和圖7（c）可以看出，本文算法和最近鄰匹配方法相結(jié)合所獲得的總匹配對數(shù)均多于其他方法，但正確匹配對數(shù)與SIFT 方法相比尚顯不足。從圖7（b）和圖7（d）可以看出，本文方法和最鄰近匹配方法所獲得的正確匹配對數(shù)明顯優(yōu)于其他方法，尤其是在圖7（b）的實驗結(jié)果中，本文方法所獲得的正確匹配對數(shù)明顯高于其他方法，主要是因為在AbdPress 實驗中，下半部分所產(chǎn)生的形變較小，從而導(dǎo)致總匹配對數(shù)和正確匹配對數(shù)異常高。

圖7 5 種方法在不同實驗上的結(jié)果Fig.7 Results of five methods on different experiments

圖8 給出了不同方法在不同實驗上所得的檢測率結(jié)果。在圖8（b）AbdPress 實驗結(jié)果和圖8（d）SAbdPush2 實驗結(jié)果中，本文方法獲得的檢測率均高于其他方法。由于SIFT 方法對于形變程度較小的兩幅圖片匹配具有一定優(yōu)勢，因此在圖8（a）AbdPush 的實驗結(jié)果中，SIFT 方法的檢測率高于本文方法及其他方法。在8（c）SAbdPush1 的實驗結(jié)果中，DAISY 方法因其對稠密特征的提取方法較為突出，使得其檢測率高于其他方法。從實驗總體可以看出，本文方法在實驗中獲得的檢測率均處于較高水平且具有比較穩(wěn)定的效果，但是相較于各種方法的優(yōu)勢之處仍有提高的空間。

圖8 5 種方法在不同實驗上的檢測率Fig.8 Detection rate of five methods on different experiments

圖9 是使用推力使腹部變形的圖像初始圖像和變形圖像完整的實驗結(jié)果，其中圖9 中圓圈所標記出來的點是被DOG 和Harris 從初始圖像中提取出來的107 對特征點，白線是經(jīng)過本文算法+NN 得出的正確匹配點的連線。

圖9 Abdomen push（AbdPush）實驗結(jié)果Fig.9 The experimental results of Abdomen push（AbdPush）

4 結(jié)束語

本文提出基于注意力圖神經(jīng)網(wǎng)絡(luò)的增強描述子，該描述子將注意力機制融入圖神經(jīng)網(wǎng)絡(luò)中，運用注意力機制中的自我注意和交叉注意方法設(shè)置適合的層數(shù)，并通過融合相鄰節(jié)點信息來描述特征點。實驗結(jié)果表明，與傳統(tǒng)描述子相比，該描述子通過結(jié)合最近鄰匹配算法可提升正確匹配對數(shù)和檢測率，且對優(yōu)化MR 影像特征點的匹配具有重要的應(yīng)用價值。下一步將通過加入零樣本或少樣本的思想方法來優(yōu)化網(wǎng)絡(luò)模型，以解決MR 影像實際樣本較為匱乏的問題。