石國強，趙 霞，陳星洲，陳雨佳，陳 萌，郭 松，陳 鳳

（1.同濟大學 電子與信息工程學院，上海 201804；2.上海宇航系統(tǒng)工程研究所，上海 201109）

0 引言

近年來，各國研發(fā)了大量滿足不同需求的航天器。由于太空環(huán)境惡劣以及設(shè)計、制造等因素，航天器在運行過程中會發(fā)生一些不可避免的故障，航天器維修、生命延長等在軌服務(wù)技術(shù)在空間競爭中非常重要。對空間目標進行精確三維重建是實現(xiàn)上述在軌服務(wù)的基礎(chǔ)，其中局部圖像匹配是基于序列圖像三維重建的重要步驟之一。除此之外，局部圖像匹配還廣泛應(yīng)用于計算機視覺的其他領(lǐng)域，如目標識別、圖像拼接、運動結(jié)構(gòu)。局部圖像匹配由特征描述和特征匹配兩部分組成，特征匹配主要采用歐式距離計算方法。傳統(tǒng)的局部特征描述符提取是基于圖像處理技術(shù)，如幾何特征提取、灰度比較等，在此基礎(chǔ)上生成64 維、128 維甚至更高維數(shù)用于描述該特征點的向量。該方法需要設(shè)計者具有豐富的設(shè)計經(jīng)驗以及大量的調(diào)試工作，同時難以滿足實際應(yīng)用中對復(fù)雜環(huán)境下特征點描述的要求。

近些年，深度卷積神經(jīng)網(wǎng)絡(luò)在眾多計算機視覺領(lǐng)域取得巨大成功［1-4］，如圖像分類、目標定位、目標跟蹤等，實驗結(jié)果表明：神經(jīng)網(wǎng)絡(luò)可以從大量帶有標注信息的圖像中，有效地學習到不同圖像深層特征。圖像內(nèi)各種幾何紋理特征被網(wǎng)絡(luò)反復(fù)進行學習和優(yōu)化，最終得到用于描述圖像的高度深層特征，這些特征能夠準確地描述圖像內(nèi)各個目標。針對深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)秀特征提取能力，本文設(shè)計了一種基于卷積神經(jīng)網(wǎng)絡(luò)的局部圖像特征描述方法，為局部圖像的特征描述提供了一種魯棒性更強、速度更快的算法。相比于傳統(tǒng)特征描述符算法，本文方法將特征提取時間縮短了50%，特征匹配時間縮短了60%。

1 研究現(xiàn)狀

目前圖像匹配算法主要分為兩類——基于圖像特征工程和基于學習策略?；谔卣鞴こ痰乃惴ㄖ饕⊿IFT［5］、SURF［6］、BRIEF［7］等。SIFT 算法由Lowe［5］于1999 提出，該算法具有光照不變性、尺度不變性、局部仿射不變性和局部抗遮擋的能力，但其計算極其復(fù)雜，且特征描述符的輸出維數(shù)為128 維，因此，該算法的時間和空間復(fù)雜度較高。SURF 算法由Herbet等［6］于2006年針對SIFT 算法提出的改進版，該算法在保持性能的同時，大幅提高計算效率，但特征描述符需要的計算資源較多。BRIEF 算法由Calonde等［7］于2010年提出，該算法輸出二值特征描述符，在描述符的建立和匹配上速度更快，但其魯棒性較差，不具有旋轉(zhuǎn)和尺度不變性。

隨著標記樣本的增多以及計算機性能的提升，出現(xiàn)了一些基于數(shù)據(jù)學習的特征描述符設(shè)計方法?；趯W習策略的算法將非線性引入到特征描述符映射這一過程中，從而增加描述符的分辨力，如文獻［8-9］。Trzcinski等［8］用boosting 方法聯(lián)合多個基于梯度的弱學習器，得到了類似于SIFT 的特征描述符，但描述符維數(shù)相比于SIFT 減少了一半；Si?monyan等［9］將描述符的池化區(qū)域和描述符維數(shù)都轉(zhuǎn)換成凸優(yōu)化問題進行學習，在提高匹配準確率的同時降低了描述符維數(shù)。

近幾年，基于數(shù)據(jù)驅(qū)動的卷積神經(jīng)網(wǎng)絡(luò)在多個計算機視覺領(lǐng)域都取得了不錯的進展，部分學者嘗試將卷積神經(jīng)網(wǎng)絡(luò)用于提取特征描述符［10-12］。Han等［10］提出一種采用端對端聯(lián)合訓練特征描述網(wǎng)絡(luò)和特征匹配網(wǎng)絡(luò)的MatchNet，其中卷積池化層用于提取特征描述符，全連接層用于相似性比較并輸出圖像匹配概率。文獻［11-12］將描述和匹配過程分開，用卷積神經(jīng)網(wǎng)絡(luò)提取特征描述符，并用歐式距離作為匹配準則。在UBC 基準測試上，以上基于卷積神經(jīng)網(wǎng)絡(luò)的特征描述符相比于人工設(shè)計或基于數(shù)據(jù)的描述符具有更好的性能。但也存在不足，文獻［10］難以實現(xiàn)精準匹配，無法應(yīng)用于對匹配精度要求高的任務(wù)（如序列圖像三維重建）；文獻［11-12］的淺層網(wǎng)絡(luò)對形變等情況的魯棒性較差，無法勝任復(fù)雜環(huán)境下局部特征描述符的提?。淮送?，以上方法都存在描述符維度過高問題，導(dǎo)致特征匹配過程較為耗時。針對以上問題，本文提出使用全局平均池化來解決泛化問題，增強復(fù)雜環(huán)境下的特征提取能力；采用難樣本挖掘方法訓練網(wǎng)絡(luò)，提升特征描述符的匹配精度；同時，采用線性組合優(yōu)化特征描述符維數(shù)，提升特征匹配速度。

2 基于CNN 的特征描述網(wǎng)絡(luò)

2.1 CNN 結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是深度學習方法應(yīng)用到特征描述領(lǐng)域的理論與技術(shù)基礎(chǔ)，其作用是進行圖像特征提取與訓練。圖1 是經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)LeNet 的結(jié)構(gòu)示意圖［13］，主要由卷積層（Convolutional Layer，圖1中的C1、C3 層）、池化層（Pooling Layer，圖1中的S2、S4 層）、全連接層（Fully Connected Layer，圖1中的C5、F6層）以及激活函數(shù)（Activation Function）等組成。

2.2 特征描述符網(wǎng)絡(luò)結(jié)構(gòu)

圖1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.1 Basic structure of the CNN

本文提出的特征描述網(wǎng)絡(luò)結(jié)構(gòu)主要受VGG［14］啟發(fā)，設(shè)計時遵循以下原則：1）采用多個連續(xù)的3×3 的卷積核代替一個大的卷積核，在增大網(wǎng)絡(luò)非線性的同時減少了網(wǎng)絡(luò)系數(shù)；2）在特征映射大小相同的各層，特征映射通道數(shù)相等。

針對已有方法以及圖像特征描述符提取的特殊性，本文做出以下改進工作：

1）網(wǎng)絡(luò)深度。文獻［14］表明卷積神經(jīng)網(wǎng)絡(luò)越深，提取的語義信息越抽象，算法的魯棒性越強。但特征描述符網(wǎng)絡(luò)輸入圖像尺寸較小，以及需要保證對圖像表面紋理的分辨能力，因此，本文更傾向于使用淺層的卷積網(wǎng)絡(luò)用于特征描述符的提取。

2）全連接和全局平均池化（GAP）。大多數(shù)卷積神經(jīng)網(wǎng)絡(luò)采用連續(xù)幾層全連接層來輸出最終的特征符維數(shù)，該操作不僅會引入大量系數(shù)（一般的卷積神經(jīng)網(wǎng)絡(luò)中，全連接層系數(shù)個數(shù)占整個網(wǎng)絡(luò)的50%以上），同時由于訓練樣本的單一化也會使描述符網(wǎng)絡(luò)容易陷入過擬合，導(dǎo)致實際匹配效果較差。

3）相似性度量。相似性度量標準用于比較兩個局部圖像特征描述符的近似程度，進而決定圖像的匹配性。常用的相似性度量標準主要有采用距離和概率兩種指標，兩個描述符越相似，則它們之間的距離越小或者概率越趨近于1。在實際圖像匹配中，與某一點相似的點很多，故本文采用距離指標——歐式距離，作為本文的相似性度量標準。

本文提出使用GAP 層來代替全連接層，對任意大小的末層特征映射都采用全局平均值池化，每一個特征映射通道對應(yīng)1 位特征描述符。GAP 層直接對特征映射提取的空間特征信息總結(jié)，得到的特征描述符應(yīng)該更加魯棒。由于GAP 層沒有需要訓練的參數(shù)，因此，該網(wǎng)絡(luò)的系數(shù)大大減少，魯棒性更強。根據(jù)以上兩點改進，本文設(shè)計的4 種網(wǎng)絡(luò)結(jié)構(gòu)（A、B、C、D）見表1。

由于采用了GAP 結(jié)構(gòu)，網(wǎng)絡(luò)輸出的描述符維數(shù)等于最后一層特征映射的通道數(shù)，表1中A～D 最終分別會產(chǎn)生128、256、512、512 維的描述符。當需要改變描述符維數(shù)時，采用改變特征映射通道數(shù)的方式會使需要微調(diào)的系數(shù)變得很多。因此，為了優(yōu)化特征描述符維度，本文在最后一層特征映射層增加一層單獨的全連接層作為線性組合。采用GAP 結(jié)合單層全連接層的方式，引入?yún)?shù)少且不影響卷積層的特征提取過程，只對生成的特征進行加權(quán)，分辨力越強的特征加權(quán)越大。當改變網(wǎng)絡(luò)輸出維數(shù)時，只需要在原網(wǎng)絡(luò)上進行微調(diào)，重訓練時間短。實驗結(jié)果顯示：這種結(jié)構(gòu)能夠保留大量圖像特征信息，使生成的描述符具有很好的表達能力。

3 特征描述符實驗

3.1 數(shù)據(jù)及實驗訓練

實驗數(shù)據(jù)選自MVS 數(shù)據(jù)集，MVS 數(shù)據(jù)集包含約150 萬張物體局部圖像，每張圖像尺寸大小為64×64，隨機組合的正負樣本會包含大量易區(qū)分的樣本，采用該種樣本訓練后網(wǎng)絡(luò)的泛化性較差。因此，本文在挑選正負樣本時，只選擇圖像相似程度高的樣本進行訓練，部分負樣本組如圖2 所示。為了提升描述符網(wǎng)絡(luò)的分辨能力，在利用前述樣本訓練收斂后采用了難樣本挖掘的訓練方法繼續(xù)訓練。

在訓練過程中，用VGG 在ImageNet 訓練得到的參數(shù)初始化C、D 網(wǎng)絡(luò)參數(shù)，A、B 網(wǎng)絡(luò)參數(shù)隨機初始化。所有網(wǎng)絡(luò)batch size為128，weight decay為0.005，激活函數(shù)都采用Relu。初始學習率為0.001，當訓練損失函數(shù)穩(wěn)定后，學習率縮小到10%再進行訓練。所有卷積神經(jīng)網(wǎng)絡(luò)的實現(xiàn)都基于Caffe，網(wǎng)絡(luò)模型訓練使用NVIDA GEFORCE GTX 1080 顯卡，需在Windows 10上搭建cuda8.0+cudnn6 的GPU 運行環(huán)境。

表1 網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Network structure

圖2 訓練所用負樣本示例Fig.2 Negative samples for training

3.2 實驗結(jié)果

3.2.1 測試集FPR95 比較

本文采用FPR95 作為4 種不同網(wǎng)絡(luò)結(jié)構(gòu)性能評估指標。該指標表示測試模型在正樣本召回率達到95%時，召回樣本中的錯誤率，其值越低表明模型的分辨能力越強。測試數(shù)據(jù)選取自由女神像（Lib）、巴黎圣母院（Ntr）和約塞米蒂國家公園（Yos）作為測試集，每組測試集包含50 萬組圖像。本文提出的各個網(wǎng)絡(luò)模型以及傳統(tǒng)的SIFT 和Dai?sy 模型描述符在測試集上的FPR95 見表2。

表2 描述符模型比較Tab.2 Comparisons of different description models

由表2 可知：傳統(tǒng)算法FPR95 性能指標最低為18.17%，而本文提出的網(wǎng)絡(luò)在測試集上的性能指標均明顯優(yōu)于傳統(tǒng)算法SIFT 和Daisy，最佳性能僅為1.0%。其中，網(wǎng)絡(luò)C 的性能最佳，表明描述符網(wǎng)絡(luò)的深度不易設(shè)計得過深。對比網(wǎng)絡(luò)C 不同描述符輸出維度的性能，發(fā)現(xiàn)16 維描述符網(wǎng)絡(luò)的性能跟128維的相當，表明卷積神經(jīng)網(wǎng)絡(luò)強大的學習能力。

3.2.2 圖像匹配性能比較

圖像匹配是對不同成像條件下獲取的兩幅或多幅圖像的相同點進行匹配，而局部特征描述符常用于圖像匹配。本節(jié)實驗選取了4 組圖像集，其中，前3 組來自MVE（Multi-View Environment）數(shù)據(jù)集［15］，第4 組為我們實際拍攝。圖3 展示了部分圖像集。實驗中，采用DoG（Difference of Gau-ss）算法對每張圖像提取特征點，然后用各網(wǎng)絡(luò)對每組序列圖像進行特征匹配，并進行三維重建。以各個網(wǎng)絡(luò)的得到的三維空間點數(shù)量比較各個網(wǎng)絡(luò)的性能，點數(shù)越多，說明描述符越準確，性能越好，同時也列出各個網(wǎng)絡(luò)計算1 000 個特征點的描述符以及匹配所花費的時間。各描述符重建結(jié)果見表3，三維重建主要參考Multi-View Environment［15］的方法。

圖3 部分序列圖像Fig.3 Partial sequence images

由表3 可知：在MVS 測試集上，本文提出的網(wǎng)絡(luò)在特征點匹配數(shù)量上與傳統(tǒng)方法性能相當?shù)耐瑫r提升了匹配速度，其中網(wǎng)絡(luò)A 和B 的速度是傳統(tǒng)速度的2 倍。由于訓練數(shù)據(jù)的單一性，導(dǎo)致C、D 網(wǎng)絡(luò)在實際場景測試上效果較差，但結(jié)構(gòu)簡單的A 網(wǎng)絡(luò)在測試集stone_carving 上性能與傳統(tǒng)方法較為接近，表明簡單網(wǎng)絡(luò)的泛化能力強。

3.2.3 討論

本節(jié)實驗對比了不同描述符網(wǎng)絡(luò)及傳統(tǒng)描述符在MVS 數(shù)據(jù)集的性能、圖像匹配性能。實驗證明：基于CNN 的特征描述網(wǎng)絡(luò)能夠有效地提高算法的分辨力。在圖像匹配中，Daisy 表現(xiàn)出了最好的性能，而A16、A128 以及C128 分別達到了Daisy模型的性能85.7%、92.5%和95.6%，具有不錯的匹配準確率。由于GPU 的充分利用，描述符網(wǎng)絡(luò)的計算時間快，且16 維描述符匹配時間遠遠低于其他描述符，在描述符匹配時間要求嚴格的場合可以考慮使用網(wǎng)絡(luò)A16。

本節(jié)實驗結(jié)果顯示了卷積神經(jīng)網(wǎng)絡(luò)強大的學習能力，在后續(xù)研究中可以擴大數(shù)據(jù)集規(guī)模，選用更多場景下的局部圖像數(shù)據(jù)集，并改進網(wǎng)絡(luò)模型結(jié)構(gòu)，從而有望進一步提高描述符的分辨能力。

4 結(jié)束語

本文采用卷積神經(jīng)網(wǎng)絡(luò)模型提取局部圖像特征，生成特征描述符。采用Siamese 結(jié)構(gòu)和對比損失函數(shù)訓練描述符網(wǎng)絡(luò)參數(shù)。利用GAP 和線性連接，降低了網(wǎng)絡(luò)過擬合的風險，同時還降低了描述符維數(shù)，使得匹配效率得到提高。本文對不同結(jié)構(gòu)的描述符網(wǎng)絡(luò)進行了大量實驗，總結(jié)了不同網(wǎng)絡(luò)的結(jié)構(gòu)特點，提供了網(wǎng)絡(luò)的設(shè)計經(jīng)驗。其中，網(wǎng)絡(luò)A-16 在保證較高匹配準確率的同時明顯降低了匹配需要的時間。在實際圖像匹配中，可以根據(jù)不同的應(yīng)用需求，用不同的描述符網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)描述符。