袁慶升，靳國慶，張冬明，包秀國

（1. 國家計算機網(wǎng)絡應急技術處理協(xié)調(diào)中心，北京 100029；2. 中國科學院計算技術研究所，北京 100190；3. 中國科學院大學網(wǎng)絡空間安全學院，北京 100049；4. 中國科學院信息工程研究所，北京 100193）

1 引言

隨著互聯(lián)網(wǎng)圖像數(shù)量迅速增長，對海量圖像進行內(nèi)容分析與檢測的需求越來越大，基于內(nèi)容的圖像檢索技術成為研究熱點。這些技術通常使用局部特征作為圖像內(nèi)容的描述，這是由于局部特征具有良好的區(qū)分性，對圖像的多種變換，如遮擋、模糊、噪聲、剪切等，具有較高的穩(wěn)定性。局部特征的提取主要分為2個步驟：1） 特征點的提取，提取的信息包括特征點位置、特征點主方向、特征點尺度信息等；2） 局部特征點描述子的計算，即依據(jù)特征點周圍的像素信息，計算其對旋轉、光照、尺度等變化頑健的特征，提取到的特征通常以向量表示，能有效描述特征點。

常見的局部特征點描述子主要分為2種：實數(shù)描述子和二進制描述子。實數(shù)描述子提取復雜，在內(nèi)存和磁盤上以浮點數(shù)的形式存儲，對存儲要求高且不能滿足實時性需求。二進制特征描述子使用二進制位進行編碼，計算簡單且占用的存儲空間小，適合實時性要求高的應用場景。常用的二進制描述子主要有BRIEF（binary robust independent elementary features）[1]、ORB（oriented FAST and rotated BRIEF）[2]、BRISK（binary robust invariant scalable keypoint）[3]、FREAK（fast retina keypoint）[4]等。

BRIEF通過隨機選擇點對而得到二進制描述子，計算速度快[1]，但是其對旋轉和尺度變化敏感，在不同數(shù)據(jù)集下檢索性能差異大。BRISK拋棄了隨機采樣模式，提出類似 Daisy[5]的采樣方式，以特征點為圓心，在半徑依次增大的同心圓上均勻采樣候選點，同心圓上候選點采樣密度從中心開始均勻下降，這在一定程度上增強了對噪聲的頑健性。FREAK則模仿視網(wǎng)膜特性在BRISK技術上進一步引入了多尺度平滑[4]。李兵等對BRIEF進行改進，不同于ORB特征使用區(qū)域質(zhì)心計算主方向，該方法通過在特征點鄰域內(nèi)均勻采樣8對對稱子區(qū)域，然后累加各子區(qū)域以其像素均值加權的梯度方向作為主方向，從而實現(xiàn)了描述子對旋轉的不變性[6]。朱英宏等通過提取特征點鄰域內(nèi)33個像素點的二進制紋理特征，得到一個132 bit的二進制描述子[7]。盧鴻波等在特征點鄰域內(nèi)選取R個同心圓，每個圓上采樣N個像素點，然后使用同心圓層內(nèi)編碼和層間編碼的方式得到一個2RN bit的二進制描述子[8]。惠國保等研究了不同采樣模式和不同高斯平滑半徑對二進制描述子的影響，提出了一種內(nèi)密外疏的采樣模式[9]。

此外，近年來研究者們還提出了很多基于有監(jiān)督學習的二進制特征生成方法。RFD（receptive fields selection）特征[10]對多個子區(qū)域的實值特征進行量化構建二進制特征，子區(qū)域的選擇和量化閾值通過學習得到。BinBOOST[11]特征則是通過學習多個弱分類器組合成一個強分類器，用分類器來判斷二進制位取值為0或1，采用的弱分類器形式是量化函數(shù)。RFD特征和BinBOOST特征在本質(zhì)上都是通過有監(jiān)督學習的方式對實值特征進行量化來得到二進制描述子。隨著深度學習卷積神經(jīng)網(wǎng)絡（CNN，convolution neural network）[12]在圖像分類上快速發(fā)展，也出現(xiàn)了許多基于深度學習提取二進制描述子的算法[13-15]，這類方法不同于上述局部的二進制描述子，獲得的是圖像的全局二進制描述，缺少描述圖像底層細節(jié)的有用信息，且計算復雜度高，提取描述子時需要占用大量內(nèi)存，效率低。

本文綜合考慮采樣點選擇和描述子生成，基于視網(wǎng)膜的視神經(jīng)細胞分布和感知特性，研究二進制描述子生成方法。特別地，針對特征點對頑健性低的問題，提出了模仿視網(wǎng)膜特性的采樣模式。對比同樣模仿視網(wǎng)膜特性的 FREAK[4]描述子，本文方法二進制描述子的生成過程不同。本文所提出的采樣模式混合使用多尺度光滑、視野重疊等模仿視網(wǎng)膜特性，且通過數(shù)據(jù)實驗對關鍵參數(shù)進行優(yōu)化，同時還提出了基于學習的方法，在典型數(shù)據(jù)集上對最終采樣點對進行選擇。所提方法具有計算快速、占用內(nèi)存少、頑健性高的優(yōu)點，且匹配正確率有明顯提高。

2 基于RBS的二進制描述子

圖像局部二進制特征提取包括特征點檢測和描述子提取。特征點檢測往往需要在多個尺度空間上進行極值點檢測，以應對圖像的尺度變化，保證特征點的可重復性。描述子提取是在特征點檢測的基礎上進行的，通常依據(jù)特征點周圍的像素分布按照預設計算模型生成一串特征數(shù)值，而二進制描述子一般通過比較像素點之間亮度的大小來確定描述子取值，如式（1）所示。

其中，l為比較點對的數(shù)目，它決定二進制描述子的最終長度；點對 Pi由 2個像素點和定義；T（Pi）表示點對 的比較結果，定義如式（2）所示。

其中，I（?）表示對應點的灰度值。

由式（1）可以看出，二進制描述子完全取決于點對的選擇，相應地，描述子的區(qū)分能力和頑健性完全依賴特征點周圍的點對采樣模式。選擇好的采樣模式，一方面可以減少描述子長度，即降低的取值，進而降低計算量和內(nèi)存開銷；另一方面由此產(chǎn)生的二進制描述子對各種常見的變化具有很好的頑健性，即不隨圖片尺度、方向及視角等變化而改變。本文根據(jù)視網(wǎng)膜的細胞分布特性，設計了相應的候選點選取方式和點對采樣模式，從而獲得高性能的RBS（retina-imitation based sampling）特征。下面詳細介紹候選點選取方式、點對采樣模式以及RBS特征的生成方式。

2.1 候選點選取

候選點選擇方面，ORB和BRIEF采用隨機采樣，BRISK采用均勻采樣，F(xiàn)REAK使用類視網(wǎng)膜采樣，均取得了較大的性能提升。視網(wǎng)膜由3層神經(jīng)元組成。第一層神經(jīng)元是視細胞層，包括錐細胞和柱細胞，負責感光。第二層是雙節(jié)細胞，數(shù)量為十至數(shù)百個，負責聯(lián)絡作用，視細胞通過雙節(jié)細胞與一個神經(jīng)節(jié)細胞相聯(lián)系。第三層是神經(jīng)節(jié)細胞層，將光信號轉化為視覺信號，是實際的視覺神經(jīng)，所以也稱為視神經(jīng)層。神經(jīng)科學的最近研究結果表明視覺神經(jīng)細胞的分布并非均勻分布，在視網(wǎng)膜中心視覺神經(jīng)細胞密度并不是很高，而在中心周圍密度急劇上升，再往外密度則快速下降，如圖 1所示[16]。視網(wǎng)膜中心位置叫做視網(wǎng)膜小凹，其中只有很少的細胞，但在這個凹槽周圍分布有大量的細胞，細胞數(shù)量與其到中心小凹的距離成反比。此外，視神經(jīng)層還具有類似高斯差分機制的感知特性，抽取信息的神經(jīng)節(jié)細胞位于視網(wǎng)膜外圍，而形成高層視覺信息的細胞位于視網(wǎng)膜中心。

圖1 人眼視網(wǎng)膜視神經(jīng)細胞分布

本文模仿視網(wǎng)膜視神經(jīng)層細胞的分布特性，設計了一種新型的候選點采樣模式。模擬視神經(jīng)層的細胞具有“低-高-低”的密度分布特性，通過實驗選擇，確定對特征點采用5層采樣。具體地，以特征點為候選點中心，在中心外圍第一層候選點的密度比較低，在第二層候選點的密度最高，第三層～第五層候選點的密度呈指數(shù)下降。如圖2所示，中間點為特征點，從內(nèi)向外每層采樣點數(shù)分別為 4、24、12、8、4。本文將這種采樣模式稱為 RBS。FREAK采樣點設置為6:6:6:6:6:6:6，共7層42個采樣點；RBS采樣點設置為4:24:12:8:4，共5層52個采樣點。通過比較可知，RBS的特點如下：一方面采樣點數(shù)增加了10個，增長率為23.8%；另一方面突出特征點周圍像素點對描述子的作用，分布更貼合視網(wǎng)膜的細胞“低-高-低”的密度分布。

圖2 候選點分布

由于二進制描述子是基于像素點之間的亮度比較，所以對噪聲較為敏感，為了降低噪聲的影響，對候選點進行高斯模糊已成為通行做法。對于不同候選點，BRIEF和ORB使用相同的高斯模糊半徑；而BRISK和FREAK使用不同的模糊半徑，更符合人眼視覺特性。本文模仿視神經(jīng)的感知特性，采用不同大小的高斯模糊半徑，中心模糊半徑最小，外圍候選點模糊半徑逐漸增大。通過匹配正確率實驗對比，本文設定初始模糊半徑為2，層間相差為2。此外，本文還設計特殊的模糊范圍來改善模糊效果，同一層的模糊范圍保證一定的重疊，第二層和第三層的重疊面積最大，各層的重疊面積滿足“少-多-少”的規(guī)律。經(jīng)實驗，選定比例為1:4:3:2:1，進一步提高平滑效果，多級高斯模糊如圖3所示。

圖3 多級高斯模糊示意

2.2 點對采樣模式

接下來研究如何從潛在的大量候選點對中選出最佳的比較點對。假設有n個候選點，兩兩組合一共有個候選點對。為了提高特征頑健性，同時降低特征維數(shù)，必須進一步篩選以去除噪聲影響，同時消除強相關的點對。為此，本文提出從訓練集中學習篩選比較點對，從而確定最后的采樣模式，具體方法如下。

1） 在訓練集上提取r個特征點，每個特征點計算長度為的描述子。這樣組成一個r行列的二進制矩陣。在本文的實驗中取n=53，則這個矩陣一共有1 378列。

2） 在上述矩陣中，每一行表示一個特征點描述子，每一列表示一個候選點對的所有計算結果，點對之間可能存在較強的相關性，導致某些列可能全為0或全為1。而如果某個候選點對的區(qū)分性高，則該列的按位均值應接近 0.5。所以本文選取均值最接近 0.5的那一列記為c，把其所對應的候選點對加入最終的比較點對集合。

3） 對剩下的所有列按照其均值與0.5的接近程度排序，計算各列與列c的余弦距離，選擇余弦距離大的列，把對應點對加入最終點對集合。重復此步驟，直到選出M組點對。

通過上述方法選出的M組點對區(qū)分性較強、相關性低。可以看出，本文方法和FREAK中方法類似，均采用構建特征矩陣、降維方式，來獲取點對中對提升描述子區(qū)分力作用最顯著的點對，本質(zhì)上是一種統(tǒng)計學習方法。但RBS得益于本文設計的采樣模式，可以消除更多的冗余點對，構建更短的二進制描述子，并構建了32、64、128、160 bit的描述子以適應不同應用場景，分別記為 RBS-32、RBS-64、RBS-128、RBS-160。圖4中列出了當M設置為 32時選擇的部分點對。結果顯示點對選擇并沒有像FREAK那樣呈現(xiàn)明顯的對稱規(guī)律，這一方面是由于 32組點對數(shù)量偏少，另一方面也表明FREAK的點對中可能存在較大冗余。

2.3 二進制描述子

為了使生成的二進制描述子具有旋轉不變性，在提取特征點的二進制描述子之前，首先將特征點鄰域旋轉至特征點主方向上，這里使用特征點鄰域的亮度質(zhì)心來計算特征點主方向。特征點鄰域的亮度質(zhì)心C的具體計算如式（3）～式（6）所示，其中I（x,y）表示點（x,y）上像素亮度值。

圖4 比較點對示意

特征點中心O與質(zhì)心C的連線方向即是特征點的主方向。

傳統(tǒng)的描述子計算按照式（1）和式（2）進行計算，由于只是像素點灰度的比較，所以噪聲對其影響比較大，為了提高頑健性，本文使用像素點及其周圍8個鄰域像素的信息作為比較信息量，即

其中，AI（?）表示9個像素點（8個鄰域像素點以及自身）灰度的均值。按照2.2節(jié)中介紹的點對采樣模式進行采樣后，按照式（7）進行描述子計算，獲取該像素點的二進制描述子，通過該方法可以進一步提高描述子對噪聲的頑健性。

對比同樣基于視網(wǎng)膜特性的 FREAK，本文方法取得兩方面改進：1） 通過設計更符合視網(wǎng)膜特性的采集模式和典型數(shù)據(jù)的學習進行點對選擇，大幅降低了點對數(shù)目，提高了二進制描述子的緊致性；2） 對模糊半徑、模糊范圍等關鍵參數(shù)進行優(yōu)化，設計了更符合視網(wǎng)膜特性的參數(shù)模型，在生成二進制描述子時，使用區(qū)塊均值代替單個像素點，頑健性更高。

3 實驗結果與分析

3.1 數(shù)據(jù)集與測試環(huán)境

為了測試描述子RBS的頑健性，本文使用專用描述子測試集進行評測，該測試集由 Mikolajczyk等[17]提出。這個數(shù)據(jù)集由8張圖片組成，每張圖片有 5張變體，覆蓋了視角變化（wall和 graffiti）、壓縮退化（ubc）、光照變化（leuven）、旋轉和焦距變化（boat和bark）、圖像模糊（tree和bike）這些常見的圖像變化，第一張變體變化最小，第五張變化最大。另外，這個數(shù)據(jù)集還提供了變體與原圖之間的單應變化矩陣，方便計算匹配正確率。

進行測試的硬件平臺為Dell臺式機，其指標如下：CPU 為 Intel（R） Core（TM） i7-4770 @ 3.40 GHz，內(nèi)存為8 GB，操作系統(tǒng)為Ubuntu 14.04。

實驗中，提取二進制描述子前需要進行特征點檢測。Rostenand等通過制定特征點規(guī)則并進行機器學習的方式得到了 FAST（feature from accelerated segment test）特征檢測子[18]，使用極大值抑止的方法篩選特征點。針對檢測速度慢的問題，Mair等[19]提出了AGAST（adaptive and generic corner detection based on the accelerated segment test）檢測子，BRISK進一步提出了一個多尺度的AGAST檢測子，他們以fast得分為衡量指標在不同的尺度空間中尋找極大值，從而找到頑健的特征點。本文綜合考慮穩(wěn)定性和檢測速度因素，使用AGAST檢測子進行測試。

3.2 測試指標

本文使用2個指標來衡量不同方法的性能，即描述子平均計算時間和描述子正確匹配率。描述子平均計算時間是多次計算時長的平均。描述子正確匹配率按以下步驟計算。

1） 分別計算原圖和變體的特征點和描述子。

2） 判斷原圖和變體的描述子是否匹配，得到總匹配數(shù)N。

3） 判斷每個匹配是否正確，得到正確匹配數(shù)Nc。

3.3 實驗結果

首先，測試了RBS描述子的距離分布，即匹配描述子之間的距離和不匹配描述子之間的距離分布。對數(shù)據(jù)集內(nèi)每張圖片及其變體圖片使用 AGAST檢測子提取1 000個特征點，并計算對應的RBS-128描述子，進而計算特征點之間的海明距離，圖5列出了wall圖與其他3個變體的特征點對的距離分布情況，其中，海明距離單位為bit，頻率是指對應距離點所占比例?？梢钥闯?，匹配點的方差和均值都在不斷增大。

圖5 wall圖片與其不同變體特征點距離分布情況

如圖5可知，不匹配點之間的距離大致呈正態(tài)分布，均值約為64 bit。匹配點的距離分布也呈正態(tài)分布，對于不同的變體圖片，匹配點的距離均值不同，第一張圖變化和距離均值最小，最后一張圖變化和距離均值最大。隨著變化程度加劇，匹配點之間的海明距離變化范圍逐漸增大，這符合實際情況。

接下來，對不同描述子匹配正確率進行比較，對比對象包括 SIFT（scale-invariant feature transform）[20]、ORB、BRISK、BRIEF、FREAK 這 4種描述子，其中SIFT是最流行的實數(shù)描述子，其余3個是主流的二進制描述子。程序采用了 OPENCV中的開源代碼或者作者提供的代碼，均使用默認參數(shù)。對數(shù)據(jù)集中 wall、graffiti、ubc、boat、tree、leuven的匹配正確率對比結果如圖6所示，具體數(shù)據(jù)如表1所示。

圖6 不同描述子正確率對比

表1 不同描述子的正確率對比

通過分析結果可以發(fā)現(xiàn)，SIFT平均正確率最高，尤其在有大視角變化和焦距變化的圖片（graffiti和boat）下。4種二進制描述子中，隨機采樣模式（BRIEF和 ORB）性能低于特定模式采樣（BRISK、FREAK 和 RBS）。RBS-128分別超過BRIEF和ORB 約8.6%和4.1%，RBS-64則分別超過約4.8%和1.3%，RBS-32優(yōu)于BRIEF約0.7%，但比ORB低約2.7%。RBS優(yōu)于512 bit的BRISK，與FREAK性能接近，RBS-32、RBS-64和RBS-128性能隨著長度增加匹配正確率不斷上升，RBS-128性能最高，其平均正確率超過FREAK約8.4%，超過BRISK約1.9%，正確率提升比例分別達到16.4%和5.3%。二進制描述子BRISK性能高于FREAK，分析可能是由于FREAK并沒有很好地模擬視網(wǎng)膜分布，而被使用均勻采樣的 BRISK超出。實驗還顯示，160 bit時匹配正確率相對128 bit已經(jīng)開始下降，這表明隨著點對選擇方法能夠有效地篩選出穩(wěn)定點對，隨著排序靠后點對數(shù)量的增加，描述子開始受到噪聲點的負面影響。

最后，使用leuven原圖對不同描述子的計算速度進行對比，結果如表2所示。

表2 描述子提取算法速度對比

由表2可以看出，RBS描述子在速度上有很大的優(yōu)勢，比SIFT快了近2個數(shù)量級，與其他二進制描述子（ORB、BRISK、BRIEF）相比，也有一定優(yōu)勢，RBS-32和RBS-64均快于其他二進制描述子，而 RBS-128僅慢于對比描述子中最快的FREAK。

4 結束語

本文模仿人眼視網(wǎng)膜細胞分布特性，實現(xiàn)了一種仿視網(wǎng)膜視神經(jīng)分布和感知特性的采樣學習方法，以生成更頑健、更緊致的二進制描述子。實驗表明，描述子對光照、旋轉、退化、模糊具有較高的頑健性，RBS-128匹配正確率超過512bitFREAK和BRISK二進制描述子，計算性能比SIFT描述子提高了近2個數(shù)量級，相比其他二進制描述子也有一定的優(yōu)勢。但是，由于本文的方法仍舊是像素點對之間的比較，對于大角度的視角變化頑健性較低，如圖 6中 boat和graffiti，需要進一步研究如何提高二進制描述子對視角變化的頑健性。