唐清嶺， 汪炫羲， 蔣小菲

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴陽(yáng) 550025）

0 引 言

在物聯(lián)網(wǎng)以及智能設(shè)備的廣泛應(yīng)用背景下，人們對(duì)定位的需求日益增長(zhǎng)。 在室外，有中國(guó)的北斗導(dǎo) 航 系 統(tǒng)［1］以 及 美 國(guó) 的 GPS （Global Position System）系統(tǒng)［2］對(duì)室外環(huán)境進(jìn)行精準(zhǔn)定位。 而在室內(nèi)環(huán)境中，由于障礙物的遮擋，衛(wèi)星技術(shù)無(wú)法使用。但準(zhǔn)確地獲取室內(nèi)環(huán)境的位置信息有助于智能服務(wù)、智能家居以及在特定情況下的無(wú)接觸傳送，這使室內(nèi)定位技術(shù)一直是研究熱點(diǎn)［3］。

近年來(lái)，隨著對(duì)定位的深入了解，研究者們發(fā)現(xiàn)在視覺(jué)定位技術(shù)中圖像匹配的準(zhǔn)確度以及魯棒性對(duì)定位的結(jié)果有決定性作用。 目前基于特征的匹配方法主要有暴力匹配［4］、快速近似最近鄰匹配［5］以及RANSAC 匹配［6］。 其中，暴力匹配是最簡(jiǎn)單的匹配方法，利用描述子距離表示2 個(gè)特征之間的相似程度來(lái)確定匹配，但當(dāng)特征點(diǎn)數(shù)量較大時(shí)，該方法運(yùn)算量大，不符合實(shí)時(shí)性需求。 快速近似最近鄰匹配是通過(guò)先確定一幅圖的關(guān)鍵點(diǎn)，利用歐氏距離找出對(duì)應(yīng)圖中的關(guān)鍵點(diǎn)，在2 個(gè)關(guān)鍵點(diǎn)中，若最近的距離除以次近的距離得到的比例小于提前設(shè)定的閾值，則2 個(gè)關(guān)鍵點(diǎn)成為一對(duì)匹配點(diǎn)，但該方法是近似法，其精確度不高。 RANSAC 匹配是從樣本集中隨機(jī)抽選出一個(gè)大小為4 個(gè)匹配點(diǎn)對(duì)的樣本，利用樣本計(jì)算變換矩陣N，根據(jù)N、樣本集和誤差度量函數(shù)三個(gè)條件計(jì)算能夠滿足變換矩陣N的一致集，并利用一致集元素個(gè)數(shù)判斷是否為最優(yōu)集，若是最優(yōu)集，則更新集合與當(dāng)前錯(cuò)誤概率p，當(dāng)p大于允許的最小錯(cuò)誤概率o，則重復(fù)以上步驟進(jìn)行迭代，直到p小于o。RANSAC 通過(guò)迭代能夠進(jìn)行誤匹配篩選，但未經(jīng)處理的室內(nèi)圖像往往紋理較弱且噪聲較大，導(dǎo)致篩選出的錯(cuò)誤匹配數(shù)較多，精確度較低。 針對(duì)圖像匹配精確度低的問(wèn)題，文獻(xiàn)［7］提出在RANSAC 算法中加入影像的灰度信息進(jìn)行約束，對(duì)于山區(qū)和建筑物影像能夠進(jìn)一步剔除匹配粗差，提高剔除率。 文獻(xiàn)［8］提出將所有樣本點(diǎn)中誤差過(guò)大的特征點(diǎn)進(jìn)行剔除，減小迭代次數(shù)，再通過(guò)反向匹配及逆行二次匹配，提升匹配正確率和速度，在光照變換、模糊環(huán)境的干擾下，匹配結(jié)果仍然具有魯棒性和可靠性。 文獻(xiàn)［9］提出使用SIFT 算法提取特征點(diǎn)時(shí)，主動(dòng)放棄第一組尺度空間進(jìn)行特征檢測(cè)以提高速度，提出相似性系數(shù)以進(jìn)行匹配點(diǎn)對(duì)二次篩選，限制了特征點(diǎn)數(shù)量，提高了匹配效率。 上述研究利用不同的特征提取方法，在不同環(huán)境下對(duì)RANSAC 的匹配情況進(jìn)行了改進(jìn)，提高了匹配效率，但并未有研究在圖像匹配前，對(duì)室內(nèi)場(chǎng)景紋理稀缺且噪聲大的圖像進(jìn)行直接改善，以提高在不同特征提取算法后圖像匹配的精確度。

為了改善室內(nèi)場(chǎng)景紋理稀缺且噪聲大的缺點(diǎn)，提高圖像匹配的精確度，本文設(shè)計(jì)了一種新的預(yù)處理方法。 該方法首先將拉普拉斯算子加入Fast ACE［10］算法得到一種改進(jìn)Fast ACE 算法，能夠調(diào)整圖像的亮度、色彩、對(duì)比度與清晰度，將改進(jìn)Fast ACE 算法應(yīng)用于原圖像得到增強(qiáng)圖像，然后利用Canny 算法［11］提取出增強(qiáng)圖像的邊緣信息，再按一定比例線性加權(quán)原圖像與邊緣圖像，最后使用AKAZE［12］算法與ORB［13］算法提取圖像的特征點(diǎn)進(jìn)行暴力匹配，RANSAC 篩選誤匹配進(jìn)行驗(yàn)證。 算法流程如圖1 所示。

圖1 算法流程Fig． 1 Flowchart of the algorithm

1 預(yù)處理算法

1．1 Fast ACE 算法

Fast ACE 基于2 個(gè)假設(shè):

假設(shè)1對(duì)一幅圖像進(jìn)行ACE 增強(qiáng)得到輸出圖像A，再對(duì)A進(jìn)行ACE 增強(qiáng)，得到的輸出的圖像仍是A。

假設(shè)2對(duì)圖像A進(jìn)行等比例的縮放，使用ACE 增強(qiáng)后的結(jié)果是B。 再對(duì)B進(jìn)行ACE 增強(qiáng)，結(jié)果仍是B。

快速ACE 算法流程:

（1）縮放原始圖像I得到I1。

（2）對(duì)圖像I1 進(jìn)行色彩以及空域的調(diào)整，校正色差，從而得到空域重構(gòu)圖像。

（3）對(duì)空域重構(gòu)圖像進(jìn)行動(dòng)態(tài)擴(kuò)展，并映射到［ 0，255 ］的空間中，得到動(dòng)態(tài)擴(kuò)展圖像。

（4）將動(dòng)態(tài)擴(kuò)展圖像縮放至與I相同，得到Y(jié)1，則Y1 是I1 經(jīng)過(guò)ACE 處理與縮放所得結(jié)果。

（5）Y1 加上I中鄰近像素的差分結(jié)果，減去Y1中鄰近像素的差分結(jié)果，得到最終的輸出Y。

1．2 拉普拉斯算子

拉普拉斯算子是n維歐式空間的一個(gè)二階微分算子，定義為2 個(gè)梯度向量算子的內(nèi)積。 可用如下公式進(jìn)行描述:

其在二維空間上的公式為:

對(duì)于二維離散，拉普拉斯算子是2 個(gè)維度上二階差分的和，即:

研究后得到常用二維拉普拉斯對(duì)應(yīng)的卷積核為:

1．3 改進(jìn)Fast ACE

針對(duì)Fast ACE 僅能調(diào)整具有局部和非線性特征的圖像亮度、對(duì)比度與色彩，但并未對(duì)圖像的清晰度進(jìn)行處理的缺點(diǎn)，提出引入拉普拉斯算子。 拉普拉斯算子應(yīng)用在圖像中是二階梯度算子，在灰度恒定區(qū)域與像素均勻變化區(qū)域的結(jié)果皆為0，而在像素變化速率變化較大區(qū)域其值也會(huì)變大，因此能夠處理由擴(kuò)散現(xiàn)象引起的圖像模糊，增加圖像的清晰度。 該算法的步驟如圖2 所示。 由圖2 可知，對(duì)算法中的各流程步驟可做闡釋分述如下。

圖2 改進(jìn)Fast ACE 算法流程Fig． 2 Improved Fast ACE algorithm flowchart

（1）縮放圖像I得到I1。

（2）對(duì)圖像I1 進(jìn)行色彩以及空域的調(diào)整，校正色差，從而得到空域重構(gòu)圖像R（x）。 由此推出的數(shù)學(xué)公式可表示為:

其中，Ω／x表示｛y∈Ω:y≠x｝；I（x） 與I（y）是2 個(gè)不同點(diǎn)的亮度差，表示歐氏距離；R（x） 是中間結(jié)果；Sα∈［-1，1］，是亮度表現(xiàn)函數(shù)，能夠增強(qiáng)小的圖像細(xì)節(jié)以及豐富圖像大的差異。 一般地，Sα為:

（3）對(duì)R（x） 進(jìn)行動(dòng)態(tài)擴(kuò)展，映射到［ 0 ， 255 ］的空間中，得到L（x）。L（x） 的數(shù)學(xué)公式見(jiàn)如下:

（4）將得到的L（x）縮放至與I相同，得到Y(jié)1，則Y1 是I1 經(jīng)過(guò)ACE 處理及縮放后所得結(jié)果。 若需要快速得到I1 的ACE 增強(qiáng)結(jié)果，則運(yùn)用金字塔結(jié)構(gòu)思想，對(duì)I1 再次縮放得到I2，求I2 的增強(qiáng)結(jié)果。

（5）Y1 加上I中鄰近像素的差分結(jié)果，減去Y1中鄰近像素的差分結(jié)果，得到圖像Y。

（6）由于圖像有2 個(gè)方向，令Y為二維圖像函數(shù)f（x，y），引入拉普拉斯算子對(duì)f（x，y） 進(jìn)行處理，得到最終輸出結(jié)果g（x，y）。 計(jì)算求得的公式為:

其中，g（x，y） 為處理后的圖像；f（x，y） 為輸入圖像；c取1；?2f（x，y） 使用的濾波器如圖3 所示。

圖3 拉普拉斯濾波器Fig． 3 Laplace filter

1．4 Canny 邊緣檢測(cè)算法

邊緣檢測(cè)的意義是精細(xì)描述出圖像的輪廓。Canny 算法分為5 個(gè)步驟，具體見(jiàn)如下:

（1）使用高斯濾波平滑圖像。 即根據(jù)待濾波的像素點(diǎn)及其鄰域點(diǎn)的灰度值按照一定的參數(shù)規(guī)則進(jìn)行加權(quán)平均，能夠有效地濾去在理想圖像中所疊加的高頻噪聲。

（2）尋找圖像中每一個(gè)像素點(diǎn)的強(qiáng)度梯度以及方向。

（3）采用非極大抑制（NMS）消除誤檢的邊緣區(qū)域。

（4）采用雙閾值方法減少假邊緣數(shù)量。

（5）使用滯后技術(shù)跟蹤圖像的邊界。

1．5 圖像的線性加權(quán)

對(duì)圖像進(jìn)行線性加權(quán)是將2 幅尺寸、類(lèi)型一樣的圖像按照一定的比例混合后轉(zhuǎn)存為另一幅圖像，比例之和為1。 其表達(dá)式為:

其中，g（x） 表示輸出圖像；f0x( ) 和f1（x） 表示輸入圖像；α表示圖片所占比例。

在線性加權(quán)時(shí)，經(jīng)過(guò)多次實(shí)驗(yàn)，最終確定原始圖像占比95%，邊緣圖像占比為5%，這樣的比例選取在最大限度地保證原圖的完整性的同時(shí)，豐富了圖像紋理，降低了圖像噪聲。

1．6 改進(jìn)Fast ACE 算法效果分析

為展示改進(jìn)Fast ACE 與Fast ACE 算法的不同，算法的驗(yàn)證實(shí)驗(yàn)采用由慕尼黑大學(xué)制作的TUM 數(shù)據(jù)集中Testing and Debugging 的fr1／xyz 的rgb 圖像，本文采取其中2 組圖像為例進(jìn)行對(duì)比，如圖4 所示。 圖4 中，（a）、（b）為第1 組，（c）、（d）為第2組。 對(duì)實(shí)驗(yàn)研究結(jié)果內(nèi)容，做剖析分述如下。

圖4 原始圖像Fig． 4 Original images

（1）將Fast ACE 與改進(jìn)Fast ACE 處理后的圖像利用Canny 算法提取邊緣，驗(yàn)證圖像的清晰度。如圖5、圖6 所示。

圖5 Fast ACE 處理后提取的邊緣圖像Fig． 5 Edge image extracted after Fast ACE processing

圖6 改進(jìn)Fast ACE 處理后提取的邊緣圖像Fig． 6 Edge image extracted after improved Fast ACE processing

通過(guò)Canny 算法提取出來(lái)的圖像輪廓，圖像中的實(shí)際邊緣越多，表明圖像的清晰度更強(qiáng)，通過(guò)圖4與圖5 對(duì)比，能夠明顯看出圖5 的線條多于圖4 的線條，即改進(jìn)Fast ACE 處理后的圖像其清晰度與紋理性均強(qiáng)于Fast ACE 處理后的圖像。

（2）計(jì)算Fast ACE 與改進(jìn)Fast ACE 處理后的圖像的方差，驗(yàn)證圖像的清晰度，見(jiàn)表1。

表1 Fast ACE 與改進(jìn)Fast ACE 處理后的圖像的方差Tab． 1 Variance of images processed by Fast ACE and improved Fast ACE

方差是概率論中用來(lái)考察一組離散數(shù)據(jù)和期望值之間的離散數(shù)量的度量方法。 方差較大，表示這一組數(shù)據(jù)之間的偏差就較大，組內(nèi)的數(shù)據(jù)分布不均衡；方差較小，表示這一組數(shù)據(jù)之間的偏差較小，組內(nèi)的數(shù)據(jù)之間分布平均，大小相近。 因此清晰的圖像相比模糊的圖像，數(shù)據(jù)之間的灰度差異更大、即方差更大，由表1 可得，改進(jìn)Fast ACE 處理后的4 幅圖像相較Fast ACE 處理后的4 幅圖像其方差值更大，表明清晰度更好。

1．7 預(yù)處理算法效果分析

經(jīng)過(guò)預(yù)處理算法、即改進(jìn)Fast ACE，Canny 提取邊緣圖像與線性融合后的圖像如圖7 所示。

圖7 完成預(yù)處理后的圖像Fig． 7 Images after preprocessing

為了直觀表現(xiàn)出經(jīng)過(guò)預(yù)處理后的圖像噪聲的變化，通過(guò)計(jì)算峰值信噪比（PSNR， 單位為dB）與方差得到的數(shù)值結(jié)果進(jìn)行比較。PSNR的數(shù)值越大，則表示圖像的失真越小。 計(jì)算公式為:

其中，n為每像素的比特?cái)?shù)。

均方誤差（MSE） 的表達(dá)式為:

其中，H表示圖像高度；W表示圖像寬度；X表示當(dāng)前圖像；Y表示參考圖像。

預(yù)處理前后圖像的PSNR見(jiàn)表2。

在表2 中，PSNR用于衡量圖像有效信息與噪聲之間的比率，可反映圖像的失真情況，PSNR提升的數(shù)值越大，則表示圖像越優(yōu)質(zhì)。 由表2 中數(shù)值可以得出，預(yù)處理后的8 幅圖像的PSNR值相較于未處理的圖像有明顯提升。 分析原因是:經(jīng)過(guò)ACE 處理后提取出來(lái)的邊緣圖片已經(jīng)進(jìn)行了降噪及優(yōu)化，在保證原圖至少95%完整性的前提下，線性融合后降低了圖像的噪聲，并豐富了邊緣紋理信息，得到了質(zhì)量更好的圖像。

表2 預(yù)處理前后的圖像的PSNRTab． 2 PSNR of images before and after preprocessing

2 特征點(diǎn)提取與匹配

2．1 AKAZE 特征提取

構(gòu)造非線性尺度空間時(shí)，AKAZE 非線性尺度空間的構(gòu)造近似于SIFT 算法［14］。

將尺度空間（高斯金字塔）分為O組，S層。 尺度參數(shù)σi的獲取方式為:

其中，i∈ [ 0，N -1] ，這里的N表示尺度空間下的圖像總數(shù)；σi是原圖所在尺度空間的尺度參數(shù)；o∈[ 0，O -1] ，s∈ [ 0，S -1] 。 為了使用擴(kuò)散方程，需要把離散的尺度因子轉(zhuǎn)換為時(shí)間單位。 通過(guò)式（13） 將尺度參數(shù)σi轉(zhuǎn)化為進(jìn)化時(shí)間ti，即:

由于非線性偏分方程的求解過(guò)程復(fù)雜且耗時(shí)長(zhǎng)，引入了FED 算法［15］來(lái)加速求解非線性偏分方程，通過(guò)式（14），可得到圖像的非線性尺度空間:

其中，I表示單位矩陣；τ表示時(shí)間步長(zhǎng)；A(Li) 表示維度i上的傳導(dǎo)矩陣。

首先，因?yàn)閷D像分成O組，則需要對(duì)不同尺度的算子進(jìn)行歸一化，使用歸一化比例因子:

其次，計(jì)算非線性尺度空間下圖像像素點(diǎn)對(duì)應(yīng)的Hessian 矩陣［16］，計(jì)算方法為:

最后，尋找Hessian 矩陣中局部范圍內(nèi)的極值點(diǎn)作為圖像特征點(diǎn)。 極值點(diǎn)是通過(guò)與鄰域以及上下兩層鄰域共26 個(gè)像素進(jìn)行比較的。

2．2 ORB 特征提取

（1）FAST 描述子。 選取像素p， 假設(shè)其亮度為Ip；設(shè)置一個(gè)閾值T（比如Ip的20%）；以像素p為中心，選取半徑為3 的圓上的16 個(gè)像素點(diǎn)；假如選取的圓上，有連續(xù)的N個(gè)點(diǎn)的亮度大于Ip ＋T或小于Ip-T，那么像素p可以被認(rèn)為是特征點(diǎn)；重復(fù)以上步驟，對(duì)每一個(gè)像素執(zhí)行相同操作。

（2）灰度質(zhì)心法計(jì)算特征點(diǎn)的方向。 定義該區(qū)域圖像的矩為:

其中，p，q取0 或者1；I（x，y） 表示在像素坐標(biāo)（x，y） 處圖像的灰度值；mpq表示圖像的矩。

在半徑為R的圓形圖像區(qū)域，沿x，y坐標(biāo)軸方向的圖像矩分別為:

圓形區(qū)域內(nèi)所有像素的灰度值總和為:

圖像的質(zhì)心為:

此后，關(guān)鍵點(diǎn)的“主方向”可以表示從圓形圖像形心O指向質(zhì)心C的方向向量，關(guān)鍵點(diǎn)的旋轉(zhuǎn)角度記為:

2．3 暴力匹配

最簡(jiǎn)單的匹配方法是暴力匹配。 測(cè)量在匹配圖像與待匹配圖像中提取的所有特征點(diǎn)的描述子的距離，并進(jìn)行排序，取最近的一對(duì)點(diǎn)作為匹配點(diǎn)。 描述子的距離能夠衡量2 個(gè)特征點(diǎn)間的相似程度。

2．4 RANSAC 算法

RANSAC 算法是迭代方法，利用觀測(cè)到的數(shù)據(jù)點(diǎn)估計(jì)數(shù)學(xué)模型，也常理解為一種采樣的方式。 研究可知，數(shù)據(jù)點(diǎn)分為2 種。 一種是“內(nèi)點(diǎn)（inlier）”，指樣本中正確的樣本點(diǎn)，也稱作正確樣本；另一種是“外點(diǎn)（outlier）”，指樣本中的噪聲點(diǎn)，對(duì)模型的估計(jì)沒(méi)有利用價(jià)值。

每個(gè)點(diǎn)是真正內(nèi)點(diǎn)的概率（Ratio） 表示為:

3 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)平臺(tái)為:Kdevelop，運(yùn)行環(huán)境為:Lenovo Legion R7000 2020 ／ 2.90 GHz CPU，16 G 內(nèi)存，Ubuntu（18.04）。

為驗(yàn)證本文算法的準(zhǔn)確性與時(shí)效性，本文從TUM 數(shù)據(jù)集選取2 組圖像進(jìn)行驗(yàn)證分析。 圖8 ～圖11 為基于AKAZE 提取特征點(diǎn)進(jìn)行暴力匹配及RANSAC 誤匹配篩選后的圖像。 圖12 ～圖15 為基于ORB 提取特征點(diǎn)進(jìn)行暴力匹配及RANSAC 誤匹配篩選后的圖像。

圖9 原始圖像第2 組Fig． 9 The second group of original images

圖10 完成預(yù)處理圖像第1 組Fig． 10 The first group of images after preprocessing

圖11 完成預(yù)處理圖像第2 組Fig． 11 The second group of images after preprocessing

圖12 原始圖像第1 組Fig． 12 The first group of original images

圖15 完成預(yù)處理圖像第2 組Fig． 15 The second group of images after preprocessing

圖13 原始圖像第2 組Fig． 13 The second group of original images

圖14 完成預(yù)處理圖像第1 組Fig． 14 The first group of images after preprocessing

基于AKAZE 與ORB 提取特征點(diǎn)進(jìn)行暴力匹配及RANSAC 誤匹配篩選后的圖像匹配數(shù)量以及精確度見(jiàn)表3、表4。

表3 基于AKAZE 特征點(diǎn)提取匹配Tab． 3 Extraction and matching of feature points based on AKAZE

表4 基于ORB 特征點(diǎn)提取匹配Tab． 4 Extraction and matching of feature points based on ORB

由表3 及表4 可知，經(jīng)過(guò)預(yù)處理后的圖像在基于AKAZE 以及ORB 提取特征點(diǎn)后進(jìn)行匹配，其匹配精確度有明顯的提高。 分析原因是預(yù)處理后的圖像噪聲降低，紋理豐富，圖像質(zhì)量更高，所以提取出的特征點(diǎn)質(zhì)量更好，匹配精確度更高。

4 結(jié)束語(yǔ)

本文針對(duì)室內(nèi)場(chǎng)景紋理稀缺且噪聲大的圖像匹配精確度低的問(wèn)題，提出一種新的預(yù)處理圖像匹配研究算法。 使用改進(jìn)ACE Fast 算法對(duì)原始圖像進(jìn)行處理，調(diào)整圖像的色彩、對(duì)比度、亮度以及清晰度得到增強(qiáng)圖像，然后提取增強(qiáng)圖像的邊緣圖像，與原始圖像進(jìn)行線性融合，降低圖像的噪聲，最后利用AKAZE 與ORB 算法提取特征點(diǎn)，暴力匹配進(jìn)行特征點(diǎn)匹配，RANSAC 進(jìn)行誤匹配篩選。 實(shí)驗(yàn)結(jié)果證明，預(yù)處理后的圖像在噪聲及紋理性方面有明顯提升，并且在AKAZE 算法與ORB 算法提取特征點(diǎn)進(jìn)行匹配與誤匹配篩選后，其匹配精確度均有明顯的提升。