王慎謙，張榮國(guó)，李曉波，王 曉，王 芳

(太原科技大學(xué) 計(jì)算機(jī)與技術(shù)學(xué)院，太原 030024)

近年來(lái)，無(wú)人機(jī)遙感技術(shù)已經(jīng)廣泛地應(yīng)用于軍事和民用領(lǐng)域，無(wú)人機(jī)(UAV)遙感是一種低空技術(shù)，已成為信息獲取的重要手段。無(wú)人機(jī)具有采集速度快，操作方便，安全性好，投資少等優(yōu)點(diǎn)，已廣泛用于各種地面勘察應(yīng)用中。但是，由于飛行高度低且攝像機(jī)的焦距有限，因此無(wú)人機(jī)圖像的景物很小。因此，捕獲相對(duì)完整的目標(biāo)區(qū)域變得困難。同一目標(biāo)的多個(gè)圖像應(yīng)通過(guò)技術(shù)手段組合以獲得所需目標(biāo)的完整場(chǎng)景。圖像拼接的目的是將具有重疊部分的多個(gè)圖像組合在一起以形成全景圖像。

圖像拼接主要包括特征提取，特征匹配，光束調(diào)整，自動(dòng)全景校正，增益補(bǔ)償和多波段融合。在圖像拼接領(lǐng)域中最著名的特征提取算法是D.G.Lowe提出并完善的尺度不變特征變換的方法(Scale Invariant Feature Transform，SIFT)[1]，SIFT算法有著較好的尺度不變性，對(duì)于光照、噪聲、旋轉(zhuǎn)、縮放、遮擋都具有良好的抗干擾性，然而特征點(diǎn)的檢測(cè)采用尺度空間極值，特征描述子則采用梯度直方圖的方法來(lái)計(jì)算，這導(dǎo)致了該算法的計(jì)算量大，時(shí)效性低。加速魯棒性特征(Speeded Up Robost Features，SURF)算法[2]是由H.Bay等人提出的對(duì)SIFT改進(jìn)的一種算法，它基于Hessian矩陣對(duì)極值空間中特征點(diǎn)檢測(cè)的加速和特征描述子降維的方法來(lái)降低計(jì)算時(shí)間，但是依然不能滿足實(shí)時(shí)性的要求。除了傳統(tǒng)的人工標(biāo)注的圖像匹配方法外，當(dāng)前基于深度學(xué)習(xí)的圖像處理方法也被廣泛的應(yīng)用于解決圖像匹配的問(wèn)題，深度學(xué)習(xí)的方法能夠提取更加細(xì)微的特征信息，但深度學(xué)習(xí)網(wǎng)絡(luò)需要復(fù)雜的結(jié)構(gòu)和更多計(jì)算時(shí)間，而ORB(Oriented FAST and Rotated BRIEF)算法[3]基于改進(jìn)的FAST和BRIEF算法，在特征檢測(cè)的實(shí)時(shí)性方面有著顯著的效果。

為了解決ORB算法特征匹配精度低和特征提取穩(wěn)定性差的問(wèn)題，本文提出一種基于改進(jìn)的ORB無(wú)人機(jī)圖像拼接算法，采用四叉樹(shù)對(duì)特征點(diǎn)均勻分布和圖像局部熵自適應(yīng)閾值來(lái)改進(jìn)ORB算法。改進(jìn)的算法與原ORB相比，在保證特征提取速度的前提下，特征點(diǎn)匹配精度明顯提升。

1 基本理論

ORB是 Rublee 等人在 2011 年提出的一種利用二進(jìn)制字符串描述特征點(diǎn)的特征提取算法。ORB算法通過(guò)改進(jìn)的FAST特征點(diǎn)和BRIEF特征描述子，使其具備了尺度不變性和旋轉(zhuǎn)不變性，該算法最大的特點(diǎn)是速度快，具有旋轉(zhuǎn)不變性，降低了對(duì)噪聲的敏感性。

1.1 特征點(diǎn)提取

FAST特征點(diǎn)檢測(cè)算法是從圖片中選取一個(gè)像素p，設(shè)置該點(diǎn)的亮度值為Ip，以p點(diǎn)為中心，在半徑3的圓上取16個(gè)像素點(diǎn)。設(shè)置一個(gè)閾值t，如果選取圓上有個(gè)連續(xù)n個(gè)點(diǎn)亮度大于Ip+t或者小于Ip-t，則像素點(diǎn)被定義為特征點(diǎn)。計(jì)算公式如式(1)所示：

(1)

為了提高特征點(diǎn)檢測(cè)速度，快速排除大量非特征點(diǎn)，首先會(huì)檢測(cè)像素p的1，5，9，13四個(gè)像素點(diǎn)的灰度值，如果其中3個(gè)點(diǎn)亮度大于Ip+t或者小于Ip-t，則被定義為特征點(diǎn)。特征點(diǎn)檢測(cè)如圖1所示：

圖1 FAST特征點(diǎn)檢測(cè)示意圖

由于FAST不具備方向性和尺度不變性，因此需要構(gòu)建金字塔實(shí)現(xiàn)尺度不變性，然后采用灰度質(zhì)心法為FAST提供方向性，灰度質(zhì)心法主要思想是計(jì)算特征點(diǎn)以r為半徑范圍內(nèi)的質(zhì)心，從特征點(diǎn)坐標(biāo)到質(zhì)心形成一個(gè)向量作為該特征點(diǎn)的方向，具體步驟如下：

(1)在一個(gè)圖像塊B中，定義圖像塊矩為：

(2)

其中I(x,y)為(x,y)處的灰度值。

(2)通過(guò)矩計(jì)算出質(zhì)心為:

(3)

θ=arctan(m01,m10)

(4)

1.2 BREIF描述子

ORB算法中特征描述使用BREIF，它是一種二進(jìn)制描述子，其描述向量是由0和1組成，先對(duì)圖像進(jìn)行高斯濾波，減少噪聲的干擾，在以特征點(diǎn)為中心的S×S像素區(qū)域內(nèi)，隨機(jī)選擇n點(diǎn)對(duì)進(jìn)行灰度值比較，并進(jìn)行如下二進(jìn)制賦值:

(5)

其中p(x)，p(y)分別代表x和y處的像素灰度值，通過(guò)比較得到n個(gè)二進(jìn)制碼串組成一個(gè)n維二進(jìn)制失量為:

(6)

為了使特征描述子具有方向性，將特征點(diǎn)質(zhì)心方向信息添加到描述子中，對(duì)于位置(xi，yi)處包含n個(gè)二進(jìn)制測(cè)試的特征集合構(gòu)成一個(gè)2×n的矩陣Q為：

(7)

定義特征點(diǎn)方向θ與對(duì)應(yīng)旋轉(zhuǎn)矩陣Rθ構(gòu)造的特征點(diǎn)對(duì)矩陣為：

Qθ=RθQ

(8)

具有方向的特征描述子為：

gn(p,θ)=fn(p)|(xi,yi)∈Qθ

(9)

采用貪婪搜索對(duì)256個(gè)像素對(duì)進(jìn)行不相關(guān)的測(cè)試，構(gòu)成最終的具有方向的特征描述子BRIEF.

2 ORB改進(jìn)算法

2.1 基于四叉樹(shù)的特征點(diǎn)均勻分布

四叉樹(shù)的數(shù)據(jù)結(jié)構(gòu)是其每個(gè)節(jié)點(diǎn)下至多可以有四個(gè)子節(jié)點(diǎn)，在二維空間內(nèi)分為四個(gè)區(qū)域，并且在該區(qū)域中信息存入四叉樹(shù)節(jié)點(diǎn)中。本文引入四叉樹(shù)概念來(lái)均勻分布特征點(diǎn)，F(xiàn)AST是采用4個(gè)像素點(diǎn)灰度差來(lái)快速判斷特征點(diǎn)，這經(jīng)常會(huì)導(dǎo)致提取的特征點(diǎn)過(guò)于集中在紋理比較明顯的區(qū)域，而紋理較弱的區(qū)域很難提取到特征點(diǎn)，使得匹配精準(zhǔn)度下降，為此提出使用四叉樹(shù)來(lái)均勻分布的方式提取FAST特征點(diǎn)。

首先，為FAST算法增加尺度不變性，通過(guò)高斯卷積核對(duì)圖像進(jìn)行下采樣，構(gòu)建八層金字塔,并且按照每層的尺度因子給每層分配所需的特征點(diǎn)的數(shù)量，每層所需的特征點(diǎn)數(shù)量計(jì)算如下：

(10)

其中N為所需特征點(diǎn)數(shù)量，s為尺度縮放因子，i是層數(shù)，Ni為每層所需的特征點(diǎn)。

其次，基于四叉樹(shù)對(duì)特征點(diǎn)進(jìn)行均勻提取，其步驟為：(1)在特征點(diǎn)提取時(shí)，我們對(duì)金字塔中每一層圖像用大小為30×30像素的網(wǎng)格進(jìn)行劃分，再對(duì)每個(gè)網(wǎng)格提取FAST特征點(diǎn)；(2)采用四叉樹(shù)篩選特征點(diǎn)，通過(guò)計(jì)算圖像的寬度和高度的比例得到初始節(jié)點(diǎn)數(shù)為n；(3)如果節(jié)點(diǎn)內(nèi)的特征點(diǎn)數(shù)大于1，則每個(gè)節(jié)點(diǎn)繼續(xù)分裂成四個(gè)節(jié)點(diǎn)，直到節(jié)點(diǎn)內(nèi)的特征點(diǎn)數(shù)大于所期望的特征點(diǎn)數(shù)則停止分裂；(4)然后提取每個(gè)節(jié)點(diǎn)內(nèi)質(zhì)量最好的特征點(diǎn)。四叉樹(shù)均勻分布如圖2所示：

圖2 四叉樹(shù)均勻分布

2.2 基于局部熵的自適應(yīng)閾值

在傳統(tǒng)的ORB算法中，特征點(diǎn)提取是通過(guò)人工經(jīng)驗(yàn)設(shè)置的固定閾值，無(wú)法適應(yīng)圖像的明暗變化，提取的特征點(diǎn)效果也受到影響， Mur-Artal等人[4]提出的MR算法，對(duì)特征點(diǎn)分布有明顯的提升，但閾值依然是人工設(shè)定的固定值，其在特征點(diǎn)提取的時(shí)候，對(duì)于沒(méi)有檢測(cè)出特征點(diǎn)的區(qū)域降低閾值提取，這大大增加提取的時(shí)間；丁等人[5]提出自適應(yīng)閾值的FAST提取算法，采用動(dòng)態(tài)的全局KSW熵和局部的灰度差提取特征點(diǎn)，改進(jìn)后算法穩(wěn)定性提高，但是算法時(shí)間卻增加了一倍；保等人[6]提出通過(guò)滑動(dòng)窗口的方式分割圖像，計(jì)算每個(gè)窗口區(qū)域圖像的信息熵，保留高信息熵的區(qū)域提取特征點(diǎn)，改進(jìn)后的算法匹配精度提高0.3%，但效果不顯著；因此本文給出了一種基于圖像局部熵的自適應(yīng)閾值方法。

信息熵是描述事務(wù)不確定性的度量，理論上講，熵是信息無(wú)序程度的一種度量，在度量圖像信息的不確定性的時(shí)候，熵值越大，無(wú)序度越高。在圖像處理中，圖像熵可以反映圖像的信息豐富程度，它是一種特征的統(tǒng)計(jì)形式，反映了圖像中平均信息量的多少，熵值越大，信息量越大。由于圖像存在不同明暗變化區(qū)域，可以通過(guò)圖像熵動(dòng)態(tài)的確定閾值。

KSW熵算法是一種既簡(jiǎn)單而有效的閾值選擇方法。它是利用灰度直方圖近似估計(jì)目標(biāo)熵和背景熵的兩個(gè)信息之和最大值，以此得到最佳閾值。但是由于KSW熵獲取最佳閾值時(shí)，目標(biāo)熵和背景熵需要大量的運(yùn)算時(shí)間，為了減少計(jì)算量，縮短尋找最佳閾值的時(shí)間，所以本文結(jié)合對(duì)圖像劃分網(wǎng)格的方法，在每一個(gè)圖像塊中求最佳閾值，具體過(guò)程如下：

(1)對(duì)圖像塊的直方圖進(jìn)行歸一化，概率分布可表示為：

(11)

其中ni是灰度值為i的像素?cái)?shù)量，N是圖像塊中像素總數(shù)。

(2)在圖像塊中計(jì)算像素概率分布最佳的熵值，計(jì)算如下：

(12)

其中H代表像素的熵值，pi是某個(gè)像素在該圖像塊中出現(xiàn)的概率，計(jì)算最佳熵值如下：

V=Max(H(K))

(13)

(3)其次，計(jì)算出圖像塊的灰度均值為：

(14)

其中MN代表圖像塊大小，I(i,j)代表在該圖像中i,j處的灰度值。

(4)通過(guò)計(jì)算最佳閾值與灰度均值差的絕對(duì)值，動(dòng)態(tài)獲取局部圖像的最佳閾值，通過(guò)校正參數(shù)σ調(diào)整閾值，則最終動(dòng)態(tài)閾值為：

(15)

其中T為閾值，σ為校正參數(shù)，根據(jù)實(shí)驗(yàn)參數(shù)一般取0.8到1.

2.3 PROSAC特征點(diǎn)匹配

漸進(jìn)樣本一致性PROSAC是一種基于RANSAC改進(jìn)的樣本檢驗(yàn)匹配方法。PROSAC算法的結(jié)構(gòu)類似于RANSAC，基于這兩種算法的隨機(jī)采樣，如圖3所示樣本收斂基本一致。RANSAC算法通過(guò)隨機(jī)從數(shù)據(jù)集中抽取樣本點(diǎn)，反復(fù)地選取樣本數(shù)據(jù)去估計(jì)模型，直到迭代出較為好的模型，但沒(méi)有考慮到樣本之間的差異性，導(dǎo)致算法效率低，運(yùn)算時(shí)間長(zhǎng)，而PROSAC算法利用線性排序結(jié)構(gòu)節(jié)省了大量的計(jì)算時(shí)間,與RANSAC相比快了幾百倍。PROSAC算法樣本并不是從所有數(shù)據(jù)中提取的，而是先對(duì)相似性較高的樣本點(diǎn)進(jìn)行排序，然后再?gòu)木哂凶罡哔|(zhì)量的數(shù)據(jù)子集中提取樣本點(diǎn)，最后通過(guò)樣本數(shù)據(jù)去估計(jì)模型。這樣防止了由于隨機(jī)抽取的離群值導(dǎo)致驗(yàn)證次數(shù)的增加，通過(guò)設(shè)置非隨機(jī)性的最小值來(lái)減少重復(fù)次數(shù)，改善了處理時(shí)間，以便在完成足夠的驗(yàn)證過(guò)程時(shí)可以減少重復(fù)的驗(yàn)證次數(shù)。

圖3 RANSAC和PROSAC隨機(jī)采樣

2.4 改進(jìn)ORB算法描述

基于ORB無(wú)人機(jī)圖像快速拼接算法如表1所示：

表1 改進(jìn)的ORB算法步驟及流程

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)是在MacOS10.13.6操作系統(tǒng)上進(jìn)行的，計(jì)算機(jī)CPU為i5-5257U，8G內(nèi)存，本文算法基于C++編譯完成，實(shí)驗(yàn)平臺(tái)為Qt5和OpenCV3.4.2.實(shí)驗(yàn)數(shù)據(jù)采用senseFly提供公開(kāi)的無(wú)人機(jī)航拍圖像中的Industrial Estate數(shù)據(jù)EP0057、EP0058，如圖4(a)所示，數(shù)據(jù)EP0028、EP0029，如圖4(b)所示和中國(guó)永州無(wú)人機(jī)航拍圖像數(shù)據(jù)DSC03373、DSC03374，如圖4(c)所示，圖像分辨率為1 024×682，格式為JPEG.為了驗(yàn)證本文提出改進(jìn)的ORB算法，從實(shí)現(xiàn)數(shù)據(jù)中選擇了重疊部分50%，80%和具有旋轉(zhuǎn)的圖像，分別與SIFT算法，SURF算法，AKAZE算法，ORB算法，和ORB-SLAM算法，SuperPoint算法進(jìn)行比較；在無(wú)人機(jī)圖像拼接過(guò)程中，實(shí)時(shí)性和穩(wěn)定性是最重要的因素，所以本文從特征點(diǎn)提取速度，特征點(diǎn)匹配的正確率和匹配的精準(zhǔn)度進(jìn)行對(duì)比。

圖4 實(shí)驗(yàn)數(shù)據(jù)

3.1 特征點(diǎn)提取時(shí)間

為了衡量特征點(diǎn)提取的速度，本文對(duì)參考圖像和待拼接圖像提取1 000個(gè)特征點(diǎn)，對(duì)比SIFT算法，SURF算法，AKAZE算法，ORB算法，和ORB-SLAM算法在特征點(diǎn)提取時(shí)間，時(shí)間越少，則提取特征點(diǎn)速度越快。如圖5所示。

圖5 特征點(diǎn)提取的時(shí)間

3.2 匹配正確率

為了衡量特征點(diǎn)提取的準(zhǔn)確性，本文采用匹配正確率CMR(Correct matching rate)進(jìn)行評(píng)估，檢測(cè)兩張圖片所有特征點(diǎn)對(duì)，如果特征點(diǎn)對(duì)的描述子向量之間的距離低于所選擇閾值，閾值一般設(shè)置為0.8，則該點(diǎn)對(duì)匹配，然后再用PROSAC對(duì)匹配的點(diǎn)對(duì)集進(jìn)行精匹配。計(jì)算公式如下：

(16)

其中，CMR表示的是正確匹配點(diǎn)數(shù)與所有匹配點(diǎn)對(duì)數(shù)之比，即nc表示匹配正確點(diǎn)數(shù)，N為所有匹配點(diǎn)數(shù)，CMR值越大，表示匹配性能越好。表2，表3，表4分別為三個(gè)實(shí)驗(yàn)數(shù)據(jù)的特征點(diǎn)匹配的正確率。

表2 實(shí)驗(yàn)數(shù)據(jù)(a)特征點(diǎn)匹配的正確率

表3 實(shí)驗(yàn)數(shù)據(jù)(b)特征點(diǎn)匹配的正確率

表4 實(shí)驗(yàn)數(shù)據(jù)(c)特征點(diǎn)匹配的正確率

3.3 配準(zhǔn)精準(zhǔn)度

為了衡量?jī)煞鶊D像的配準(zhǔn)精準(zhǔn)度，本文采用均方根誤差RMSE(Root mean square error)進(jìn)行評(píng)估，計(jì)算公式如下：

(17)

表5 配準(zhǔn)精準(zhǔn)度比較

圖6 圖像拼接結(jié)果

4 結(jié)語(yǔ)

本文針對(duì)無(wú)人機(jī)圖像拼接的實(shí)時(shí)性和穩(wěn)定性，提出了一種基于四叉樹(shù)的局部熵自適應(yīng)閾值的ORB改進(jìn)算法，本文首先對(duì)圖像劃分網(wǎng)格，在網(wǎng)格內(nèi)使用局部熵計(jì)算局最佳閾值，再采用四叉樹(shù)的方法均勻提取特征點(diǎn)，然后使用KNN算法對(duì)特征點(diǎn)進(jìn)行粗匹配，再采用PROSAC算法對(duì)匹配的特征點(diǎn)進(jìn)行精匹配，并且計(jì)算單應(yīng)性矩陣對(duì)圖像進(jìn)行拼接，最后對(duì)拼接的接縫處使用加強(qiáng)平均算法進(jìn)行融合，實(shí)驗(yàn)結(jié)果表明本文算法在保持ORB算法的特征點(diǎn)提取快優(yōu)點(diǎn)的前提下，提高了ORB算法的匹配正確率，在配準(zhǔn)精準(zhǔn)度也擁有較好的表現(xiàn)，本文算法在與SIFT算法，SURF算法和AKAZE算法比較中，特征點(diǎn)提取速度具有絕對(duì)優(yōu)勢(shì)，與ORB算法和ORB-SLAM算法比較中，本文算法匹配的正確率有較好的提高，與SuperPoint深度學(xué)習(xí)的特征點(diǎn)提取的算法比較中，本文算法在特征點(diǎn)提取的時(shí)間和匹配的準(zhǔn)確度都有較大的優(yōu)勢(shì)。