孫 敏,崔 利
(長春工程學(xué)院,吉林 長春 130021)
我國疆土遼闊,在丘陵、山區(qū)等復(fù)雜地理環(huán)境中建立通信、電力等應(yīng)用是我國社會發(fā)展的重要趨勢[1]。將三維重建技術(shù)應(yīng)用于復(fù)雜地理環(huán)境中具有極高的研究價值,利用三維重建技術(shù)建立復(fù)雜地理環(huán)境的虛擬場景,利用所建立的虛擬場景提升人們對世界的認(rèn)知。復(fù)雜地理環(huán)境出現(xiàn)地質(zhì)災(zāi)害時,高精度的復(fù)雜地理環(huán)境下虛擬場景的三維重建技術(shù)受到眾多研究學(xué)者關(guān)注。利用所建立三維虛擬場景,人們可實現(xiàn)不同復(fù)雜地理環(huán)境的交互,提升環(huán)境真實感[2]。以往通常利用傳統(tǒng)地圖展示復(fù)雜的地理環(huán)境,利用抽象的符號體現(xiàn)環(huán)境信息,真實性較差。利用三維重建技術(shù)所建立的虛擬場景具有較高的真實性,獲取極高的感官效果[3]。復(fù)雜地理環(huán)境下虛擬場景的主要優(yōu)勢是逼真感,三維虛擬場景可體現(xiàn)真實場景的視野、尺寸以及色彩。
三維場景重建是計算機視覺領(lǐng)域的研究難點,已應(yīng)用于機器人導(dǎo)航、交通等重要領(lǐng)域中。三維場景重建主要包括定標(biāo)技術(shù)以及非定標(biāo)兩種[4],攝像機定標(biāo)指利用完成定標(biāo)后的攝像機采集圖像,重建三維場景。非定標(biāo)技術(shù)指利用非定標(biāo)的攝像機采集圖像[5],通過所采集圖像的特征提取與特征匹配實現(xiàn)三維圖像重建。非定標(biāo)三維重建技術(shù)可改善三維重建技術(shù)需利用精密的靶標(biāo)實現(xiàn)攝像機定標(biāo),對三維重建技術(shù)有所限制的缺陷,提升三維重建技術(shù)的應(yīng)用性[6]。非定標(biāo)三維重建技術(shù)利用圖像間的特征點匹配,恢復(fù)三維場景間各視圖的幾何約束關(guān)系,對于復(fù)雜地理環(huán)境下的三維場景重建具有重要意義。
三維虛擬場景重建中的特征點匹配結(jié)果極為重要,匹配精度差將造成三維場景失真情況[7]。高效的不受噪聲影響的特征匹配方法可提升場景重建性能。目前針對三維場景重建的研究較多,張健與陳穎等人分別利用噪聲點云以及雙視系統(tǒng)實現(xiàn)三維場景重建[8,9],通過實驗驗證兩種方法均具有較高的三維重建性能,但無法應(yīng)用于復(fù)雜地理環(huán)境中。針對復(fù)雜地理環(huán)境中三維場景重建較為困難的特點,研究復(fù)雜地理環(huán)境下虛擬場景非定標(biāo)三維重建算法仿真,選取Harris算法提取復(fù)雜地理環(huán)境下待重建三維場景的特征點,選取相關(guān)系數(shù)方法實現(xiàn)圖像點的特征匹配,利用所提取精準(zhǔn)的特征點提升三維場景重建的特征點匹配精度。所研究算法保障特征點匹配精度同時可提升匹配速度,利用高效的計算性能實現(xiàn)復(fù)雜地理環(huán)境下虛擬場景的三維重建。通過仿真測試結(jié)果驗證所研究算法具有較高的虛擬場景三維重建性能,可應(yīng)用于復(fù)雜地理環(huán)境中的三維場景重建。
選取Harris角點提取方法提取復(fù)雜地理環(huán)境下虛擬場景三維重建的特征點。設(shè)置局部檢測窗口于待重建場景圖像中,以極小距離移動該窗口至不同方向,利用窗口移動時的平均能量變化提取特征點[10],設(shè)置特征點提取閾值,能量變化值超過已設(shè)定閾值時,設(shè)置該窗口的中心像素點為所提取的特征點。
建立三維重建場景圖像亮度的自相關(guān)矩陣表達式如下
(1)
用H表示大小為(2k+1)(2k+1)圖像的高斯卷積核函數(shù),其表達式如下
(2)
Harris算法的特征點響應(yīng)函數(shù)表達式如下
J=det(M)-k(trace(M))2>T
(3)
以上公式中,σ表示經(jīng)驗系數(shù)。函數(shù)J的局部極大值點與特征點相對應(yīng),所獲取圖像像素點的J值高于所設(shè)定閾值T時,視該點為特征點。
利用Harris算子所提取特征點在圖像局部區(qū)域容易存在特征點聚簇情況,即所提取的特征點距離較短,容易造成特征點誤匹配情況[11],影響圖像特征點匹配精度。利用限制因子r避免所提取特征點存在聚簇情況,令所提取的特征點分布均勻。
引入限制因子提取特征點流程如下:
1)搜尋特征點序列Z,初始化計數(shù)器i=N,其中N表示所提取的Harris特征點數(shù)量;
2)搜尋最具特征的特征點m0,將其設(shè)置為保留點,加入特征點序列Z內(nèi);
3)獲取特征點序列Z內(nèi)的全部特征點與新特征點mi間的歐氏距離dj,將歐氏距離與所設(shè)置限制因子a比較。所獲取歐氏距離大于已設(shè)定的限值因子時,保留該特征點。重復(fù)迭代該過程,直至全部特征點均搜索完成,終止算法。
所提取特征點具有越高的精度,三維重建效果越高。將所提取的特征點利用高斯曲面擬合內(nèi)插[12],提升特征點的亞像素級。擬合內(nèi)插處理對角點鄰域內(nèi)的像素值I(x,y),擬合曲面函數(shù)表達式如下
(4)
用(u0,v0)表示所提取的特征點,將該特征點設(shè)置為圓心,設(shè)置半徑為dr的圓為特征點鄰域,搜尋全部鄰域內(nèi)的像素點I(x,y),獲取虛擬場景的三維特征點坐標(biāo)集合為{(u0,v0,I(u0,v0)),(u1,v1,I(u1,v1)),…,(uN,vN,I(uN,vN))}。利用所獲取的三維特征點擬合高斯曲面函數(shù),提升所提取特征點精度。
(5)
式(5)中,(x,y,z)與(xk,yk,zk)分別表示光心點θl與θr的坐標(biāo),uk=(uxk,uyk,uzk)表示單位方向矢量。
F=[(xq-xk)uyk-(yq-yk)uxk]2
+[(xq-xk)uzk-(zq-zk)uxk]2
+[(yq-yk)uzk-(zq-zk)uyk]2
(6)
(7)
(9)
利用以上公式獲取像點的相關(guān)系數(shù)函數(shù)表達式如下
(10)
通過式(10)所獲取的相關(guān)系數(shù)衡量像點與像點是否匹配[14]。相關(guān)系數(shù)數(shù)值區(qū)間為[0,1],相關(guān)系數(shù)值越大,表示像點對具有越高的相關(guān)性,匹配精度越高。
將完成匹配的不同視圖圖像中的三維特征點轉(zhuǎn)換至相同坐標(biāo)中,恢復(fù)復(fù)雜地理環(huán)境中虛擬場景的三維形狀。依據(jù)不同視圖相鄰圖像的公共三維點坐標(biāo)利用變換矩陣轉(zhuǎn)換至相同坐標(biāo)系中。
用OAXAYAZA與OBXBYBZB分別表示完成匹配的視圖對1以及視圖對2的坐標(biāo)系,可得兩個視圖對的坐標(biāo)變換表達式如下
(11)
式(11)中,MBA表示轉(zhuǎn)換矩陣。將以上公式轉(zhuǎn)換如下
P=RQ+t(1)
(12)
以上公式中,t與R分別表示平移向量以及三維旋轉(zhuǎn)矩陣,P與Q分別表示不同坐標(biāo)系中的點集。
圖像采集過程中存在測量誤差,因此獲取t與R的精確解較為困難。通過以下公式的最優(yōu)解獲取最佳坐標(biāo)轉(zhuǎn)換結(jié)果:
(13)
式(13)中,pi與qi為空間內(nèi)相同點在不同坐標(biāo)系中的坐標(biāo)。
選取四元數(shù)算法求解式(13),Φ表示采用四元數(shù)求解方法求解過程中的變換參數(shù),其表達式如下
Φ=[q0,qx,qy,qz,tx,ty,tz]T
(14)
式(14)的變換參數(shù)需滿足以下約束條件:
(15)
依據(jù)式(12)獲取點集如下
P=P(Φ)=R(Φ)Q+t(Φ)
(16)
利用所獲取的新點集求解方差矩陣S如下
(17)
利用式(17)的協(xié)方差矩陣獲取矩陣如下
(18)
矩陣(18)中,tr(S)與I分別表示S的跡以及大小為3×3的單位陣。最小特征值的相應(yīng)向量qR即為令式(18)最小的四元素解,利用四元數(shù)獲取R值。確定旋轉(zhuǎn)矩陣R后,利用兩個點集的重心差異確定平移向量t公式如下
(19)
確定平移向量以及三維旋轉(zhuǎn)矩陣后,將三維特征點利用變換矩陣變換至相同坐標(biāo)系中。利用變換矩陣獲取三維特征點的投影矩陣[15],通過投影矩陣將三維特征點反投影至虛擬場景中,刪除誤差過高的特征點,獲取精確的三維重建結(jié)果。
為驗證所研究非定標(biāo)三維重建算法對于復(fù)雜地理環(huán)境下虛擬場景的三維重建性能,選取VC6.0軟件作為測試本文算法有效性的仿真軟件,采用C++語言驗證所研究算法有效性。選取所采集的長城某段的多組圖像作為仿真測試對象,我國長城處于地理極為復(fù)雜的環(huán)境中,提升了虛擬場景三維重建的難度。所采集的其中兩幅圖像如圖1所示。
圖1 原始圖像
通過圖1所采集的原始圖像可以看出,仿真測試的長城區(qū)域?qū)儆诘湫偷纳降匦偷赜?,長城圖像中包含眾多特征點,增加了圖像特征點提取難度。
采用本文算法提取原始圖像的特征點,提取結(jié)果如圖2所示。
圖2 特征點提取結(jié)果
通過圖2特征點提取結(jié)果可以看出,所提取特征點均勻分布在圖像的邊緣處,可清晰體現(xiàn)圖像中的地物結(jié)構(gòu)。本文算法采用Harris角點提取方法提取圖像中的特征點,引入限制因子提升圖像中特征點提取精度。復(fù)雜地理環(huán)境下,仍具有較高的特征點提取性能,可提升復(fù)雜地理環(huán)境下虛擬場景的三維重建性能。
設(shè)置限制因子為從1-10,統(tǒng)計采用本文算法在不同限制因子時的匹配精度,統(tǒng)計結(jié)果如圖3所示。
圖3 不同限制因子的匹配精度
圖3實驗結(jié)果可以看出,限制因子從1升至6時,本文算法的匹配精度上升幅度極為明顯;限制因子為6時的匹配精度高達96%。限值因子升高至6以上,本文算法的匹配精度僅有少量提升。分析圖3實驗結(jié)果,伴隨限制因子的上升,本文算法的匹配精度有所上升,限制因子升高至一定程度時,匹配精度上升極為緩慢。限制因子過高將造成三維場景重建中,地物外貌點丟失情況。設(shè)置限值因子為6,可獲取良好的特征點匹配結(jié)果。
設(shè)置限值因子為6,采用本文算法獲取的圖像初始匹配結(jié)果如圖4所示。
圖4 特征點初始匹配
采用本文算法刪除圖4特征點初始匹配中所存在的誤匹配特征點,獲取最終特征點匹配結(jié)果如圖5所示。
圖5 圖像匹配結(jié)果
圖4與圖5實驗結(jié)果可以看出,本文算法可利用所提取的特征點實現(xiàn)特征點的良好匹配,并且可有效刪除誤匹配的特征點,利用精準(zhǔn)的圖像匹配結(jié)果提升三維重建性能。復(fù)雜地理環(huán)境提升了圖像的匹配難度,本文算法可實現(xiàn)圖像特征點的精準(zhǔn)匹配,提升虛擬場景的三維重建性能。
統(tǒng)計采用本文算法重建三維虛擬場景,引入以及未引入限制因子時不同圖像點對的相關(guān)系數(shù),統(tǒng)計結(jié)果如圖6所示。
圖6 相關(guān)系數(shù)統(tǒng)計結(jié)果
圖6實驗結(jié)果可以看出,引入限制因子后,不同圖像點對的相關(guān)系數(shù)有所提升。相關(guān)系數(shù)越高,表明圖像特征點具有越高的匹配性能。圖6結(jié)果驗證引入限制因子可提升圖像點對匹配的相關(guān)系數(shù),提升圖像不同點對的匹配性能。
采用本文算法獲取仿真測試區(qū)域虛擬場景三維重建結(jié)果如圖7所示。
圖7 三維重建結(jié)果
圖7仿真測試結(jié)果可以看出,采用本文算法可實現(xiàn)復(fù)雜地理環(huán)境下的虛擬場景三維重建,三維重建后的虛擬場景具有較高的逼真度,對于樹木等復(fù)雜地物仍具有較高的重建性能,驗證所研究算法具有較高的三維重建有效性。
統(tǒng)計采用本文算法所獲取的三維重建仿真結(jié)果中,仿真坐標(biāo)點坐標(biāo)與實際坐標(biāo)點坐標(biāo)的對比結(jié)果,統(tǒng)計結(jié)果如表1所示。
表1 三維重建結(jié)果與實際結(jié)果對比
表1實驗結(jié)果可以看出,本文算法所獲取的三維重建結(jié)果中的坐標(biāo)點坐標(biāo)與實際坐標(biāo)點坐標(biāo)結(jié)果極為相近,驗證本文算法具有極高的三維重建精度。本文算法引入限制因子,提升特征點提取性能,具有較高的三維重建精度,對于復(fù)雜地理環(huán)境下的虛擬場景仍具有較高的三維重建性能。
特征點提取是三維重建算法中的重要部分,所提取復(fù)雜地理環(huán)境圖像中的特征點可體現(xiàn)圖像中的地物特征,同時可提升場景三維重建精度。利用Harris算法提取圖像中的特征點,引入限制因子避免所提取特征點過于聚集,提升匹配精度。非定標(biāo)三維重建算法可改善定標(biāo)三維重建算法所具有的定標(biāo)困難,導(dǎo)致三維重建精度低的缺陷。利用仿真結(jié)果所研究算法具有較高的重建性能,可應(yīng)用于復(fù)雜地理環(huán)境下虛擬場景的三維重建,為三維重建實際應(yīng)用提供理論依據(jù)。