張棟樑, 宮志群, 楊世廷, 陸業(yè)寧, 占 靜, 安曉亞

(1. 中國建設(shè)基礎(chǔ)設(shè)施有限公司, 北京 100029; 2. 武漢天際航信息科技股份有限公司, 湖北 武漢 430074; 3. 西安測(cè)繪研究所, 陜西 西安 710054; 4. 地理信息工程國家重點(diǎn)實(shí)驗(yàn)室, 陜西 西安 710054)

0 引言

影像拼接是指將2張或2張以上具有重疊區(qū)域的影像,通過坐標(biāo)系之間的變換關(guān)系,拼接成1張視場(chǎng)更大、信息更豐富的影像[1]。目前已廣泛應(yīng)用在城市街景影像拼接、衛(wèi)星影像拼接等領(lǐng)域。隧道受光照等因素限制,比普通道路巡檢更加復(fù)雜,利用車載移動(dòng)測(cè)量技術(shù)和影像拼接技術(shù)獲取隧道內(nèi)壁影像,可為其內(nèi)壁安全巡檢工作提供新的巡檢手段。影像匹配是影像拼接過程中最耗時(shí)的環(huán)節(jié)之一,常用的影像匹配算法包括SIFT算法[2-3]、SURF(speeded up robust features)算法[4-5]。Mikolajczyk等[6]選取了10種算子,在光照變化、幾何變形等6種不同情況下對(duì)其進(jìn)行測(cè)試與比較,發(fā)現(xiàn)SIFT算子匹配效果最好。后續(xù)有多位學(xué)者使用SIFT算法進(jìn)行影像匹配。例如: 周杰等[7]使用SIFT算法和泊松融合對(duì)無人機(jī)遙感影像進(jìn)行融合; 張冬梅等[8]結(jié)合SIFT算法、LM(Levenberg-Marquardt)法和RANSAC算法進(jìn)行特征點(diǎn)匹配和誤匹配點(diǎn)剔除,并將最小生成樹算法引入到拼接路徑中,實(shí)現(xiàn)了影像的有效拼接; 喜文飛等[9]利用SIFT算法和改進(jìn)的RANSAC算法進(jìn)行影像拼接,提升了影像匹配點(diǎn)粗差剔除率; Dong等[10]采用SIFT算法提取圖像中的特征點(diǎn),并利用LATCH描述符和RANSAC算法對(duì)特征點(diǎn)進(jìn)行描述和誤配點(diǎn)剔除,最后利用平移單應(yīng)矩陣拼接圖像,解決了影像拼接中的黑線問題。但隨著待拼接影像數(shù)量的增加,SIFT算法存在匹配效率低的問題。如何有效提升影像匹配速度是影像拼接研究中亟待解決的問題之一。

此外,誤差累積是影像拼接過程中的另一問題。Ait-Aoudia等[11]使用影像間同名點(diǎn)的均方根誤差評(píng)價(jià)拼接結(jié)果。何敬[12]通過分塊拼接,采用最優(yōu)拼接路徑的方法減少誤差累積。張冬梅等[8]通過SIFT算法進(jìn)行特征點(diǎn)匹配,采用LM方法和RANSAC算子剔除誤匹配點(diǎn),有效減少了影像拼接過程中的誤差累積。岳廣等[13]利用航空平臺(tái)的姿態(tài)信息和位置信息完成了各圖像的投影變換和圖像粗拼接,有效減少了誤差累積。然而,以上算法多考慮相鄰影像間的誤差關(guān)系,未考慮待拼接影像的整體關(guān)系,誤差會(huì)隨著拼接次數(shù)的增加而逐漸累積。

基于以上問題,本文聯(lián)合SIFT-GPU協(xié)同處理算法和整體平差法進(jìn)行隧道影像拼接試驗(yàn)研究。在隧道影像匹配過程中,融合SIFT匹配算法和GPU-CPU協(xié)同處理技術(shù)[14],通過分解SIFT算法處理過程,將其中可以并行處理的步驟通過GPU加速運(yùn)算,提高影像匹配效率。在影像配準(zhǔn)過程中,使用整體平差算法整體求解待拼接影像的變換參數(shù),降低傳統(tǒng)算法中因拼接次數(shù)增加而導(dǎo)致的誤差累積問題。

1 數(shù)據(jù)采集與預(yù)處理

1.1 隧道影像數(shù)據(jù)采集

研究使用車載移動(dòng)測(cè)量平臺(tái)(見圖1)采集隧道內(nèi)壁數(shù)據(jù),其搭載有全景相機(jī)、陀螺儀、Lidar、計(jì)步器和人工光源5個(gè)硬件模塊。全景相機(jī)為4鏡頭相機(jī); 陀螺儀用于獲取外方位元素; Lidar用于獲取隧道內(nèi)壁點(diǎn)云; 計(jì)步器用于控制相機(jī)快門和計(jì)算所拍攝的相鄰2站影像的重疊度; 人工光源為相機(jī)拍攝提供輔助光源支持。作業(yè)時(shí),汽車搭載設(shè)備沿道路中軸線以10 km/h的速度前進(jìn),每前進(jìn)2.5 m拍攝一次;Lidar在汽車前進(jìn)過程中連續(xù)掃描。

圖1 車載移動(dòng)測(cè)量平臺(tái)Fig. 1 Vehicle-mounted mobile measuring platform

1.2 隧道影像數(shù)據(jù)預(yù)處理

1.2.1 隧道影像糾正

受拍攝過程中影像傾斜和被攝景物的深度影響,可能存在影像變形。使用Lidar點(diǎn)云數(shù)據(jù)對(duì)原始影像進(jìn)行初步糾正。使用Lidar采集到的隧道點(diǎn)云數(shù)據(jù)建立隧道內(nèi)壁模型,基于成像點(diǎn)和其對(duì)應(yīng)物方點(diǎn)的共線方程進(jìn)行影像糾正,最后選用雙線性內(nèi)插法對(duì)糾正后的影像進(jìn)行灰度內(nèi)插和賦值,得到糾正后的影像。隧道影像糾正過程如圖2所示。

1.2.2 隧道影像勻光勻色

隧道內(nèi)部的特殊環(huán)境決定了必須使用人工光源輔助影像拍攝,但人工光源強(qiáng)度有限,輻射不均勻,需對(duì)其進(jìn)行勻光勻色處理。

1.2.2.1 MASK勻光算法

采用MASK勻光算法對(duì)單張隧道影像進(jìn)行處理,保證單張隧道影像中間與邊緣亮度一致[15],算法公式為式(1)—(3)。

(1)

(2)

(3)

1.2.2.2 Wallis濾波勻光法

采用Wallis濾波勻光法對(duì)所有隧道影像進(jìn)行處理,保證隧道不同影像間色調(diào)一致[16],公式如式(4)所示。

(1-b)mg。

(4)

式中:w(x,y)為Wallis勻光后的影像;g(x,y)為原始影像;mg為原始影像的局部灰度均值;c為影像方差的擴(kuò)展常數(shù),c∈[0,1];Sf為勻光后影像局部灰度標(biāo)準(zhǔn)偏差的目標(biāo)值;Sg為原始影像的局部灰度標(biāo)準(zhǔn)偏差;mf為勻光后影像局部灰度均值的目標(biāo)值;b為影像的亮度系數(shù),b∈[0,1]。

2 基于特征點(diǎn)的隧道影像匹配

2.1 基于SIFT匹配算法的GPU-CPU協(xié)同處理

影像匹配的目的是尋找2張或多張影像之間的同名點(diǎn)或同名直線。GPU-CPU協(xié)同處理是: CPU作為控制中心負(fù)責(zé)數(shù)據(jù)的傳輸、GPU的調(diào)用和并行程度低的計(jì)算等串行程序的執(zhí)行; GPU負(fù)責(zé)并行程度高且耗時(shí)長(zhǎng)的大規(guī)模計(jì)算,并將計(jì)算結(jié)果輸出到CPU。依據(jù)各自運(yùn)算的特點(diǎn)和SIFT匹配算法的關(guān)鍵步驟可以發(fā)現(xiàn),影像的讀取、高斯核函數(shù)的計(jì)算、DOG(difference of Gaussian)金字塔的建立、候選關(guān)鍵點(diǎn)位置的確定、特征向量的提取等需要依靠CPU來完成;而高斯金字塔的建立、關(guān)鍵點(diǎn)位置的確定以及SIFT特征向量的匹配等并行程度高的計(jì)算步驟可以利用GPU加速運(yùn)算,簡(jiǎn)稱為SIFT-GPU匹配算法。其計(jì)算方案如圖3所示。

圖3 SIFT-GPU匹配算法具體計(jì)算方案Fig. 3 Detailed calculation scheme of SIFT-GPU matching algorithm

2.2 基于RANSAC算法的誤配點(diǎn)剔除

得到基準(zhǔn)影像與待配準(zhǔn)影像的特征點(diǎn)后,需完成2張或多張影像間特征點(diǎn)的一一匹配。SIFT算法采用基于歐氏距離的最鄰近匹配法進(jìn)行粗匹配,雖能去除一些外點(diǎn),但仍會(huì)存在少量誤配點(diǎn)。為得到影像間精確的變換矩陣,采用RANSAC算法對(duì)誤配點(diǎn)進(jìn)行剔除。其主要思想是基于某一模型,通過反復(fù)隨機(jī)提取處理數(shù)據(jù)的子集來估計(jì)模型參數(shù),通過設(shè)置閾值將處理數(shù)據(jù)分成“內(nèi)點(diǎn)”和“外點(diǎn)”,將對(duì)應(yīng)“內(nèi)點(diǎn)”數(shù)目最多的模型參數(shù)視為最優(yōu)模型參數(shù)[17-18]。RANSAC算法流程圖如圖4所示。

圖4 RANSAC算法流程圖Fig. 4 RANSAC algorithm flowchart

3 隧道影像拼接模型

3.1 拼接模型選擇

常用的影像拼接模型有平移旋轉(zhuǎn)縮放變換、仿射變換、透視變換、非線性變換等[12,19]。不同影像拼接模型的幾何特征不同,所能夠消除的變形類型也有所不同。隧道內(nèi)壁的形狀類似于柱面而非平面,但人們?cè)谟^測(cè)二維影像時(shí)通常習(xí)慣于觀測(cè)平面視覺的影像,在后續(xù)拼接模型選擇中充分考慮人們的視覺習(xí)慣和拼接精度。

3.2 基于GLS算法的影像配準(zhǔn)整體平差

使用普通最小二乘法(LS算法)求解2張待拼接影像的誤差方程時(shí),會(huì)默認(rèn)為一張影像上的特征點(diǎn)(xi,yi)具有誤差,另一張影像的特征點(diǎn)(xi′,yi′)完全正確。這會(huì)造成變換參數(shù)的有偏估計(jì),在影像數(shù)量較少的情況下,對(duì)結(jié)果影響不明顯,但隨著影像數(shù)量的增多,在影像連續(xù)拼接中會(huì)造成誤差累積。廣義最小二乘法(GLS算法)通過為解釋變量加上一個(gè)權(quán)重,可以得到誤差的無偏和一致估計(jì)。本文使用整體平差法,即在整個(gè)待拼接區(qū)域中,對(duì)所有具有重疊區(qū)域的影像進(jìn)行匹配,將匹配出的所有同名點(diǎn)全部納入平差,整體求解變換參數(shù),整個(gè)過程只需進(jìn)行1次平差。

以仿射變換作為拼接模型為例對(duì)整體平差算法進(jìn)行說明。對(duì)于整個(gè)待拼接區(qū)域的所有影像,可將它們之間的重疊關(guān)系分為2類: 1)重疊像對(duì)中包含基準(zhǔn)影像; 2)重疊像對(duì)中不包含基準(zhǔn)影像。以第1張影像作為基準(zhǔn)影像,如果影像與其具有重疊區(qū)域,則誤差方程可用矩陣表示為:

(5)

式中: (x1,y1)和(xi,yi)為影像I1與Ii上的一對(duì)同名點(diǎn);a1i,0、b1i,0、c1i,0、d1i,0、e1i,0、f1i,0為影像Ii變換參數(shù)的初值;vx和vy分別為x和y的誤差;Da1i、Db1i、Dc1i、Dd1i、De1i、Df1i為影像Ii變換參數(shù)的絕對(duì)偏差。

如果影像Ii和Ij(i≠1,j≠1)具有重疊區(qū)域,則該像對(duì)上所有同名點(diǎn)的坐標(biāo)值在基準(zhǔn)影像所在坐標(biāo)系上的坐標(biāo)值完全相等,誤差方程可用矩陣形式表示,如式(6)所示。

(6)

式中: (xi,yi)和(xj,yj)為影像Ii與Ij上的一對(duì)同名點(diǎn);a1j,0、b1j,0、c1j,0、d1j,0、e1j,0、f1j,0為影像Ij變換參數(shù)的初值;Da1j、Db1j、Dc1j、Dd1j、De1j、Df1j為影像Ij變換參數(shù)的絕對(duì)偏差。

如果有m+1張影像參與拼接,共匹配出n對(duì)同名點(diǎn),則可以列出2n個(gè)誤差方程,誤差方程用矩陣形式表示為:

(7)

4 試驗(yàn)與結(jié)果

4.1 隧道影像勻光勻色試驗(yàn)

試驗(yàn)樣本為經(jīng)過預(yù)處理后的若干張某隧道內(nèi)側(cè)壁的影像。采用MASK勻光算法對(duì)單張隧道影像進(jìn)行勻光處理。圖5(a)為典型的“中間亮、四周暗”的隧道影像,圖5(b)為經(jīng)MASK勻光后的隧道影像,勻光后光照均勻。

采用灰度均值、信息熵、標(biāo)準(zhǔn)差、平均梯度4種圖像質(zhì)量評(píng)價(jià)指標(biāo),評(píng)價(jià)MASK勻光后的影像在R、G、B通道下的變化,結(jié)果見表1。由表可以發(fā)現(xiàn),采用MASK勻光算法改善了隧道影像的光照強(qiáng)度,影像反差變小,圖像清晰度得以提高。

表1 MASK勻光前后圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)比Table 1 Comparison of evaluation indexes before and after smoothing light using MASK algorithm

采用Wallis勻光算法進(jìn)行色差調(diào)整。圖6(a)和圖6(b)為經(jīng)過MASK勻光處理后的位于隧道不同地段的2張影像,光照都很均勻,但圖6(b)相對(duì)于圖6(a)明顯偏暗。因此,以圖6(a)為基準(zhǔn)影像對(duì)圖6(b)進(jìn)行Wallis勻光,結(jié)果如圖6(c)所示。對(duì)比圖6(a)和圖6(c)可知,經(jīng)過Wallis勻光后的影像與基準(zhǔn)影像的色調(diào)一致。

(a) 基準(zhǔn)影像 (b) 待勻光影像 (c) Wallis勻光后的影像圖6 Wallis勻光前后的隧道影像對(duì)比圖Fig. 6 Comparison of tunnel imaging before and after smoothing light using Wallis algorithm

使用上述4種指標(biāo)對(duì)Wallis勻光結(jié)果進(jìn)行評(píng)價(jià),結(jié)果見表2。由表可見: Wallis勻光后隧道影像亮度與基準(zhǔn)影像十分接近,影像反差變小。

表2 Wallis勻光前后圖像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)比Table 2 Comparison of evaluation indexes before and after smoothing light using Wallis algorithm

4.2 隧道影像匹配試驗(yàn)

將已被糾正且進(jìn)行勻光勻色處理后的隧道影像進(jìn)行匹配處理,采用原始SIFT算法和SIFT-GPU算法分別進(jìn)行匹配試驗(yàn)。為驗(yàn)證不同條件下的匹配效果,分別選用3組紋理、光照、尺寸等特點(diǎn)不同的隧道影像進(jìn)行試驗(yàn)。試驗(yàn)采用的硬件平臺(tái): CPU為Intel Core i5-3470 3.20 GHz,GPU為NVidia GeForce GTX 650。試驗(yàn)采用的軟件平臺(tái)為: Microsoft Windows 10,Visual Studio 2010。

4.2.1 試驗(yàn)1

選用2張具有一定重疊度、隧道內(nèi)壁紋理豐富、光照充足、辨識(shí)度高的影像進(jìn)行匹配試驗(yàn),影像大小均為3 000×2 000,匹配結(jié)果如圖7和表3所示。由結(jié)果可知: SIFT-GPU匹配算法的運(yùn)算時(shí)間顯著減少,RANSAC算法能夠較好地剔除影像中的誤配點(diǎn),提高后續(xù)拼接精度。

(a) SIFT-GPU匹配結(jié)果

(b) 剔除誤配點(diǎn)后的匹配結(jié)果圖7 試驗(yàn)1的影像匹配結(jié)果Fig. 7 Image matching results in experiment 1

表3 隧道影像匹配試驗(yàn)結(jié)果Table 3 Tunnel image matching experiment data

4.2.2 試驗(yàn)2

選用2張具有一定重疊度、內(nèi)壁紋理單一、光照不足、辨識(shí)度低的隧道影像進(jìn)行匹配試驗(yàn),影像大小為2 000×3 600。匹配結(jié)果如表3和圖8所示。由結(jié)果可知: 試驗(yàn)2相比試驗(yàn)1加速比小,原因在于內(nèi)壁紋理單一的影像匹配出的同名點(diǎn)數(shù)量明顯減少。由此也可以發(fā)現(xiàn),SIFT-GPU匹配算法在特征明顯的復(fù)雜影像匹配中效率優(yōu)勢(shì)更加明顯。

(a) SIFT-GPU匹配結(jié)果 (b) 剔除誤配點(diǎn)后的匹配結(jié)果圖8 試驗(yàn)2的影像匹配結(jié)果Fig. 8 Image matching results in experiment 2

4.2.3 試驗(yàn)3

選取2張尺寸更大、特征更加明顯的隧道影像進(jìn)行匹配試驗(yàn),影像大小為7 952×5 304,匹配結(jié)果如表3和圖9所示。由結(jié)果可知: 與試驗(yàn)1相比,加速比有一定降低,這與匹配出的同名點(diǎn)數(shù)量增加有關(guān),但SIFT-GPU匹配算法的運(yùn)算時(shí)間仍明顯小于SIFT匹配算法的運(yùn)算時(shí)間。

(a) SIFT-GPU匹配結(jié)果

(b) 剔除誤配點(diǎn)后的匹配結(jié)果圖9 試驗(yàn)3的影像匹配結(jié)果Fig. 9 Image matching results in experiment 3

4.3 隧道影像拼接試驗(yàn)

4.3.1 拼接模型選擇試驗(yàn)

1.2.1節(jié)中影像初步糾正的共線方程的本質(zhì)是透視變換,因此選擇平移旋轉(zhuǎn)縮放變換、仿射變換和二次多項(xiàng)式變換進(jìn)行影像拼接試驗(yàn)。為對(duì)比3種影像拼接模型對(duì)于拍攝環(huán)境較為惡劣的隧道影像的拼接效果,選擇紋理單一、重復(fù)率高、特征不明顯的隧道影像進(jìn)行試驗(yàn)。3種拼接模型的影像匹配對(duì)數(shù)量和誤差值如表4所示。由表4可以看到: 3種拼接模型的匹配精度差別不大,二次多項(xiàng)式變換的拼接精度稍高。然而,隧道特殊的形態(tài)和成像環(huán)境使得影像的變形和基準(zhǔn)影像特征十分復(fù)雜,如果完全繼承這些特征,可能導(dǎo)致拼接結(jié)果誤差值低,但缺乏觀賞性與實(shí)用性。圖10示出采用3種拼接模型對(duì)5張隧道影像的拼接結(jié)果。綜合考慮拼接精度和拼接結(jié)果的可觀賞性,選用平移旋轉(zhuǎn)縮放變換模型對(duì)隧道影像進(jìn)行拼接。

表4 3種拼接模型的影像匹配對(duì)數(shù)量和誤差值Table 4 Number of image matching pairs and error value of three splicing models

(a) 二次多項(xiàng)式變換 (b) 仿射變換 (c) 平移旋轉(zhuǎn)縮放變換圖10 采用3種拼接模型對(duì)5張隧道影像的拼接結(jié)果Fig. 10 Comparison of five tunnel images with serious deformation by three splicing models

4.3.2 傳統(tǒng)算法與整體平差算法對(duì)比試驗(yàn)

選用隧道側(cè)面內(nèi)壁的10張序列影像,采用平移旋轉(zhuǎn)縮放變換模型對(duì)影像進(jìn)行拼接,并分別使用傳統(tǒng)平差算法和整體平差算法進(jìn)行誤差剔除,比較2種算法的誤差結(jié)果(見表5)。由表可以看出: 整體平差算法的單位權(quán)中誤差值是傳統(tǒng)算法的1/3左右。表明采用整體平差算法進(jìn)行誤差剔除可有效提升影像拼接結(jié)果精度。

表5 10張隧道影像匹配對(duì)數(shù)量及2種算法的單位權(quán)中誤差Table 5 Number of matching pairs of ten tunnel images and unit weight error of two algorithms

4.4 大范圍隧道影像拼接結(jié)果

試驗(yàn)數(shù)據(jù)共包含400張隧道內(nèi)壁的影像,隧道長(zhǎng)度約為250 m,影像大小均為5 000×9 000。各階段處理時(shí)間如表6所示。為防止影像拼接結(jié)果輸出過程中計(jì)算機(jī)內(nèi)存溢出,使用GDAL分塊處理技術(shù)對(duì)影像拼接成果進(jìn)行輸出。圖11(a)示出全景相機(jī)在某攝站拍攝的4張影像。首先,對(duì)所有攝站的4張影像進(jìn)行拼接(見圖11(b));然后,將拼接好的單站影像進(jìn)行站與站之間的拼接,結(jié)果如圖11(c)所示。最終拼接成果清晰地展示了該段隧道兩側(cè)壁、頂部以及部分地面紋理,整個(gè)拼接渾然一體,方便觀察。

表6 影像拼接各階段處理時(shí)間Table 6 Image processing process and corresponding time

(a) 某攝站的4張影像

(b) 單站4張影像的拼接結(jié)果

(c) 試驗(yàn)區(qū)域隧道所有影像拼接結(jié)果圖11 試驗(yàn)區(qū)域隧道影像拼接結(jié)果Fig. 11 Tunnel image stitching process and final results

5 結(jié)論與討論

針對(duì)隧道影像拼接問題,本文聯(lián)合SIFT-GPU匹配算法和整體平差法進(jìn)行了隧道影像拼接研究,并通過相關(guān)試驗(yàn)驗(yàn)證了該算法的有效性。

1)基于隧道內(nèi)壁點(diǎn)云數(shù)據(jù)和勻光勻色算法對(duì)原始影像進(jìn)行預(yù)處理,有效提高了待拼接隧道影像的質(zhì)量。

2)選取3組紋理、光照、尺寸等特點(diǎn)不同的隧道影像進(jìn)行拼接試驗(yàn),結(jié)果表明,相比傳統(tǒng)SIFT算法,研究使用的SIFT-GPU匹配算法使得影像匹配效率明顯提升。

3)選取400張隧道內(nèi)壁影像,使用平移旋轉(zhuǎn)縮放變換模型、整體平差算法分別進(jìn)行影像拼接和誤差補(bǔ)償,最終較好地呈現(xiàn)了隧道內(nèi)壁的景觀。相較于以往的研究,影像間銜接自然,無明顯黑邊,展示效果較好。

本文在影像匹配過程中引入GPU-CPU技術(shù)對(duì)提取所有待拼接影像特征點(diǎn)的效率進(jìn)行了提升,然而并未對(duì)整個(gè)拼接過程的效率進(jìn)行提升,下一步可繼續(xù)研究影像拼接效率提升算法,進(jìn)一步提升高分辨率長(zhǎng)距離隧道影像的拼接速率。