宋恒嘉

(浙江省第二測繪院，浙江杭州310012)

一、引 言

隨著三維城市建模向精細(xì)化、多尺度方向的發(fā)展，人們對街道立面的三維空間數(shù)據(jù)的需求也越來越大，現(xiàn)有的近景攝影測量系統(tǒng)由于自身的局限性，已經(jīng)越來越無法滿足當(dāng)前三維數(shù)字城市的發(fā)展需求。而集成激光和相機(jī)的車載移動測量系統(tǒng)，為三維城市建模提供了一種新的解決方案。在實際測量中，激光掃描儀可以快速、準(zhǔn)確地獲取目標(biāo)表面密集的三維空間坐標(biāo)，而光學(xué)影像則包含了豐富的語義信息，激光點云和光學(xué)影像對目標(biāo)的描述有諸多的互補(bǔ)性。因此，融合車載激光點云和光學(xué)影像對于城市建模、目標(biāo)識別、虛擬現(xiàn)實等領(lǐng)域的應(yīng)用大有裨益，而配準(zhǔn)是車載激光點云與光學(xué)影像融合需要解決的一個基本問題。

目前，國內(nèi)外已有一些學(xué)者對激光點云和影像的配準(zhǔn)進(jìn)行了研究。2000年，M.LEVOY等在大型雕塑三維重建中，將相機(jī)和激光掃描儀固定在一起，對激光點云和影像的配準(zhǔn)進(jìn)行了研究，但是在光線不好或者存在死角時需要重新拍照［1］。2005年，A.HABIB等基于直線特征對激光點云和光學(xué)影像的配準(zhǔn)進(jìn)行了研究，但配準(zhǔn)過程中直線特征的提取、相關(guān)特征的定義是通過手動完成的，自動化程度不高［2］。2011年，LIU Lingyun等針對城市環(huán)境對激光點云和影像的配準(zhǔn)進(jìn)行了研究［3］。由于城市中的建筑物存在大量的線性特征，他們提出了一種基于二維和三維線性信息的配準(zhǔn)算法，但是在配準(zhǔn)之前需要將點云旋轉(zhuǎn)一定的角度以和光學(xué)影像大致相似。國內(nèi)研究相對來說起步較晚一些，但也已經(jīng)取得了一些令人欣慰的成果:2007年，鄧非等提出了一種結(jié)合激光掃描儀和數(shù)碼相機(jī)的古建筑三維重建方案，但該方法計算量大，并且需要大量的人工干預(yù)［4］;2008年，張愛武等研究了基于激光和光學(xué)影像的室外場景三維重建，但是在試驗中，通過硬標(biāo)定的方式，將相機(jī)固定在掃描儀的正上方，限制了使用的靈活性［5］。

雖然激光點云和光學(xué)影像配準(zhǔn)的研究已經(jīng)取得了一定的進(jìn)展，但其主要集中在地面固定站和航空機(jī)載領(lǐng)域，其方法在車載激光點云和影像的配準(zhǔn)領(lǐng)域并不完全適用。

二、基于直接線性變換的車載激光點云和影像配準(zhǔn)

車載移動測量系統(tǒng)采集數(shù)據(jù)之后，即可以獲取一系列影像數(shù)據(jù)，這些影像是沒有經(jīng)過糾正的序列影像，因此在試驗前需要通過雙線性插值進(jìn)行影像重采樣。

直接線性變換解法是建立像點坐標(biāo)儀坐標(biāo)和相應(yīng)物點物方空間坐標(biāo)之間直接線性關(guān)系的一種算法［6］。它是從共線方程演繹出來的，通過對共線方程進(jìn)行等價變換，可得到下面的表達(dá)式

對式(1)分子分母同時乘以l9X+l10Y+l11Z+1，得

式(2)是關(guān)于未知數(shù)的線性關(guān)系式，有11個未知數(shù)，通過人機(jī)交互的方式選擇至少6對控制點，并列出至少11個方程進(jìn)行最小二乘平差求解，求得各參數(shù)li，方程如下

求得各未知數(shù)后，將其代入直接線性變換的基本公式中，確定三維激光點云與光學(xué)圖像之間的映射關(guān)系，并生成對應(yīng)的三維彩色激光點云。

三、車載激光點云和序列影像的配準(zhǔn)

1.基于SIFT算子的圖像角點提取

SIFT算子是一種基于尺度空間的，對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子［7-8］。對每個關(guān)鍵點使用16個種子點來描述，最終可以形成128維的SIFT特征向量。當(dāng)影像的SIFT特征向量生成后，采用關(guān)鍵點特征向量的歐氏距離作為影像中關(guān)鍵點相似性判定的度量方法。

2.基于RANSAC的粗差點剔除

RANSAC是一種根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)并得到有效樣本數(shù)據(jù)的算法［9］?；赗ANSAC算法，可以得到經(jīng)過粗差剔除后的同名點。遍歷所有剩余的影像，尋找對應(yīng)的同名點，并將其結(jié)果作為車載序列影像光束法平差的初值。

3.車載序列影像光束法平差

在車載序列影像光束法平差中，首先采用基于逐點消元、法化的方法建立法方程，然后采用共軛梯度法計算大型稀疏矩陣。以POS提供的外方位元素和相片經(jīng)SIFT算子提取的同名點作為光束法平差的初值，經(jīng)光束法平差求出影像之間的相對模型。由于GPS提供了攝影瞬間攝影中心的大地坐標(biāo)，可以求出不同相片對應(yīng)的攝影中心準(zhǔn)確的相對位置，因此可以求出一個比例因子，從而消除影像之間相對模型的尺度影響。

4.生成密集點云

本文基于Y.FURUKAWA等提出的PMVS算法將序列影像生成密集點云［10］。其基本思路是:首先在所有影像上提取Harris和DOG特征點;然后利用特征匹配進(jìn)行重建，得到種子點;最后利用種子點向周圍擴(kuò)散得到稠密的空間有向點云或面片。PMVS算法主要分為3步:特征點匹配、擴(kuò)散、過濾，其中擴(kuò)散是其核心。以光束法平差得到的相片外方位元素作為PMVS算法的初值，經(jīng)過特征點匹配、擴(kuò)散和過濾，生成整個場景的密集點云。由于外方位元素消除了尺度因素，因此得到的密集點云也消除了尺度因素的影響，密集點云和激光點云之間只存在旋轉(zhuǎn)和平移的轉(zhuǎn)換關(guān)系。

5.密集點云和激光點云的匹配

密集點云和激光點云匹配采用了經(jīng)典的ICP算法［11］。首先通過人機(jī)交互的方式獲得一定的初值，然后借助于最鄰近迭代算法，將密集點云和激光點云進(jìn)行精確配準(zhǔn)，并求出平移和旋轉(zhuǎn)參數(shù)。

6.生成三維彩色點云

通過將密集點云和激光點云進(jìn)行ICP配準(zhǔn)，可以得到兩份點云之間的平移和旋轉(zhuǎn)參數(shù)，并由此可以得到每張相片精確的外方位元素。

因為一張影像不可能對應(yīng)所有的激光點云數(shù)據(jù)，因此需要對激光點云進(jìn)行分塊處理。分塊原則是根據(jù)點云距離相片攝影中心的遠(yuǎn)近程度。求得每塊點云和影像之間的對應(yīng)關(guān)系，依據(jù)共線方程將影像上的顏色信息賦給點云，并生成一系列分段的彩色點云，最后對點云進(jìn)行合成，即可生成對應(yīng)的彩色點云。

四、配準(zhǔn)方法實現(xiàn)

本文試驗是在Windows 7操作系統(tǒng)上開發(fā)的，選用 Microsoft VC++6.0作為開發(fā)平臺，以O(shè)penCV和OpenGL作為開發(fā)工具。采用的試驗數(shù)據(jù)由Optech公司提供，數(shù)據(jù)采集地區(qū)為意大利的一個小鎮(zhèn)，如圖1、圖2所示。

圖1 原始序列影像數(shù)據(jù)

圖2 附有強(qiáng)度信息的原始激光點云數(shù)據(jù)

程序包括了“文件”、“基于單張影像的DLT配準(zhǔn)”、“基于序列影像的配準(zhǔn)”、“圖像操作”、“點云操作”、“查看”、“幫助”7個菜單。

交互式選擇點云和影像中對應(yīng)的同名點，建立直線線性變換方程，解算出11個參數(shù)，并得到對應(yīng)的三維彩色點云，如圖3、圖4所示。

圖3 交互式選擇同名點

圖4 生成彩色點云

為了檢驗直接線性變換算法的有效性，從點云中人工提取部分特征，將附有強(qiáng)度信息的激光點云投影到光學(xué)影像上。從點云投影后的疊加顯示結(jié)果可以看出直接線性變換方法的有效性和可取性，如圖5所示。

圖5 附有強(qiáng)度信息的激光點云投影到光學(xué)影像上

對影像序列進(jìn)行SIFT角點提取、影像匹配、光束法平差、密集點云生成、密集點云和激光點云配準(zhǔn)等一系列試驗操作，最終得到了試驗區(qū)域的彩色點云。從圖6可以看出該算法的有效性。

圖6 試驗場景地區(qū)生成的彩色點云

五、結(jié)束語

本文針對車載激光點云和影像配準(zhǔn)的問題提出了解決方法，基于單張影像設(shè)計了利用直接線性變換的算法，基于序列影像設(shè)計了利用SIFT角點提取、影像匹配、光束法平差、密集點云生成、ICP配準(zhǔn)的算法;以VC++6.0、OpenGL庫函數(shù)、OpenCV 庫函數(shù)為工具，實現(xiàn)了基于單張影像和序列影像的點云和影像配準(zhǔn)算法;利用Optech公司提供的車載激光點云和車載序列影像數(shù)據(jù)進(jìn)行了試驗，驗證了算法的有效性。

［1］LEVOY M，PULLI K，CURLESS B，et al.The Digital Michelangelo Project:3D Scanning of Large Statues［C］∥Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques.New York:ACM，2000:131-144.

［2］HABIB A，GHANMA M，MORGAN M，et al.Photogrammetric and LiDAR Data Registration Using Linear Features［J］.Photogrammetric Engineer and Remote Sensing，2005，71(6):699-707.

［3］LIU Lingyun，STAMOSL.A Systematic Approach for 2D-image to 3D-range Registration in Urban Environments［J］.Computer Vision and Image Understanding，2012，116(1):25-37.

［4］鄧非，張祖勛，張劍清.利用激光掃描和數(shù)碼相機(jī)進(jìn)行古建筑三維重建［J］.測繪科學(xué)，2007，32(2):29-30.

［5］劉江濤，張愛武，臧克.三維數(shù)字化技術(shù)在考古中的應(yīng)用［J］.中國圖象圖形學(xué)報，2008，13(4):654-657.

［6］馮文灝.近景攝影測量——物體外形與運(yùn)動狀態(tài)的攝影法測定［M］.武漢:武漢大學(xué)出版社，2002:124-125.

［7］LOWE D G.Object Recognition from Local Scale-invariant Features［C］∥Proceedings of the ICCV'qq.Washington DC:IEEE，1999:1150-1157.

［8］LOWE D G.Distinctive Image Features from Scale-invariant Keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［9］FISCHLER M A，BOLLESR C.Random Sample Consensus:a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］FURUKAWA Y，PONCE J.Accurate，Dense，and Robust Multi-View Stereopsis［C］∥Proceedings of CVPR'07.Minneapolis:［s.n.］，2007.

［11］BESL PJ，MCKAY N D.A Method for Registration of 3-D Shapes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14(2):239-256.