宋 楊，曾凡洋，李長輝，鐘若飛

（1.廣州市城市規(guī)劃勘測設計研究院，廣東 廣州510060；2.首都師范大學，北京 100048）

在移動測量系統(tǒng)外業(yè)數(shù)據(jù)采集過程中，激光掃描儀按設定的掃描角、掃描采樣率等指標實時獲取目標對象精確、海量的三維點云數(shù)據(jù)；數(shù)碼相機按曝光規(guī)則獲取目標對象的顏色紋理信息。綜合來看，三維激光點云數(shù)據(jù)單獨僅具備強度信息，不具有顏色信息又不符合常規(guī)目視解譯習慣；CCD數(shù)碼相機拍攝的照片影像空間顏色紋理信息豐富，但影像本身無三維坐標信息，“只能看、無法量”；二者若能融合即可實現(xiàn)對目標精確而直觀的描述-“真彩色點云”是海量激光點云數(shù)據(jù)與彩色影像數(shù)據(jù)融合的新型數(shù)據(jù)成果，其在場景可視化顯示、目標物體分類、三維建筑建模等方面均具有很大的實用價值［1-2］。

目前，國內(nèi)外已有一些學者對激光點云與數(shù)碼影像融合開展了一些研究［3-10］，根據(jù)所采用的數(shù)碼影像類型的不同，主要分為面陣CCD影像、線陣CCD影像及全景相機影像與激光掃描儀的三類融合。研究最多的是面陣CCD影像與激光點云的融合，針對不同的數(shù)據(jù)特點，基于POS數(shù)據(jù)或者采用點云與影像特征匹配等方法實現(xiàn)激光點云與面陣CCD影像的配準、利用共線方程融合生成彩色點云。線陣CCD相機具有采集頻率高、視角寬等優(yōu)點，克服了面陣CCD相機不能及時存儲圖像及產(chǎn)出影像漏洞的缺點，但在實際應用中發(fā)現(xiàn)線陣CCD相機具有標定困難、影像整體白平衡調(diào)整困難等問題。全景影像最大的特點是水平方向視場角達到360°，以全景方式查看，直觀生動、三維可視效果好，是當前街景應用的主要數(shù)據(jù)展現(xiàn)載體。三種不同影像獲取方式各有利弊，針對不同的需求，不同移動測量系統(tǒng)選擇搭載不同類型的相機。加拿大Optech公司的Lynx Moblie Mapper配有至多2個或者4個面陣相機用于影像采集，奧地利RIEGL公司的VMX-250采用4個或6個面陣CCD相機獲取影像，日本Topcon公司的IP-S2系統(tǒng)使用Ladybug3全景相機作為影像獲取手段［11-13］。

本文基于搭載全景相機及激光掃描儀的移動道路測量系統(tǒng)的數(shù)據(jù)特點，在全景影像和激光點云精確配準的基礎上，基于攝影時刻全景相機中心、全景球面上的像點、實際場景中的物點三點共線的原理，提出一種由全景影像給對應激光點云賦彩色的算法，充分利用全景影像360°可視和激光點云位置精確的特點，經(jīng)實驗驗證算法推導正確，實驗效果良好。

1 車載多傳感器城市街景移動測量系統(tǒng)

本文實驗采用廣州城市規(guī)劃勘測設計研究院于2012年聯(lián)合首都師范大學“產(chǎn)、學、研、用”協(xié)同創(chuàng)新，自主研制的一款具有600m超長作業(yè)距離的“車載多傳感器城市街景移動測量系統(tǒng)”。該系統(tǒng)集成最先進的脈沖式REIGL VZ400三維激光掃描儀，以及Ladybug3全景相機、慣性測量單元IMU和全球定位系統(tǒng)GPS等傳感器（如圖1所示）。

圖1 車載多傳感器城市街景移動測量系統(tǒng)

1）REIGL VZ400是目前世界上一流的脈沖式激光設備，每秒最多可發(fā)射30萬個激光脈沖，其點云成果具備毫米級的相對測量精度，保證待賦色的原始激光點云數(shù)據(jù)的細節(jié)表現(xiàn)力。REIGL VZ400的配備使車輛行駛過程中實時獲取道路沿線600m范圍內(nèi)的、高精度三維點云數(shù)據(jù)；

2）Ladybug3是由6個鏡頭拼接而成的全景相機（其中5個鏡頭分布在側面，1個鏡頭位于頂部），對多鏡頭拼接后得到的全景影像采用的輸出分辨率可設置為5 400像素×2 700像素，Ladybug3全景相機以每5m的曝光間隔、獲取沿線區(qū)域全景影像；

3）IMU和GPS則提供了車輛在移動過程中的姿態(tài)和位置。

4）REIGL VZ400、Ladybug3、IMU 和 GPS等設備在空間上被剛性固定在同一平臺上，在時間上由GPS統(tǒng)一，在經(jīng)過實驗場檢校和一系列數(shù)據(jù)融合處理后，激光點云和全景影像可精確配準，計算出點云所對應的全景球上像點的像素坐標，將像點的RGB顏色值賦給該點。

2 基于共線原理的真彩色點云算法

2.1 算法相關坐標系的定義

算法涉及的相關坐標系如圖2所示，其定義：

1）大地坐標系S-XtYtZt：絕對坐標，點云數(shù)據(jù)中各點使用該坐標系記錄；

2）局部空間直角坐標系S1-X1Y1Z1：將S坐標系原點平移到當前全景球球心形成的局部空間直角坐標系；

3）全景球空間直角坐標系S2-XsYsZs：以當前全景球球心為原點，Y軸指向車行方向，X軸指向車體右側，Z軸垂直向上；

4）全景球極坐標系P：以全景球心為原點的極坐標系；

5）全景影像平面坐標系o-xy：以像主點為原點的平面直角坐標系。

圖2 算法相關坐標系的定義

2.2 算 法

整體思路：激光點云數(shù)據(jù)中任意點處記錄的坐標表示物點實際位置的絕對三維坐標，算法根據(jù)任意攝影時刻全景相機中心、全景球面上的像點、實際場景中的物點三點共線的原理；由激光點云中的物點絕對三維坐標（Xt，Yt，Zt）計算對應像點在全景影像上的像素坐標（m，n），繼而將像素坐標（m，n）對應處的顏色信息值賦給激光點云物點；整個算法對激光數(shù)據(jù)分塊索引、遍歷，直至形成覆蓋整個目標區(qū)域的真彩色點云成果。

參照圖2所示的算法相關坐標系的定義，對算法思路進行分解：

1）由物點的大地坐標S （Xt，Yt，Zt）到S1系下坐標（X1，Y1，Z1）：

式中：（dX，dY，dZ）為當前全景球球心的大地坐標；

（2）由S1系坐標（X1，Y1，Z1）到S2系坐標（Xs，Ys，Zs），

其中（a1，a2，a3，b1，b2，b3，c1，c2，c3）為旋轉矩陣的系數(shù)，由全景影像的三個姿態(tài)角φ（橫滾角）、ω（俯仰角）、κ（航向角）確定，

3）由S2系坐標（Xs，Ys，Zs）計算對應像點在全景球上的極坐標（B，L，R），

4）由B，L計算對應像點在全景影像上的平面坐標x，y；

5）由像平面坐標（x，y）計算像素坐標（m，n），

式中：Width為全景影像的寬，Height為全景影像的高。

6）賦顏色，RGB（Xs，Ys，Zs）表示點（Xs，Ys，Zs）的RGB顏色值，N為全景影像編號，RGB（m，n，N）表示該全景影像上像素（m，n）的RGB顏色值；

2.3 算法實現(xiàn)

本文實驗數(shù)據(jù)包括激光點云、全景影像及記錄全景影像位置姿態(tài)時間的相機文件（本文稱為CAM數(shù)據(jù)）。其中，激光點云數(shù)據(jù)為連續(xù)掃描得到的，其記錄的數(shù)據(jù)格式為（x，y，z，t）；x，y，z為三維坐標，t表示GPS周秒；全景影像數(shù)據(jù)每隔5m曝光采樣一次得到的，原始＊.PGR格式全景影像數(shù)據(jù)經(jīng)解算可轉換為JPEG、BMP等通用格式；經(jīng)POS和GPS聯(lián)合解算得到的CAM相機文件記錄了每一張全景影像的文件名、經(jīng)緯度坐標、三維直角坐標、姿態(tài)角（俯仰角、橫滾角、航向角）和GPS周秒。

算法實現(xiàn)過程：

1）在程序中加載激光點云、全景影像、相機文件三類數(shù)據(jù)。

2）為待賦顏色的激光點云數(shù)據(jù)選擇合適的全景影像。本文實驗中激光點云數(shù)據(jù)掃描線之間的距離約為0.2m（車速約40km／h），全景影像是每5m一張；全景影像是在行車過程中持續(xù)曝光得到的，不可避免存在不同程度的物體遮擋情況，從不同角度拍攝獲取的全景影像中出現(xiàn)遮擋的情況不盡相同，需通過程序為點云數(shù)據(jù)自動選擇合適的全景影像來賦色。算法判斷規(guī)則：首先，為每個待賦色的激光點選擇最近的全景影像，可依據(jù)GPS時間或幾何距離來判斷；當判斷激光點出現(xiàn)遮擋情況，對被遮擋的點云選取相鄰全景影像計算顏色。在實際應用中，需結合數(shù)據(jù)特點和需求，兩個規(guī)則綜合處理。

3）計算出點云所對應的全景球上某處像點的像素坐標，將該像素坐標處的RGB顏色值賦給點云。

4）在點云分塊的前提下，重復步驟2～3迭代、遍歷整個目標區(qū)域，得到整個目標區(qū)域的真彩色點云成果。

3 實驗結果及分析

本文實驗數(shù)據(jù)采用“車載多傳感器城市街景移動測量系統(tǒng)”在廣州市區(qū)某主干道高架橋路段采集得到，現(xiàn)場采集環(huán)境存在車多，建筑物密集、GPS信號不穩(wěn)定等干擾因素，是移動測量系統(tǒng)在城市內(nèi)開展作業(yè)的代表性環(huán)境，在這樣的條件下驗證算法的效果具備客觀性和說服力。

實驗所采用REIGL VZ400掃描得到的原始激光點云數(shù)據(jù)如圖3所示、Ladybug3拍攝的全景影像數(shù)據(jù)如圖4所示，經(jīng)本文算法實現(xiàn)自動生成的真彩色點云成果如圖5所示。如圖6所示，比對原始全景影像與所生成的真彩色點云，經(jīng)疊加二者精確套和，這一結果表明原始激光點云通過共線算法原理獲得對應全景影像處的準確空間對應關系，實現(xiàn)原始點云的準確賦色，從而得到“空間位置準確、色彩表現(xiàn)客觀真實”的真彩色點云，驗證算法的可行性。

圖3 REIGL VZ4OO所采集的原始激光點云

圖6真彩色點云、全景影像及其疊加顯示經(jīng)多組實驗、綜合分析算法生成的真彩色點云可發(fā)現(xiàn)：算法穩(wěn)定性和執(zhí)行效率較高，對于不存在遮擋情況的點云賦色效果非常好，如圖7中所示道路沿線的房屋、樹木、路面和路燈等；但也存在部分被遮擋的困難區(qū)域點云賦色不正確，在超高建筑物上端紋理出現(xiàn)略微偏移等問題。

圖5 經(jīng)本文算法計算生成的真彩色點云

圖6 真彩色點云、全景影像

圖7 真彩色點云與影像細節(jié)對比

4 展 望

1）當車位于高架橋上采集數(shù)據(jù)時，全景相機有時會被兩邊圍欄擋住部分視線、造成下層影像無法拍攝到，下一階段計劃對算法中處理遮擋問題的規(guī)則結合任務實際情況進行細化，或者通過加高相機支架以拓寬拍攝視野；

2）對于由于全景影像幾何畸變、分辨率不足或配準誤差所造成的算法效果下降，計劃通過使用多個高性能單反數(shù)碼相機拼接組成高分辨率全景相機代替Ladybug3，升級硬件提升算法效果。

5 結束語

本文依托多傳感器融合的移動激光測量技術，在全景影像和激光點云精確配準的基礎上，基于攝影時刻全景相機中心、全景球面上的像點、實際場景中的物點三點共線的原理，提出一種由全景影像給對應激光點云賦色的真彩色點云生成算法。算法充分融合全景影像360°可視，以及激光點云位置精確的優(yōu)勢。經(jīng)實驗檢驗，算法推導正確、運算效率較高、具有較好的穩(wěn)健性，所生成的真彩色點云形態(tài)逼真、準確，實現(xiàn)了真彩色點云成果的快速生產(chǎn)。算法思路適用于其它同類移動激光測量系統(tǒng)，真彩色點云的生產(chǎn)普及可以進一步豐富測繪產(chǎn)品“服務政府、服務社會”的數(shù)據(jù)形式。

［1］李德仁，關澤群.空間信息系統(tǒng)的集成與實現(xiàn)［M］.武漢：武漢測繪科技大學出版社，2002.

［2］張劍清，潘勵，王樹根.攝影測量學［M］.武漢：武漢大學出版社，2003.

［3］葉澤田，劉先林，鐘若飛，等.車載多傳感器集成快速數(shù)據(jù)獲取與處理系統(tǒng)研究［J］.中國科技成果，2008（12）：46-48.

［4］侯艷芳，葉澤田，楊勇.基于POS數(shù)據(jù)的車載面陣CCD影像與激光點云融合處理研究［J］.遙感信息，2011（4）：76-79.

［5］赫春曉，李浩.基于三維激光掃描數(shù)據(jù)的三維實景構建［J］.測繪工程，2013，2（22）：81-85.

［6］侯飛，胡召玲，劉晴.基于三維激光掃描技術的古陵墓可視化［J］.測繪工程，2013，10（22）：78-81.

［7］楊長強，葉澤田，鐘若飛.基于時空匹配的車載激光點云與 CCD線陣圖像的融合［J］.測繪科學，2010，35（2）：32-33.

［8］張帆，黃先鋒，李德仁.激光掃描與光學影像數(shù)據(jù)配準的研究進展［J］.測繪通報，2008（2）：7-10.

［9］范沖，張娟，王大鵬.基于移動測量的交通標志自動提?。跩］.測繪工程，2014，23（5）：13-17.

［10］曹先革，楊金玲，司海燕，等.地面三維激光掃描點云數(shù)據(jù)精度影響因素及控制措施［J］.測繪工程，2014，23（12）：5-7.

［11］韓友美，王留召，鐘若飛.基于激光掃描儀的線陣相機動態(tài)高精度標定［J］.測繪學報，2010，39（6）：631-635.

［12］Pandey G，McBride J，Savarese S，et al.Extrinsic Calibration of a 3DLaser Scanner and an Omnidirectional Camera［C］.In Proceedings IFAC Symposium on Intelligent Autonomous Vehicles，Lecce，Italy，2010.

［13］季順平，史云.車載全景相機的影像匹配和光束法平差［J］.測繪學報，2013，42（1）：94-100.