趙玲娜，花向紅，劉 闖，李 萬

(1.武漢大學 測繪學院，湖北 武漢 430079；2.地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079；3.武漢大學 災害監(jiān)測與防治研究中心，湖北 武漢 430079；4.武漢大學 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079)

基于激光反射率的點云與圖像自動融合

趙玲娜1,2,3，花向紅1,2,3，劉 闖1,2,3，李 萬4

(1.武漢大學 測繪學院，湖北 武漢 430079；2.地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079；3.武漢大學 災害監(jiān)測與防治研究中心，湖北 武漢 430079；4.武漢大學 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079)

提出一個基于激光反射率的點云圖像自動融合算法，數(shù)字圖像與點云反射率圖像特征點匹配，得到數(shù)字圖像特征點像點坐標和相應物點物方空間坐標對，采用直接線性變換算法(DLT)建立點云數(shù)據(jù)反投影至二維圖像點的投影模型，實現(xiàn)點云圖像自動融合，得到目標表面的全面信息，包括物體表面三維坐標和紋理信息。自動地實現(xiàn)點云圖像融合，無需人工參與，提高效率和準確率，同時結(jié)合實驗驗證該算法的可行性。

激光反射率；點云反射率圖像；圖像特征點匹配；點云反投影模型；點云圖像融合

三維激光掃描儀可以獲取高精度的點云3D坐標和強度信息，圖像則是場景2D高分辨率真彩色信息的直觀展示。兩者的融合實現(xiàn)客觀世界的3D真彩色表達，推動多個行業(yè)和應用，如虛擬圖書館、游戲娛樂應用、建筑物展示和恢復、考古、虛擬現(xiàn)實以及旅游業(yè)的前進和發(fā)展。因此，點云圖像融合成為目前備受關(guān)注的重要問題。

目前點云圖像融合主要集中在時間匹配和后處理特征匹配上，時間匹配自動化程度高，但是精度較差且對設備要求高；更加通用的基于特征匹配的方法又可分為兩種：一種是確定點云數(shù)據(jù)和圖像的轉(zhuǎn)換模型，進行疊加；另一種通過控制點進行攝像機標定，借助相機內(nèi)外參數(shù)確定點云和圖像的相互關(guān)系。McAllister et.al.[1](1999)提出一種基于點云深度圖像的融合算法，匹配深度圖像和數(shù)字圖像的特征線，確定兩者的轉(zhuǎn)換關(guān)系，該方法的局限是相機和激光掃描儀需在同一位置。Lensch et.al.[2](2001)提出一種基于輪廓線的自動融合方法，該方法只適用于整張相片只包含單一結(jié)構(gòu)物體的點云圖像融合。Peter K.Allen et.al.[3](2003)通過點云平面分割分離出建筑物點云邊界線，與圖像特征線匹配，計算點云與圖像的仿射變換矩陣，該方法可適應于結(jié)構(gòu)復雜具有鮮明線特征的古跡建筑物，而且分割閾值需要人工設定。Al-Manasir K et.al.[4](2006)首先利用安裝攝像機的三維激光掃描儀同時對貼了靶標的場景拍照和獲取點云，采用主動視覺相機序列標定解算相機的位置和姿態(tài)，之后確定相機和掃描儀的空間轉(zhuǎn)換關(guān)系。該方法需要相機固定在掃描儀上，且需要空間靶標，主動視覺自標定過程也比較復雜。鄧非等人[5](2007)提出一種利用立體像對匹配點和點云坐標配準的融合算法，該算法首先利用立體像對求解若干圖像特征點的三維坐標，人工參與找出對應的點云坐標求出初始變換矩陣，之后用ICP算法進行精確配準。Aguilera D G et.al.[6](2007)和李知達[7](2014)采用了基于深度圖像的點云數(shù)字圖像融合算法，通過深度圖像和數(shù)字圖像特征點匹配，確定若干空間坐標和像素坐標對，然后攝像機標定求解相機參數(shù)，最后將點云數(shù)據(jù)投影到二維圖像。由于深度和真彩色表達的信息不同，該方法對于顏色變化明顯但表面平整的場景并不適用。Liang Y et.al.[8](2016)利用數(shù)字圖像的相機模型將點云數(shù)據(jù)反投影到圖像平面，生成反射率圖像，然后借助同名點通過仿射變換實現(xiàn)點云圖像融合。該方法需要預先知道數(shù)字圖像的相機模型，而且反投影參數(shù)設置不當會導致反射率圖像產(chǎn)生空洞。因此，本文提出一種基于激光反射率的點云圖像自動融合算法，通過實驗驗證了該方法的可行性和實用性。

1 算法原理與實現(xiàn)流程

如圖1所示，基于激光反射率的點云圖像自動融合算法的基本思想是：首先，將點云數(shù)據(jù)沿著激光束方向投影到平面，可選大概對應圖像中心點的激光束方向為該面法向量，按照圖像的大小將平面格網(wǎng)化，每個小格網(wǎng)由像素坐標、空間坐標和反射率(x，y，X，Y，Z，Reflectance)表示，生成反射率圖像；第二，進行圖像SIFT特征點匹配，將反射率圖像特征點的三維坐標傳遞給數(shù)字圖像的同名特征點，得到數(shù)字圖像特征點像點坐標和相應物點物方空間坐標對(2D-3D)；第三，采用考慮畸變信息的非線性直接線性變換(DLT)算法建立點云數(shù)據(jù)反投影至二維圖像點的投影模型，解算每個點云坐標對應的圖像像素坐標，并將最鄰近像素RGB信息賦予點云。

圖1 點云圖像融合算法流程

1.1 點云反射率圖像生成

三維激光掃描儀的激光波段為近紅外，所以掃描儀獲取的反射率信息表達的是物體表面對近紅外線的反射能力；圖像的RGB反映了投射在光敏面元上的光強信息，通過統(tǒng)計學的方法可以近似確定RGB和反射率的函數(shù)關(guān)系[9]。

原始點云(X，Y，Z，Reflectance,…)轉(zhuǎn)化為2D反射率圖像(x，y，Reflectance)本質(zhì)是將三維坐標投影到2D平面的問題。由于圖像是由規(guī)則陣列的亮度值表示，因此需要對投影后的數(shù)據(jù)按照格網(wǎng)化分，本文的點云數(shù)據(jù)與數(shù)字圖像場景基本吻合，所以格網(wǎng)分辨率由圖像尺寸決定，避免人工參與過程。

1)確定投影面：選取場景中心區(qū)域一點的點云坐標(x,y,z)，投影面的法向量為n=(a,b,c)=(x,y,z)，選取離掃描儀最遠一點作為該投影面上一點以確定其平面方程:ax+by+cz+d=0；

2)計算點云投影后坐標：沿著激光發(fā)射方向?qū)Ⅻc云數(shù)據(jù)投影到平面上，沿著激光束的方向而不是垂直投影，可能會導致反射率圖像彎曲變形，但避免投影后出現(xiàn)格網(wǎng)空洞，且圖像變形并不影響下一步的特征匹配。激光束方向可由每個點坐標(X,Y,Z)i表示，記投影后的點云(X′,Y′,Z′,Reflectance)i。

3)生成點云反射率圖像：將平面點云按照數(shù)字圖像的尺寸劃分為m×n個小矩形格網(wǎng)，每個格網(wǎng)內(nèi)有若干個點，取最靠近格網(wǎng)中心的點云反射率的值作為該格網(wǎng)的亮度值，最后整體歸一化至(0～255)。并記錄最靠近格網(wǎng)中心的點坐標，生成的反射率圖像的每個像素由一個6維向量(x,y,X,Y,Z,Reflectance)i(i=1,2,…,m×n)描述，其中，(x,y)是像素坐標，(X,Y,Z,Reflectance)i是點云信息。

1.2 圖像特征點匹配

圖像特征點匹配目的是尋找反射率圖像和數(shù)字圖像的同名點，傳遞匹配點三維坐標至數(shù)字圖像，達到不需要布設控制點和人工參與就可以得到數(shù)字圖像特征點像點坐標和相應物點物方空間坐標對的目的。

圖像匹配采用經(jīng)典的具有魯棒性的尺度不變特征變換(Scale Invariant Feature Transform，SIFT)算法[10]，該算法可以提取具有旋轉(zhuǎn)變化具有不變性，對光照變化和圖像變形具有較強適應性的特征點，并用128維特征描述符表示。不同圖像同名點匹配是通過計算特征描述符之間的歐氏距離進行，有

d(A,B)=d(B,A)=

(1)

如圖2所示，AB，AC分別表示圖像(a)上A點到圖像(b)所有特征點的最小和次小距離。則特征點匹配判定準則為

即最小和次小距離的比值小于某一閾值t(經(jīng)驗值為0.8)。這種方法可以高效快捷的找到同名點，但還需要用其他方法剔除誤匹配，通常采用隨機抽樣一致(RANdom SAmpling Consensus，RANSAC)算法[11]。

圖2 特征點SIFT描述符歐氏距離

1.3 點云反投影模型建立

直接線性變換(Direct Linear Transformation，DLT)是在不需要相片內(nèi)外方位元素初始值的情況下快速建立像點坐標和相應物點物方空間坐標之間函數(shù)關(guān)系的算法，適用于非測量攝像機的數(shù)據(jù)處理。反射率圖像和數(shù)字圖像匹配特征點(xd,yd，X,Y,Z)j，建立點云反投影模型。

根據(jù)文獻[13]，線性DLT的基本關(guān)系式為

(2)

式中：(x,y)為數(shù)字圖像的像素坐標，(X,Y,Z)為匹配得到的像點對應的物方空間坐標，是相機參數(shù)的函數(shù)表達式[13]。11個參數(shù)需要至少6個已知像素坐標和三維空間坐標的控制點，解得各參數(shù)的近似值。

考慮到鏡頭畸變，包括徑向和切向畸變，像點坐標存在非線性改正數(shù)Δx,Δy，僅用式(2)求解的參數(shù)進行點云圖像數(shù)據(jù)融合，求得的像素坐標在圖片邊緣區(qū)域誤差較大，因此本文采用非線性DLT求解點云反投影至像點坐標的模型，即式(3)和式(4)。

(3)

Δx=(x-x0)(k1r2+k2r4)+P1[r2+

2(x-x0)2]+2P2(x-x0)(y-y0),

Δy=(y-y0)(k1r2+k2r4)+P2[r2+

2(y-y0)2]+2P1(x-x0)(y-y0).

(4)

1.4 點云圖像融合

由式(3)和式(4)可知，點云圖像融合是已知反投影模型和點云數(shù)據(jù)求解像素坐標，先利用式(2)求像點近似坐標(x0,y0) ，再利用不動點迭代[14]求解像素坐標的精確數(shù)值(x,y)。

如圖3所示[15]，點云反投影到圖像平面后的像素坐標不一定是整數(shù)，取最臨近的像素為該點云的反投影像點坐標，將對應像素的RGB賦予點云，實現(xiàn)點云RGB紋理貼圖，得到實驗目標表面的全面信息，完成點云圖像自動融合。

圖3 相機針孔模型

2 實驗及結(jié)果分析

2.1 實驗方案

為驗證基于激光反射率的點云圖像自動融合算法的可行性，采用RIEGL VZ-4000三維激光掃描儀獲取點云數(shù)據(jù)，點位分辨率為0.01 m；采用尼康D5300相機拍攝相片，尺寸為2 698像素×1 800像素，實驗場地及采集數(shù)據(jù)如圖4所示。

圖4 實驗場地及點云圖像數(shù)據(jù)

2.2 數(shù)據(jù)處理與初步分析

如圖4所示，取圖4(b)(點云中心坐標(-9.198,0.810,0.017)作為反射率圖像投影面的法向量。令離掃描儀最遠的一點(-12.367,6.805,0.403)落在投影面上，從而確定投影面，然后將點云數(shù)據(jù)沿著激光束的方向進行投影。按照數(shù)字圖像的尺寸，生成格網(wǎng)2 698像素×1 800像素的深度圖像和反射率圖像，如圖 5和圖 6所示。

圖5 深度圖像

圖6 反射率圖像

由圖5和圖6可以看出點云生成的反射率圖像比深度圖像更加符合數(shù)字圖像的特征變化。用SIFT特征點匹配算法尋找深度圖像和反射率圖像與數(shù)字圖像的同名點，并用RANSAC消除匹配誤差，結(jié)果如圖7和圖8所示。

圖7 數(shù)字圖像和點云深度圖像同名點匹配

圖8 數(shù)字圖像和點云反射率圖像同名點匹配

由圖7和圖8表明：深度圖像和數(shù)字圖像灰度值表示的意義不同，所以特征點無法準確匹配，只適用于文獻[6]和文獻[7]所述的結(jié)構(gòu)簡單規(guī)則的場景。反射率圖像則可以很好的與數(shù)字圖像特征點匹配，如圖8所示，用sift算法共得到了29對匹配特征點，然后采用RANSAC算法通過最小化變換矩陣代價函數(shù)剔除4對錯誤匹配[16]。

將匹配特征點的數(shù)字圖像像素坐標及其對應空間坐標(xd,yd，X,Y,Z)j帶入式(3)和式(4)求解反投影模型的15個參數(shù)值，見圖9點云RGB紋理貼圖。

將所有點云數(shù)據(jù)按照反投影模型求解對應的像素坐標，進行數(shù)據(jù)融合見表1。融合后的點云RGB紋理貼圖如圖9所示。

圖9 點云RGB紋理貼圖

表1 DLT得到像素坐標和對應空間坐標函數(shù)轉(zhuǎn)換模型參數(shù)

由圖9可以看出：點云RGB紋理貼圖效果比較理想，圖中出現(xiàn)的空白有兩種原因：一是，高反射率的物體如玻璃，棱鏡等產(chǎn)生的高斯現(xiàn)象，這種點云數(shù)據(jù)嚴重偏離真實坐標，需要在數(shù)據(jù)預處理中剔除；另一種是由于三維激光掃描儀和相機的位置和視角不同，反投影到圖像平面的點云會產(chǎn)生遮擋和覆蓋，覆蓋部分由于前面的點云優(yōu)先顯示，遮擋部分激光無法到達，因此沒有對應的圖像平面上的像素點?？傊疚牡娜诤纤惴ǖ玫降慕Y(jié)果比較理想。

2.3 融合精度分析

為了進一步從數(shù)據(jù)上分析融合精度，本文人工選取相對均勻分布的16個點來驗證融合精度，如圖10所示。點云反投影到圖像平面的像素坐標誤差，按照誤差的大小進行排序，如表2所示。

圖10 融合精度分析點位分布

點號控制點數(shù)據(jù)融合數(shù)據(jù)誤差點云坐標/m像素坐標像素坐標XYZxyxydx2+dy214-11 319-0 6410 5751032 026737 93491031 591738 30610 57189110-8 0051 0550 1311486 974784 0551486 322784 28890 69267411-7 7951 627-0 0511671 089839 0551669 715838 7791 4005687-5 3031 002-0 7321673 0941109 0161671 3351107 8642 10240213-11 304-0 6331 6941037 078510 01821036 371507 67532 44736112-9 0062 40 0891789 135822 9741786 622822 27372 60902515-11 834 3721 6841986 01562 9871982 825563 74313 2743791-4 381-0 8090 947643 52824 615645 769521 108824 1613346-5 182-0 122-0 7261101 4791108 0261105 5681107 0464 204982-4 5490 7320 9561636 308112 1691632 739114 84244 4597916-11 8414 3710 5721985 984771 97141981 03770 40445 196155-5 069-1 242-0 727470 93751109 068474 61361105 3035 2618443-4 6361 5260 9472077 125162 4792067 192167 929811 330438-5 422 142-0 73221891107 9222176 9821102 8413 047864-4 7292 3420 9512485 729206 9062461 746212 581924 646049-5 543 274-0 7272646 011104 9532612 9731093 55934 94719

由表2的像素點為誤差可知，越靠近邊緣的點，如點4和點9，誤差越大，這與相機畸變模型有關(guān)，越靠近邊緣的點變形越大。由于數(shù)字圖像的尺寸可以變化，像素坐標誤差只是相對值，因此，還需要分析空間坐標誤差，控制點像素坐標對應的融合后的三維空間坐標按照誤差大小排序，如表3所示。

表3 目標表面三維空間坐標誤差

由表 3可以看出：越靠近邊緣的點位誤差越大，在非邊緣區(qū)域的融合精度可控制在mm級，表 3與表 2 的排序差別是因為點云是三維數(shù)據(jù)，投影誤差對應的是二維數(shù)據(jù)，精度最差的點4，是由于投影誤差過大，再結(jié)合空間信息可知，4點靶標球的像素坐標匹配了后面墻面的點云數(shù)據(jù)。因此，采用本文的自動融合算法時可拍攝多張的數(shù)字圖像，選取非邊緣區(qū)域的融合結(jié)果。

3 結(jié) 論

本文提出了一個基于激光反射率的點云圖像自動融合算法，以反射率圖像為媒介，傳遞與數(shù)字圖像的同名點的三維空間坐標，利用非線性直接線性變換算法確定點云數(shù)據(jù)反投影至二維圖像的投影模型，實現(xiàn)點云圖像融合過程，充分利用了三維激光掃描點云數(shù)據(jù)的反射率屬性，不需要人工參與和額外控制點的布設。此外，由于反射率和圖像RGB存在某種統(tǒng)計學轉(zhuǎn)換關(guān)系，因此，對于任何形狀和顏色的場景都能很好的確定反射率圖像和數(shù)字圖像的同名點對。對于提高點云紋理貼圖、圖像三維重建和相機標定效率都具有一定的參考意義。

[1] MCALLISTER D K,NYLAND L,POPESCU V,et al.Real-time rendering of real world environments[M]//Rendering Techniques’ 99.Springer Vienna,1999:145-160.

[2] LENSCH H P A,HEIDRICH W,SEIDEL H P.A silhouette-based algorithm for texture registration and stitching[J].Graphical Models,2001,63(4):245-262.

[3] ALLEN P K,TROCCOLI A,SMITH B,et al.New methods for digital modeling of historic sites[J].IEEE Computer Graphics and Applications,2003(6):32-41.

[4] AL-MANASIR K,FRASER C S.Registration of terrestrial laser scanner data using imagery[J].The Photogrammetric Record,2006,21(115):255-268.

[5] 鄧非,張祖勛,張劍清.一種激光掃描數(shù)據(jù)與數(shù)碼照片的配準方法[J].武漢大學學報(信息科學版),2007,32(4):290-292.

[6] AGUILERA D G,GONZLVEZ P R,LAHOZ J G.Automatic co-registration of terrestrial laser scanner and digital camera for the generation of hybrids models[J].International Archives of Photogrammetry,Remote Sensing and Spatial Information Sciences,2007,36:162-168.

[7] 李知達.基于 SIFT 算法的激光成像雷達點云圖像與可見光圖像的融合研究[D].西安：西安電子科技大學,2014.

[8] LIANG Y,QIU Y,CUI T.Perspective Intensity Images for Co-Registration of Terrestrial Laser Scanner and Digital Camera[J].ISPRS-International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2016:295-300.

[9] HUDON M，GRUSON A.Shape and Reflectance from RGB-D Images using Time Sequential Illumination[C]VISIGRAPP,2016.

[10] 楊曉敏,吳煒,卿粼波,等.圖像特征點提取及匹配技術(shù)[J].光學精密工程,2009,17(9):2276.

[11] 李寒,牛紀楨,郭禾.基于特征點的全自動無縫圖像拼接方法[J].計算機工程與設計,2007,28(9):2083-2085.

[12] 張頌德.張正友.計算機視覺——計算理論與算法基礎[M].北京：科學出版社,1998.

[13] 馮文灝.近景攝影測量:物體外形與運動狀態(tài)的攝影法測定[M].武漢：武漢大學出版社,2002.

[14] 顏慶津.數(shù)值分析[M].北京：北京航空航天大學出版社,2000.

[15] BOSCH J,GRACIAS N,RIDAO P,et al.Omnidirectional underwater camera design and calibration[J].Sensors,2015,15(3):6033-6065.

[16] 李寒,牛紀楨,郭禾.基于特征點的全自動無縫圖像拼接方法[J].計算機工程與設計,2007,28(9):2083-2085.

[責任編輯：李銘娜]

Auto-fusion of point clouds and image based on laser reflectance

ZHAO Lingna1,2,3,HUA Xianghong1,2,3,LIU Chuang1,2,3,LI Wan4

(1.School of Geodesy & Geomatics,Wuhan University,Wuhan 430079，China;2.Collaborative Innovation Center for Geospatial Technology,Wuhan 430079,China;3.Hazard Monitoring & Prevention Research Center,Wuhan University,Wuhan 430079,China;4.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan 430079,China)

This paper proposes an auto-fusion algorithm of point clouds and image based on laser reflectance.The physical spacial coordination of the image points is obtained in the way of digital image with the point clouds reflectance image feature matching.A re-projection model of point clouds to image points based on DLT can compute object surface 3D space coordinates and RGB.Without artificial participation,efficiently and accurately,the method implements automatically.Experimental result demonstrates the feasibility of the algorithm.

laser reflectance;reflectance image;image features matching;re-projection model of point clouds;fusion of point clouds and image

2016-06-22

國家自然科學基金資助項目(41374011;41174010;41304001)

趙玲娜(1991-)，女，碩士研究生

花向紅(1963-)，男，教授.

著錄：趙玲娜，花向紅，劉闖，等.基于激光反射率的點云與圖像自動融合[J].測繪工程，2017，26(8)：29-34，44.

10.19349/j.cnki.issn1006-7949.2017.08.007

P228

A

1006-7949(2017)08-0029-06