左志權(quán)，易琳

(1.中國測繪科學(xué)研究院，北京 100036；2.廣東電網(wǎng)有限責(zé)任公司 電力科學(xué)研究院，廣州 510062)

0 引言

隨著大帶寬通信技術(shù)的快速發(fā)展與普及，在無人機與地面控制終端間建立穩(wěn)定的通信鏈路連接，再由控制終端實時處理接收的數(shù)碼影像或視頻數(shù)據(jù)達(dá)到實時制圖效果，已成為可能。從技術(shù)發(fā)展角度來看，無人機實時制圖技術(shù)主要經(jīng)歷了準(zhǔn)實時后處理制圖階段和GPS/IMU實時直接制圖階段。

1)準(zhǔn)實時后處理制圖階段。最早的數(shù)據(jù)處理方式是將無人機拍攝數(shù)據(jù)現(xiàn)場通過硬介質(zhì)拷貝轉(zhuǎn)存到地面工作站，再人為縮小原始影像數(shù)據(jù)至合適分辨率，快速處理被攝影區(qū)域的整體拼圖，如德國的Inpho、瑞士的Pix4D[1]、美國的ContexCapture[2]，以及國內(nèi)的VirtuoZo/DPGrid[3]、PixelGrid[4]等商業(yè)處理軟件。該方法一般應(yīng)用于野外現(xiàn)場數(shù)據(jù)質(zhì)量檢查或災(zāi)害應(yīng)急場景，通過犧牲成果數(shù)據(jù)生產(chǎn)精度和細(xì)節(jié)層次達(dá)到準(zhǔn)實時拼圖效果。其本質(zhì)上還是利用傳統(tǒng)技術(shù)手段獲取實時拼圖，成圖質(zhì)量受到限制，也無法達(dá)到真正實時制圖效率。

2)GPS/IMU實時直接制圖階段。在實時差分與組合導(dǎo)航技術(shù)普及后，通過無人機上安裝GPS流動站和高精度IMU設(shè)備，配合地面GPS基站，可快速確立當(dāng)前拍照相機的位置和姿態(tài)[5]，與實時傳輸影像一起進(jìn)行實時在線拼圖。由于只要求硬件集成設(shè)備標(biāo)定，不需經(jīng)過復(fù)雜影像后處理解算流程，成圖效率極高。該方式正在有人機或無人機平臺上被廣泛推廣使用，尤其適用于近紅外或多光譜數(shù)碼相機實時成圖應(yīng)用。其不足在于：受硬件集成誤差和平臺實時姿態(tài)測量誤差影響，最終拼圖數(shù)據(jù)會有明顯錯位，適用于對成圖精度要求不高的應(yīng)用場景。

本文詳細(xì)介紹了GPS/IMU直接制圖關(guān)鍵技術(shù)，并引入視覺SLAM(simultaneous localization and mapping)技術(shù)[6-8]對實時傳輸影像的位置和姿態(tài)進(jìn)行動態(tài)修正，能極大限度地消除重疊影像間的錯位現(xiàn)象，達(dá)到無縫拼圖效果。文章最后針對有效實際工程數(shù)據(jù)進(jìn)行了實驗與分析，均達(dá)到預(yù)期效果。

1 方法與策略

1.1 相機內(nèi)參數(shù)標(biāo)定方法

在傳統(tǒng)的攝影測量制圖作業(yè)流程中，一般人們會對數(shù)碼相機進(jìn)行精確的實驗室自檢校處理，以最大限度地消除鏡頭系統(tǒng)誤差對后續(xù)測量結(jié)果的影響。但對于廣大非制圖領(lǐng)域的行業(yè)用戶來講，采用日益普及的小型無人機搭載非量測型數(shù)碼相機進(jìn)行三維重建和測繪地形圖的需求日益旺盛。因此，針對非量測數(shù)碼相機所拍攝圖片進(jìn)行精確空中三角測量是整個數(shù)據(jù)處理環(huán)節(jié)中的關(guān)鍵性步驟。

本文采用在線自檢校方法完成空中三角測量，即依賴影像間的幾何約束關(guān)系和控制點約束來自動校驗鏡頭系統(tǒng)誤差參數(shù)[9-10]。算法中的系統(tǒng)誤差模型采用7個參數(shù)模型，焦距(f)、主點偏移(x0，y0)、徑向畸變(k1，k2)、切向畸變(p1，p2)的自檢校數(shù)學(xué)模型如式(1)所示。

(1)

式中：(x，y)表示在原始影像所提取的關(guān)鍵點坐標(biāo)；(x0，y0)表示相機主點位置坐標(biāo)；(dx，dy)表示考慮照相機加工工藝局限后的鏡頭畸變改正分量；f表示鏡頭焦距值；(X，Y，Z)表示目標(biāo)點在物理坐標(biāo)系中的三維坐標(biāo)值；(Xs，Ys，Zs)表示相機理論攝影中心在物理坐標(biāo)系中的三維坐標(biāo)值；R(a1，a2，a3，b1，b2，b3，c1，c2，c3)表示數(shù)碼相機在物方坐標(biāo)系中的姿態(tài)朝向角度對應(yīng)的旋轉(zhuǎn)矩陣。

在自檢校算法中，將鏡頭畸變誤差分量(dx，dy)進(jìn)行純量形式展開，如式(2)所示。

(2)

如果僅依賴影像間的幾何約束關(guān)系估算內(nèi)外參數(shù)，是一個典型的多極值求解問題。在影像拍攝條件不夠完善條件下，很難獲取唯一可靠參數(shù)估值。因此，必須進(jìn)一步布設(shè)合適的地面控制點加以約束，推薦的三維控制點布設(shè)方案如圖1所示。

圖1 自檢校場控制點與檢查點布設(shè)示意圖

1.2 GPS/IMU與傳感器之間安置標(biāo)定方法

由于硬件模塊結(jié)構(gòu)設(shè)計工藝局限，模塊間集成誤差必然存在，而GPS/IMU組合導(dǎo)航系統(tǒng)直接測量的是GPS天線相位中心的實時差分坐標(biāo)和IMU平臺角度，因此需針對直接測量輸出的像片位置和姿態(tài)數(shù)據(jù)進(jìn)行誤差改正。在檢校模型推導(dǎo)中，一般以IMU參考中心為基點，相機攝影信息與IMU之間的幾何關(guān)系如式(3)所示。

(3)

在檢校工程實踐中，GPS/IMU與傳感器間的安置參數(shù)標(biāo)定流程描述如下。

步驟1：借助組合導(dǎo)航解算技術(shù)，估算出IMU中心的軌跡和平臺姿態(tài)。

步驟2：在檢校場中布設(shè)控制點數(shù)據(jù)，解算出相機的準(zhǔn)確位置和姿態(tài)參數(shù)。

步驟3：根據(jù)式(3)，逆向推導(dǎo)相機攝影中心與GPS/IMU之間的平移和旋轉(zhuǎn)安置誤差。

步驟4：依據(jù)安置誤差和式(3)，導(dǎo)出新的相機中心位置和姿態(tài)，并檢核其直接定位精度。

1.3 外參數(shù)動態(tài)優(yōu)化方法

在1.2節(jié)中，經(jīng)過修正后的GPS/IMU實時測量精度有很大提高，但設(shè)備實時測量誤差仍無法全部消除。本節(jié)探討如何采用動態(tài)SLAM優(yōu)化算法修正外參數(shù)誤差，達(dá)到無縫實時制圖效果。動態(tài)優(yōu)化算法計算機程序執(zhí)行策略可描述如下。

步驟1：通過監(jiān)聽指定的端口數(shù)據(jù)，獲取當(dāng)前一幅影像數(shù)據(jù)。

步驟2：通過影像特征匹配技術(shù)，將當(dāng)前影像序列加入整體待優(yōu)化數(shù)據(jù)隊列中，并同步記錄其初始的GPS位置和IMU姿態(tài)信息。

步驟3：構(gòu)建區(qū)域網(wǎng)平差解算模型，通過迭代優(yōu)化方式求取待優(yōu)化幀的精準(zhǔn)位置和姿態(tài)。

步驟4：當(dāng)新增優(yōu)化數(shù)據(jù)量達(dá)到數(shù)據(jù)總量的某個比率閾值時(如0.2)，進(jìn)行一次更大范圍的局部動態(tài)優(yōu)化，以保證最終輸出數(shù)據(jù)的整體無縫效果。

步驟5：重復(fù)步驟1至步驟4，最終實現(xiàn)所有幀數(shù)據(jù)的優(yōu)化過程，直到端口數(shù)據(jù)監(jiān)聽結(jié)束。

上述步驟詳細(xì)描述整個動態(tài)優(yōu)化算法策略。在具體算法執(zhí)行過程中，值得指出的是，由于數(shù)碼影像上可能會有大片的森林、水域，會導(dǎo)致局部解算過程不穩(wěn)定。系統(tǒng)有必要通過整體回環(huán)檢測，對更大范圍內(nèi)必要優(yōu)化數(shù)據(jù)進(jìn)行快速重構(gòu)。其整體快速重構(gòu)基本原理與局部重構(gòu)原理完全一致，超出本文重點討論范疇，故此不再贅述。

1.4 影像實時微分糾正方法

已經(jīng)獲取預(yù)成圖區(qū)域的數(shù)字地形數(shù)據(jù)，為了方便實時訪問，該數(shù)據(jù)通常以二維格網(wǎng)形式保存[11]。假設(shè)影像拼圖的寬和高分別為w和h，微分正射糾正的算法策略如下。

步驟1：按行列號循環(huán)遍歷影像地圖的每一個像素二維位置(i，j)。

步驟2：通過與二維地形網(wǎng)格進(jìn)行坐標(biāo)對齊獲取當(dāng)前像素位置的三維空間坐標(biāo)(X，Y，Z)。

步驟3：采用投影矩陣計算三維空間坐標(biāo)在原始影像上的像素位置(x，y)。

步驟4：采用雙線性內(nèi)插方法，計算當(dāng)前像素位置的像素值(R，G，B)。

步驟5：重復(fù)步驟1至步驟4，直到所有的像素賦值完成，保存影像地圖文件。

上述步驟是整個微分正射糾正算法的關(guān)鍵性步驟。其中，算法在執(zhí)行過程中有2點值得注意：1)需要提前對糾正算法所采用的地形數(shù)據(jù)進(jìn)行濾波平滑處理，得到真實的裸露地面，并以此規(guī)避地面上物體投影差導(dǎo)致的扭曲變形；2)在實時制圖過程中，為了獲得更好的效率，可將上述執(zhí)行策略中的像素值雙線性內(nèi)插算法修改為最鄰近內(nèi)插算法，性能可獲得大幅提升。

2 實驗分析

2.1 實驗環(huán)境描述

文章涉及的所有算法，均采用Microsoft Visual Studio 2017 IDE 環(huán)境下的C/C++進(jìn)行代碼編寫，并運行在Microsoft Windows 10×64位操作系統(tǒng)上。獨立的臺式電腦主要配置是Inter Core i7 8核心，內(nèi)存16 GB，英偉達(dá)2 GB顯存顯卡，磁盤容量1 TB。

無人機飛行載體采用的是國產(chǎn)某大型無人機直升機，凈載荷50 kg，飛行速度為75 km/h。數(shù)碼照相機的焦距為35 mm。通信鏈路采用8 MB下行帶寬，數(shù)據(jù)回傳速率為2.5 s/張，單張數(shù)據(jù)大小為1 280像素×960像素。系統(tǒng)采用了差分GPS設(shè)備，實時差分精度控制在0.5 m內(nèi)。采用NovAtel的IMU，實時定向精度約為0.08°，無線通信帶寬為8 Mbps，有效作用距離為50 km。

坐上親戚家的熱炕頭，大家一起學(xué)習(xí)十九大精神?！斑@幾年，我們連隊的變化太大了，這些變化都是黨的關(guān)懷和溫暖帶來的！十九大又給我們帶來新的福利，讓我們的生活越過越好。”李平副院長的親戚買買提·買蘇木聽完李平副院長宣傳黨的好政策后有感而發(fā)地說。

2.2 內(nèi)參數(shù)標(biāo)定結(jié)果與影響分析

按照2.1節(jié)論述，內(nèi)參數(shù)標(biāo)定實驗區(qū)域選用在地形稍有起伏的矩形區(qū)域，共往返飛行4個條帶，區(qū)域內(nèi)均勻布設(shè)13個控制點，其中有效控制點11個。

本文在平差解算軟件中，采用了同樣的參數(shù)優(yōu)化限制條件：GPS先驗精度限定在3 m，IMU角度先驗精度限定在0.1°，測區(qū)內(nèi)分布均勻6個控制點，剩余為5個檢查點。分別開啟內(nèi)參數(shù)自檢校和關(guān)閉自檢校功能進(jìn)行2組測試，結(jié)果記錄如表1所示。

從本次實驗可以看出，在所有其他限制參數(shù)固定前提下，內(nèi)參數(shù)自檢校能大幅改善檢查點精度，尤其在高程精度方面能提升5～10倍，像點殘差中誤差從 0.376像素提升到0.287像素。因此，無論從像方角度還是物方角度考量，自檢校前后空中三角測量系統(tǒng)的內(nèi)外符合精度都有著較大提升。

表1 自檢校前后檢查點殘差列表 m

2.3 GPS/IMU標(biāo)定結(jié)果與影響分析

按照2.2節(jié)所述方法步驟，估算出相機與GPS/IMU設(shè)備之間的6維安置誤差。仍舊采用地面檢查點殘差指標(biāo)來評估安置標(biāo)定結(jié)果對定位精度的影響，具體方法如下。

本文在平差軟件中，在采用準(zhǔn)確內(nèi)參數(shù)前提下，將強約束條件下設(shè)置GPS定位先驗精度為0.01 m，IMU姿態(tài)先驗精度為0.001°；將弱約束條件下設(shè)置GPS定位先驗精度為10 m，IMU姿態(tài)先驗精度不作限制。分別在2類條件下進(jìn)行平差解算，檢查點精度報告如表2所示。

從本次實驗可以看出，表2中的強約束結(jié)果可近似看作為直接采用修正后的GPS/IMU數(shù)據(jù)進(jìn)行定位精度評估結(jié)果，而弱約束結(jié)果可看作是控制點參與平差計算結(jié)果。其結(jié)果說明：1)強約束條件下(GPS/IMU近似不參與優(yōu)化)，檢查點精度明顯差于弱約束環(huán)境下的結(jié)果，也說明通過2.2節(jié)介紹的擬合獲取安置誤差方法，其修正后的外方位元素仍舊包含有一定程度系統(tǒng)誤差，殘差主要分布在y和z方向；2)如果放開GPS/IMU約束，可直接獲得理想平差結(jié)果，說明安置誤差修正后的外方位元素仍需要進(jìn)一步優(yōu)化，并且能通過優(yōu)化獲得最終理想結(jié)果。

表2 GPS/IMU強弱約束后的檢查點殘差列表 m

2.4 動態(tài)優(yōu)化結(jié)果與影響分析

通過上文論證分析可知，內(nèi)參數(shù)標(biāo)定和外參數(shù)安置誤差修正，能很好地提升GPS/IMU直接定位精度，但仍需要進(jìn)一步優(yōu)化獲得最優(yōu)結(jié)果。采用2.3節(jié)動態(tài)優(yōu)化算法進(jìn)行實驗，效果如圖2所示。

1)定性效果評估。為了具體評估動態(tài)優(yōu)化算法的效果，本節(jié)分別截取3組影像中的典型地物，并作出局部高清對比，其可視化對比效果如圖3所示。

從圖3可以看出，未使用動態(tài)優(yōu)化算法的影像拼圖有著明顯幾何錯位，池塘邊緣出現(xiàn)鋸齒狀，農(nóng)田存在明顯扭曲，道路等線狀地物呈現(xiàn)斷裂等，而動態(tài)優(yōu)化后所獲得結(jié)果則能很好地恢復(fù)地物的真實形狀。

2)定量精度評估。評估動態(tài)優(yōu)化結(jié)果的一項重要指標(biāo)就是相機中心、相片關(guān)鍵點、物理模型坐標(biāo)三者是否嚴(yán)格滿足透視投影關(guān)系。在算法優(yōu)化結(jié)束后，將物方模型坐標(biāo)投影到相片上，計算理想投影點與實際關(guān)鍵點之間的坐標(biāo)差異分量，并統(tǒng)計其優(yōu)化前后中誤差。誤差統(tǒng)計結(jié)果如圖4所示。

圖4橫軸為實時動態(tài)優(yōu)化迭代執(zhí)行次數(shù)，縱軸為單次優(yōu)化后的RMSE數(shù)值。 從上述SLAM優(yōu)化前后的統(tǒng)計曲線圖可以看出：1)SLAM優(yōu)化算法介入后，關(guān)鍵點重投影誤差從均值2.0像素提升到0.3像素，約7倍，有著明顯改善；2)優(yōu)化后的重投影誤差穩(wěn)定在0.2像素附近，不會隨迭代次數(shù)增多而降低精度，驗證了算法的穩(wěn)定性。

圖2 視覺SLAM優(yōu)化前后的整體對比效果

圖3 飛行區(qū)域內(nèi)3組優(yōu)化前后局部對比效果

圖4 SLAM動態(tài)優(yōu)化前后關(guān)鍵點重投影誤差對比效果圖

2.5 整體拼圖效果與成圖輸出

在獲得幾何上的高精度拼接效果后，本文采用整體色彩融合算法進(jìn)行成果圖鑲嵌并輸出，效果如圖5所示。

從圖5可看出，通過色彩融合與鑲嵌處理后的拼圖從視覺上看效果更好，整體上無明顯色彩差異；對應(yīng)的水體、農(nóng)田以及道路等地物細(xì)節(jié)也進(jìn)一步消除拼接縫隙，已能達(dá)到無縫制圖效果。

圖5 整體色彩融合與鑲嵌后的拼圖效果示意圖

3 結(jié)束語

本文詳細(xì)介紹了大帶寬通信環(huán)境下的GPS/IMU直接制圖關(guān)鍵技術(shù)，并引入視覺SLAM技術(shù)對實時傳輸影像的位置和姿態(tài)進(jìn)行了動態(tài)優(yōu)化調(diào)整，獲得預(yù)期的實時無縫拼圖效果，結(jié)論如下。

1)數(shù)碼相機內(nèi)參數(shù)標(biāo)定時，檢校場的控制點布設(shè)是必要的，否則無法估算出準(zhǔn)確內(nèi)參數(shù)值。

2)數(shù)碼相機和GPS/IMU之間的安置誤差改正對提升重疊影像間的拼接精度具有很好效果，建立嚴(yán)密的標(biāo)定模型和工程實施方案是關(guān)鍵。

3)普遍用于機器人導(dǎo)航或無人車中的視覺SLAM算法用于無人機高精度制圖也是可行的，能顯著提升制圖效果，基本做到無縫拼圖。

文章所涉及算法采用結(jié)構(gòu)化設(shè)計，能很好地推廣至無人機視頻流實時制圖、無人車及機器人導(dǎo)航等硬件平臺上。