王安磊，甘淑，袁希平

(1.昆明理工大學(xué)國(guó)土資源工程學(xué)院，云南 昆明 650093； 2.云南省高校高原山地空間信息測(cè)繪技術(shù)應(yīng)用工程研究中心，云南 昆明 650093； 3.滇西應(yīng)用技術(shù)大學(xué)云南省高校山地實(shí)景點(diǎn)云數(shù)據(jù)處理及應(yīng)用重點(diǎn)實(shí)驗(yàn)室，云南 大理 671006)

1 引 言

無(wú)人機(jī)航空攝影測(cè)量技術(shù)以其機(jī)動(dòng)、靈活、高效率、低成本、易操作以及在應(yīng)急救災(zāi)和小范圍數(shù)據(jù)快速獲取和成圖方面的獨(dú)特優(yōu)勢(shì)成為常規(guī)航空攝影測(cè)量手段的有效補(bǔ)充，帶來(lái)航空攝影測(cè)量應(yīng)用領(lǐng)域的變革，同時(shí)為大比例尺地形圖測(cè)繪提供了新的技術(shù)手段[1]。但相比較傳統(tǒng)航空攝影的專用航攝儀而言，無(wú)人機(jī)通常選用廣角CMOS數(shù)碼相機(jī)作為成像系統(tǒng)，而普通單反或無(wú)反相機(jī)屬非量測(cè)相機(jī)，其影像的光學(xué)畸變大，而相機(jī)鏡頭畸變差會(huì)造成相點(diǎn)坐標(biāo)位移，使鏡頭中心、像點(diǎn)和對(duì)應(yīng)的物點(diǎn)不能滿足中心投影的光學(xué)共軛關(guān)系，從而降低影響的配準(zhǔn)精度[2]。如果相機(jī)畸變不能有效去除，會(huì)直接導(dǎo)致空三無(wú)法滿足精度要求、立體像對(duì)模型差大、接邊工作量增大，也難以滿足 1∶500比例尺測(cè)圖的需要[3]。

相機(jī)檢校技術(shù)可以得到相機(jī)的內(nèi)方位元素和畸變參數(shù)[4]，恢復(fù)正確的光束形狀，進(jìn)而提高地形圖測(cè)繪和實(shí)景三維建模的精度。目前，相機(jī)檢校的方法較多，但是通常在實(shí)用性和精度兩方面難以兼得，在實(shí)際應(yīng)用中還要綜合考慮工作條件、成本高低、精度需求等因素來(lái)選擇一個(gè)合適的檢校方法[5]?？傮w上相機(jī)檢校方法可以分為基于控制場(chǎng)和無(wú)須控制場(chǎng)的相機(jī)檢校兩類。具體檢校方法又可分為光學(xué)實(shí)驗(yàn)室法、控制場(chǎng)檢校法、在任檢校法和恒星檢校法[6]，其中基于控制場(chǎng)的檢校方法在可操作性和精度上相對(duì)最優(yōu)，因此該類方法應(yīng)用較為廣泛。文獻(xiàn)[7]提出了一種基于棋盤格的標(biāo)定方法，該方法是研究相機(jī)標(biāo)定的經(jīng)典方法。該方法由兩部分組成，首先對(duì)相機(jī)的參數(shù)進(jìn)行估計(jì)，再用優(yōu)化函數(shù)進(jìn)行迭代改正，最終得到高精度解。文獻(xiàn)[8]提出了基于二維的直接線性變換算法和光束法的相機(jī)檢校方法。文獻(xiàn)[9]將張正友的棋盤格法進(jìn)行簡(jiǎn)化后，得到了一種快速平面標(biāo)定的方法，通過(guò)提高內(nèi)方位元素初始值的準(zhǔn)確度，減少了運(yùn)算時(shí)迭代的次數(shù)，使標(biāo)定變得更為快速。文獻(xiàn)[10]利用共面條件方程這一約束條件，建立了基于附加約束條件的光束網(wǎng)平差的相機(jī)標(biāo)定方法。文獻(xiàn)[11]進(jìn)行了對(duì)張正友法的改進(jìn)研究，將求解出來(lái)初始參數(shù)用非線性最小二乘法進(jìn)一步完善，得到內(nèi)外方位元素，提高了初始數(shù)值的魯棒性，加入了切向畸變，提高了標(biāo)定的收斂速度。

在以往的標(biāo)定中，通常是利用經(jīng)典的Chessboard標(biāo)定，Chessboard圖案的每個(gè)角都用兩個(gè)黑色方塊圍繞，能夠更精確地細(xì)化，但是使用Chessboard存在缺點(diǎn)，其要求不可以有遮擋，即像場(chǎng)內(nèi)整個(gè)圖案可見(jiàn)。而ArUco圖案可以解決被遮擋的問(wèn)題，使用ArUco模塊，可以通過(guò)ArUco標(biāo)記進(jìn)行校準(zhǔn)，同時(shí)使用ArUco進(jìn)行校準(zhǔn)比使用傳統(tǒng)的Chessboard更為靈活和方便，但是ArUco標(biāo)定法仍存在的不足，即便其角點(diǎn)經(jīng)過(guò)亞像素細(xì)化，對(duì)該標(biāo)定板的角點(diǎn)位置的識(shí)別的準(zhǔn)確性也并不高。所以使用將Chessboard與ArUco結(jié)合的ChARUco圖案進(jìn)行無(wú)人機(jī)鏡頭畸變解算，并與傳統(tǒng)的Chessboard圖案相比較，最后使用解算出的參數(shù)對(duì)實(shí)驗(yàn)區(qū)的正射影像圖進(jìn)行畸變校正，并檢驗(yàn)檢查點(diǎn)的點(diǎn)位精度。

2 實(shí)驗(yàn)理論基礎(chǔ)

2.1 相機(jī)成像模型

計(jì)算機(jī)視覺(jué)中，系統(tǒng)要完成計(jì)算對(duì)三維場(chǎng)景中目標(biāo)物體的描述、識(shí)別和理解等任務(wù)，其中相機(jī)對(duì)目標(biāo)物體拍攝圖像是系統(tǒng)中必不可少的過(guò)程。相機(jī)拍攝所獲得的二維圖像是以像素為單位的，相機(jī)標(biāo)定要解決的問(wèn)題就是建立物體的三維空間坐標(biāo)和對(duì)應(yīng)二維圖像坐標(biāo)之間的對(duì)應(yīng)關(guān)系。相機(jī)成像模型決定了目標(biāo)物體表面點(diǎn)的世界坐標(biāo)與其在二維圖像中的像素坐標(biāo)的對(duì)應(yīng)關(guān)系。成像模型的幾何參數(shù)代表了相機(jī)具有的參數(shù)，為了描述相機(jī)成像模型中的各個(gè)參數(shù)，在計(jì)算步驟中涉及四個(gè)坐標(biāo)系，即世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系，并且需要知道這四個(gè)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系[12]。

2.2 相機(jī)參數(shù)的估計(jì)

(1)相機(jī)參數(shù)的初始估計(jì)

標(biāo)定方法假定模板平面放置在世界坐標(biāo)系中Z=0的平面上，相機(jī)的成像模型則可以表示為：

(1)

(2)

因相機(jī)有五個(gè)位置參數(shù)，所以當(dāng)相機(jī)拍攝得到的圖像數(shù)大于或等于3時(shí)，就可以求出唯一解。

令：

(3)

vij=[hi1hj1， hi2hj2+hi2hj1， hi2hj2， hi1hj3， hi3hj2+hi2hj2， hi3hj3]

再根據(jù)H=[h1h2h3]=λK[r1r2t]可以得到：

(4)

由‖r1‖=‖r2‖=1，可以求出λ的值。至此求出所有的相機(jī)參數(shù)。

(2)參數(shù)優(yōu)化

在理想的狀態(tài)下，像素坐標(biāo)系下的坐標(biāo)與三維空間點(diǎn)的坐標(biāo)通過(guò)所求出的相機(jī)參數(shù)矩陣投影到像素坐標(biāo)系是同一個(gè)點(diǎn)，但在實(shí)際應(yīng)用中會(huì)存在誤差，所以為了得到更加精確的相機(jī)參數(shù)，可以通過(guò)投影誤差最小化函數(shù)來(lái)對(duì)相機(jī)參數(shù)迭代優(yōu)化。如下：

(5)

式中m為像素坐標(biāo)系下的坐標(biāo)，m(K，Ri，ti，Mj)表示三維空間點(diǎn)的坐標(biāo)經(jīng)過(guò)初始估計(jì)的相機(jī)參數(shù)投影變換到像素坐標(biāo)系下的坐標(biāo)。

2.3 Chessboard的特征提取

Chessboard是將約定大小的正方形黑白格子，規(guī)則排列形成的國(guó)際象棋棋盤狀的圖案，如圖1所示。使用Chessboard進(jìn)行相機(jī)標(biāo)定時(shí)，檢測(cè)的特征點(diǎn)為黑白相間的格子的內(nèi)角點(diǎn)，其對(duì)應(yīng)數(shù)學(xué)上的鞍點(diǎn)的概念，理論無(wú)限小，所以針對(duì)內(nèi)角點(diǎn)的檢測(cè)可達(dá)到較高的精度。

圖1 Chessboared內(nèi)角點(diǎn)

檢測(cè)Chessboard內(nèi)角點(diǎn)時(shí)，因?yàn)榫植科骄赃m應(yīng)閾值化方法對(duì)亮度不均勻情況適應(yīng)性強(qiáng)，所以首先將圖像二值化，圖像膨脹可以分離黑色塊與白色塊斷掉其銜接，而后計(jì)算每個(gè)輪廓的凸包，進(jìn)行多邊形檢測(cè)以及判斷是否有且只有四個(gè)頂點(diǎn)，再應(yīng)用長(zhǎng)寬比、周長(zhǎng)和面積等指標(biāo)約束去除一些干擾計(jì)算的四邊形[13]。

但使用Chessboard仍存在著若干局限性，其要求整個(gè)圖案在像場(chǎng)中可見(jiàn)，否則便不能檢測(cè)；而且關(guān)于Chessboard檢測(cè)的一個(gè)重要細(xì)節(jié)是，為了保持其旋轉(zhuǎn)不變，其行列數(shù)必為一奇一偶，不可同為偶數(shù)或同為奇數(shù)，否則會(huì)使圖像解算產(chǎn)生模糊性而導(dǎo)致歧義。

2.4 ArUco的特征提取

ArUco標(biāo)記是二進(jìn)制正方形基準(zhǔn)標(biāo)志物，它由一個(gè)較寬的黑邊和一個(gè)嵌入其內(nèi)部的二進(jìn)制矩陣組成，如圖2所示，該矩陣決定了它的ID。黑色的邊界有利于快速檢測(cè)到圖像，二進(jìn)制編碼可以驗(yàn)證ID，并允許錯(cuò)誤檢測(cè)和矯正技術(shù)的應(yīng)用[14]。它的優(yōu)點(diǎn)是檢測(cè)快速，簡(jiǎn)單而穩(wěn)健。

圖2 ArUco二維矩陣

ArUco檢測(cè)不要求圖案在像場(chǎng)內(nèi)全部可見(jiàn)，當(dāng)圖像中有一些標(biāo)記可見(jiàn)時(shí)，首先會(huì)對(duì)候選標(biāo)記進(jìn)行檢測(cè)。該算法首先對(duì)圖像進(jìn)行自適應(yīng)閾值分割，然后從分割后的圖像中提取輪廓線，剔除不凸或不近似正方形的輪廓線。在候選標(biāo)記檢測(cè)之后，需要通過(guò)分析它們的內(nèi)部編碼來(lái)確定它們是否是正確的標(biāo)記物。首先應(yīng)用透視變換來(lái)獲得標(biāo)準(zhǔn)形式的標(biāo)記以提取每個(gè)標(biāo)記的標(biāo)記位[15]。ArUco獲取的特征是其二進(jìn)制矩陣的外輪廓線和該二進(jìn)制矩陣本身，所以其對(duì)特征的定位精度相對(duì)較低。

3 實(shí)驗(yàn)設(shè)置

3.1 實(shí)驗(yàn)條件

研究工作的實(shí)驗(yàn)條件主要包括硬件條件、軟件條件和研究實(shí)驗(yàn)區(qū)三個(gè)方面。其中，硬件條件包括PENTAX K-3 Ⅱ型單鏡頭反光數(shù)碼相機(jī)、大疆Phantom 4 Pro四旋翼無(wú)人機(jī)、棋盤格標(biāo)定板、ChARUco標(biāo)定板、地面像控點(diǎn)若干；軟件條件涉及Cygwin64開(kāi)源環(huán)境、Python 3.8.10、opencv-python 4.5.3、opencv-contrib-python 4.5.3、numpy 1.21.2、Pix4Dmapper 4.5.6、ArcGIS 10.3；研究實(shí)驗(yàn)區(qū)選擇了昆明理工大學(xué)蓮華校區(qū)。

3.2 像控點(diǎn)與檢查點(diǎn)布設(shè)

為保障數(shù)據(jù)成果精度，關(guān)于像控點(diǎn)的位置選取，在預(yù)設(shè)范圍內(nèi)盡量選擇平整地面明顯標(biāo)志點(diǎn)，如斑馬線角點(diǎn)、檢修井中心點(diǎn)等地面點(diǎn)點(diǎn)位[16]，在研究區(qū)內(nèi)均勻布設(shè)14個(gè)控制點(diǎn)，5個(gè)作為像控點(diǎn)，9個(gè)作為檢查點(diǎn)。

表1 像控點(diǎn)坐標(biāo)列表

表2 部分檢查點(diǎn)坐標(biāo)列表

4 ChARUco驗(yàn)證及其結(jié)果分析

4.1 制作未經(jīng)畸變校正的DOM

使用大疆Phantom 4 Pro四旋翼無(wú)人機(jī)對(duì)測(cè)區(qū)進(jìn)行數(shù)據(jù)采集，航高 45 m，航向重疊度和旁向重疊度均設(shè)為80%，共獲取745張照片。

本研究使用Pix4Dmapper進(jìn)行無(wú)人機(jī)影像的拼接和成果輸出：首先，導(dǎo)入POS數(shù)據(jù)和GCP點(diǎn)對(duì)應(yīng)的三維空間坐標(biāo)信息，對(duì)應(yīng)進(jìn)一步優(yōu)化并生成飛行區(qū)域內(nèi)的稀疏點(diǎn)云；其次，基于具有空間信息的稀疏點(diǎn)云進(jìn)行飛行區(qū)域內(nèi)的密集點(diǎn)云的構(gòu)建[17]，生成飛行區(qū)域的3D多邊形格網(wǎng)；最后，生成實(shí)驗(yàn)區(qū)的正射影像圖DOM和數(shù)字地表模型DSM。

表3 檢查點(diǎn)與初始DOM測(cè)量值比較表

4.2 兩種鏡頭畸變計(jì)算

ChARUco標(biāo)定板規(guī)格如下：為8行9列，圖案中每個(gè)格子的邊長(zhǎng)為 2.5 cm，其中的ArUco碼的邊長(zhǎng)為 1 cm。Chessboard標(biāo)定板規(guī)格如下：為8行9列，圖案中每個(gè)格子的邊長(zhǎng)為 2.5 cm。使用PENTAX K-3 Ⅱ型單鏡頭反光數(shù)碼相機(jī)固定焦距 70 mm對(duì)Chessboard標(biāo)定板從不同角度拍攝20幅圖像，由于Chessboard標(biāo)定本身的特點(diǎn)，要求每張照片中的標(biāo)定圖案完整無(wú)遮擋；再使用該型相機(jī)對(duì)ChARUco標(biāo)定板從不同角度拍攝20幅圖像，且不再要求標(biāo)定圖案完整。

表4 PENTAX K-3Ⅱ相機(jī)參數(shù)

將獲取的圖像導(dǎo)入Cygwin64開(kāi)源環(huán)境，編寫對(duì)應(yīng)兩種標(biāo)定圖案的Python程序，標(biāo)定程序依賴opencv-python、opencv-contrib-python和numpy三種開(kāi)源函數(shù)庫(kù)。

表5 ChARUco圖案檢校結(jié)果

表6 Chessboard圖案檢校結(jié)果

經(jīng)過(guò)這一步驟，可以得到如下結(jié)論：ChARUco標(biāo)定圖案可以在一定程度上彌補(bǔ)Chessboard標(biāo)定圖案的缺點(diǎn)和不足，可以在圖案不完整的情況下求得內(nèi)參矩陣和光學(xué)畸變參數(shù)，提高了標(biāo)定的靈活性簡(jiǎn)化了標(biāo)定的難度，但是在精度上有一定程度的下降。

4.3 校正DOM測(cè)量精度分析

使用大疆Phantom 4 Pro四旋翼無(wú)人機(jī)采集ChARUco標(biāo)定圖案的若干照片，再在Cygwin64開(kāi)源環(huán)境中使用前一步驟的基于opencv-python的畸變計(jì)算程序求得其光學(xué)畸變參數(shù)，將該畸變參數(shù)輸入到Pix4Dmapper的相機(jī)模型中，重新生成研究區(qū)的正射影像圖。

在ArcGIS中瀏覽該正射影像圖，顯示像控點(diǎn)與檢查點(diǎn)的坐標(biāo)。仍然將使用全站儀測(cè)得的像控點(diǎn)及檢查點(diǎn)的坐標(biāo)作為真值，校正后的DOM中獲得的控制點(diǎn)和檢查點(diǎn)的坐標(biāo)與真值對(duì)比如下。

表7 初始DOM測(cè)量值與改正后DOM測(cè)量值比較表

圖3 改正前后檢查點(diǎn)中誤差對(duì)照?qǐng)D

實(shí)驗(yàn)結(jié)果表明，ChARUco標(biāo)定圖案并結(jié)合張正友法對(duì)小型消費(fèi)級(jí)無(wú)人機(jī)進(jìn)行性相機(jī)標(biāo)定，從大比例尺測(cè)圖的要求出發(fā)，點(diǎn)位精度無(wú)顯著差異，均滿足大比例尺測(cè)圖對(duì)點(diǎn)位精度的需要。

5 結(jié) 論

本文以昆明理工大學(xué)蓮華校區(qū)作為研究實(shí)驗(yàn)區(qū)，利用四旋翼輕型電動(dòng)無(wú)人飛機(jī)航攝系統(tǒng)和常見(jiàn)的單鏡頭反光相機(jī)，基于Pix4dMapper以及Cygwin64開(kāi)源環(huán)境和opencv-python等軟件，對(duì)Chessboard和ChARUco兩種標(biāo)定圖案的優(yōu)缺點(diǎn)及正射影像圖的點(diǎn)位精度影響進(jìn)行探討，根據(jù)精度驗(yàn)證的分析結(jié)果，得到以下結(jié)論：

(1)Chessboard標(biāo)定圖案進(jìn)行相機(jī)標(biāo)定的重投影誤差較小，精度較高，但是對(duì)采集影像要求較高，需要圖像完整和清晰；而ChARUco標(biāo)定圖案可以在一定程度上彌補(bǔ)Chessboard標(biāo)定圖案的缺點(diǎn)和不足，可以在圖案不完整的情況下求得內(nèi)參矩陣和光學(xué)畸變參數(shù)，提高了標(biāo)定的靈活性簡(jiǎn)化了標(biāo)定的難度，但是在精度上有一定程度的下降。

(2)應(yīng)用ChARUco標(biāo)定圖案并結(jié)合張正友法對(duì)小型消費(fèi)級(jí)無(wú)人機(jī)進(jìn)行性相機(jī)標(biāo)定，從大比例尺測(cè)圖的要求出發(fā)，點(diǎn)位精度無(wú)顯著差異，均滿足大比例尺測(cè)圖對(duì)點(diǎn)位精度的需要。

進(jìn)一步思考，關(guān)于無(wú)人機(jī)測(cè)圖的質(zhì)量控制，建議除需要對(duì)非量測(cè)相機(jī)進(jìn)行標(biāo)定之外，還要綜合考慮像控點(diǎn)的布設(shè)以及測(cè)區(qū)環(huán)境等因素，也有待進(jìn)一步驗(yàn)證和研究。