林 棟，楊保平，田鵬義，崔曉杰，祝若鑫

（1. 航天工程大學(xué)，北京 102200；2. 北京市遙感信息研究所，北京 100011；3. 西安測(cè)繪研究所，陜西 西安 710054）

熱紅外相機(jī)能探測(cè)波長(zhǎng)為8～14 μm的長(zhǎng)波紅外輻射，并反演物體表面的溫度信息，且不受黑夜、霧霾等因素影響，能穿透黑暗、識(shí)別偽裝，探測(cè)熱異常，被廣泛應(yīng)用于夜間視覺[1]、建筑物密閉性監(jiān)測(cè)[2]、疫情防控[3]等領(lǐng)域。幾何定標(biāo)模型可構(gòu)建影像像點(diǎn)坐標(biāo)與三維地面點(diǎn)坐標(biāo)之間的關(guān)系，是實(shí)現(xiàn)精準(zhǔn)影像定位的關(guān)鍵，需要解算的模型參數(shù)包括主距、主點(diǎn)、鏡頭畸變等[4-5]。傳統(tǒng)可見光相機(jī)的定標(biāo)場(chǎng)一般由黑白棋盤格或圓形黑白編碼目標(biāo)構(gòu)成；但黑白定標(biāo)場(chǎng)的材質(zhì)、溫度均一致，無(wú)法為熱紅外影像的特征檢測(cè)提供足夠的影像對(duì)比度，因而不適用于熱紅外相機(jī)定標(biāo)。因此，相關(guān)學(xué)者利用額外熱源產(chǎn)生的溫度差或不同材料的輻射率差異構(gòu)建幾何定標(biāo)場(chǎng)，生成具有高對(duì)比度的熱紅外定標(biāo)影像[6-7]。

1 熱紅外相機(jī)幾何定標(biāo)研究現(xiàn)狀

現(xiàn)有熱紅外輻射定標(biāo)場(chǎng)的構(gòu)建方法主要包括基于輻射率的方法、基于溫度差的方法以及二者融合的方法。

1）基于輻射率的方法主要利用不同材料的輻射率差異提升熱紅外定標(biāo)影像的對(duì)比度，從而大幅提升特征角點(diǎn)檢測(cè)的精度。例如，Bison P[8]等利用帶孔洞的平面鋁板生成具有高對(duì)比度的熱紅外幾何定標(biāo)影像；Yastikli N[9]等制作了一個(gè)具有3層深度結(jié)構(gòu)的鐵制三維定標(biāo)場(chǎng)，鑲嵌77 個(gè)塑料目標(biāo)點(diǎn)作為控制點(diǎn)；Lagüela S[10]等在黑色紙板上鑲嵌鋁制目標(biāo)作為定標(biāo)場(chǎng)；Alba M I[11]等在木質(zhì)結(jié)構(gòu)上鑲嵌38 個(gè)鐵釘子作為控制點(diǎn)定標(biāo)場(chǎng)，該方法無(wú)需額外熱源制造溫度差，使用方便，但有時(shí)無(wú)法保證熱紅外定標(biāo)影像具有足夠的對(duì)比度。

2）基于溫度差的方法主要利用額外熱源（如燃燒燈）產(chǎn)生的溫度差異增強(qiáng)熱紅外定標(biāo)影像的對(duì)比度。例如，Lagüela S[12]等提出在一塊木板上構(gòu)建8行8列方格形狀的燃燒燈作為定標(biāo)場(chǎng)；Luhmann T[13]等對(duì)比基于主動(dòng)式燃燒燈的二維平面定標(biāo)場(chǎng)和基于圓形反射材料（自粘箔）的三維立體定標(biāo)場(chǎng)發(fā)現(xiàn)，二維平面定標(biāo)場(chǎng)的平均反投影誤差為0.3像素，而三維立體定標(biāo)場(chǎng)的平均反投影誤差可達(dá)0.05像素，該方法需額外熱源制造影像上的亮度差異。

3）融合方法。為提升熱紅外定標(biāo)影像的角點(diǎn)檢測(cè)精度，很多學(xué)者提出了同時(shí)利用輻射率差異和溫度差的融合方法。例如，Ng H[14]等設(shè)計(jì)了一個(gè)由金屬網(wǎng)和塑料板組成的幾何定標(biāo)場(chǎng)，定標(biāo)實(shí)驗(yàn)前通過熱風(fēng)加熱定標(biāo)場(chǎng)，形成具有高對(duì)比度的熱紅外定標(biāo)影像；Vidas S[15]等將不透明硬紙板作為基礎(chǔ)定標(biāo)板，通過裁剪具有規(guī)則正方形形狀的孔洞形成輻射率差異，再將定標(biāo)板置于電子屏幕前（如發(fā)熱的電腦），以獲取高對(duì)比度的定標(biāo)影像；Berni J A[16]等利用電阻絲制作幾何定標(biāo)場(chǎng)，當(dāng)電流通過電阻絲時(shí)，電阻絲溫度上升，形成具有高對(duì)比度的熱紅外定標(biāo)影像；Yang R[17]等設(shè)計(jì)了一種帶有25 個(gè)鉆孔的黑色塑料板作為幾何定標(biāo)場(chǎng)，同時(shí)在定標(biāo)板背面安裝了25 個(gè)小燈泡，點(diǎn)亮燈泡時(shí)，光線和熱量會(huì)穿過鉆孔，被可見光相機(jī)和熱紅外相機(jī)同時(shí)捕獲。

綜上所述，不同于可見光相機(jī)利用黑白棋盤格進(jìn)行幾何定標(biāo)，熱紅外相機(jī)通常使用不同材料的輻射率差異或溫度差異獲取定標(biāo)場(chǎng)影像。在近景攝影測(cè)量環(huán)境下，可利用上述方法生成高質(zhì)量的定標(biāo)影像，但在航空攝影測(cè)量環(huán)境下，由于距離遠(yuǎn)、溫度差異和幾何尺寸不足等原因，上述定標(biāo)場(chǎng)難以使用。此外，相較于可見光影像，熱紅外影像空間分辨率低、對(duì)比度差，導(dǎo)致其角點(diǎn)檢測(cè)精度較差，進(jìn)而影響內(nèi)方位元素的高精度解算。本文將分別討論近景攝影測(cè)量和傾斜攝影測(cè)量環(huán)境下的熱紅外相機(jī)幾何定標(biāo)。

2 近景攝影測(cè)量相機(jī)幾何定標(biāo)

在近景攝影測(cè)量環(huán)境下，本文利用不同材料的輻射率差異構(gòu)建熱紅外相機(jī)的幾何定標(biāo)場(chǎng)，并利用自檢校光束法平差實(shí)現(xiàn)熱紅外相機(jī)的幾何定標(biāo)。

2.1 幾何定標(biāo)場(chǎng)影像的獲取

熱紅外影像的空間分辨率較低、邊緣特征較模糊、像點(diǎn)檢測(cè)精度較低，而可見光相機(jī)的空間分辨率高、對(duì)比度強(qiáng)、像點(diǎn)檢測(cè)精度較高，為提高熱紅外影像幾何定標(biāo)的穩(wěn)定性和精度，本文提出可見光相機(jī)輔助的熱紅外相機(jī)幾何定標(biāo)方法，熱紅外相機(jī)FLIR A65的空間分辨率為640 像素×512 像素、可見光相機(jī)Nikon D700 的空間分辨率為3 184 像素×2 120 像素；并設(shè)計(jì)了一種適合可見光相機(jī)與熱紅外相機(jī)聯(lián)合定標(biāo)的三維定標(biāo)場(chǎng)（圖1）。

圖1 三維幾何定標(biāo)場(chǎng)

為了同時(shí)獲取高對(duì)比度的可見光定標(biāo)影像與熱紅外定標(biāo)影像，三維定標(biāo)場(chǎng)主要以黑色絲絨箔為背景，以帶編碼的可見光影像控制點(diǎn)（由黑白相間的正方形紙質(zhì)材料構(gòu)成）和不帶編碼的熱紅外影像控制點(diǎn)（由灰色圓形銀箔構(gòu)成）為定標(biāo)源。為確保熱紅外影像具有良好的對(duì)比度，通常需要將三維幾何定標(biāo)場(chǎng)置于室外條件下，黑色絲絨箔因較強(qiáng)的吸收輻射特性在熱紅外影像上呈現(xiàn)白亮，圓形銀箔因鏡面反射特性呈現(xiàn)黑暗，從而形成具有高對(duì)比度的熱紅外幾何定標(biāo)影像；同時(shí)在可見光影像上三維定標(biāo)板的背景呈現(xiàn)黑色，控制點(diǎn)由帶編碼的黑白正方形紙板構(gòu)成，進(jìn)而形成具有高對(duì)比度的可見光幾何定標(biāo)影像。

2.2 幾何定標(biāo)方法

首先利用影像橢圓擬合解算方法實(shí)現(xiàn)可見光影像黑白編碼點(diǎn)和熱紅外影像銀箔非編碼點(diǎn)的亞像素級(jí)精確檢測(cè)；再利用Aicon DPA 軟件的編碼點(diǎn)識(shí)別方法實(shí)現(xiàn)黑白編碼點(diǎn)在物方空間的毫米級(jí)三維測(cè)量；然后利用黑白編碼點(diǎn)的物方坐標(biāo)與像方坐標(biāo)解算可見光相機(jī)的內(nèi)方位元素，并通過可見光影像前方交會(huì)獲取銀箔非編碼點(diǎn)的物方三維坐標(biāo)；最后以銀箔非編碼點(diǎn)的熱紅外影像像點(diǎn)坐標(biāo)與物方三維坐標(biāo)為控制信息，以布朗模型為構(gòu)像方程，解算熱紅外相機(jī)的內(nèi)方位元素。

具體來(lái)說(shuō)，在已知高精度控制點(diǎn)物像坐標(biāo)的情況下，本文將像點(diǎn)坐標(biāo)測(cè)量值、地面點(diǎn)三維坐標(biāo)值和相機(jī)內(nèi)方位元素初始值（由相機(jī)供應(yīng)商提供）作為光束法平差的輸入值，通過光束法平差實(shí)現(xiàn)熱紅外相機(jī)內(nèi)方位元素（主距、主點(diǎn)、畸變參數(shù)）的高精度解算。假設(shè)物方點(diǎn)P(X'Y'Z)與影像內(nèi)一像點(diǎn)p(u'v)對(duì)應(yīng)，則布朗模型物像關(guān)系的表達(dá)式為：

式中，(XS'YS'ZS)為影像的投影中心；r為影像的徑向距離；c為主距；(x0'y0)為主點(diǎn)；K1、K2、K3、P1、P2、B1、B2為相機(jī)的畸變參數(shù)，主要由徑向畸變和切向畸變組成，能通過多項(xiàng)式模型進(jìn)行描述和校正。

由式（1）可知，P(X'Y'Z)通過共線條件方程變換、畸變校正、像主點(diǎn)平移、焦距解算和坐標(biāo)軸偏度校正，即可得到目標(biāo)點(diǎn)在像平面坐標(biāo)系下的像坐標(biāo)p(u'v)。在給定初值的基礎(chǔ)上，利用自檢校光束法平差的迭代優(yōu)化，實(shí)現(xiàn)熱紅外相機(jī)內(nèi)方位元素的優(yōu)化解算。在迭代平差的過程中，引入顯著性檢驗(yàn)，利用3-sigma 法則刪除不重要的相機(jī)參數(shù)，避免參數(shù)間相關(guān)性導(dǎo)致的不收斂或收斂至局部極小值問題。

2.3 實(shí)驗(yàn)結(jié)果

FLIR A65相機(jī)的內(nèi)方位元素平差值及其后驗(yàn)標(biāo)準(zhǔn)差見表1，可以看出，除徑向畸變參數(shù)K3與圖像坐標(biāo)軸偏度B1外，其他參數(shù)均能通過顯著性檢驗(yàn)，且標(biāo)準(zhǔn)差均遠(yuǎn)小于其平差值，說(shuō)明參數(shù)解算結(jié)果穩(wěn)定可靠。

表1 FLIR A65相機(jī)幾何定標(biāo)參數(shù)x?i 與標(biāo)準(zhǔn)差s?x?i

近景攝影測(cè)量通常采用“先驗(yàn)定標(biāo)場(chǎng)解算內(nèi)方位元素、實(shí)際應(yīng)用答解外方位元素”的方法，因此在后續(xù)的近景攝影測(cè)量應(yīng)用中，一般固定內(nèi)方位元素不變（尤其是焦距參數(shù)），著重優(yōu)化外方位元素實(shí)現(xiàn)三維重建等應(yīng)用。

3 傾斜航空攝影測(cè)量相機(jī)幾何定標(biāo)

在傾斜攝影測(cè)量環(huán)境下，由于攝影距離遠(yuǎn)，現(xiàn)有幾何定標(biāo)場(chǎng)尺寸不足、溫度差異不夠，導(dǎo)致近景攝影測(cè)量方法不再適用。因此，本文采用幾何定標(biāo)與三維重建聯(lián)合答解的方式，在三維重建的過程中同時(shí)優(yōu)化影像的內(nèi)外方位元素，完成高精度幾何定標(biāo)。

3.1 三維重建影像獲取

傾斜攝影測(cè)量系統(tǒng)AOS-Tx8 搭載在直升飛機(jī)上，主要包含4個(gè)可見光相機(jī)（Baumer VCXG-53c）和4個(gè)非制冷型熱紅外相機(jī)（FLIR A65sc）。相機(jī)具體參數(shù)見表2。

表2 AOS-Tx8包含的可見光相機(jī)和熱紅外相機(jī)參數(shù)

相機(jī)組裝結(jié)構(gòu)見圖2，熱紅外相機(jī)之間的影像重疊度為12%，由于可見光相機(jī)的視場(chǎng)角較大，可見光相機(jī)之間的影像重疊度更大?？梢姽庀鄼C(jī)與熱紅外相機(jī)系統(tǒng)以相同的幀頻（5 Hz）同時(shí)獲取影像。直升機(jī)在400 m 的高度獲取影像數(shù)據(jù)，可見光相機(jī)的地面分辨率為0.08 m，熱紅外相機(jī)的地面分辨率為0.30 m。AOS-Tx8相機(jī)系統(tǒng)的尺度為330 mm×420 mm×320 mm，重量為11.6 kg，可被整合在小型飛機(jī)或無(wú)人機(jī)上。傾斜攝影測(cè)量系統(tǒng)搭載了全球定位與慣性測(cè)量系統(tǒng)，為三維精細(xì)建模提供高精度的初始外方位元素。

3.2 三維重建與幾何定標(biāo)方法

本文首先利用運(yùn)動(dòng)結(jié)構(gòu)恢復(fù)軟件Agisoft Photo-Scan?分別處理多視可見光影像序列和多視熱紅外影像序列生成可見光影像點(diǎn)云與熱紅外影像點(diǎn)云，盡管全球定位與慣性測(cè)量系統(tǒng)為可見光影像序列與熱紅外影像序列提供了相同的輔助定位數(shù)據(jù)，但生成的可見光影像點(diǎn)云與熱紅外影像點(diǎn)云存在幾何錯(cuò)位；然后利用基于八叉樹的迭代最鄰近點(diǎn)方法實(shí)現(xiàn)可見光影像點(diǎn)云與熱紅外影像點(diǎn)云的精確配準(zhǔn)，獲取熱紅外影像序列相對(duì)于可見光影像點(diǎn)云的外方位元素，由于可見光相機(jī)的空間分辨率高、對(duì)比度強(qiáng)，利用可見光影像序列可在無(wú)控制點(diǎn)條件下直接生成高精度的三維模型（圖3a）；再選取部分可見光影像點(diǎn)云上的高精度測(cè)量點(diǎn)作為控制點(diǎn)，以布朗模型為構(gòu)像方程，在保持熱紅外影像序列相對(duì)于可見光影像點(diǎn)云外方位元素不變的條件下，利用光束法平差完成熱紅外相機(jī)的幾何內(nèi)定向，獲取高精度的內(nèi)方位元素；最后基于熱紅外影像序列的內(nèi)外方位元素，利用逐像素密集匹配與幾何定向即可實(shí)現(xiàn)地物的三維溫度場(chǎng)重建（圖3b）。

綜上所述，與近景攝影測(cè)量相比，傾斜航空攝影測(cè)量同樣將可見光影像提供的高精度定位結(jié)果作為控制信息，提高熱紅外影像的內(nèi)方位元素解算精度；但其不再搭建三維幾何定標(biāo)場(chǎng)，而是在地物三維溫度場(chǎng)重建的過程中同時(shí)實(shí)現(xiàn)熱紅外相機(jī)的幾何定標(biāo)。

3.3 實(shí)驗(yàn)結(jié)果

FLIR A65sc相機(jī)的內(nèi)方位元素平差值及其后驗(yàn)標(biāo)準(zhǔn)差見表3，可以看出，各參數(shù)的后驗(yàn)標(biāo)準(zhǔn)差均遠(yuǎn)小于其平差值，說(shuō)明本文方法答解的內(nèi)方位元素具有較強(qiáng)的魯棒性。

表3 FLIR A65相機(jī)幾何定標(biāo)參數(shù)x?i 與標(biāo)準(zhǔn)差s?x?i

本文分析了引入可見光影像控制信息對(duì)幾何定標(biāo)精度的影響，結(jié)果見圖4，可以看出，若不考慮控制信息，熱紅外相機(jī)的定位精度較低，所有像素的平均反投影誤差約為10個(gè)像素；若考慮控制信息，則能有效提升熱紅外影像的定位精度，所有像素的平均反投影誤差降至約0.5個(gè)像素，在攝影高度為354 m的條件下，X-Y 水平面的定位精度可達(dá)0.2 m，說(shuō)明本文方法答解的內(nèi)方位元素具有較高的定位精度。

圖4 熱紅外影像的平均反投影誤差

4 結(jié) 語(yǔ)

針對(duì)熱紅外相機(jī)空間分辨率低、影像對(duì)比度差等問題，提出了可見光相機(jī)輔助熱紅外相機(jī)的幾何定標(biāo)方法。在近景攝影測(cè)量環(huán)境下，設(shè)計(jì)了一種兼顧可見光相機(jī)與熱紅外相機(jī)的新型三維幾何定標(biāo)場(chǎng)，采用“先驗(yàn)定標(biāo)場(chǎng)解算內(nèi)方位元素、實(shí)際應(yīng)用答解外方位元素”的方法分步實(shí)現(xiàn)幾何定標(biāo)與應(yīng)用測(cè)量。在傾斜航空攝影測(cè)量環(huán)境下，采用幾何定標(biāo)與三維重建聯(lián)合答解的方式，在三維重建的過程中利用可見光影像的控制信息優(yōu)化熱紅外影像的內(nèi)方位元素解算，將幾何內(nèi)定向與應(yīng)用測(cè)量融為一體。