李奇峻，范大昭，雷　蓉，紀　松，張文朝

1. 信息工程大學地理空間信息學院，河南 鄭州 450052； 2. 61287部隊，四川 成都 610000

?

資源三號多光譜影像譜段間相對內(nèi)參關系標定及高精度配準

李奇峻1，范大昭1，雷蓉1，紀松1，張文朝2

1. 信息工程大學地理空間信息學院，河南 鄭州 450052； 2. 61287部隊，四川 成都 610000

registration

Foundationsupport：TheNationalNaturalScienceFoundationofChina(No.41401534)；TheOpenFundofStateKeyLaboratoryofGeographicInformationEngineering(No.SKLGIE2013-M-3-1)；TheScientificResearchFoundationforPublicWelfareIndustryofSurveyingandMappingandGeographicInformation(No.201412007)；MasterDissertationInnovationFoundationofInstituteofSurveyingandMappingofInformationEngineeringUniversity(No.XS201510)

摘要：針對資源三號多光譜相機，提出利用同時獲取的各譜段影像間高精度提取的同名像點建立多光譜相機各譜段對應分片CCD之間的位置模型，求解它們的相對內(nèi)參關系參數(shù)，并應用此模型實現(xiàn)了譜段間影像的高精度譜段配準。試驗結果表明該方法能夠?qū)崿F(xiàn)資源三號衛(wèi)星多光譜影像優(yōu)于0.3像素精度的譜段間自動配準。

關鍵詞：多光譜相機；同名像點；相對內(nèi)參關系；高精度；配準

資源三號衛(wèi)星(ZY-3)是我國第一顆民用高精度立體測繪衛(wèi)星，發(fā)射于2012年1月9日。在衛(wèi)星上安裝了一臺能獲取5.8m分辨率影像的多光譜相機，相機焦平面內(nèi)排列著共視場成像的紅(B3)、綠(B2)、藍(B1)和近紅外(B4)4個譜段[1-2]。每個譜段的CCD由3片小CCD拼成，每片有3072個探元，譜段間CCD沿軌道方向有一定的間隔[3]。雖然相機制造方在安置CCD陣列時考慮了譜段間配準需求的嚴密幾何關系[4]，實際上影像的譜段配準精度不能滿足應用要求，這是因為存在鏡頭光學畸變、衛(wèi)星顫振和安裝誤差。在多光譜影像處理上，國外學者在在軌檢校時先補償了多光譜相機的鏡頭畸變，然后應用檢校后的內(nèi)方位元素進行影像配準，使RapidEye、ALOS和SPOT等衛(wèi)星的影像配準精度得到了提高，達到0.2像素[5-10]；文獻[11]利用虛擬CCD成像的方法實現(xiàn)了多光譜影像的高精度譜段配準，但需要先對相機進行在軌檢校；文獻[12]在資源三號多光譜影像自動配準時采用類似于相對定向的方式來恢復各波段影像間精確的相對幾何成像關系，該方法在理論上具有嚴密性，且配準結果與影像質(zhì)量無關；文獻[13]對SPOT全色影像和TM多光譜影像配準時采用了多級影像概率松弛整體匹配技術；文獻[14]使用基于梯度幅度最大值的方法進行多傳感器影像配準；文獻[15]在對于角度和尺度偏差較大的SPOT5和TM影像進行配準時采用了一種基于虛擬匹配窗口的SIFT算法；文獻[16]提出了基于特征約束與光流場方法的遙感圖像配準。

本文從多光譜相機譜段間相對內(nèi)參關系出發(fā)，利用同時獲取的各譜段影像間高精度提取的同名像點建立了多光譜相機各譜段對應分片CCD之間的位置模型，求解出它們的相對內(nèi)參關系參數(shù)，并應用此模型實現(xiàn)了譜段間影像的高精度譜段配準。利用資源三號多光譜影像進行試驗，試驗結果表明該方法能使資源三號多光譜譜段間影像的配準精度達到亞像素級。

1原理簡介

1.1同名像點間空間幾何模型

文獻[17]提出了SIFT特征，SIFT特征能夠抗影像尺度變換、抗影像亮度變換和抗影像旋轉變換，它在遙感影像匹配中的應用前景十分廣闊[18]，本文利用SIFT算法提取特征點并進行匹配獲取同名像點。構建同名像點間的幾何關系是實現(xiàn)本文多光譜影像后續(xù)匹配的基礎。對于譜段B1影像和譜段B2影像，假設P是譜段B1影像和譜段B2影像所覆蓋的地面重疊區(qū)域內(nèi)的一點，對應像點分別為p1和p2，S1和S2為對應的投影中心，由于同名點物方定位一致，則光線S1p1、S2p2必然相交于物方點P，根據(jù)兩影像的嚴格幾何成像模型有

(1)

(2)

利用嚴格幾何成像模型和地面物方高程信息可以得到同名像點之間的幾何關系，獲得粗匹配的約束條件。實際情況中譜段影像的成像幾何參數(shù)以及物方高程信息總存在一定的誤差，在衛(wèi)星飛行過程中，各譜段CCD同時排列在多光譜相機焦平面內(nèi)，因此可以認為各CCD的外方位元素一致，而高程信息對像方的影響很小，可以忽略[12]，總的誤差由CCD的畸變帶來，且誤差不大。因此可以以計算值為中心開辟窗口，以最小二乘匹配進行精確配準。

1.2單點最小二乘匹配

最小二乘匹配算法考慮了影像之間的灰度畸變和幾何畸變，能夠同時改正匹配影像之間的輻射誤差和幾何變形誤差，同時可以在平差過程中靈活地加入一些約束條件，使配準精度達到1/10～1/100像素。同時考慮輻射和幾何畸變有

v=h0+h1g2(a0+a1x+a2y,b0+b1x+b2y)-g1(x,y)

(3)

將式(3)線性化，得到匹配的誤差方程式

v=c1dh0+c2dh1+c3da0+c4da1+c5da2+c6db0+c7db1+c8db2-Δg

(4)

式中，v是相應像素的灰度差；ci(i=1,…,8)是誤差方程式的系數(shù)，由此構建法方程，設置迭代閾值，當滿足精度時，迭代終止，就可以計算出同名點坐標。

在本文方法中，先將在基準譜段影像中提取的特征點經(jīng)過同名像點空間幾何模型解算到目標譜段影像，再將解算坐標作為最小二乘匹配的初始值，就可以經(jīng)過最小二乘匹配獲得精確的同名像點坐標。

1.3譜段間相對內(nèi)參關系模型

資源三號多光譜相機焦平面內(nèi)依次排列著紅、綠、藍和近紅外4個CCD陣列，每個陣列由3個分片CCD組成，在各波段CCD成像時CCD可能存在位置錯移和物理畸變。對于焦平面內(nèi)的兩個分片CCD陣列而言，若以其中一個CCD陣列為基準，則另一CCD陣列可以看作是基準CCD陣列經(jīng)過一系列的旋轉、彎曲、縮放等變形后平移至目標CCD陣列位置，因此可以仿照線陣CCD內(nèi)方位誤差模型[19-21]來建立兩個分片CCD陣列之間的相對內(nèi)參關系模型，通過最小二乘匹配獲取足夠多的同名像點坐標，將分片同名像點坐標轉換為整幅影像同名像點坐標，將轉換后的同名像點坐標作為分片CCD陣列中相應探元在焦平面內(nèi)的位置，重建CCD之間的位置關系模型，從而解算出不同譜段間對應分片CCD之間的相對內(nèi)參關系。

1.3.1主點偏移

線陣CCD在軌成像時由于環(huán)境變化導致相機主點產(chǎn)生微小的偏移(圖1)，微小偏移會使像點發(fā)生偏差記為(Δxp,Δyp)。

1.3.2像元尺寸變化

在x和y軸上，假如像元尺寸變化率為dpx和dpy，像元一般在x軸方向較多，在y軸方向只有1個(圖2)，因此可忽略在y軸方向上的變形，重點考慮在x軸方向上像元變形的影響，此時像元在x和y軸上的變化大小為

(5)

圖1　主點偏移　Fig.1　Principal point ofphotograph error

圖2　瞬時影像坐標系　Fig.2　Instantaneous imagecoordinate

1.3.3焦平面內(nèi)CCD旋轉

(6)

圖3　線陣CCD旋轉誤差Fig.3　The rotation angle of CCD line error

1.3.4CCD彎曲誤差

CCD彎曲使像點在飛行方向(y方向)上產(chǎn)生誤差，如圖4所示。如果CCD的彎曲度是b，則由CCD彎曲引起像點i的誤差為

(7)

圖4　線陣CCD的彎曲Fig.4　The bend error of CCD line

1.3.5譜段間相對內(nèi)參關系模型

由此可以建立基準分片CCD位置和目標分片CCD位置的相對內(nèi)參關系模型

(8)

進行多光譜影像譜段間相對內(nèi)參關系的解算可分為4步：①利用SIFT算法對基準譜段分片影像進行特征點提??；②利用資源三號衛(wèi)星中的輔助數(shù)據(jù)和高程信息由嚴格幾何模型構建同名像點空間幾何模型，求出目標譜段分片影像上同名像點坐標的概略值，將其作為單點最小二乘匹配的初值；③以求出的同名像點坐標為中心開取窗口，進行單點最小二乘匹配；④由多對精確的同名像點坐標構建譜段間相對內(nèi)參關系模型，解算精確的相對內(nèi)參關系參數(shù)。

2試驗分析

為了驗證本文方法的可行性，采用2012-01-11大連地區(qū)和2012-02-18安平地區(qū)的資源三號多光譜影像0級影像進行試驗，以及星上下傳的輔助數(shù)據(jù)：姿態(tài)、軌道、成像時間和成像參數(shù)等數(shù)據(jù)的記錄文件。本文使用的高程數(shù)據(jù)為Aster G-DEM。

2.1相對內(nèi)參關系參數(shù)求解試驗

利用安平地區(qū)的多光譜影像中譜段B1的分片影像和譜段B2的分片影像進行對應分片CCD之間的相對內(nèi)參關系參數(shù)求解，以譜段B1影像為基準影像。相對內(nèi)參關系模型有5個未知數(shù)，至少需要3對同名像點才能解算出相對內(nèi)參關系參數(shù)，為了滿足多余觀測和提高可靠性，設定SIFT特征點算子的閾值，利用SIFT算子在譜段B1的分片影像上提取5000～10 000個高精度特征點，先運用同名像點空間幾何模型計算出特征點在譜段B2的分片影像上的同名像點的概略坐標，然后以單點最小二乘匹配獲得精確的同名像點，得到同名像點精確坐標，獲得同名像點對。選取同名像點對中分布均勻的1000對同名像點，利用最小二乘法則進行相對內(nèi)參關系參數(shù)解算，得到對應分片CCD的相對內(nèi)參關系參數(shù)，如表1所示。

表1　譜段對應分片CCD間相對內(nèi)參關系參數(shù)

由表1可知，根據(jù)相對內(nèi)參關系模型解算出的譜段間CCD沿軌向移位Δyp與資源三號官方公布的數(shù)據(jù)基本一致，誤差在0.3個像素以內(nèi)。

2.2相對內(nèi)參關系模型精度檢驗及影像配準

利用安平地區(qū)各譜段影像上1000對同名像點以外的同名像點對求解出的對應分片CCD間的相對內(nèi)參關系參數(shù)進行精度驗證，檢查相對內(nèi)參關系模型的正確性。譜段間分片CCD的相對內(nèi)參關系得到恢復，則可以建立譜段間分片影像的同名像點對的約束關系，運用相對內(nèi)參關系模型進行譜段間影像的高精度自動配準，認為由相對內(nèi)參關系模型求出的目標譜段影像像點是對應的基準譜段影像像點的配準點，具有一定的誤差，而由最小二乘匹配獲取的同名像點為精確像點，兩者之差即為相對內(nèi)參關系模型及影像配準的精度，統(tǒng)計精度如表2所示。

表2安平地區(qū)相對內(nèi)參關系模型精度及譜段間配準精度

Tab.2Accuracy of relative interior orientation relationship model and registration in Anping

對應分片CCD點數(shù)x/像素y/像素xy/像素B1_CCD1—B2_CCD153560.1310.0460.139B1_CCD2—B2_CCD272450.1770.0590.187B1_CCD3—B2_CCD358930.1810.1060.209B1_CCD1—B3_CCD164200.1550.0600.166B1_CCD2—B3_CCD251450.1850.0730.199B1_CCD3—B3_CCD372760.1740.1440.226B1_CCD1—B4_CCD173670.1830.0830.201B1_CCD2—B4_CCD257420.1730.1040.202B1_CCD3—B4_CCD361380.1610.1090.194

對大連地區(qū)，利用SIFT算子提取5000～10 000個高精度特征點，利用最小二乘匹配獲取高精度的同名像點對，用這些同名像點對對由安平地區(qū)計算出的相對內(nèi)參關系模型進行檢查，同時進行影像配準，統(tǒng)計配準精度如表3所示。表3大連地區(qū)相對內(nèi)參關系參數(shù)檢查精度及譜段間配準精度

Tab.3Accuracy of relative interior orientation relationship parameters and registration in Dalian

對應分片CCD點數(shù)x/像素y/像素xy/像素B1_CCD1—B2_CCD178460.1740.0300.177B1_CCD2—B2_CCD286720.1480.0560.158B1_CCD3—B2_CCD393650.1920.1470.242B1_CCD1—B3_CCD191240.1670.0560.176B1_CCD2—B3_CCD283680.1680.0760.184B1_CCD3—B3_CCD373610.1910.1470.241B1_CCD1—B4_CCD182350.1890.0780.204B1_CCD2—B4_CCD294370.1760.1050.205B1_CCD3—B4_CCD378230.1780.1420.228

由表2和表3，安平地區(qū)和大連地區(qū)相對內(nèi)參關系模型的檢查精度和影像配準精度具有一致性，誤差在0.3像素以內(nèi)，說明相對內(nèi)參關系模型是正確的，對消除譜段間對應CCD之間的畸變具有較好的效果，可以運用相對內(nèi)參關系模型進行譜段間影像的配準。

3結束語

本文從多光譜相機譜段間相對內(nèi)參關系出發(fā)，利用同時獲取的各譜段影像間的高精度提取的同名像點對建立了多光譜相機各譜段對應分片CCD之間的位置模型，求解出對應分片CCD間的相對內(nèi)參關系參數(shù)，恢復了譜段間的相對內(nèi)參關系即建立了譜段間同名像點對的約束關系，可以運用該模型進行譜段間影像的高精度自動配準，在理論上具有嚴密性，可操作性強。最后求解出精確的譜段間相對內(nèi)參關系參數(shù)并進行影像配準，統(tǒng)計了相對內(nèi)參關系模型和影像配準的精度。試驗結果表明，該方法能夠?qū)崿F(xiàn)資源三號衛(wèi)星多光譜影像譜段間高精度自動配準(優(yōu)于0.3像素)，同時該方法對與資源三號衛(wèi)星多光譜影像相似的衛(wèi)星多光譜影像具有通用性，下一步將研究該方法在這類衛(wèi)星多光譜影像間自動配準中的應用。

參考文獻：

[1]曹海翔, 劉希剛, 李少輝, 等. “資源三號”衛(wèi)星遙感技術[J]. 航天返回與遙感, 2012, 33(3): 7-16. CAO Haixiang, LIU Xigang, LI Shaohui, et al. ZY-3 Satellite Remote Sensing Technology[J]. Spacecraft Recovery & Remote Sensing, 2012, 33(3): 7-16.

[2]李德仁. 我國第一顆民用三線陣立體測圖衛(wèi)星——資源三號測繪衛(wèi)星[J]. 測繪學報, 2012, 41(3): 317-322.

LI Deren. China’s First Civilian Three-line-array Stereo Mapping Satellite: ZY-3[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(3): 317-322.

[3]范斌, 蔡偉軍, 張孝弘, 等. “資源三號”衛(wèi)星多光譜相機技術[J]. 航天返回與遙感, 2012, 33(3): 75-84. FAN Bin, CAI Weijun, ZHANG Xiaohong, et al. Technology of the Multi-spectral Camera of ZY-3 Satellite[J]. Spacecraft Recovery & Remote Sensing, 2012, 33(3): 75-84.

[4]郭悅, 楊樺. 多光譜CCD相機的光學配準[J]. 航天返回與遙感, 2003, 24(1): 29-32.

GUO Yue, YANG Hua. Optical Registration of the Multi-spectral CCD Camera[J]. Spacecraft Recovery & Remote Sensing, 2003, 24(1): 29-32.

[5]BECKTT K,RAMPERSAD C,PUTIH R, et al. RapidEye Product Quality Assessment[C]∥Proceedings of SPIE 7474, Sensors, Systems, and Next-generation Satellites ⅩⅢ. Berlin: SPIE, 2009: 1-10.

[6]BOUILLON A,BRETON E,DE LUSSY F,et al. SPOT5 Geometric Image Quality[C]∥Proceedings of 2003 IEEE International Geoscience and Remote Sensing Symposium. Toulouse: IEEE, 2003: 303-305.

[7]TADONO T, SHIMADA M, HASHIMOTO T, et al. Results of Calibration and Validation of ALOS Optical Sensors, and Their Accuracy Assessments[C]∥Proceedings of 2007 IEEE International Geoscience and Remote Sensing Symposium. Barcelona: IEEE, 2007: 3602-3605.

[8]TADONO T, SHIMADA M, WATANABE M, et al. Initial Results of Calibration and Validation for ALOS Optical Sensors[C]∥Proceedings of 2006 IEEE International Symposium on Geoscience and Remote Sensing. Denver: IEEE, 2006: 1643-1646.

[9]GRODECKIJ, DIAL G. IKONOS Geometric Accuracy[C]∥Proceedings of Joint Workshop of ISPRS Working Groups I/2, I/5 and IV/7 on High Resolution Mapping from Space 2001. Hannover: University of Hannover, 2001: 19-21.

[10]詹總謙. 基于純平液晶顯示器的相機標定方法與應用研究[D]. 武漢: 武漢大學, 2006: 20-28.

ZHAN Zongqian. Research on Camera Calibration Based on Completely Flat Liquid Crystal Display[D]. Wuhan: Wuhan University, 2006: 20-28.

[11]蔣永華, 張過, 唐新明, 等. 資源三號測繪衛(wèi)星多光譜影像高精度譜段配準[J]. 測繪學報, 2013, 42(6): 884-890, 897.

JIANG Yonghua, ZHANG Guo, TANG Xinming, et al. Research on the High Accuracy Band-to-band Registration Method of ZY-3 Multispectral Image[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6): 884-890, 897.

[12]王密, 楊博, 金淑英. 一種利用物方定位一致性的多光譜衛(wèi)星影像自動精確配準方法[J]. 武漢大學學報(信息科學版), 2013, 38(7): 765-769.

WANG Mi, YANG Bo, JIN Shuying. A Registration Method Based on Object-space Positioning Consistency for Satellite Multi-spectral Image[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7): 765-769.

[13]張祖勛, 張劍清, 廖明生, 等. 遙感影像的高精度自動配準[J]. 武漢測繪科技大學學報, 1998, 23(4): 320-323.

ZHANG Zuxun, ZHANG Jianqing, LIAO Mingsheng, et al. Automatic Precision Registration of Multi-resolution Remote Sensing Imagery[J]. Journal of Wuhan Technical University of Surveying and Mapping, 1998, 23(4): 320-323.

[14]KELLER Y, AVERBUCH A. Multisensor Image Registration via Implicit Similarity[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(5): 794-801.

[15]王瑞瑞, 馬建文, 陳雪. 多傳感器影像配準中基于虛擬匹配窗口的SIFT算法[J]. 武漢大學學報(信息科學版), 2011, 36(2): 163-166. WANG Ruirui, MA Jianwen, CHEN Xue. SIFT Algorithm Based on Visual Matching Window for Registration between Multi-sensor Imagery[J]. Geomatics and Information Science of Wuhan University, 2011, 36(2): 163-166.

[16]劉璐, 陳甫, 劉建波. 基于特征約束與光流場方法的遙感圖像配準[J]. 計算機工程與設計, 2014, 35(9): 3127-3131.

LIU Lu, CHEN Fu, LIU Jianbo. Optical Flow and Feature Constrains Algorithm for Remote Sensing Image Registration[J]. Computer Engineering and Design, 2014, 35(9): 3127-3131.

[17]Lowe D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[18]李然, 張云生. 基于SIFT特征的多源遙感影像自動匹配方法[J]. 測繪科學, 2011, 36(3): 8-10, 18.

LI Ran, ZHANG Yunsheng. Auto-matching between Multi-source Remote Sensing Images Based on SIFT Features[J]. Science of Surveying and Mapping, 2011, 36(3): 8-10, 18.

[19]雷蓉. 星載線陣傳感器在軌幾何定標的理論與算法研究[D]. 鄭州: 信息工程大學, 2011. LEI Rong. Study on the Theory and Algorithm of the In-flight Geometric Calibration of Spaceborne Linear Array Sensor[D]. Zhengzhou: Information Engineering University, 2011.

[20]劉楚斌. 高分辨率遙感衛(wèi)星在軌幾何定標關鍵技術研究[D]. 鄭州: 信息工程大學, 2012.

LIU Chubin. Study on Crucial Technique of the On-orbit Geometric Calibration of High Resolution Satellite[D]. Zhengzhou: Information Engineering University, 2012.

[21]朱敏, 金偉其, 徐彭梅. 遙感衛(wèi)星多鏡頭多光譜相機的配準技術[J]. 北京理工大學學報, 2003, 23(5): 633-637.

ZHU Min, JIN Weiqi, XU Pengmei. Registration of Multi-lens Multi-spectrum Cameras for Use in Remote Sensing Satellites[J]. Transactions of Beijing Institute of Technology, 2003, 23(5): 633-637.

(責任編輯：宋啟凡)

修回日期： 2016-04-12

E-mail： hangben61ban@163.com

E-mail： fdzcehui@163.com

Calibration for Relative Interior Orientation Relationship and Band-to-band Registration with High Accuracy of ZY-3 Multi-spectral Image

LIQijun1，F(xiàn)ANDazhao1，LEIRong1，JISong1，ZHANGWenzhao2

1.InstituteofSurveyingandMapping，InformingEngineeringUniversity，Zhengzhou450052，China； 2. 61287Troops，Chengdu610000，China

Abstract：Usinghighaccuracymatchpointsextractedbetweenthemulti-spectralimagesthatobtainedatthesametime，apositionmodeloftheCCDchipsoftheZY-3multi-spectralcamerawasproposed.Relativeinteriororientationrelationshipparameterswerecalculatedandaccurateband-to-bandautomaticregistrationofZY-3multi-spectralimagewasachievedbasedonthepositionmodel.Theexperimentalresultindicatesthattheband-to-bandautomaticregistrationaccuracyofZY-3multi-spectralimageisbetterthan0.3pixelswiththeproposedmethod.

Keywords：multi-spectralcamera；matchpoint；relativeinteriororientationrelationship；highaccuracy；

中圖分類號：P237

文獻標識碼：A

文章編號：1001-1595(2016)06-0685-06

基金項目：國家自然科學基金(41401534)；地理信息工程國家重點實驗室開放基金(SKLGIE2013-M-3-1)；測繪地理信息公益性行業(yè)科研專項經(jīng)費(201412007)；信息工程大學地理空間信息學院碩士學位論文創(chuàng)新與創(chuàng)優(yōu)基金(XS201510)

收稿日期：2015-07-08

第一作者簡介：李奇峻(1991—)，男，碩士生，研究方向為數(shù)字攝影測量。First author： LI Qijun(1991—), male, postgraduate, majors in digital photogrammetry.

通信作者：范大昭

Corresponding author：FAN Dazhao

引文格式：李奇峻，范大昭，雷蓉,等.資源三號多光譜影像譜段間相對內(nèi)參關系標定及高精度配準[J].測繪學報，2016,45(6)：685-690.DOI:10.11947/j.AGCS.2016.20150363.

LIQijun，F(xiàn)ANDazhao，LEIRong，etal.CalibrationforRelativeInteriorOrientationRelationshipandBand-to-bandRegistrationwithHighAccuracyofZY-3Multi-spectralImage[J].ActaGeodaeticaetCartographicaSinica,2016,45(6):685-690.DOI:10.11947/j.AGCS.2016.20150363.