尹麗華，李范鳴，劉士建，崔 坤

?

光電全景成像系統(tǒng)的圖像校正技術(shù)

尹麗華1,2，李范鳴1，劉士建1，崔 坤1

( 1. 中國科學(xué)院上海技術(shù)物理研究所，上海 200083;2. 上?？萍即髮W(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 200031 )

載體平臺在行進(jìn)間的振動(dòng)會(huì)導(dǎo)致光電全景成像系統(tǒng)采集的圖像發(fā)生幾何畸變。為了校正圖像，本文提出了一種基于慣導(dǎo)信息的圖像校正算法，該算法首先采用基于慣導(dǎo)信息的圖像坐標(biāo)轉(zhuǎn)換方案，得到了校正后圖像與原圖像坐標(biāo)點(diǎn)的對應(yīng)關(guān)系；然后通過基于邊緣導(dǎo)向的插值法，確定了校正后圖像中各像素點(diǎn)的灰度值。實(shí)驗(yàn)表明，該算法可以有效實(shí)現(xiàn)光電全景成像系統(tǒng)的圖像幾何校正，并抑制了圖像的邊緣模糊效應(yīng)，提高了圖像復(fù)原的效果。

信號處理；光電全景成像系統(tǒng)；圖像校正；慣導(dǎo)；坐標(biāo)轉(zhuǎn)換

0 引 言

傳統(tǒng)的光電全景成像系統(tǒng)一般安裝在機(jī)械穩(wěn)定平臺上，視軸始終穩(wěn)定于慣性空間(大地坐標(biāo))，從而使視軸對大地相對靜止，保證了視軸指向的穩(wěn)定。但由于機(jī)械穩(wěn)定平臺結(jié)構(gòu)復(fù)雜，體積龐大，價(jià)格昂貴，可以省去笨重的機(jī)械平臺。取消機(jī)械穩(wěn)定平臺以后，光電全景成像系統(tǒng)與載體平臺一起隨機(jī)振動(dòng)，隨機(jī)振動(dòng)傳至視軸，會(huì)引起系統(tǒng)視軸指向的變化，導(dǎo)致圖像發(fā)生幾何畸變，影響圖像的視覺效果，導(dǎo)致目標(biāo)誤判或漏判。相對于傳統(tǒng)的紅外圖像，全景圖像數(shù)據(jù)量大，分辨率高，俯仰視場更大，隨著光電全景成像系統(tǒng)的廣泛應(yīng)用，同時(shí)越來越多的紅外成像設(shè)備應(yīng)用在運(yùn)動(dòng)平臺上，對于通過圖像校正解決光電成像系統(tǒng)的視軸穩(wěn)定問題，同時(shí)保證后續(xù)目標(biāo)識別的精度和效率，具有的重要研究意義。國內(nèi)外針對這方面的研究相對較少，傳統(tǒng)方法是通過陀螺等傳感器和伺服系統(tǒng)構(gòu)成穩(wěn)定平臺來保證視軸指向的穩(wěn)定，或光學(xué)穩(wěn)像和電子穩(wěn)像的方法也可以實(shí)現(xiàn)圖像的校正[1-5]，但是實(shí)現(xiàn)算法非常復(fù)雜。圖像校正的常用數(shù)學(xué)模型[6-7]為：平移(Translation)模型、仿射(Affine)模型、相似(Similarity)模型等。2007年楊慶偉等嘗試對方位角和高度引起的畸變分別進(jìn)行校正，然后利用雙線性插值進(jìn)行補(bǔ)償，實(shí)現(xiàn)了圖像序列的穩(wěn)定[8]；2008年瞿元新等人提出了船載天線電子穩(wěn)定方程[9]，為艦船穩(wěn)定平臺及艦船姿態(tài)補(bǔ)償?shù)膶?shí)現(xiàn)提供了理論依據(jù)，提高了天線的指向精度，但是未將坐標(biāo)轉(zhuǎn)換模型應(yīng)用于圖像的校正。

考慮到上述需求，本文提出了一種基于慣導(dǎo)信息的圖像校正算法，目的在于解決動(dòng)載體下采集的圖像存在幾何畸變的問題。主要內(nèi)容如下：首先介紹了基于慣導(dǎo)信息的圖像坐標(biāo)轉(zhuǎn)換方案，然后分析了基于邊緣導(dǎo)向的插值算法，最后，將該算法用于全景圖像的幾何校正實(shí)驗(yàn)，驗(yàn)證了算法的可行性和有效性。

1 校正算法分析

1.1 算法的基本原理

當(dāng)慣導(dǎo)的偏航角為、俯仰角為和橫滾角為時(shí)，如圖1所示，校正前的像點(diǎn)將偏離標(biāo)準(zhǔn)位置的像點(diǎn)，而幾何校正的任務(wù)就是將像點(diǎn)由重新拉回位置?；趹T導(dǎo)信息的圖像校正，其算法流程圖2所示。算法描述如下：

1) 根據(jù)坐標(biāo)轉(zhuǎn)換理論，建立大地坐標(biāo)系和載體坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，得到變換矩陣和，結(jié)合慣導(dǎo)提供的姿態(tài)角信息，從而可以求解得到不同坐標(biāo)系下的方位角、俯仰角。2) 利用方位角、俯仰角和數(shù)字圖像坐標(biāo)之間轉(zhuǎn)換公式，得到校正后圖像在當(dāng)前圖像中對應(yīng)的非整數(shù)坐標(biāo)。3) 采用基于邊緣導(dǎo)向插值法，區(qū)分邊緣像素點(diǎn)和非邊緣像素點(diǎn)，然后采用不同的插值公式，計(jì)算得到校正后圖像中各像素點(diǎn)的灰度值。

1.2 基于慣導(dǎo)信息的圖像坐標(biāo)轉(zhuǎn)換方案

1.2.1 根據(jù)慣導(dǎo)信息,建立坐標(biāo)轉(zhuǎn)換模型

同理推得從系到系的變換矩陣

1.2.2 建立角度與數(shù)字圖像坐標(biāo)之間的轉(zhuǎn)換關(guān)系

式中：base表示目標(biāo)圖像的俯仰角的基準(zhǔn)線，Pitch表示俯仰視場的范圍。第列的第1個(gè)像點(diǎn)在大地坐標(biāo)系下的角度，()，采用逆變換可求得在載體標(biāo)系下對應(yīng)的角度。采用式(5)計(jì)算在源圖像中第1個(gè)像素點(diǎn)在圖像中坐標(biāo)值，定義如下:

圖3 大地坐標(biāo)系(n系)和載體坐標(biāo)系(i系)

1.3 基于邊緣導(dǎo)向的插值法

該算法的基本思想為通過計(jì)算像素間差值，并與預(yù)置閾值比較，劃分出邊緣像素點(diǎn)和非邊緣像素點(diǎn)，針對邊緣像素點(diǎn)和非邊緣像素點(diǎn)采用不同的插值算法。即如果像素點(diǎn)間差值比預(yù)置閾值小，則待內(nèi)插像素點(diǎn)歸類為非邊緣像素點(diǎn)，使用雙線性插值算法；反之，如果像素點(diǎn)間差值比預(yù)置閾值大，則待內(nèi)插像素點(diǎn)就歸為邊緣像素點(diǎn)，使用卷積插值法，最終可求得待插值像素點(diǎn)所有值。假設(shè)校正后圖像在對應(yīng)源圖像中的非整數(shù)坐標(biāo)，下面分4種情況來探討的值：

2 校正實(shí)驗(yàn)結(jié)果及分析

本文的實(shí)驗(yàn)是基于360°全景圖，通過在PC機(jī)上用Matlab編程進(jìn)行仿真，驗(yàn)證算法的可行性和正確性。實(shí)驗(yàn)具體過程如下：1) 截取位置1下的視場圖，記錄當(dāng)前的姿態(tài)角信息；2) 改變姿態(tài)角信息，截取位置2下的視場圖。3) 通過采用本文提出的校正算法，分別對位置1和位置2下視場圖進(jìn)行校正；4) 分別將位置1和位置2下的校正后圖像與基準(zhǔn)圖(偏航角0=0；俯仰角0=0；橫滾角0=0)進(jìn)行比較，通過差影圖檢驗(yàn)校正的效果。

圖4和表1顯示了本文的插值算法和傳統(tǒng)插值算法的效果對比，可以發(fā)現(xiàn)，與傳統(tǒng)插值算法相比本文的插值算法克服了傳統(tǒng)插值算法圖像邊緣模糊的缺點(diǎn)，同時(shí)提高了圖像峰值信噪比(，其中表示源圖像，表示處理后的圖像)，從而驗(yàn)證了本文插值算法的可行性和有效性。

圖4 各種插值算法的效果比較

表1 四種插值算法的性能對比Table 1 Performance comparison of four algorithms

圖5給出了兩組姿態(tài)角下采集到的圖像的校正結(jié)果。位置l的三個(gè)方位角是：偏航角0= 205.0；俯仰角0=-0.030 0；橫滾角0=6.150 0；位置2的三個(gè)方位角是：偏航角0=284.830 0；俯仰角0=-5.270 0；橫滾角0=-0.440 0。從差影圖可以看出,校正后的圖像與基準(zhǔn)圖基本吻合，從而驗(yàn)證了本文校正算法的正確性和有效性。

由于圖像的運(yùn)動(dòng)方式各不相同，可采用不同的運(yùn)動(dòng)模型表示，常用的三種圖像運(yùn)動(dòng)數(shù)學(xué)模型為：Translation、Affine和Similarity模型。1) 如果圖像只含有平移運(yùn)動(dòng)，其數(shù)學(xué)模型可采用Translation模型：，其中，分別是當(dāng)前幀和參考幀中對應(yīng)的坐標(biāo)，是二維平移量。2) 當(dāng)圖像有旋轉(zhuǎn)和變焦量時(shí)，采用Similarity模型：，其中是二維平移量，是變焦系數(shù)，是正交的旋轉(zhuǎn)矩陣。3) 當(dāng)圖像有扭轉(zhuǎn)變化時(shí)，采用Affine仿射模型：，傳統(tǒng)的運(yùn)動(dòng)模型適用范圍存在一定局限性，本文建立的運(yùn)動(dòng)模型適用于解決由于動(dòng)載體的姿態(tài)角變化導(dǎo)致的圖像誤差，克服了傳統(tǒng)圖像運(yùn)動(dòng)模型的局限性。

圖5 校正的實(shí)驗(yàn)結(jié)果

結(jié)束語

在載體平臺運(yùn)動(dòng)狀態(tài)下，當(dāng)視軸瞄準(zhǔn)目標(biāo)后編碼器測量的角度是在載體平臺坐標(biāo)系下的方位角和俯仰角，與真實(shí)的目標(biāo)角度有一定的偏離。本文提出了基于慣導(dǎo)信息的圖像校正算法旨在利用姿態(tài)角信息將采集到的圖像轉(zhuǎn)換成在標(biāo)準(zhǔn)位置條件下所采集的圖像，從而實(shí)現(xiàn)圖像的幾何校正。實(shí)驗(yàn)表明，該算法可以有效實(shí)現(xiàn)光電全景成像系統(tǒng)的圖像幾何校正，同時(shí)抑制圖像邊緣模糊效應(yīng)。

[1] 陳曉露. 航空光電成像電子穩(wěn)像技術(shù)研究 [D]. 長春：中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，2014：11-34.

CHEN Xiaolu. Study on digital image stabilization technology for aerial opto-electric imaging system [D]. Changchun：Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Science，2014：11-34.

[2] 黃晨，王建軍，高盺，等. 電子穩(wěn)像中穩(wěn)像質(zhì)量評價(jià)方法研究 [J]. 激光與紅外，2013，43(5)：477-481.

HUANG Chen，WANG Jiangjun，GAO Xin，. Study on video stabilization performance assessent in electronic image stabilization [J]. Laser & Infrared，2013，43(5)：477-481.

[3] Kwon Ohyun，Nam Byungdeok，Paik Joonki. Binary edge based adaptive motion correction for accurate and robust digital image Stabilization [J]. Lecture Notes in Computer Science(S0302-9743)，2006，4319(1)：1142-1149.

[4] Grundmann M，Kwatra V，Essa I. Auto-directed video stabilization with robust L1 optimal camera paths [C]// Proc. CVPR，Colorado Springs，CO，USA，June 21-23，2011：225-232.

[5] 朱娟娟，郭寶龍. 電子穩(wěn)像的特征點(diǎn)跟蹤算法 [J]. 光學(xué)學(xué)報(bào)，2006，26(4)：516-521.

ZHU Juanjuan，GUO Baolong. Features Tracking Algorithm for Video Stabilization [J]. Acta Optica Sinica，2006，26(4)：516-521.

[6] CHEN Bingyu，LEE Kenyu，HUANG Weiting，. Capturing intention-based full-frame video stabilization [J]. Computer Graphics Forum(S1467-8659)，2008，27(7)：1805-1814.

[7] TAM Wingshan，KOK Chiwan，SIU Wanchi. Modified edge-directed interpolation for images [J]. Journal of Electronic Imaging(S1017-9909)，2010，19(1)：32-37.

[8] 楊慶偉. 基于慣導(dǎo)信息的圖像序列穩(wěn)定技術(shù)研究 [D]. 長沙：國防科學(xué)技術(shù)大學(xué)，2007：4-18.

YANG Qinwei. Research on the Image Sequence Stabilization Technology Based on Inertial Navigation Information [D]. Changsha：National University of Defense Technology，2007：4-18.

[9] 鐘平. 機(jī)載電子穩(wěn)像技術(shù)研究 [D]. 長春：中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，2003：12-34.

ZHONG Ping. Study on Electronic Image Stabilization Technology for the Image Sequences of the Aero-Borne Camera System [D]. Changchun：Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Science，2003：12-34.

[10] 瞿元新. 航天測量船測控通信設(shè)備船搖穩(wěn)定技術(shù) [M]. 北京：國防工業(yè)出版社，2009：27-37.

[11] 徐濤，李博，劉廷霞，等. 車載光電跟蹤轉(zhuǎn)臺的初始標(biāo)定 [J]. 光學(xué) 精密工程，2013，21(3)：782-789.

XU Tao，LI Bo，LIU Tingxia，. Initial calibration of tracking turntable for vehicle-borne opto-electronic tracking system [J]. Optics and Precision Engineering，2013，21(3)：782-789.

[12] 官柏林. 三軸光電跟蹤系統(tǒng)跟蹤策略和控制研究 [D]. 西安：西安電子科技大學(xué)，2012：85-94.

GUANG Bolin. Tracking Strategy and Control Method of Three-axis Photoelectric Tracking Systems [D]. Xi￠an：Xidian University，2012：85-94.

[13] Michael D Miller，Oliver E Drummond. Comparison of methodologies for mitigating coordinate transformation bias in target tracking [J]. Process of SPIE(S0277-786X)，2000，4048：414-427.

[14] Jakhetiya V，Kumar A，Tiwari A K. A survey on image interpolation methods [J]. Processing of SPIE(S0277-786X)，2009，7546：75461-6.

[15] 吳威，許廷發(fā)，王亞偉，等. 高精度全景補(bǔ)償電子穩(wěn)像 [J]. 中國光學(xué)，2013，6(3)：378-385.

WU Wei，XU Tingfa，WANG Yawei，. High precision digital image stabilization with full frame compensation [J]. Chinese Optics，2013，6(3)：378-385.

[16] LIU Shuaicheng，WANG Yinting，YUAN Lu，. Video Stabilization with a Depth Camera [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Providence，Rhode Island，June 16-21，2012：89-95.

[17] 張永祥. 基于陀螺儀的船載電子穩(wěn)像技術(shù)研究 [D]. 長春：中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，2006：125-136.

ZHANG Yongxiang. Study on Electronic Image Stabilization Technology for the Image Sequences of the Ship-Borne Camera System Base on the Gyro [D]. Changchun：Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Science，2006：125-136.

[18] Litvin Andrew，Konrad Janusz，William C Karl. Probabilistic video stabilization using Kalman filtering and mosaicking [J]. Image and Video Communication and Processing(S1863-1711)，2003，5022：663-674.

[19] Kwon Ohyun，Nam Byungdeok，Paik Joonki. Binary edge based adaptive motion correction for accurate and robust digital image Stabilization [J]. Lecture Notes in Computer Science(S0302-9743)，2006，4319(1)：1142-1149.

[20] Asuni N，Giachetti A. Accuracy improvements and artifacts removal in edge based image interpolation [C]// Proceedings of Int. Conf. on Computer Vision Theory and Applications(VISAPP)，F(xiàn)unchal，Portugal，January 22-25，2008，1：58–65.

The Image Correction Technology for Optical Panoramic Imaging System

YIN Lihua1，2，LI Fanming1，LIU Shijian1，CUI Kun1

( 1. Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China;2. School of Information Science and Technology, ShanghaiTech University, Shanghai 200031, China )

Vibration of carrier platform during travel will lead to the presence of geometric distortion of the images, which are obtained by optical panoramic imaging system. An image correction algorithm based on inertial navigation information was proposed, in order to correct the image. First of all, through the coordinate conversion scheme based on inertial navigation information, we can get the corresponding relationship for coordinate points between the corrected image and the original image. Then, via the edge-directed interpolation method, we can determine the gray value of each pixel in the image after the correction. Experimental results show that the algorithm can effectively achieve the goal of image correction for optical panoramic imaging system, suppress the edge blur effect of images, and improve the effect of image restoration.

information processing; optical panoramic imaging system; image correction; inertial navigation information; coordinate transformation

1003-501X(2016)08-0053-06

TP391.41

A

10.3969/j.issn.1003-501X.2016.08.009

2015-10-10；

2015-12-13

國家863高技術(shù)計(jì)劃資助項(xiàng)目(2011AA7031002G)；國家十二五國防預(yù)研項(xiàng)目(41101050501)

尹麗華(1988-)，女(漢族)，山東泰安人。博士研究生，主要研究工作是數(shù)字圖像處理。E-mail: 1098606535@qq.com。