章文潔，黃 旻，張桂峰

(1.中國(guó)科學(xué)院 光電研究院，北京 100094；2.中國(guó)科學(xué)院大學(xué)，北京 100049)

濾光片多光譜成像中運(yùn)動(dòng)目標(biāo)場(chǎng)景誤配準(zhǔn)修正

章文潔1,2，黃 旻1，張桂峰1

(1.中國(guó)科學(xué)院 光電研究院，北京 100094；2.中國(guó)科學(xué)院大學(xué)，北京 100049)

圖像配準(zhǔn)是多光譜相機(jī)獲得精確的多光譜數(shù)據(jù)立方體的重要步驟。文中分析了運(yùn)動(dòng)目標(biāo)對(duì)濾光片陣列型多光譜相機(jī)所獲取光譜圖像序列的配準(zhǔn)結(jié)果的影響。針對(duì)此類(lèi)誤配準(zhǔn)問(wèn)題，文中提出一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的誤配準(zhǔn)修正方法。該方法首先通過(guò)變化檢測(cè)粗提取誤配準(zhǔn)點(diǎn)區(qū)域，然后利用運(yùn)動(dòng)目標(biāo)形狀特征進(jìn)一步提取誤配準(zhǔn)點(diǎn)，利用多圖像序列的空間和灰度關(guān)系對(duì)誤配準(zhǔn)點(diǎn)進(jìn)行修正。用該方法對(duì)8通道的濾光片陣列型多光譜相機(jī)的多光譜圖像進(jìn)行處理，實(shí)驗(yàn)結(jié)果表明，該方法能有效地校正多光譜成像中運(yùn)動(dòng)目標(biāo)所造成誤配準(zhǔn)的影響，提高多光譜圖像配準(zhǔn)的準(zhǔn)確度。處理后的圖像數(shù)據(jù)更有利于圖像判讀、多光譜圖像分類(lèi)、目標(biāo)識(shí)別等的后續(xù)應(yīng)用。

多光譜圖像;配準(zhǔn);運(yùn)動(dòng)目標(biāo);目標(biāo)檢測(cè)

0 引 言

光譜相機(jī)能夠同時(shí)獲得目標(biāo)二維空間信息和一維光譜信息[1]。濾光片陣列型多光譜相機(jī)在面陣CCD前放置了若干個(gè)不同譜段的窄帶濾光片[2]，結(jié)合飛行平臺(tái)推掃，獲取地物目標(biāo)的多光譜數(shù)據(jù)。

配準(zhǔn)是對(duì)同一目標(biāo)不同波段的圖像進(jìn)行幾何校準(zhǔn)，使不同波段圖像的相同位置對(duì)應(yīng)同一地物[3]。配準(zhǔn)是獲得高精度多光譜數(shù)據(jù)立方體的關(guān)鍵。常用的遙感配準(zhǔn)方法分為四類(lèi)：基于區(qū)域的配準(zhǔn)、基于圖像特征的配準(zhǔn)、基于混合模型的配準(zhǔn)和基于物理模型的配準(zhǔn)[4]。針對(duì)濾光片陣列型多光譜相機(jī)的圖像配準(zhǔn)，趙寶瑋[3]提出一種基于視差約束的改進(jìn)Hough變換提取同名點(diǎn)和同名直線的方法進(jìn)行配準(zhǔn)，但其中未考慮運(yùn)動(dòng)目標(biāo)對(duì)配準(zhǔn)結(jié)果的影響。

然而，若場(chǎng)景中包含運(yùn)動(dòng)目標(biāo)，則在圖像配準(zhǔn)的結(jié)果中，運(yùn)動(dòng)目標(biāo)及其經(jīng)過(guò)的路面在不同波段圖中對(duì)應(yīng)的并非同一地物。這種誤匹配將對(duì)多光譜分類(lèi)、光譜識(shí)別、目標(biāo)識(shí)別等后續(xù)應(yīng)用造成一定干擾。

針對(duì)這類(lèi)問(wèn)題，文中提出一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的圖像配準(zhǔn)修正算法，對(duì)誤匹配點(diǎn)進(jìn)行修正。校正后這些點(diǎn)在不同波段都對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)或者道路，從而實(shí)現(xiàn)多光譜圖像的準(zhǔn)確配準(zhǔn)。

1 濾光片陣列型多光譜相機(jī)成像中的運(yùn)動(dòng)目標(biāo)場(chǎng)景分析

濾光片陣列型多光譜相機(jī)獲取的原始圖像數(shù)據(jù)進(jìn)行配準(zhǔn)和拼接才能形成目標(biāo)的三維數(shù)據(jù)立方體[2]，其原理如圖1所示。

圖1 濾光片陣列型多光譜相機(jī)獲取數(shù)據(jù)立方體原理

在配準(zhǔn)和拼接后的多光譜數(shù)據(jù)立方體中，運(yùn)動(dòng)目標(biāo)出現(xiàn)各波段圖像中的不同位置，即造成錯(cuò)誤配準(zhǔn)，如圖2所示。

圖2 靜態(tài)目標(biāo)和運(yùn)動(dòng)目標(biāo)的位置

為了修正運(yùn)動(dòng)目標(biāo)造成的誤配準(zhǔn)，需要在運(yùn)動(dòng)目標(biāo)出現(xiàn)的位置復(fù)原其在所有波段的信息以及在這些位置復(fù)原被運(yùn)動(dòng)目標(biāo)遮擋的景物。因此，先要在多光譜圖像中檢測(cè)出運(yùn)動(dòng)目標(biāo)，然后進(jìn)行修正。

2 運(yùn)動(dòng)目標(biāo)場(chǎng)景的誤配準(zhǔn)修正算法

以運(yùn)動(dòng)車(chē)輛為例，文中設(shè)計(jì)了一種基于變化檢測(cè)和車(chē)輛特征的運(yùn)動(dòng)車(chē)輛提取方法，然后利用運(yùn)動(dòng)車(chē)輛檢測(cè)結(jié)果以及各譜段道路的灰度特征，將運(yùn)動(dòng)車(chē)輛在其軌跡的每個(gè)位置的所有譜段復(fù)現(xiàn)以及恢復(fù)道路信息。

2.1 多光譜圖像的運(yùn)動(dòng)車(chē)輛檢測(cè)算法

遙感圖像的運(yùn)動(dòng)車(chē)輛檢測(cè)大多數(shù)都是在人工提取道路或者已知道路掩模的情況下進(jìn)行的，然后通過(guò)閾值分割[5-7]、多尺度高斯橢圓拉普拉斯算子[8]、多尺度分割[9]、重構(gòu)道路背景[10]、PCA檢測(cè)[11]、人工免疫[12]等方法提取車(chē)輛。

文中設(shè)計(jì)了一種無(wú)需提取道路的運(yùn)動(dòng)車(chē)輛檢測(cè)方法，在變化檢測(cè)的基礎(chǔ)上，結(jié)合車(chē)輛灰度和幾何特征在8個(gè)譜段提取運(yùn)動(dòng)車(chē)輛。

2.1.1 變化檢測(cè)

利用式(1)計(jì)算每?jī)蓚€(gè)相鄰序列圖像(即兩個(gè)單波段圖像)的變化譜CS(Change Score)。

(1)

其中，i表示序列圖像序號(hào)；Fi表示第i個(gè)序列圖像；CSi+1,i表示第i+1個(gè)與第i個(gè)序列圖像變化值；med表示中值濾波器，中值濾波比算術(shù)平均更具魯棒性[13-14]。

2.1.2 運(yùn)動(dòng)車(chē)輛提取

假設(shè)Ri、Ri+1分別是第i和i+1個(gè)序列圖像中不同位置的暗車(chē)，在CS圖中Ri和Ri+1分別變成局部最亮和局部最暗，即獲得了一對(duì)正負(fù)區(qū)域?qū)?，如圖3(a)-(c)所示。同理，如果Ri、Ri+1分別是第i和i+1個(gè)序列圖像中不同位置的亮車(chē)，在CS圖中Ri和Ri+1分別變成局部最暗和局部最亮，如圖3(d)-(f)所示。如果正負(fù)區(qū)域?qū)δ軌驖M(mǎn)足一定空間距離要求(時(shí)間間隔內(nèi)車(chē)輛可能移動(dòng)的距離)，則它們可能為同一輛運(yùn)動(dòng)車(chē)輛。

圖3 運(yùn)輸車(chē)輛提取

同時(shí)，在CS圖中，運(yùn)動(dòng)車(chē)輛的灰度增強(qiáng)，而絕大部分背景(靜態(tài)地物)卻相對(duì)弱化。因此，更有利于利用灰度閾值，將車(chē)輛從背景中分割出來(lái)。然后根據(jù)車(chē)輛的長(zhǎng)寬和面積特征將運(yùn)動(dòng)車(chē)輛分別按照大、中、小型車(chē)從候選點(diǎn)中提取出來(lái)。

2.1.3 運(yùn)動(dòng)車(chē)輛匹配

用空間距離作為約束條件對(duì)相鄰兩個(gè)序列圖像中運(yùn)動(dòng)車(chē)輛進(jìn)行匹配。取每個(gè)運(yùn)動(dòng)車(chē)輛區(qū)域內(nèi)所有像素坐標(biāo)x和y的平均值作為該運(yùn)動(dòng)車(chē)輛區(qū)域的質(zhì)心，當(dāng)同種類(lèi)型的車(chē)輛在CS圖中的空間距離大于車(chē)身長(zhǎng)并且小于車(chē)輛可能移動(dòng)的最大距離時(shí)，則將車(chē)輛判定為同一輛車(chē)。在所有波段的兩相鄰序列圖像檢測(cè)車(chē)輛時(shí)，運(yùn)動(dòng)車(chē)輛分別作為起點(diǎn)和終點(diǎn)被檢測(cè)了兩次。因此，取兩次檢測(cè)的質(zhì)心的平均值為該車(chē)的質(zhì)心作為該車(chē)在各圖像序列中位置。

2.2 運(yùn)動(dòng)目標(biāo)場(chǎng)景的配準(zhǔn)修正

利用運(yùn)動(dòng)車(chē)輛檢測(cè)結(jié)果，對(duì)由于車(chē)輛運(yùn)動(dòng)造成的錯(cuò)誤匹配的點(diǎn)進(jìn)行修正，使這些像素點(diǎn)在所有波段均對(duì)應(yīng)相同的地物。

根據(jù)運(yùn)動(dòng)車(chē)輛檢測(cè)結(jié)果，可以得到車(chē)輛的面積、位置、方向。在每個(gè)單波段圖像中，通過(guò)仿射變換將運(yùn)動(dòng)車(chē)輛在其軌跡的每個(gè)位置復(fù)現(xiàn)，從而每輛運(yùn)動(dòng)車(chē)輛能在其軌跡的每個(gè)空間位置復(fù)原。

而對(duì)于恢復(fù)由于車(chē)輛經(jīng)過(guò)而缺失的道路信息，需要利用相鄰的多光譜圖像序列的灰度信息。

假設(shè)Fi-1、Fi、Fi+1分別表示第i-1、i、i+1幅序列圖像。對(duì)無(wú)運(yùn)動(dòng)車(chē)輛經(jīng)過(guò)的道路區(qū)域進(jìn)行采樣，根據(jù)式(2)求出相同道路區(qū)域不同波段間的每個(gè)像素點(diǎn)灰度比值系數(shù)矩陣ai-1,i,ai,i+1,ai+1,i-1。

(2)

由于不同道路材質(zhì)在不同的波段有不同的反射率，該比值系數(shù)矩陣呈現(xiàn)分塊狀，如圖4所示。其中，圖(a)和圖(b)分別為第i個(gè)和第i+1個(gè)序列圖像道路；圖(c)為灰度系數(shù)知陣ai,i+1。

圖4 道路灰度系數(shù)

(3)

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提出的算法的可行性，文中對(duì)濾光片陣列型多光譜相機(jī)的航拍數(shù)據(jù)進(jìn)行處理。該多光譜相機(jī)包含8個(gè)譜段，獲得配準(zhǔn)后的多光譜數(shù)據(jù)之后，對(duì)誤配準(zhǔn)的點(diǎn)進(jìn)行修正。

3.1 運(yùn)動(dòng)車(chē)輛檢測(cè)

用2.1中的方法檢測(cè)該多光譜圖像中的運(yùn)動(dòng)車(chē)輛，在所有的波段都取得了較好的結(jié)果。圖5給出了部分結(jié)果。其中，圖(a)和圖(b)分別為第i+1個(gè)和第i個(gè)序列圖像；圖(c)為CS圖；圖(d)為運(yùn)動(dòng)車(chē)輛的檢測(cè)結(jié)果。圖(d)中橢圓框表示車(chē)輛起點(diǎn)，矩形框表示車(chē)輛終點(diǎn)，連線表示同一輛車(chē)。

圖5 運(yùn)動(dòng)車(chē)輛的檢測(cè)

3.2 運(yùn)動(dòng)車(chē)輛和道路的修正結(jié)果

利用運(yùn)動(dòng)車(chē)輛檢測(cè)結(jié)果，對(duì)運(yùn)動(dòng)車(chē)輛造成的誤配準(zhǔn)的像素點(diǎn)進(jìn)行修正。在實(shí)際計(jì)算過(guò)程中，對(duì)檢測(cè)出的運(yùn)動(dòng)車(chē)輛的區(qū)域先進(jìn)行形態(tài)學(xué)膨脹處理，以減少誤差。圖6給出了多光譜圖像修正的結(jié)果。圖6(a)為處理之前的RGB合成圖。同一個(gè)運(yùn)動(dòng)車(chē)輛出現(xiàn)在三個(gè)位置，并且光譜信息是不完整的(矩形框和橢圓分別為暗車(chē)和亮車(chē))。(b)-(d)分別為處理之后，連續(xù)三個(gè)曝光時(shí)刻RGB圖像。在8個(gè)波段的圖像中運(yùn)動(dòng)車(chē)輛出現(xiàn)每個(gè)位置都運(yùn)動(dòng)該車(chē)，其經(jīng)過(guò)的道路信息也已經(jīng)復(fù)原，即修正了錯(cuò)誤配準(zhǔn)。

圖6 運(yùn)動(dòng)車(chē)輛和道路的配準(zhǔn)修正(RGB)

4 結(jié)束語(yǔ)

濾光片陣列型多光譜相機(jī)獲取的原始圖像經(jīng)過(guò)配準(zhǔn)和拼接后能得到地物目標(biāo)完整的三維數(shù)據(jù)立方體。但是，在數(shù)據(jù)立方體中，運(yùn)動(dòng)目標(biāo)出現(xiàn)的位置對(duì)應(yīng)的并不是同一個(gè)目標(biāo)。為了修正這種誤配準(zhǔn)，文中提出一種基于運(yùn)動(dòng)目標(biāo)檢測(cè)的誤配準(zhǔn)修正方法。在變化檢測(cè)的基礎(chǔ)上，同時(shí)結(jié)合車(chē)輛灰度與幾何信息提取運(yùn)動(dòng)車(chē)輛，然后分別通過(guò)仿射變換和相鄰圖像序列的灰度信息恢復(fù)運(yùn)動(dòng)車(chē)輛和道路的信息。用該方法對(duì)8通道的濾光片陣列型多光譜相機(jī)的多光譜圖像進(jìn)行處理。實(shí)驗(yàn)結(jié)果表明，該方法有效地修正了由于運(yùn)動(dòng)目標(biāo)造成的誤配準(zhǔn)。處理后的圖像數(shù)據(jù)更有利于圖像判讀、多光譜圖像分類(lèi)、目標(biāo)識(shí)別等的后續(xù)應(yīng)用。

[1] 崔 艷.光譜成像儀定標(biāo)技術(shù)研究[D].西安：中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所，2008.

[2] 趙寶瑋，相里斌，呂群波，等.機(jī)械快門(mén)對(duì)大面陣濾光片型多光譜相機(jī)成像的影響及改進(jìn)[J].光譜學(xué)與光譜分析,2013,33(7):1982-1986.

[3] 趙寶瑋.機(jī)載多光譜相機(jī)數(shù)據(jù)的高質(zhì)量獲取與處理技術(shù)研究[D].西安：西安電子科技大學(xué)，2014.

[4] 余先川，呂中華，胡 丹.遙感圖像配準(zhǔn)技術(shù)綜述[J].光學(xué)精密工程,2013,21(11):2960-2972.

[5] Alba-Flores R.Evaluation of the use of high-resolution satellite imagery in transportation applications[R].Minnesota:University of Minnesota,2005.

[6] Larsen S ?, Amlien J, Koren H,et al.Mapping road traffic conditions using high resolution satellite images[C]//Proceedings of geographic object-based image analysis.Calgary:[s.n.],2008.

[7] Liu Wen,Yamazaki F,Vu T T.Automated vehicle extraction and speed determination from quickbird satellite images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2011,4(1):75-82.

[8] Larsen S ?,Salberg A B.Automatic vehicle counts from qu-ickbird images[C]//Proc of joint urban remote sensing event.Munich:[s.n.],2011:9-12.

[9] Tan Q,Wei Q,Yang S,et al.Evaluation of urban road vehicle detection from high resolution remote sensing imagery using object-oriented method[C]//Proc of joint urban remote sensing event.Shanghai:[s.n.],2009:1-6.

[10] 張博研.遙感圖像的車(chē)輛目標(biāo)檢測(cè)與運(yùn)動(dòng)參數(shù)估計(jì)[D].西安：西安電子科技大學(xué)，2013.

[11] Salehi B,Zhang Y,Zhong M.Automatic moving vehicles information extraction from single-pass WorldView-2 imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2012,5(1):135-145.

[12] Zheng Hong,Li Li.An artificial immune approach for vehicle detection from high resolution space imagery[J].International Journal of Computer Science and Network Security,2007,7(2):67-72.

[13] Bar D E,Raboy S.Moving car detection and spectral restoration in a single satellite WorldView-2 imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2013,6(5):2077-2087.

[14] Mitchell H B.Image fusion:theories,techniques and applications[M].Berlin:Springer-Verlag,2010:75-90.

Misregistration Correction for Moving Object Scene in Filter-type Multispectral Imaging

ZHANG Wen-jie1,2,HUANG Min1,ZHANG Gui-feng1

(1.Academy of Opto-eletronics,Chinese Academy of Sciences,Beijing 100094,China;2.University of Chinese Academy of Science,Beijing 100049,China)

Image registration is a key step for multispectral camera to obtain multispectral data cube.The impact of moving objects on image registration for filter array type multispectral camera was analyzed.To solve the problem,a method based on the detection of moving vehicles to correct the misregistration is presented.Firstly,the potential regions of misregistration pixels are roughly extracted by change detection,and then the misregistration pixels are screened through the features of moving objects,and these pixels are corrected based on the relationships of space and gray level among the multispectral image sequences.The method is applied to process the multispectral image obtained with an 8-channel filter array multispectral camera.The experimental result indicates that the approach could fix the wrong matches effectively and improve the accuracy of multispectral imaging registration.The processed images would be more favorable to image interpretation,the classification of multispectral image,object recognition and other subsequent applications.

multispectral images;registration;moving object;object detection

2015-03-05

2015-06-11

時(shí)間：2016-01-04

國(guó)家杰出青年基金資助項(xiàng)目(61225024)

章文潔(1990-)，女，碩士，研究方向?yàn)閳D像配準(zhǔn)、圖像處理、光譜成像技術(shù)；黃 旻，研究員，研究方向?yàn)橛?jì)算光譜成像技術(shù)。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1607.070.html

TP39

A

1673-629X(2016)01-0018-04

10.3969/j.issn.1673-629X.2016.01.004