王冠群

(1.河北省儀器儀表工程技術(shù)研究中心，河北 承德 067000；2.承德石油高等專(zhuān)科學(xué)校 儀器儀表工程技術(shù)研究中心，河北 承德 067000)

?

基于空間相關(guān)性的圖像縫合算法

王冠群1,2

(1.河北省儀器儀表工程技術(shù)研究中心，河北 承德 067000；2.承德石油高等專(zhuān)科學(xué)校 儀器儀表工程技術(shù)研究中心，河北 承德 067000)

作為一種新型的區(qū)域觀測(cè)技術(shù)，無(wú)線多媒體傳感器網(wǎng)絡(luò)(WMSN)獲得了國(guó)內(nèi)外研究者的高度關(guān)注。在密集部署的無(wú)線多媒體傳感器網(wǎng)絡(luò)中，不同的相機(jī)節(jié)點(diǎn)所觀察到的視覺(jué)信息存在較大的冗余和空間相關(guān)性。為了適應(yīng)無(wú)線多媒體傳感器網(wǎng)絡(luò)的帶寬有限、計(jì)算能力有限、功耗有限的缺點(diǎn)，利用WMSN節(jié)點(diǎn)的空間幾何關(guān)系以及相機(jī)成像原理，獲得圖像之間的相關(guān)系數(shù)，根據(jù)信息熵的原理建立相機(jī)節(jié)點(diǎn)的選擇機(jī)制。在此基礎(chǔ)上，利用相關(guān)系數(shù)對(duì)選擇的相機(jī)采集的圖像進(jìn)行縫合。降低了復(fù)雜度和計(jì)算量，使之更適合WMSN節(jié)點(diǎn)的應(yīng)用。

WMSN;空間相關(guān)性;節(jié)點(diǎn);熵;圖像縫合

無(wú)線多媒體傳感器網(wǎng)絡(luò)(Wireless Multimedia Sensor Networks，WMSN)[1，2]是目前最具有發(fā)展?jié)摿蛻?yīng)用前景的信息感知技術(shù)手段之一，具有自組織、快速部署、信息準(zhǔn)確等優(yōu)點(diǎn)。即使沒(méi)有電力和通信等基礎(chǔ)設(shè)施，WMSN也能夠快速部署和組成觀測(cè)網(wǎng)絡(luò)，實(shí)時(shí)獲取圖像、音頻等多媒體數(shù)據(jù)，對(duì)環(huán)境信息實(shí)現(xiàn)全面有效的感知，極大地增強(qiáng)一線人員準(zhǔn)確掌握現(xiàn)場(chǎng)態(tài)勢(shì)的能力，在環(huán)境監(jiān)測(cè)和災(zāi)難救援領(lǐng)域具有巨大的應(yīng)用價(jià)值[3]。在多媒體傳感器網(wǎng)絡(luò)中，通常需要部署多個(gè)相機(jī)傳感器以便提供多個(gè)視圖、高分辨率圖片以便對(duì)環(huán)境加強(qiáng)監(jiān)測(cè)[4]。無(wú)線多媒體傳感器網(wǎng)絡(luò)的典型應(yīng)用方案是：相機(jī)通過(guò)觀測(cè)感興趣區(qū)域，并將其拍攝的圖像傳給接收器。假設(shè)有N個(gè)相機(jī)可以觀測(cè)到這個(gè)特定的感興趣區(qū)域，對(duì)于觀測(cè)的相機(jī)用組T={T1,T2,T3…,TN}來(lái)表示，并且它們觀測(cè)的圖像為P={P1,P2,P3…,PN}。這組觀測(cè)的相機(jī)存在相關(guān)性，可以被用來(lái)開(kāi)發(fā)設(shè)計(jì)多媒體網(wǎng)絡(luò)處理方案。研究不同相機(jī)所觀測(cè)到圖片之間的相關(guān)特征。針對(duì)所有觀測(cè)相機(jī)T={T1,T2,T3…,TN}中的相機(jī)i和相機(jī)j，用相關(guān)系數(shù)ρij描述圖片Pi和Pj的相關(guān)程度。在獲得空間相關(guān)系數(shù)后，需要研究如何測(cè)量無(wú)線多媒體傳感器網(wǎng)絡(luò)中多個(gè)相機(jī)的視頻信息量。直觀來(lái)看，各個(gè)相機(jī)提供的視頻信息之間存在相關(guān)特征。這些相機(jī)所觀測(cè)到的圖像之間相關(guān)特征越少，這些相機(jī)將會(huì)傳輸給接收器更多的信息。本文將采取一種基于熵的框架[5]，估計(jì)多個(gè)相關(guān)相機(jī)的信息量。

由于傳輸?shù)囊曨l信息需要很高的帶寬，這將會(huì)降低網(wǎng)絡(luò)的生命周期，因此要求整個(gè)無(wú)線多媒體傳感器網(wǎng)絡(luò)的數(shù)據(jù)通信量越少越好。多幅圖像傳輸?shù)酱毓?jié)點(diǎn)后，需要將這些圖像進(jìn)行縫合?？梢酝ㄟ^(guò)空間的相關(guān)性、以及多幅圖像之間的空間幾何關(guān)系找到準(zhǔn)確的縫合位置，進(jìn)而將多幅圖像融合成一副圖像，而不會(huì)造成信息的嚴(yán)重?fù)p失。這樣，僅僅利用空間相關(guān)性和圖像在空間的幾何位置而進(jìn)行的圖像縫合，其算法的復(fù)雜度遠(yuǎn)遠(yuǎn)低于傳統(tǒng)的圖像融合方法，更適用于無(wú)線多媒體傳感器網(wǎng)絡(luò)。

1 存在相關(guān)性的多節(jié)點(diǎn)聯(lián)合效應(yīng)

針對(duì)多簇節(jié)點(diǎn)存在相關(guān)性的特點(diǎn)展開(kāi)研究。以信息熵的理論為基礎(chǔ)，測(cè)量多個(gè)相關(guān)相機(jī)所采集圖像的信息量，在無(wú)線多媒體傳感器網(wǎng)絡(luò)傳輸能力受限的情況下，根據(jù)信息量的大小，盡量選擇包含更多信息的圖像，從而提出一種基于相關(guān)性的相機(jī)選擇算法。

1.1 基于熵的方法

在信息理論中，用熵的概念測(cè)量隨機(jī)源模型的信息量。假設(shè)一幅圖片被認(rèn)為是一個(gè)灰度級(jí)源模型的例子，這個(gè)源的標(biāo)志可以通過(guò)灰度級(jí)直方圖建模。源的熵估計(jì)可以用下面公式表達(dá)：

(1.1)

其中，L是所有可能存在的灰度級(jí)個(gè)數(shù)，p(rk)是可能存在的k個(gè)灰度級(jí)。這個(gè)公式表示圖像中一個(gè)像素點(diǎn)的平均信息量。

如果相機(jī)Si將其觀測(cè)到的圖片Xi傳到簇節(jié)點(diǎn)，那么簇節(jié)點(diǎn)增加的信息量就是H(Xi)。如果一組相機(jī)傳感器{S1，S2…,SN}傳輸它們所觀測(cè)的圖片{X1，X2…,XN}到簇節(jié)點(diǎn)，而傳輸?shù)酱毓?jié)點(diǎn)的平均信息量為H(X1，X2，…，XN)。

1.2 多個(gè)相機(jī)的聯(lián)合熵

假設(shè)有多個(gè)相機(jī)同時(shí)檢測(cè)感興趣區(qū)域時(shí)，設(shè)定相機(jī)組為S={S1,S2,…,SN}，采集的圖像為{X1,X2,…,XN}。針對(duì)多幅圖像的聯(lián)合熵H(X1,X2,…,XN)求取進(jìn)行分析。

如果按照概率論的相關(guān)理論對(duì)H(X1,X2,…,XN)進(jìn)行計(jì)算，則必須知道相機(jī)S={S1,S2,…,SN}的分布情況。然而對(duì)多個(gè)相機(jī)的分布情況進(jìn)行估計(jì)是非常困難的，尤其是當(dāng)相機(jī)數(shù)量很大時(shí)。

一個(gè)可行的方法是利用上一節(jié)中兩個(gè)相機(jī)的聯(lián)合熵來(lái)計(jì)算多個(gè)相機(jī)的聯(lián)和熵。由于N個(gè)相機(jī)間相互獨(dú)立，可以讓它們兩兩之間聯(lián)合，這樣每?jī)蓚€(gè)相機(jī)間的聯(lián)合熵就可以計(jì)算出來(lái)。將聯(lián)合起來(lái)的相機(jī)看做是一個(gè)相機(jī)，則傳感器網(wǎng)絡(luò)中相機(jī)數(shù)量變?yōu)镹-1個(gè)。如果不斷重復(fù)上述過(guò)程，N個(gè)相互獨(dú)立的相機(jī)最終變成一個(gè)相機(jī)。由于兩個(gè)相機(jī)的聯(lián)和熵可以在相機(jī)的聯(lián)合過(guò)程中求取，當(dāng)相機(jī)聯(lián)合過(guò)程結(jié)束時(shí)，N個(gè)相機(jī)的聯(lián)合熵H(X1,X2,…,XN)也計(jì)算出來(lái)。

按照分級(jí)聚類(lèi)的思想，本文設(shè)計(jì)了計(jì)算多個(gè)相機(jī)聯(lián)合熵的算法。只要每個(gè)相機(jī)的熵以及它們之間的相關(guān)矩陣已知，N個(gè)相機(jī)間的聯(lián)和熵H(X1,X2,…,XN)可以通過(guò)分級(jí)聚類(lèi)的思想得到。具體的算法流程是：1)找到N個(gè)相互相關(guān)相機(jī)中的最大相關(guān)系數(shù)；2)將上述的兩個(gè)相機(jī)的圖像相結(jié)合，組成一類(lèi)，計(jì)算信息熵；3)依次計(jì)算步驟2中的圖像與其他圖像的相關(guān)系數(shù)(計(jì)算聚類(lèi)以外所有相機(jī)與聚類(lèi)中所有相機(jī)的相關(guān)系數(shù)，將其累加在進(jìn)行平均得到[6])；4)將這兩個(gè)相機(jī)所拍攝的圖像從圖像聚類(lèi)中刪除；5)重復(fù)步驟以上步驟，直至得到所有圖像總和的信息熵。

2 圖像縫合

假定，所有的相機(jī)采用同一規(guī)格的相機(jī)(相機(jī)的焦距一致)，相機(jī)具有相同的景深d，并且相機(jī)的水平位置保持一致，根據(jù)圖像的之間的相關(guān)系數(shù)的本質(zhì)，可以得出兩幅圖像的重疊區(qū)域所占的比例。

在圖像水平位置已知的情況下，兩幅圖像的像平面相關(guān)可以比作為兩個(gè)平面具有相互重疊的部分。兩個(gè)圖像重疊的三維空間立體圖如圖1所示。

假設(shè)圖像的采集區(qū)域?yàn)闊o(wú)限寬廣的場(chǎng)地，則在無(wú)窮遠(yuǎn)處可以認(rèn)為是一個(gè)平面，如果在有限的區(qū)域，同樣也可以將場(chǎng)地的盡頭假定為一個(gè)平面。在這樣的情況下，可以將三維空間轉(zhuǎn)變?yōu)槎S空間，如圖2所示。

圖中θ為相機(jī)T2的旋轉(zhuǎn)角度，a、b分別為相機(jī)T1與相機(jī)T2的像平面俯視圖，p1、p2分別為世界坐標(biāo)系中立體平面的俯視圖，與y軸平行，d為相機(jī)的景深。

假定各幅圖像的信息熵大小，相機(jī)所拍攝的圖像之間的相關(guān)系數(shù)均為已知量。因?yàn)橄鄼C(jī)是繞z軸進(jìn)行旋轉(zhuǎn)，所以z軸對(duì)圖像的縫合不起作用。相機(jī)是水平移動(dòng)的情況下，世界坐標(biāo)系中的x軸對(duì)圖像的縫合影響較小，因此針對(duì)世界坐標(biāo)系的y軸圖像投影變換進(jìn)行研究，找到圖像的縫合位置。

根據(jù)圖3的4幅圖像，通過(guò)Matlab計(jì)算圖像的信息熵，得到4幅圖像的信息熵分別為7.553 4、7.567 5、7.586 2、7.571 6，幾乎相差無(wú)幾，設(shè)定相機(jī)T1、T2的信息熵為1，兩相機(jī)的相關(guān)系數(shù)為ρ。設(shè)重疊區(qū)域的信息熵為c。則有：

(1)

(2)

設(shè)T2右半軸的信息量為b1，左半軸的信息量為b2，則有：

(3)

(4)

根據(jù)圖像的幾何關(guān)系可知相機(jī)T2與相機(jī)T1縫合時(shí)，應(yīng)保留相機(jī)T2的負(fù)半軸的部分信息量和相機(jī)T1的正軸方向的部分信息量以及兩相機(jī)重疊的信息量。

(5)

(6)

T1與T2采集的圖像如圖4所示。

為了實(shí)現(xiàn)更高的壓縮比，首先將源圖像進(jìn)行灰度處理。針對(duì)處理后的灰度圖像進(jìn)行縫合根據(jù)上述方法進(jìn)行縫合，效果如圖5所示。

3 結(jié)論

本文通過(guò)研究傳感器模型和相機(jī)的部署，計(jì)算圖像的空間相關(guān)性，用來(lái)描述感興趣區(qū)域中相機(jī)所監(jiān)測(cè)到的視覺(jué)信息相關(guān)特征。闡述了基于熵分析的框架，衡量由網(wǎng)絡(luò)中多個(gè)相機(jī)提供的視覺(jué)信息。同時(shí)，根據(jù)相關(guān)性函數(shù)和基于熵的框架，對(duì)采集圖像的相機(jī)進(jìn)行選擇。根據(jù)以上的基礎(chǔ)信息，利用空間幾何關(guān)系，完成了相鄰WMSN節(jié)點(diǎn)的圖像縫合，較現(xiàn)有利用圖像的灰度信息或者是特征信息進(jìn)行的圖像縫合方法，大大的降低了復(fù)雜度和計(jì)算量。

[1] Chai W C, Chew L W, Ang L M, et al. Low memory image stitching and compression for WMSN using strip-based processing[J]. International Journal of Sensor Networks, 2012, 11(1): 22-32.

[2] 樊曉平, 熊哲源, 陳志杰, 等. 無(wú)線多媒體傳感器網(wǎng)絡(luò)視頻編碼研究[J]. 通信學(xué)報(bào), 2011, 32(9): 137-146.

[3] 程文芳, 張俠, 何劍峰. 極地生態(tài)環(huán)境監(jiān)測(cè)與研究信息平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 極地研究, 2009, 21(4): 299-307.

[4] Cucchiara R. Multimedia surveillance systems[C]. Proceedings of the third ACM international workshop on Video surveillance & sensor networks, 2005: 3-10.

[5] Tononi G. Integrated information theory[J]. Scholarpedia, 2015, 10(1): 4164.

[6] Jain A K, Murty M N, Flynn P J. Data clustering: a review[J]. ACM computing surveys (CSUR), 1999, 31(3): 264-323.

Image Stitching Algorithm Based on Spatial Correlation

WANG Guan-qun1,2

(1.Hebei Instrument & Meter Engineering Technology Research Center, Chengde 067000, Hebei, China; 2.Instrument & Meter Engineering Technology Research Center, Chengde Petroleum College, Chengde 067000, Hebei, China)

Line Multimedia Sensor Networks (WMSN) wins high attention from researchers both home and abroad as a new type of regional observation technology. In the dense deployment wireless multimedia sensor network, the visual information different camera node observes is redundant and has spatial correlation. In order to adapt to the disadvantage of WMSN such as limited bandwidth, calculation ability and power dissipation, this paper uses WMSN node’s space geometrical relationship and camera imaging principle to acquire correlation coefficient between the images, and establishes a camera node selection mechanism according to the theory of information entropy. Based on this, this paper uses correlation coefficient to stitch the images collected by cameras that has been chosen before. This method greatly reduces the complexity and computation, and makes it more suitable for the application of WMSN nodes.

WMSN; spatial correlation; node; entropy; stitching image

2016-11-28

王冠群(1987-)，男，河北承德人，助教，碩士，主要從事儀器儀表研發(fā)、智能控制研究工作，E-mail:wgq_neu@163.com。

TP391.41

A

1008-9446(2017)03-0051-04