李明兵，張鎖平，張東亮，齊占輝

(國家海洋技術中心，天津 300112)

圖像拼接技術在海洋環(huán)境監(jiān)測中的應用研究

李明兵，張鎖平，張東亮，齊占輝

(國家海洋技術中心，天津 300112)

圖像拼接是視頻監(jiān)測中一項重要的技術，能夠將多幅圖像拼接融合在一起得到一幅寬視角場景的圖像，從而有效地擴大了視野和監(jiān)測范圍。首先介紹了海洋環(huán)境視頻監(jiān)測系統(tǒng)的構成，然后描述了圖像拼接技術原理，提出了一種基于彩色梯度特征和彩色b*分量的圖像配準方法，最后將文中圖像拼接方法成功地應用到了“邊遠島視頻監(jiān)測系統(tǒng)”中。

圖像拼接；海洋環(huán)境監(jiān)測；圖像配準

海洋環(huán)境監(jiān)測對于海洋管理和海洋環(huán)境保護具有重要的意義。視頻監(jiān)測技術具有成本低、適應性強等優(yōu)勢，成為重要的海洋環(huán)境監(jiān)測手段[1]。由于一般監(jiān)測海域范圍比較廣闊，而單個攝像機的監(jiān)測范圍有限，大范圍成像的攝像設備又價格高昂，使得視頻監(jiān)測技術的應用受到了限制。圖像拼接技術可以在不降低分辨率的情況下獲得大視野范圍的圖像，因此成為海洋環(huán)境視頻監(jiān)測中一項重要技術。

圖像拼接是將一組相關的圖像序列進行空間匹配對準，經(jīng)重采樣合成后形成一幅包含各序列圖像信息的寬視角場景的、高清晰的新圖像的技術[2]。目前圖像拼接技術已應用在許多海洋環(huán)境視頻監(jiān)測系統(tǒng)中，通過對圖像進行后續(xù)處理可以獲得海岸線變化和海灘侵蝕統(tǒng)計、海浪波速和波向等多種數(shù)據(jù)產(chǎn)品。

本文首先介紹了海洋環(huán)境視頻監(jiān)測系統(tǒng)的構成，然后對海洋環(huán)境中圖像拼接的技術原理進行了描述，最后介紹了本文方法在“邊遠島視頻監(jiān)控系統(tǒng)”中的實際應用情況。

1 系統(tǒng)構成

一個典型的海洋環(huán)境視頻監(jiān)測系統(tǒng)的構成如圖1所示。待拼接的圖像有兩種采集方式：由多個固定攝像機同時采集或者由單個云臺攝像機連續(xù)采集，它們分別通過視頻采集器發(fā)送到現(xiàn)場計算機進行拼接，最后通過公用或專用通訊網(wǎng)傳輸?shù)街行姆掌髯鲞M一步處理。

2 圖像拼接技術原理

圖1 海洋環(huán)境視頻監(jiān)測系統(tǒng)構成

一般的圖像拼接過程可分為圖像預處理、圖像配準和圖像融合三個步驟，對于多幅圖像的拼接，首先從待拼接圖像集合中選取一幅參考圖像，將其與相鄰待拼接圖像按上述三個步驟進行拼接，然后將拼接完成的圖像放入待拼接圖像集合并作為新的參考圖像，重復上述步驟直到完成拼接，流程如圖2所示。本文采用以上流程對采集的近岸海洋環(huán)境圖像進行拼接，并根據(jù)海洋環(huán)境圖像特征做針對性的處理，具體方法如下所述。

2.1 圖像預處理

圖像預處理的主要目的是調整圖像以便于下一步的圖像配準，它的主要操作步驟包括圖像質量的調整（直方圖處理、圖像平滑濾波等）、圖像分辨率的調整（用于多級圖像配準）等，其中最重要的是圖像運動參數(shù)模型的確立，它決定了拼接的操作平面以及最終各序列圖像的相對位置。

圖2 多幅圖像拼接流程

目前已有的運動參數(shù)模型包括從簡單的二維變換到平面投影模型，再到復雜的三維相機旋轉模型以及非平面投影模型（如柱面投影、球面投影）等[3]。平面模型只適合于圖像存在剛性變換（平移、旋轉、縮放等）或投影變換的場合，在一般的三維運動場景中，應用更多的是非平面的投影模型。對于待拼接的海洋環(huán)境圖像序列，一般是由云臺旋轉攝像機單視點拍攝或呈扇形分布的固定攝像機拍攝獲得，因此本文選用柱面投影模型，它是將原始圖像序列映射到一個統(tǒng)一的柱面坐標空間，如圖 3(a)所示，其中，I、J、K 分別表示原始圖像、柱面投影圖像和柱面空間，原點為觀察點O（投影中心），由該點出發(fā)的光軸與圖像交點即為圖像中心。

設柱面半徑為r，原始圖像寬度為W，高度為H，則對原始圖像上任意一點P(x，y)，設其在柱面投影圖像上對應點Q的坐標為(＾，＾)，對點 P 沿 x-z平面、y-z平面的橫截面如圖3(b)、3(c)所示，這時可得柱面投影變換公式[4]：

2.2 圖像配準

圖3 柱面投影變換

圖像配準主要是依據(jù)圖像間的相似性特征來尋找最佳匹配位置，它是圖像拼接中的關鍵步驟，決定著最終拼接圖像的質量。圖像配準方法中適應性最強，應用最廣泛的是基于圖像特征的方法。常用的圖像特征信息包括邊緣特征、區(qū)域特征、點特征和高層模型等。與之對應，研究人員提出了許多成功的圖像特征算子與理論，如Harris算子[5]，SIFT算子[6]等，這些方法對于場景運動具有很好的適應性，但是需要復雜的操作步驟。

本文采用一種基于特征模板匹配的方法，并分別考察了圖像的灰度梯度特征、彩色梯度特征和b*顏色分量特征，各圖像特征如圖4示例?；叶忍荻忍卣鞣从沉藞D像的亮度變化；彩色梯度圖像對于圖像邊緣的響應優(yōu)于灰度特征，但是敏感于圖像光照的變化；b*顏色分量屬于L*a*b*彩色空間，代表藍黃分量，因此可以很好地區(qū)分藍色海面和黃色沙灘，并且它對圖像光照的變化不太敏感[7]。經(jīng)過對比驗證，彩色梯度特征與b*顏色分量特征結合的圖像配準效果最好，因此本文以這兩種特征作為匹配模板。匹配準則采用平均絕對誤差方法(MAD∶Mean Absolute Difference)，其定義如下：

式中：fk+1(x,y)，fk(x,y)分別為兩相鄰圖像的像素灰度值；M，N為匹配模板大?。沪,Δy為水平方向和垂直方向的位移量。

對于固定攝像機采集的圖像，各攝像機設置參數(shù)各不相同，重疊區(qū)域之間具有光強的差異，同時各攝像機位置固定，拍攝圖像間的轉換關系也是固定的，因此本文以手動配準確定轉換參數(shù)。

對于云臺旋轉攝像機采集的圖像，可以認為圖像序列是由單視點拍攝獲得，經(jīng)過柱面投影變換以后，攝像機水平方向的旋轉導致圖像水平向的位移，豎直向的小角度運動導致圖像豎直向的位移，因此相鄰圖像間的變換就轉化為柱面坐標下圖像的二維平移的估計。

圖4 圖像特征

2.3 圖像融合

由于拍攝光照、環(huán)境條件的差異，兩幅圖像的重疊區(qū)域可能會有較大的差別，如果直接進行簡單疊加，在拼接位置處可能會出現(xiàn)明顯的接縫或模糊現(xiàn)象，因此需要進行圖像融合。圖像融合主要是實現(xiàn)拼接邊界的平滑過渡，因此這一技術又稱為圖像的無縫合成技術。

本文采用一種漸入漸出平滑過渡的方法，這也是目前采用較多的圖像融合方法[8]。具體方法是在兩幅圖像重疊區(qū)域引入漸變系數(shù)σ(0≤σ≤1)，兩幅圖像重疊區(qū)x軸最大值和最小值分別為xmax，xmin，則漸變系數(shù)為：

重疊區(qū)域圖像強度為：

式中：IA，IB分別為原始圖像對應的像素強度。該方法通過對不同位置像素賦予不同權值實現(xiàn)了圖像間的平滑過渡。

3 應用實例

本文的拼接圖像數(shù)據(jù)來源于海洋公益性行業(yè)科研專項項目“邊遠島的利用與監(jiān)控技術研究與示范”中邊遠島視頻監(jiān)測系統(tǒng)，該系統(tǒng)圖像采集設備由4個固定攝像機和1個云臺旋轉攝像機組成，可監(jiān)測180°視角范圍內(nèi)海面實時狀況。

圖5所示4個固定攝像機拍攝的圖像及其拼接圖像，可以看到，拼接后的圖像視野范圍得到了極大的擴展，從而監(jiān)測人員也可以更加快速、準確地了解海面狀況。

圖6所示為云臺旋轉攝像機的拼接圖像，云臺旋轉攝像機配置了更大焦距的攝像頭，可以更靈活地監(jiān)測海面狀況。該攝像機采用定時工作的方式獲取連續(xù)采集的圖像，從圖中可以看到暴雨來臨之前整個海面的狀況。

圖5 固定攝像機的拼接圖像

圖6 云臺旋轉攝像機的拼接圖像

4 結論

圖像拼接技術在海洋環(huán)境監(jiān)測中具有廣闊的應用前景，它使得監(jiān)控技術、圖像處理技術等不再局限于單個視頻畫面，極大地擴展了視野寬度，更加有利于監(jiān)測人員的觀察和分析。

本文提出了一種基于圖像彩色梯度特征和b*顏色分量的圖像配準方法，并結合柱面投影變換以及漸入漸出的圖像融合方法，并將本文方法成功地應用到了“邊遠島視頻監(jiān)測系統(tǒng)”中。下一步工作將集中于圖像的后續(xù)處理研究。

[1]張鎖平,張春田.近海視頻測量與應用[J].海洋技術,2006,25(1)：11-19.

[2]劉東梅.圖像拼接算法研究[D].西安∶西安電子科技大學,2008.

[3]Szeliski R.Image alignment and stitching∶Tutorial[R].Technical Report MSR-TR-2004-92,Microsoft Research,2004.

[4]李忠新.圖像鑲嵌理論及若干算法研究[D].南京∶南京理工大學,2004.

[5]Harris C,Stephens M.A Combined Corner and Edge Detector[C]//Proceedings Fourth Alvey Vision Conference,University of Manchester,1988,15∶147-151.

[6]Brown M,Lowe D.Automatic Panoramic Image Stitching using Invariant Features[J].International Journal of Computer Vision,2007,74(1)∶59-77.

[7]Gonzalez R,Woods R.數(shù)字圖像處理（第二版）[M].阮秋琦,等譯.北京∶電子工業(yè)出版社,2007.

[8]Szeliski R.Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications,1996,16(2)∶22-30.

Research on the Application of Image Stitching to Ocean Environmental Monitoring

LI Ming-bing,ZHANG Suo-ping,ZHANG Dong-liang,QI Zhan-hui
(National Ocean Technology Center.Tianjin 300112,China)

In the field of ocean environment monitoring,the image stitching is an important technology which carries on the spatial matching to a series of images captured by several cameras,building a wide angel image and thus effectively enlarges the monitoring range.The structure of ocean environmental video monitoring system was firstly introduced,and then the principle of image stitching was discussed,in which an image registration method based on the color gradient image and b*component image was proposed,lastly the successful application to＂Remote Islands Video Monitoring System ＂was introduced.

image stitching;ocean environmental monitoring;image registration

P71，TP391

B

1003-2029（2012）04-0032-04

2012-08-24

國家海洋公益性行業(yè)科研專項資助項目(200805079)；國家海洋局海域管理重點實驗室開放基金資助項目(201111)

李明兵（1986-），男，碩士研究生，助理工程師，主要研究方向為海洋觀測技術。Email：limingbing@126.com