（1.重慶郵電大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 重慶 400065；2.南京師范大學(xué) 虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室， 南京 210046）

摘 要：現(xiàn)有視頻分割方法大都從計算機(jī)圖像處理角度進(jìn)行，而實(shí)際上視頻本身具備豐富的地理空間信息，有效利用這種信息將使分割過程更加準(zhǔn)確便利。從GIS應(yīng)用的角度對基于空間信息輔助的視頻分割方法進(jìn)行一種新的探索，為構(gòu)建可定位視頻數(shù)據(jù)的組織與存儲，建立基于影像幀層次與視頻內(nèi)容檢索的高效索引機(jī)制奠定了基礎(chǔ)。

關(guān)鍵詞：視頻分割；空間信息；全球定位系統(tǒng)；可擴(kuò)展標(biāo)記語言

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2009)04-1546-03

Research on video segmentation based on spatial information assistance

REN Fei1，2，LIU Xue-jun2，F(xiàn)ENG Jiang-fan1，YUAN Zheng-wu1

(1.College of Computer Science Technology， Chongqing University of Posts Telecommunications， Chongqing 400065， China;2.Key Laboratory of Virtual Geographical Environment， Nanjing Normal University， Nanjing 210046， China)

Abstract:The existing methods of video segmentation are mostly operated in the view of computer vision processing. In fact， video itself includes affluent geographic spatial information. Effective use of this information will enable the segmentation more accurately and facility. This paper discussed a video segmentation method based on spatial information assistance from the perspective of GIS application， which contributed to the organization and storage of locating video data， and to the establishment of efficient mechanism indexing on frame and video content.

Key words:video segmentation; spatial information; GPS; XML

0 引言

隨著多媒體數(shù)據(jù)在采集、存儲和傳播方面取得的重大技術(shù)進(jìn)步，數(shù)字視頻的應(yīng)用領(lǐng)域愈加廣泛，已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?，關(guān)于如何管理和檢索視頻數(shù)據(jù)的研究也越來越多。視頻GIS，即將視頻影像信息與地理信息實(shí)時自動集成，生成空間位置與視頻影像相融合的空間視頻信息。由于視頻流是一種非結(jié)構(gòu)化的線性數(shù)據(jù)流，要對含有空間信息的視頻數(shù)據(jù)進(jìn)行分析應(yīng)用，必須先將其分解成具有獨(dú)立語義信息的片段。因此，視頻分割就成為各種視頻處理的第一步，是隨后的高層內(nèi)容分析、分類、索引和查詢的基礎(chǔ)。在視頻GIS中，視頻分割的準(zhǔn)確性更直接影響到后續(xù)三維量測、影像解析、對象提取等效果，具有重要意義。

視頻分割是指將視頻序列或圖像按一定的標(biāo)準(zhǔn)分割成區(qū)域的行為[1]，也可理解為在視頻幀內(nèi)分離出有一定意義的前景實(shí)體或前景目標(biāo)[2]。傳統(tǒng)的視頻分割技術(shù)從用途來看，大致可分為基于內(nèi)容的編碼傳輸及面向?qū)ο蟮拇嫒『筒倏v兩大類，并沒有一個通用且可靠的技術(shù)方案。大多依賴于視頻序列的某一種或幾種屬性，運(yùn)用計算機(jī)圖像處理技術(shù)，選取顏色、紋理或邊緣等進(jìn)行特征提取和模板匹配，建立合適的測量準(zhǔn)則以描述視頻內(nèi)容的不連續(xù)性[3，4]進(jìn)行分割，精度不高，也并未考慮空間信息。

基于視頻與空間信息的緊密聯(lián)系，Navarrete等人［5］在VideoGIS項目中提出了一種空間視頻數(shù)據(jù)組織與存儲模型。該方案整合了專題地理信息，生成能在地理環(huán)境中調(diào)用的超視頻，但是它的視頻影像與地理信息是分開存儲的，而且所支持的視頻檢索層次比較低，只能支持文件層次的檢索。在國內(nèi)，唐冰等人[6]提出了鐵路沿線視頻影像與地理信息集成的技術(shù)方案與實(shí)現(xiàn)方法，將線路里程與視頻幀號一一對應(yīng)，它的幀號里程數(shù)據(jù)庫基本為手工輸入，工作量很大。孔云峰[7]提出了一個公路視頻GIS，在地理位置、公路里程、視頻時間或幀之間建立映射關(guān)系，但是其內(nèi)業(yè)數(shù)據(jù)處理過程靠手工完成。

不管是傳統(tǒng)的視頻分割方法，還是已有的考慮到空間信息的視頻分割方法，雖然提供了可資借鑒的成果，卻并不能很好地滿足GIS領(lǐng)域中視頻分割的要求。如何結(jié)合豐富的空間地理信息對視頻進(jìn)行分割，構(gòu)建適于空間視頻組織與存儲、分析和查詢的視頻節(jié)段就成了亟待解決的問題。本文首先介紹一種利用腳本編碼將視頻與空間地理信息實(shí)時融合的方法，然后從GIS應(yīng)用的角度對基于空間信息輔助的視頻分割方法進(jìn)行一種新的探索，提出了一些存在的問題并作了總結(jié)。

1 視頻與空間信息的融合

1.1 投影轉(zhuǎn)換

為了獲得融合地理信息的空間視頻，需要通過GPS接收機(jī)獲取衛(wèi)星定位數(shù)據(jù)，然后與攝像頭采集到的視頻編碼集成。GPS接收到的定位信息是基于WGS-84地心坐標(biāo)系的，我國所采用的電子地圖大部分都是基于54北京坐標(biāo)系，兩者采用的地球橢球參數(shù)不同，需要在編碼前對GPS數(shù)據(jù)進(jìn)行空間坐標(biāo)系的轉(zhuǎn)換。大地直角坐標(biāo)轉(zhuǎn)換目前最常用的是七參數(shù)模型[8]，其轉(zhuǎn)換式為

XBYBZB=ΔX

ΔYΔZ+(1+M)1εZ-εY

-εZ1εX

εY-εX1XAYAZA(1)

其中：XA、YA、ZA、XB、YB、ZB為同一點(diǎn)在不同坐標(biāo)系的大地直角坐標(biāo)；ΔX、ΔY、ΔZ為兩個坐標(biāo)系的坐標(biāo)原點(diǎn)平移量；M為無量綱的尺度因子；εX、εY、εZ為坐標(biāo)旋轉(zhuǎn)角。實(shí)際應(yīng)用中，也可只解出ΔX、ΔY、ΔZ，舍去εX、εY、εZ及M這四個參數(shù)（即三參數(shù)轉(zhuǎn)換），然后將大地坐標(biāo)通過高斯—克呂格投影轉(zhuǎn)換成平面坐標(biāo)，以便與電子地圖匹配。系統(tǒng)設(shè)計如圖1所示。

1.2 視頻與空間信息的集成

采用WME(Windows media encoder)SDK進(jìn)行移動終端的二次開發(fā)，將GPS信息以腳本的形式實(shí)時存儲[9]。腳本命令包括索引、腳本類型、腳本內(nèi)容。形式為（iIndex，bstrType，bstrData）。應(yīng)用程序?qū)⒁曨l信息進(jìn)行MPEG-4編碼，同時每接收到一條GPS信息，就在編碼中添加一條空間信息記錄，從而得到含有攝像機(jī)空間位置、時間、方向、姿態(tài)等信息的空間視頻源數(shù)據(jù)。

2 基于空間信息輔助的視頻分割方法

合理的視頻分割節(jié)段既應(yīng)與視頻中展現(xiàn)的高層語義特征密切相關(guān)，又與空間坐標(biāo)相關(guān)。本文從兩個層次來考慮對視頻序列進(jìn)行分割，首先基于空間位置信息將視頻序列分為視頻節(jié)段；然后在特定視頻節(jié)段上進(jìn)行對象提取和背景重建。

2.1 視頻節(jié)段的分割

視頻GIS最顯著的特征是電子地圖信息與帶有定位信息的視頻數(shù)據(jù)有機(jī)結(jié)合。視頻數(shù)據(jù)帶有空間位置信息、方向以及姿態(tài)等信息，因此可以根據(jù)這些信息將視頻幀與電子地圖上的實(shí)體（如道路、河流等）相匹配，對可定位視頻數(shù)據(jù)自動根據(jù)定位信息進(jìn)行分割，形成具有空間語義的視頻片段，構(gòu)建可定位視頻數(shù)據(jù)的組織與存儲模型，建立基于影像幀層次與視頻內(nèi)容檢索的高效索引機(jī)制。本方法采用按道路進(jìn)行的視頻自動分割，如圖2所示。

首先從地圖道路集中選取一條道路，讀取此道路的起點(diǎn)和終點(diǎn)坐標(biāo)；然后對視頻中的定位信息進(jìn)行搜索。由于視頻中的定位信息和道路的起點(diǎn)或終點(diǎn)的坐標(biāo)可能不完全一致，可事先取一個差值作為閾值，根據(jù)閾值找出道路起點(diǎn)或終點(diǎn)最匹配的視頻幀，再根據(jù)起點(diǎn)與終點(diǎn)視頻幀所在的時間戳進(jìn)行視頻分割。

從地圖道路專題集中選取某一條道路，可以通過交互式界面由用戶指定，也可以通過GPS航跡與地圖上的矢量化路段對象進(jìn)行自動匹配[10]。以GPS航跡曲線作為待匹配樣本，以該軌跡曲線附近的所有道路曲線作為狀態(tài)模板，通過待匹配樣本與模板間的匹配，選擇形狀相似度最高的模板作為匹配結(jié)果，相似性度量函數(shù)可采用簡單的加權(quán)二維歐氏距離。第i條待識別路段的相似性度量函數(shù)λ如下：

λi=piNk=0Δik(0≤i≤c-1)(2)

其中：Δik=(xik-xTik)2+(yik-yTik)2；Δ指平面二維歐氏距離；p是加權(quán)系數(shù)。很明顯，λ越小，路段的相似性越高。

這里只是為了進(jìn)行視頻分割，所以并不需要將視頻中的所有GPS航跡點(diǎn)都投影到道路上，處理的關(guān)鍵是道路轉(zhuǎn)換處的GPS定位點(diǎn)。

2.2 視頻節(jié)段表示

XML是一種半結(jié)構(gòu)化的可擴(kuò)展標(biāo)記語言，有著豐富的內(nèi)容和關(guān)系、語法和語義的表現(xiàn)特性，因此采用基于XML的語言描述半結(jié)構(gòu)化信息是目前普遍認(rèn)可的方案[11]。視頻的分段結(jié)果可以用XML文檔表示，該文檔不僅包含了視頻的源和幀速率，還包含視頻中每一幀的地理坐標(biāo)。通過XML文檔，可以把所有文件組織成一個大型的樹型結(jié)構(gòu)，從而方便數(shù)據(jù)的管理與操作。

構(gòu)建的元數(shù)據(jù)結(jié)構(gòu)內(nèi)容可分為兩部分：a）視頻頭部分（DescriptionMetadata部分），它包含了視頻的基本信息，如日期、時間和創(chuàng)建者等；b)ContentDescription/VideoSegment部分，是每一幀的數(shù)據(jù)，包含抽象對象的信息，如3D地理坐標(biāo)、鏈接的圖像區(qū)域、十字路口的信息、相關(guān)的URL等。一段視頻的MPEG-7元數(shù)據(jù)的部分示例如下：

〈?xml version=\"1.0\" encoding=\"UTF-8\"?〉

〈Video src=\"testv.wmv\" fps=\"25\"〉

〈DescriptionMetadata〉

〈MediaName〉test.wmv〈/MediaName〉

〈PrivateIdentifier〉VideoGISDescriptionExample 〈/PrivateIdentifier 〉

〈Creator/〉

〈CreationTime/〉

〈LensParameters〉0.963403，2.401160，4.454484〈/LensPara-meters〉

〈/DescriptionMetadata〉

〈ContentDescription〉

〈VideoSegment〉

〈MediaTimePoint〉0〈/MediaTimePoint〉

〈Where〉131.1254，34.1254〈/Where〉

〈Object〉

〈Region〉125，254，254，12，124，123，25，125〈/Region〉

〈URL〉http://www.example.net〈/URL〉

〈/Object〉

〈Keyword〉over 10 story building 〈/Keyword〉

〈/VideoSegment〉

〈/ContentDescription〉

〈/Video>

3 實(shí)驗(yàn)平臺

本系統(tǒng)使用ESRI公司的ArcGIS Engine作為GIS開發(fā)工具。ArcGIS Engine是一組嵌入式GIS組件庫和工具庫，可用來創(chuàng)建新的或擴(kuò)展已有的桌面應(yīng)用程序，能夠很方便地將GIS功能嵌入到已有的應(yīng)用系統(tǒng)中，也有利于定制實(shí)用的用戶界面。選取某條道路，即可從后臺XML文件中查詢調(diào)用出相關(guān)視頻。圖3為應(yīng)用系統(tǒng)的一個運(yùn)行界面。

4 結(jié)束語

視頻分割是視頻瀏覽和檢索中至關(guān)重要的一步。本文從GIS角度借助于空間信息對視頻分割方法進(jìn)行了探索，生成具有空間語義的視頻片段，為構(gòu)建可定位視頻數(shù)據(jù)的組織與存儲模型，建立基于影像幀層次與視頻內(nèi)容檢索的高效索引機(jī)制奠定了基礎(chǔ)。這樣一來，用戶就可以方便地查詢某路段沿線的視頻信息。GIS的功能結(jié)合，為智能交通管理、視頻導(dǎo)航等提供良好支持。然而，視頻分割仍然存在很多亟待解決的難題，如低層特征與高層語義之間總是存在著巨大的“語義鴻溝”[12]，如何將視頻低層信息和高層語義，特別是地理信息語義更有效地結(jié)合起來實(shí)現(xiàn)視頻分割仍有待進(jìn)一步研究；還不能有效實(shí)現(xiàn)視頻與地理信息之間的雙向交互[13]?，F(xiàn)有的系統(tǒng)只停留在從地理信息到視頻的交互，而不能通過視頻剪輯中的對象自動獲取地理對象的屬性。

MPEG-7和MPEG-21標(biāo)準(zhǔn)的提出[14]，克服了現(xiàn)有的視頻檢索系統(tǒng)只描述單一的媒體底層特征的不足，為多媒體信息的多層和多種語義特征的描述提供了接口[15]?；谛聵?biāo)準(zhǔn)結(jié)合空間語義信息特征的視頻分割算法將是未來的研究重點(diǎn)。

參考文獻(xiàn)：

［1］

季白楊，陳純，錢英.視頻分割技術(shù)的發(fā)展[J].計算機(jī)研究與發(fā)展，2001，38(1):36-42.

[2]LI Hong-liang，NGAN K N.Automatic video segmentation and tracking for content-based applications[J].IEEE Communications Magazine，2007，45(1):27-33.

[3]KOPRINSKA I，CARRATO S.Temporal video segmentation:a survey[J].Signal Processing:Image Communication，2001，16(5):477-500.

[4]HANJALIC A.Shot-boundary detection:unraveled and resolved[J].IEEE Trans on Circuits and Systems for Video Technology，2002，12(2):90-105.

［5］NAVARRETE T，BLAT J.VideoGIS:segmenting and indexing video based on geographic information[C]//Proc of the 5th AGILE Confe-rence on Geographic Information Science.2002.

[6]唐冰，周美玉.基于視頻圖像的既有線路地理信息系統(tǒng)[J].鐵路計算機(jī)應(yīng)用，2001，10(11):31-33.

[7]孔云峰.一個公路視頻GIS的設(shè)計與實(shí)現(xiàn)[J].公路，2007(1):118-121.

[8]張小平，王保保，范克利.GPS與數(shù)字地圖的匹配研究[J].計算機(jī)仿真，2005，22(6):148-151.

[9]豐江帆，張宏，沙月進(jìn).GPS車載移動視頻監(jiān)控系統(tǒng)的設(shè)計[J].測繪通報，2007(2):52-57.

[10]蘇潔，周東方，岳春生.GPS車輛導(dǎo)航中的實(shí)時地圖匹配算法[J].測繪學(xué)報，2001，30(3):252-256.

[11]顧進(jìn)廣，陳莘萌.基于語義的XML信息集成技術(shù)[M].武漢:武漢大學(xué)出版社，2007:3.

[12]SEBE N，LEW M S，ZHOU Xiang，et al.The state of the art in image and video retrieval[C]//Proc of International Conference on Image and Video Retrieval.Berlin:Springer，2003:7-12.

[13]KIM K H，KIM S S，LEE S H，et al.The interactive geographic video[C]//Proc of IEEE International Conference on Geoscience and Remote Sensing.2003:59-61.

[14]MPEG-7 overview[EB/OL]. (2004-10)[2007-12-21].http://www.chiariglione.org/mpeg/standards/mpeg-7/mpeg-7.htm.

[15]TSENG B L，LIN C Y，SMITH J R.Using MPEG-7 and MPEG-21 for personalizing video[J].IEEE Multimedia，2004，11(1):42-52.