劉龍濤

摘 要： 隨著立體視頻資源數(shù)量的不斷增加，立體視頻資源的存儲(chǔ)和獲取不斷多樣化，為了便于立體視頻資源的高效管理及利用，對(duì)立體視頻的鏡頭、場(chǎng)景、關(guān)鍵幀三個(gè)方面進(jìn)行研究，建立立體視頻存儲(chǔ)入庫(kù)模型，對(duì)立體視覺(jué)資源進(jìn)行存儲(chǔ)入庫(kù)，實(shí)現(xiàn)對(duì)立體視頻資源的高效管理及利用，緩解立體視頻資源匱乏的狀態(tài)。

關(guān)鍵詞： 立體視頻資源 鏡頭 場(chǎng)景 關(guān)鍵幀

1.引言

隨著多媒體技術(shù)的快速發(fā)展，立體視頻逐漸融入人們的日常生活中，應(yīng)用領(lǐng)域不斷擴(kuò)大，已經(jīng)廣泛應(yīng)用于軍事、醫(yī)療、虛擬現(xiàn)實(shí)、教育科研等領(lǐng)域，尤其是教育領(lǐng)域的應(yīng)用不斷增加，同時(shí)產(chǎn)生大量立體視頻資源。常見(jiàn)的立體視頻以雙目立體視頻為主，通常采用雙路分離、左右合成、上下合成等格式表示，并通過(guò)紅藍(lán)或者偏光等形式顯示和觀看。隨著立體視頻資源的增多，立體視頻資源存儲(chǔ)入庫(kù)成為亟待解決的問(wèn)題。本文主要解決雙目立體視頻的存儲(chǔ)入庫(kù)。

2.立體視頻的本質(zhì)特征

立體視頻幀的本質(zhì)特征是視頻幀本身所蘊(yùn)含的特征信息，包括視頻幀的顏色特征、紋理特征、形狀特征、視差特征、深度特征，等等。

顏色特征是數(shù)字圖像領(lǐng)域中應(yīng)用最廣的特征之一，提取圖像的顏色特征分為三步：選取顏色空間、顏色區(qū)間量化、相似性計(jì)算。顏色空間是一種通過(guò)特殊規(guī)則加以說(shuō)明的顏色集合體，數(shù)字圖像上幾乎任何一種顏色都能在顏色空間找到對(duì)應(yīng)的點(diǎn)，常用的顏色空間：RGB顏色空間，HSV顏色空間，YUV顏色空間。紋理特征是一種不依賴(lài)于顏色或亮度的反映圖像中同質(zhì)現(xiàn)象的視覺(jué)特征，是物體表面特性，例如高山、小橋、石頭、衣服等都有各自的紋理特征。紋理特征包含物體表面結(jié)構(gòu)組織排列的重要信息及其與周?chē)h(huán)境的聯(lián)系。形狀特征是指一個(gè)物體的外部輪廓，與顏色特征和紋理特征相比，形狀特征在描述立體視頻內(nèi)容時(shí)更具有語(yǔ)義含義。形狀特征首先需要對(duì)圖像分割，把對(duì)象提取出來(lái)，再用各種方法進(jìn)行匹配測(cè)量。對(duì)于形狀特征的描述方法有：邊界特征法、傅里葉形狀描述法、集合參數(shù)法、最小生成樹(shù)等[1]。

與2D視頻相比，立體視頻增加了視差和深度特征。立體電影的制作就是利用了雙目視差的原理。在拍攝時(shí)，使用兩臺(tái)攝像機(jī)相距幾厘米同時(shí)進(jìn)行拍攝。放映時(shí)，把兩個(gè)影像同時(shí)放映在屏幕上，觀眾戴上立體眼鏡使左右兩眼的像落在視網(wǎng)膜上的非對(duì)應(yīng)點(diǎn)，并產(chǎn)生一定的差異，從而產(chǎn)生立體視覺(jué)。

雙目視差是指兩眼注視外界物體時(shí)，兩個(gè)視網(wǎng)膜上視像之間的差異。距離和深度知覺(jué)，主要依賴(lài)雙目視差，它是形成立體視覺(jué)的最重要的依據(jù)。人的雙眼結(jié)構(gòu)相同，雙眼間的距離大約是6.5cm，當(dāng)人們觀看三維物體時(shí)，物體投射在左右眼睛上的像并不完全落在視網(wǎng)膜上的對(duì)應(yīng)區(qū)域，左眼看物體的左邊多一些，右眼看物體的右邊多一些，三維物體在雙眼視網(wǎng)膜上的像就存在差異，稱(chēng)為雙目視[2]。深度信息反映了所拍攝物體到相機(jī)的距離，獲得深度信息的方式有兩種；第一種是通過(guò)拍攝儀器直接獲得，但通過(guò)這種方式獲得的深度信息往往分辨率低，并且需要很大的計(jì)算復(fù)雜度，對(duì)硬件設(shè)備要求很高，一般情況下難以達(dá)到實(shí)時(shí)拍攝的需求。第二種深度信息的獲取是靠幾何學(xué)知識(shí)，利用已知參數(shù)的攝像機(jī)拍攝出的雙目視頻，利用立體匹配計(jì)算出視差后，反推視頻對(duì)象的深度信息[2]。隨著立體匹配技術(shù)的不斷完善，現(xiàn)在已形成許多各具特色的匹配算法。已有算法根據(jù)匹配準(zhǔn)則的不同，大致可以分為兩大類(lèi)：一類(lèi)是局部匹配算法；另一類(lèi)是全局匹配算法。全局匹配算法與局部匹配算法相比，匹配準(zhǔn)確性較高，可以獲得較高精度的稠密視差圖，但是往往計(jì)算量大、耗時(shí)比較長(zhǎng)、不易于硬件實(shí)現(xiàn)，無(wú)法應(yīng)用于實(shí)時(shí)系統(tǒng)。總之，兩類(lèi)立體匹配算法各有優(yōu)缺點(diǎn)，適用于不同的情況和空間場(chǎng)景[3]。

3.建立立體視頻存儲(chǔ)入庫(kù)模型

視頻結(jié)構(gòu)一般分為視頻、場(chǎng)景、鏡頭、視頻幀四個(gè)層次[4]。本文主要對(duì)立體視頻資源的鏡頭、場(chǎng)景、關(guān)鍵幀三個(gè)方面進(jìn)行研究，建立立體視頻資源存儲(chǔ)入庫(kù)模型。

3.1立體視頻鏡頭分解存儲(chǔ)入庫(kù)

鏡頭是由時(shí)間上連續(xù)的幀構(gòu)成，同一個(gè)鏡頭內(nèi)的內(nèi)容具有一致性。通過(guò)判斷連續(xù)幀之間的差異確定鏡頭的邊界。根據(jù)鏡頭邊界的不同，可分鏡頭的突變和鏡頭的漸變。鏡頭突變是指一個(gè)鏡頭內(nèi)容的變化發(fā)生在單個(gè)視頻幀上。鏡頭漸變是指相鄰的兩個(gè)鏡頭的變換是逐漸完成的，在鏡頭切換的時(shí)候加入編輯特效，達(dá)到視覺(jué)上平滑過(guò)渡的效果。根據(jù)編輯特效的不同，鏡頭的漸變可以分為淡入（fade in）、淡出（fade out ）、溶解（dissolve）、擦拭（wipe）等不同類(lèi)型。淡入是指畫(huà)面亮度不斷增強(qiáng)；淡出是指畫(huà)面亮度慢慢變暗最終消失；溶解是指鏡頭的幀逐漸變淡退出；擦拭是指后一個(gè)鏡頭的畫(huà)面慢慢代替前面的一個(gè)鏡頭的畫(huà)面。

目前立體視頻鏡頭分割算法大多是基于2D視頻的，立體視頻鏡頭分割算法還不成熟，2D視頻的鏡頭邊界檢測(cè)算法主要分為兩大類(lèi)：基于像素域的方法和基于壓縮域的方法。像素域中鏡頭邊界檢測(cè)方法主要利用時(shí)空域中的顏色、紋理、形狀等特征進(jìn)行檢測(cè)。像素域中的算法主要有像素比較法，基于直方圖的方法，塊匹配法，基于邊緣的方法。由于現(xiàn)在大多數(shù)視頻序列以壓縮格式存儲(chǔ)，對(duì)這些壓縮形式的視頻流直接進(jìn)行邊界檢測(cè)，節(jié)省大量解壓縮時(shí)間。目前壓縮域中的主要有基于DCT系數(shù)的方法，基于小波變化的方法，時(shí)空分析法。

雖然2D視頻的鏡頭分割算法能完成立體視頻資源存儲(chǔ)入庫(kù)的預(yù)處理工作，但是運(yùn)用2D視頻鏡頭分割算法處理雙目立體視頻時(shí)，檢測(cè)結(jié)果往往存在一定誤差，并且不能很好地檢測(cè)鏡頭漸變的完整邊界變化，在2D視頻的鏡頭分割算法的基礎(chǔ)上，提取立體視頻的深度特征，進(jìn)行鏡頭邊界檢測(cè)，從而提高鏡頭邊界的檢測(cè)精度，實(shí)現(xiàn)對(duì)立體視頻的鏡頭準(zhǔn)的確分割?；诹Ⅲw視頻鏡頭分割算法，對(duì)立體視頻資源存儲(chǔ)入庫(kù)。

3.2立體視頻場(chǎng)景分解存儲(chǔ)入庫(kù)

場(chǎng)景是由連續(xù)鏡頭組成的視頻片段，是表達(dá)一個(gè)完整情節(jié)的邏輯故事單元。

立體視頻場(chǎng)景分割，以鏡頭作為研究對(duì)象，根據(jù)鏡頭的內(nèi)容相關(guān)性和時(shí)間上的鄰近性把相似的鏡頭劃分到同一場(chǎng)景中，這樣一段視頻被分割成若干個(gè)有意義的邏輯故事單元。

目前立體視頻場(chǎng)景分割算法大多是基于2D視頻的，立體視頻場(chǎng)景分割算法還不成熟。大體上通過(guò)提取鏡頭的視覺(jué)特征，把內(nèi)容相關(guān)時(shí)間相近的鏡頭聚類(lèi)成一個(gè)場(chǎng)景，或者綜合視覺(jué)信息和聽(tīng)覺(jué)信息劃分場(chǎng)景[5]。

與傳統(tǒng)的2D視頻場(chǎng)景分割不同，立體視頻利用立體視頻鏡頭分割算法的結(jié)果，結(jié)合立體視頻顏色特征、紋理等本質(zhì)特征，通過(guò)鏡頭聚類(lèi)，檢測(cè)場(chǎng)景邊界，利用立體視頻的深度特征，實(shí)現(xiàn)對(duì)場(chǎng)景的準(zhǔn)確分割，基于立體視頻場(chǎng)景分割算法，對(duì)立體視頻資源存儲(chǔ)入庫(kù)。

3.3立體視頻關(guān)鍵幀分解存儲(chǔ)入庫(kù)

幀是立體視頻的基本組成單位，立體視頻的每一幀都可以看成空間上獨(dú)立、時(shí)間上相關(guān)的靜止圖像?？臻g上獨(dú)立體現(xiàn)在立體視頻的每一幀都可以進(jìn)行分析處理，時(shí)間上相關(guān)體現(xiàn)在時(shí)間軸上相鄰的幀一般會(huì)有內(nèi)容上的相似性。

由于立體視頻中，幀的數(shù)量巨大，可以用關(guān)鍵幀描述鏡頭和場(chǎng)景。這樣既充分描述了視頻內(nèi)容，又減少了冗余信息。關(guān)鍵幀就是能描述立體視頻內(nèi)容主要的幀。根據(jù)立體視頻結(jié)構(gòu)的復(fù)雜程度，關(guān)鍵幀可以由一幀或者多個(gè)幀組成。

目前立體視頻關(guān)鍵幀提取算法主要是：基于鏡頭邊界提取關(guān)鍵幀，基于運(yùn)動(dòng)分析提取關(guān)鍵幀，基于圖像信息提取關(guān)鍵幀，基于鏡頭活動(dòng)性提取關(guān)鍵幀，基于聚類(lèi)的方法提起關(guān)鍵幀。

Zhang，Wu[6]等人依據(jù)幀間的顯著變化來(lái)為2D視頻選擇多個(gè)關(guān)鍵幀，首先把鏡頭的第一幀作為關(guān)鍵幀，然后計(jì)算前一個(gè)關(guān)鍵幀與剩余幀之差，如果差值大于某一閾值，則再選取一個(gè)關(guān)鍵幀。與2D視頻不同，立體視頻依據(jù)幀間的顯著變化，再加上立體視頻的深度信息構(gòu)建相鄰幀差，實(shí)現(xiàn)對(duì)關(guān)鍵幀的準(zhǔn)確提取，基于立體視頻關(guān)鍵幀提取算法，對(duì)立體視頻資源存儲(chǔ)入庫(kù)。

4.結(jié)語(yǔ)

在2D視頻的鏡頭分割算法上基礎(chǔ)上，增加立體視頻的深度特征，得出立體視頻鏡頭分割算法，進(jìn)而研究出立體視頻場(chǎng)景分割算法和關(guān)鍵幀提取算法，從鏡頭、場(chǎng)景、關(guān)鍵幀三個(gè)方面實(shí)現(xiàn)對(duì)立體視頻資源高效的管理及利用。對(duì)立體視頻資源存儲(chǔ)入庫(kù)的同時(shí)，增加了立體視頻素材，緩解了立體視頻資源匱乏的現(xiàn)狀。

參考文獻(xiàn)：

[1]印勇，侯海珍.基于直方圖幀差的自適應(yīng)鏡頭分割算法[J].計(jì)算機(jī)工程與應(yīng)用，2010，09：186-189.

[2]王波.雙目視差的立體視覺(jué)及其在技術(shù)課程教育中的應(yīng)用[D].浙江工業(yè)大學(xué)，2012.

[3]楊志榮.雙目視覺(jué)立體匹配方法和遮擋問(wèn)題研究[D].燕山大學(xué)，2010.

[4]Yong Rui，Huang，T.S，Mehrotra， S， “Exploring video structure beyond the shots，”in Multimedia Computing and Systems，1998. Proceedings. IEEE International Conference on，vol，no， pp.237-240，28 Jun-1 Jul 1998.

[5]王旭軍.視頻場(chǎng)景分割方法研究[D].重慶大學(xué)，2010.

[6]Zhang Z，Wu J， Zhong D，et al. An Integrated System for Content based Video Retrieval and Browsing [J].Pattern Recognition，1997，30（4）：643.

國(guó)家科技支撐計(jì)劃資助項(xiàng)目（2012BAH37F02）。