賈振堂
(上海電力學(xué)院 計算機與信息工程學(xué)院,上海 200090)
立體視頻是由左右兩個視頻序列組成的雙目視頻序列。由于視差的存在,人眼在觀察立體視頻序列時會產(chǎn)生立體視覺效果,具有深度層次感和更強的身臨其境感。立體視頻技術(shù)可被廣泛應(yīng)用于數(shù)字電視、遠程教育、遠程工業(yè)控制、三維視頻會議系統(tǒng)、虛擬現(xiàn)實系統(tǒng)、遠程購物、自動導(dǎo)航等諸多方面。
立體視頻逐漸成為視頻技術(shù)的發(fā)展方向。其中,立體視頻壓縮是立體視頻應(yīng)用的關(guān)鍵技術(shù)。在壓縮過程中,往往特別強調(diào)左右圖像之間的相關(guān)性,認(rèn)為可以帶來更高的壓縮率。筆者將通過試驗來比較內(nèi)參考和交叉參考的有效性,從而為立體視頻壓縮算法的設(shè)計提供借鑒。
立體視頻序列是由兩個攝像機從不同角度對同一景物拍攝,形成左右兩個視頻序列,同時左右序列具有時間約束關(guān)系,即同一個幀號的左圖像Ln和右圖像Rn應(yīng)是同一時刻拍攝的,這由左右攝像機的同步機制來保證(見圖 1)。
立體視頻序列中的任何一個序列都可采用標(biāo)準(zhǔn)的視頻壓縮技術(shù)(如MPEG,H.264等)。而左右序列之間存在較強的相關(guān)性,應(yīng)充分考慮左右圖像之間的關(guān)系帶來的壓縮可能[1]。然而在立體視頻壓縮過程中,雖然有較多的因素需要考慮,比如左右圖像視覺互補[2]等,但是運動搜索和運動補償依然是最為有效的環(huán)節(jié)。
考慮參考幀時,不但序列內(nèi)的以前重建幀可以作為參考幀,左右序列之間也可以作為參考幀。通常對其中一個序列采用標(biāo)準(zhǔn)單目視頻壓縮方法,參考圖像僅限于本序列內(nèi)部,這里稱為序列內(nèi)參考(簡稱內(nèi)參考);而另一個序列考慮兩種參考圖像方式,即內(nèi)參考與交叉參考,交叉參考是參考另外一個視頻序列中的重建圖像。文獻[3]采用視差補償(即交叉參考)的方法,同時考慮視覺抑制原理,但是并沒有對序列內(nèi)參考與交叉參考作具體的比較。
將左序列采用序列內(nèi)參考方式,當(dāng)編碼右圖像的某個幀時,比如Rn+1,則可以選擇已經(jīng)重建的Ln,Rn或者Ln+1作為參考幀。這里暫不考慮同序列內(nèi)的多參考幀情況,僅比較 Ln+1和 Rn。
試驗中,為了比較參考圖像的有效性,拋開視頻壓縮編碼的其他環(huán)節(jié),僅考察運動搜索的效果,并采用全搜索(full-search)求運動補償?shù)恼`差。運動搜索以宏塊MB為單元,一幀的全部宏塊運動補償以后的平均誤差為
其中,sadi是第 i個宏塊的誤差。 Δx,Δy為 sadi取最小值時的運動矢量。能夠說明運動補償?shù)男Ч叫≌f明殘差越小,壓縮效果就越好。
交叉參考時,由于視差的存在,左右圖像之間在水平方向上存在固定的偏移Δx0,因此運動搜索時考慮這個偏移。另外,由于左右圖像之間固有的水平偏移,在圖像的左邊緣和右邊緣肯定會存在失配的情況,為了具有較強的可比性,左右圖像之間交叉搜索時不把邊緣部分計算在內(nèi)。在實際的壓縮算法中,考慮全景圖在一定程度上可以彌補邊緣失配帶來的誤差,因此這里不計算失配的部分也是合理的。測試結(jié)果如圖2和圖3所示。
在立體序列1中,背景固定。前面有女士在轉(zhuǎn)椅上左右轉(zhuǎn)動,后面還有人進出。這是常見的視頻場景。測試結(jié)果中,交叉參考帶來的殘差明顯大于序列內(nèi)參考的情況,約為2倍左右。
在立體序列2中,開始為靜止的場景,內(nèi)部參考的殘差幾乎為0,而交叉參考的殘差依然較大。小女孩走進來以后坐在沙發(fā)上左右晃動,這時情況與序列1類似。后半段視頻則存在劇烈的攝像機運動,造成場景的快速切換,出現(xiàn)了交叉參考的殘差小于內(nèi)部參考的情況。
從以上測試及其他類似測試 (限于篇幅沒有全部列出)可以看出:
1)通常情況下,內(nèi)參考可獲得較小運動搜索殘差;
2)特別是圖像靜止情況下,內(nèi)參考殘差甚至趨于0,而交叉參考沒有明顯的減小;
3)交叉參考在圖像內(nèi)容劇烈變化(比如攝像機運動、場景變換等情況下)時有可能小于內(nèi)參考。
交叉參考的誤差來源有:1)攝像機位置差異引起的圖像整體錯位;2)視角不同引起的遮擋差異。即使是靜止的畫面,這種誤差也照樣存在。并且與圖像的運動沒有關(guān)系,而僅與圖像的內(nèi)容有關(guān)?;蛘哒f僅是空間的差異,而不是時間上的差異。同時,由于兩個攝像機的拍攝角度不同,可能帶來明暗的差異。
而同序列誤差主要來源于圖像內(nèi)容在時間上的變化,與攝像機的位置無關(guān),并且這種誤差是可變的。慢速運動的差異小,當(dāng)畫面靜止時,誤差趨于0(存在少量噪聲誤差)。因此,在進行立體視頻編碼的過程中選擇內(nèi)部參考方式,通常情況下都是合適的。在I幀編碼或者存在場景切換的情況下,可以考慮交叉參考。
由試驗結(jié)果可知,通常情況下,序列內(nèi)相鄰圖像間變化不大,可以得到較好的匹配結(jié)果,而左右圖像之間存在圖像偏移和視角差別,造成匹配誤差大于內(nèi)參考的情況。僅當(dāng)圖像內(nèi)容突變時,左右圖像之間的相似性大于時間軸上的相似性,交叉參考才更有效,或者當(dāng)I幀編碼時,可以考慮交叉參考方式。
[1]陳雪松.立體圖像壓縮編碼技術(shù)的研究[D].上海:上海大學(xué),2003.
[2]HARI K,LAKIS C,LIAM M,et al.Design and evaluation of a 3D video system based on H.264 view coding [C/OL]//Proceedings of the 2006 international workshop on Network and operating systems support for digital audio and video[2009-10-01].http://portal.acm.org/citation.cfm?id=1378207.
[3]PEI S,LAI C.Very low bit-rate coding algorithm for stereo video with spatiotemporal HVS model and binary correlation disparity estimato[J].IEEE Journal on Selected Areas in Communications, 1998,16(1):98-107.