王 斌
(天津贏大科技有限公司,天津 300384)
科學(xué)技術(shù)飛速發(fā)展背景下,3D行業(yè)迅速興起,3D電視和3D電影的出現(xiàn)則將3D視頻帶入了普通百姓的生活。從目前來(lái)看,無(wú)論是3D電視還是3D電影,都是以雙目立體顯示技術(shù)為基礎(chǔ),在觀看時(shí)能夠感受到明顯的立體效果,但是需要佩戴專用的3D眼鏡,可能會(huì)使人產(chǎn)生不適感,而其本身采用的幀兼容立體顯示格式更是會(huì)在一定程度上降低左右兩路視頻的水平分解力,基于此,需要更進(jìn)一步推進(jìn)3D視頻技術(shù)的發(fā)展。
HEVC(High Ef fi ciency Video Coding)是一種比較新穎的視頻壓縮標(biāo)準(zhǔn),于2013年1月26號(hào)正式成為國(guó)際標(biāo)準(zhǔn),取代了原本的H.264/AVC編碼標(biāo)準(zhǔn),能夠促進(jìn)視頻畫面質(zhì)量的提高,有效節(jié)約網(wǎng)絡(luò)帶寬,為消費(fèi)者提供更高質(zhì)量的高清電視、4K視頻和3D藍(lán)光視頻。
HEVC被普遍認(rèn)為是即將流行的協(xié)議標(biāo)準(zhǔn),因?yàn)閺哪壳皝?lái)看,無(wú)論是任務(wù)流媒體播放器,都需要一個(gè)全新的編碼器作為支撐,確保其能夠?qū)?K內(nèi)容進(jìn)行播放,HEVC的應(yīng)用,能夠?qū)⒁曨l壓縮效率提高一倍以上,從而使得視頻帶寬成本大大減少,手機(jī)用戶在線觀看視頻的流量耗費(fèi)更少,下載速度更快,而且畫質(zhì)基本不會(huì)受到影響[1]。
基于 HEVC的3D視頻編解碼系統(tǒng)架構(gòu)如圖1所示。
圖1 基于 HEVC的3D視頻編解碼系統(tǒng)架構(gòu)
在將視頻序列、攝像機(jī)參數(shù)和深度圖送入到3D視頻編碼器之后,經(jīng)編碼可以得到比特流,在這個(gè)過(guò)程中,深度序列可以不參與編碼。如果比特流被解碼器解碼,可以得到相應(yīng)的視頻序列和攝像機(jī)參數(shù),如果深度圖同樣參與編碼,則在解碼后,利用技術(shù)深度圖繪制技術(shù)生成的N個(gè)視點(diǎn)序列,能夠提供自由立體顯示,利用生成的兩個(gè)左右視點(diǎn)則可以提供雙目立體顯示。若比特流在經(jīng)過(guò)抽取后送入到雙目立體視頻解碼器中,可以得到雙視點(diǎn)視頻序列,利用圖像域變形技術(shù)得到中間視點(diǎn)后,同樣可以提供自由立體顯示和雙目立體顯示等功能[2]。
在針對(duì)依賴視點(diǎn)進(jìn)行編碼時(shí),可以采用MVC中的時(shí)差補(bǔ)償預(yù)測(cè),因?yàn)槠浔旧聿⒉粫?huì)對(duì)宏塊層語(yǔ)法及解碼過(guò)程進(jìn)行改變,因此可以在一定程度上提升編碼效率。在實(shí)際操作中,需要關(guān)注三個(gè)方面的問(wèn)題,一是視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè),對(duì)于視點(diǎn)正編碼視頻塊,可以通過(guò)對(duì)應(yīng)深度塊,換算得到相應(yīng)的視差,找出其在參考視點(diǎn)視頻幀中對(duì)應(yīng)的已編碼塊,通過(guò)參考視點(diǎn)對(duì)應(yīng)塊的運(yùn)動(dòng)參數(shù),可以對(duì)正編碼塊的運(yùn)動(dòng)參數(shù)進(jìn)行合理預(yù)測(cè)。不過(guò),考慮編碼環(huán)節(jié)需要先完成視頻幀編碼后才能進(jìn)行深度圖編碼,無(wú)論是否需要對(duì)深度圖進(jìn)行編碼,依賴視點(diǎn)視頻幀編碼時(shí)其所對(duì)應(yīng)的深度圖都尚未完成編碼工作,因此,在實(shí)施視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè)之前,應(yīng)該做好深度圖估計(jì);二是視點(diǎn)間殘差預(yù)測(cè),同一時(shí)間不同視點(diǎn)對(duì)應(yīng)的視頻塊運(yùn)動(dòng)參數(shù)存在融入,則殘差同樣會(huì)存在冗余。與視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè)相似,視點(diǎn)間殘差預(yù)測(cè)同樣需要通過(guò)深度圖估計(jì)來(lái)對(duì)視差進(jìn)行確定,之后則只需要對(duì)參考視點(diǎn)對(duì)應(yīng)殘差塊與當(dāng)前視點(diǎn)對(duì)應(yīng)殘差快的差值進(jìn)行變換和編碼即可。
一是建模模式,針對(duì)深度圖的特性,在編碼中存在四種不同的建模模式,分別是Explicit Wedgelet、Intra-predicted Wedgelet、Inter-component Wedgelet以及Inter-component Contour,可以根據(jù)實(shí)際情況作出選擇??紤]視頻與深度圖間的物體形狀存在很大相關(guān)性,樣點(diǎn)值相關(guān)性較小,在深度圖塊劃分時(shí),可以通過(guò)對(duì)應(yīng)視頻亮度信息進(jìn)行預(yù)測(cè),其被稱為對(duì)象間預(yù)測(cè);二是編碼模式,主要指區(qū)域邊界循環(huán)編碼模式,需要首先找出內(nèi)邊界,利用循環(huán)碼到達(dá)編碼邊界后,將其轉(zhuǎn)化為比特流,然后計(jì)算區(qū)域劃分預(yù)測(cè)值,填入到塊中;三是運(yùn)動(dòng)矢量繼承,對(duì)于視點(diǎn)相同的視頻和深度圖而言,在同一時(shí)間同一角度,對(duì)于同一場(chǎng)景的投影存在相同運(yùn)動(dòng)特性,基于此,在深度圖編碼環(huán)節(jié),可以直接對(duì)已編碼對(duì)應(yīng)視頻幀的運(yùn)動(dòng)參數(shù)進(jìn)行繼承。如果繼承的是運(yùn)動(dòng)矢量,無(wú)論是預(yù)測(cè)單元還是深度圖編碼單元,都可以從對(duì)應(yīng)視頻幀的對(duì)應(yīng)塊中實(shí)現(xiàn)繼承[3]。
總而言之,在不斷的發(fā)展過(guò)程中,HEVC標(biāo)準(zhǔn)受到了越來(lái)越多的關(guān)注,基于HEVC的3D視頻編解碼框架也已經(jīng)基本確定,并且取得了一定的成果,不過(guò)從整體上看,許多技術(shù)依然需要進(jìn)行改進(jìn)和創(chuàng)新,才能更好地適應(yīng)時(shí)代發(fā)展要求,推動(dòng)3D視頻技術(shù)的持續(xù)健康發(fā)展。