段峰峰　段思遙

摘要：立體視覺資源與二維視覺資源相比，在結(jié)構(gòu)原理、內(nèi)容表達、視覺呈現(xiàn)等方面更為復(fù)雜，以二維視覺資源的分類方式對其進行管理存在缺乏資源特點、描述不準確、處理復(fù)雜度高等問題。對立體視覺資源分類方式進行了研究，闡述了基于存儲形式、編碼格式、顯示原理、顯示分辨率、結(jié)構(gòu)格式、視差類型、內(nèi)容類型的分類方式及原理，為更好地實現(xiàn)立體視覺資源的管理、利用及研究提供思路和借鑒。

關(guān)鍵詞：立體視覺資源；分類；編目存儲；檢索

DOIDOI：10.11907/rjdk.181071

中圖分類號：TP301

文獻標識碼：A文章編號文章編號：16727800（2018）009005204

英文標題Research on the Classification of Stereo Vision Resources

--副標題

英文作者DUAN Fengfeng1，2，DUAN Siyao1，2

英文作者單位（1.School of Journalism and Communication，Hunan Normal University，Changsha 410081，China；

2.Hunan Social Public Opinion Monitoring and Network Public Opinion Research Center，Changsha 410081，China）

英文摘要Abstract：Compared with two-dimensional visual resources，stereo visual resources are more complex in structure principle，content expression，visual presentation etc.There are many problems，such as lack of resource features，inaccuracy of description，high complexity for processing when managing the stereo visual resources by the classification methods of two-dimensional visual resources.The classification methods are studied for stereo visual resources to better facilitate catalogue，management，retrieval and utilization.In the paper，classification methods and principle based on storage form，encoding format，display principle，display resolution，structure format，disparity type and content type are discussed.The purpose is to provide ideas and references for better management，utilization and related research of stereo vision resources.

英文關(guān)鍵詞Key Words：stereo vision resources； classification； catalogue； retrieval

0引言

隨著立體視覺技術(shù)不斷成熟，其產(chǎn)業(yè)迅速發(fā)展。不同于傳統(tǒng)的二維視覺資源，立體視覺資源關(guān)鍵在于存在深度信息，能夠以全新立體化方式將視覺內(nèi)容呈現(xiàn)給用戶，使用戶具有立體全真的體驗，而立體視頻技術(shù)則給用戶帶來了更加真實的體驗效果。立體視覺技術(shù)及資源在影視娛樂、科技、教育、醫(yī)療、工業(yè)等諸多領(lǐng)域都具有廣泛應(yīng)用，隨著相關(guān)領(lǐng)域的發(fā)展，立體視覺技術(shù)產(chǎn)業(yè)在未來社會發(fā)展中將不斷增長，產(chǎn)生更大的應(yīng)用價值。

計算機技術(shù)、數(shù)字媒體技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展促使網(wǎng)絡(luò)數(shù)字資源不斷增加，以立體視覺技術(shù)為支撐的數(shù)字立體視覺資源和內(nèi)容迅速增多，資源類型也呈多樣化，如圖像、視頻等立體視覺資源，半結(jié)構(gòu)化、非結(jié)構(gòu)化立體視覺資源，以及其它各種結(jié)構(gòu)形式的立體視覺資源等。其在管理和利用方面與二維視覺資源相比具有一定的特殊性和差異性，對其進行分類研究，能較好地支持海量立體視覺資源的有效管理，實現(xiàn)高效的編目存儲和檢索，促進立體視覺資源更好地發(fā)展和利用。

1基于存儲形式的立體視覺資源分類

1.1立體視覺文本資源

立體視覺文本資源包括立體視覺文本和立體視覺資源文本描述。立體視覺文本指文檔和文件中的立體視覺文字，是立體視覺資源的呈現(xiàn)形式之一。該類立體視覺資源可以增強文本呈現(xiàn)的藝術(shù)性和視覺的真實感，是最簡單的立體視覺資源。立體視覺資源文本描述指立體視覺資源元數(shù)據(jù)，即基于文本對立體視覺資源進行的描述和說明，目的是更好地實現(xiàn)立體視覺資源高效、精確的編目管理，更好地實現(xiàn)基于文本的立體視覺資源獲取。

1.2立體視覺圖像資源

立體視覺圖像資源是基于立體視覺原理和技術(shù)的圖像數(shù)據(jù)。立體視覺是雙眼觀察景物能分辨物體遠近形態(tài)的感覺，即包含有重構(gòu)場景的三維幾何信息。立體視覺圖像獲取有多種方式，目前主要是通過立體相機或攝像機實現(xiàn)。從原理上分析，立體視覺圖像獲取和實現(xiàn)方式有[1]：①利用測距器獲取范圍數(shù)據(jù)（Range data）信息或深度信息，并通過此信息建立三維場景；②根據(jù)近大遠小原理，利用一幅圖像所提供的深度信息建立三維場景和立體描述；③利用不同視點拍攝的圖像進行三維場景構(gòu)建，即通過兩幅或兩幅以上圖像信息重構(gòu)三維場景。

1.3立體視覺視頻資源

立體視覺視頻是隨時間連續(xù)的具有語義關(guān)聯(lián)的立體視覺圖像集合，是一種連續(xù)動態(tài)的視覺表達形式，本質(zhì)上基于立體視覺圖像原理和技術(shù)。它能提供一種具有全新立體感的視頻表達形式，增強用戶的真實感體驗。與單通道二維視頻相比，立體視頻一般有兩個或兩個以上視頻通道，數(shù)據(jù)量遠遠大于單通道視頻，所以對立體視頻的高效壓縮尤為重要。目前對立體視頻的研究主要有視差估計、信息隱藏、錯誤隱藏、壓縮編碼、網(wǎng)絡(luò)傳輸、質(zhì)量評價等[2]。

1.4立體視覺3D模型資源

3D模型是通過3D建模工具制作和生成的立體視覺文件形式，如3Ds Max、Maya等生成的3D模型源文件。盡管3D模型構(gòu)建和呈現(xiàn)方式多樣，但其本質(zhì)依然是基于雙目或多目視覺原理。隨著3D技術(shù)的發(fā)展， 3D模型文件在不同的應(yīng)用領(lǐng)域以多種不同的文件格式存在[3]。

2基于編碼格式的立體視覺資源分類

2.1基于不同編碼存儲方案的立體視覺資源

雙目或多目立體視覺圖像及視頻的存儲主要有兩種方案：①直接對各個單視點文件進行獨立編碼存儲；②采用“單視點+深度”方式進行編碼存儲。單視點獨立編碼存儲是針對雙目或多目立體視覺圖像或視頻，對每個視點獨立進行編碼存儲，其本質(zhì)是基于二維圖像或視頻的方法和技術(shù)，對每個視點文件進行獨立處理。該方式主要通過單通道內(nèi)冗余信息的處理和壓縮實現(xiàn)立體視覺圖像或視頻的優(yōu)化及編碼存儲[4]。對于單視點深度編碼存儲，每個單視點并不是獨立存在，而是具有一定關(guān)聯(lián)關(guān)系，其在內(nèi)容獲取時通過同步設(shè)備對同一場景進行捕捉，因而在編碼存儲時可根據(jù)視點間的關(guān)系和依賴性進行處理，即采用“單視點+深度”的方式。單視點一般選取左視點，而深度則是通過視點間的匹配形成視差，進而計算出深度信息而獲取[5]。通過“單視點+深度”的形式可以大大減少立體視覺圖像或視頻的數(shù)據(jù)量，不僅可實現(xiàn)單通道內(nèi)冗余信息的壓縮，而且可根據(jù)關(guān)聯(lián)關(guān)系實現(xiàn)通道間的冗余信息壓縮，在顯示時通過視點間的信息實現(xiàn)再現(xiàn)。

2.2基于不同編碼類別的立體視覺資源

主要是基于有損壓縮和無損壓縮形式存在的立體視覺資源。有損壓縮利用人類對立體視覺圖像或視頻中的某些頻率成分不敏感特性，允許壓縮過程中損失一定的信息。雖然不能完全恢復(fù)原始數(shù)據(jù)，但所損失的部分對理解原始圖像影響較小，由此換來較大的壓縮比。無損壓縮是利用數(shù)據(jù)的統(tǒng)計冗余進行壓縮，可完全恢復(fù)原始數(shù)據(jù)而不引起任何失真，但壓縮率通常受到數(shù)據(jù)統(tǒng)計冗余度的限制。該方法常用于立體視覺文本數(shù)據(jù)和特殊應(yīng)用場合的圖像數(shù)據(jù)（如指紋圖像、醫(yī)學(xué)圖像等）壓縮，用于視頻資源壓縮較少。

2.3基于不同編碼算法的立體視覺資源

基于存儲和呈現(xiàn)形式的立體視覺資源類型很多，各種類型所采取的編碼算法也不盡相同，根據(jù)不同的存儲和傳輸需要，編碼算法也可能不同。立體視覺資源往往數(shù)據(jù)量較大，在傳輸中尤其需要高效的編碼算法?；诖耍恍﹥?yōu)秀算法在立體視覺資源編碼存儲中具有重要應(yīng)用，如JPEG、PCM、MPEG、H.264等。

2.4基于不同文件格式的立體視覺資源

以立體視覺形式存在的內(nèi)容資源，最終表示的格式多種多樣，根據(jù)文件編碼和存儲形式所形成的文件格式也有多種類型，這些類型的文件格式分別以不同的擴展名存在，如.jpg、.avi，以及3D模型文件格式.stl、.3ds、.obj等。

3基于顯示原理的立體視覺資源分類

3.1雙目立體視覺資源

雙目立體視覺資源主要包括雙目立體視覺圖像資源和雙目立體視頻資源。雙目立體視覺是機器視覺領(lǐng)域的重要技術(shù)之一，它基于視差原理并利用成像設(shè)備，從不同位置或角度獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差獲取物體三維幾何信息。成像時根據(jù)不同視角的雙目圖像，基于視差原理恢復(fù)為物體及場景的立體信息，重建物體三維輪廓及位置，與平面視覺圖像的最大區(qū)別在于其擁有深度信息[6]。雙目立體視頻是對同一物體或場景進行拍攝所獲取的兩路合成或兩路分離的視頻形式，并基于雙目立體視覺圖像原理進行顯示，達到立體呈現(xiàn)畫面的效果。

3.2多目立體視覺資源

多目立體視覺資源包括多目立體視覺圖像資源和多目立體視頻資源。多目立體視覺圖像和視頻是基于雙目立體視覺原理，用多臺相機或攝像機從多個不同角度對同一物體或場景進行圖像獲取，并基于一定結(jié)構(gòu)形式進行顯示，從而產(chǎn)生立體視覺效果的方式。多目立體視覺是雙目立體視覺的拓展和延伸，具有更為真實、全方位的立體呈現(xiàn)效果。通常所見的多目立體視覺有8目立體視覺、16目立體視覺、32目立體視覺等。多目立體視頻往往比雙目立體視頻更為復(fù)雜，需要解決獲取和顯示的同步性問題。

3.3體顯示立體視覺資源

體三維顯示是在一個具有寬度、高度和深度的真實三維空間內(nèi)進行圖像信息再現(xiàn)的技術(shù)，也稱空間加載顯示（Space-Filling Display）。它以體素作為圖像信息顯示的基本要素，因具有真實體積和深度，故也稱為“真三維顯示技術(shù)”。體三維顯示通過適當方式激勵位于透明顯示體積內(nèi)的物質(zhì)，利用可見輻射的產(chǎn)生、吸收或散射而形成體素。當體積內(nèi)許多方位的物質(zhì)都被激勵后，便形成由許多分散體素構(gòu)成的三維圖像，浮在真實三維空間即觀察者所在的物質(zhì)世界中。就像一個現(xiàn)實三維物體一樣，能自動滿足幾乎所有生理和心理深度暗示，可多人多角度同時裸視觀察，完全符合“真三維交互、自由裸視”要求，是一種支持人機交互的理想三維顯示方式。體三維顯示包括基于切片式投影的體顯示和基于掃描旋轉(zhuǎn)螺旋面的體顯示[7]。

3.4全息立體視覺資源

全息立體成像是基于幻影成像方式，將物體的全息影像投射到透明介質(zhì)上，利用干涉原理和光束疊加產(chǎn)生3D立體觀感。全息成像是先利用干涉原理記錄物體光波信息，實現(xiàn)影像拍攝；然后利用衍射原理再現(xiàn)物體光波信息，達到成像效果[8]。

3.5三維全景立體視覺資源

三維全景是基于全景圖像的真實場景虛擬現(xiàn)實技術(shù)，通常是把相機環(huán)360°拍攝一組或多組照片拼接成一個全景圖像，經(jīng)過一系列數(shù)學(xué)計算得到其球形全景的矩形投影圖或立方體圖，然后通過計算機技術(shù)實現(xiàn)全方位互動式觀看。三維全景技術(shù)主要包括全景圖生成技術(shù)和后期制作合成技術(shù)。全景圖生成技術(shù)包括全景圖像采集技術(shù)、圖像預(yù)處理技術(shù)、像素坐標及相機焦距估計技術(shù)、全景圖投影模型技術(shù)等[9]。后期制作合成技術(shù)是針對前期拍攝的全景素材，基于全景拼合技術(shù)并使用全景拼合軟件進行圖像拼合處理，從而實現(xiàn)大視角的全景展示以及立體化場景體驗[10]。三維全景有360°全景和720°全景兩種形式。360°全景展示能體驗到水平方向的全方位展示效果，而720°全景展示既能體驗到水平方向，也能體驗到垂直方向的全方位立體效果，是完全的場景展示。

3.63D動畫立體視覺資源

三維動畫通?；谥谱鬈浖ㄈ?Ds MAX、Maya等）在計算機中首先建立一個虛擬世界，按照要表現(xiàn)對象的形狀尺寸建立模型及場景，設(shè)定模型的運動軌跡、虛擬攝影機的運動和其它動畫參數(shù)，然后按要求為模型賦上特定材質(zhì)并打上燈光，最后通過渲染生成動畫資源。它是基于時間線的3D序列模型文件的集合，將現(xiàn)實世界場景以更加真實、立體化的方式全方位呈現(xiàn)出來，給用戶全真的感官體驗。

4基于顯示分辨率的立體視覺資源分類

4.1標清立體視覺資源

標清（Standard Definition，簡稱SD）是物理分辨率在720p以下不足以達到高清標準的一種視頻格式，其分辨率在400線左右。常見的標清形式有480×320像素、640×480 像素視頻。以標清分辨率標準表示和呈現(xiàn)的立體視覺資源即為標清立體視覺資源。

4.2高清立體視覺資源

高清（High Definition，簡稱HD）最早由美國電影電視工程師協(xié)會（SMPTE）等權(quán)威機構(gòu)制定相關(guān)標準。國際上公認的高清標準是：視頻垂直分辨率超過720p（逐行掃描）或1080i（隔行掃描），視頻寬高比為16∶9。常見的高清分辨率為1 024×720p 和1 920×1 080i。以高清分辨率標準表示和呈現(xiàn)的立體視覺資源即為高清立體視覺資源[11]。

4.3全高清立體視覺資源

全高清（Full High Definition，簡稱Full HD）指垂直分辨率為1 080p的視頻形式，即分辨率為1 920×1 080p。以全高清分辨率標準表示和呈現(xiàn)的立體視覺資源即為全高清立體視覺資源。

4.4超高清立體視覺資源

超高清（Ultra High-Definition，簡稱Ultra HD）由國際電信聯(lián)盟（International Telecommunication Union）界定，將屏幕的物理分辨率達到3 840×2 160（4K×2K）及以上的顯示稱為超高清，是普通Full HD（1 920×1 080）寬高的兩倍，顯示設(shè)備總像素數(shù)量達到800萬以上。常見的超高清有“4K分辨率（3 840×2 160 像素）”和“8K分辨率（7 680×4 320像素）”兩種形式。以超高清分辨率標準表示和呈現(xiàn)的立體視覺資源即為超高清立體視覺資源。

5基于結(jié)構(gòu)格式的立體視覺資源分類

基于結(jié)構(gòu)格式的立體視覺資源主要針對立體視覺圖像和視頻，本分類方法以常見的雙目立體視頻為例闡述不同類別結(jié)構(gòu)格式的立體視覺資源形式[1213]。

5.1左右分離立體視覺資源

左右分離是指兩路獨立的視頻格式，和正常的左右合成格式基本相似，其視頻分辨率不發(fā)生變化，在編碼、存儲、傳輸?shù)认嚓P(guān)處理中可獨立操作，一般數(shù)據(jù)量較大。左右分離是目前較好的偏光立體視頻格式。

5.2左右合成立體視覺資源

包括正常左右合成格式和變形左右合成格式。正常左右合成是把左右兩路視頻合成一個視頻的偏振格式，左右視頻寬度、高度均不變，直接合成后一般是較寬的非標準格式。變形左右合成也稱為標準的左右格式，這種格式的立體視頻是一種常見的結(jié)構(gòu)形式，長寬比通常是標準形式，一般為1 080P、720P、576P、480P的標準視頻。合成時分別將寬度除以2，高度不變，通過立體視頻播放器播放和顯示。

5.3上下合成立體視覺資源

主要包括正常上下合成、變形上下合成、隔離變形上下合成等格式的立體視覺資源。正常上下格式和左右格式基本一樣，也是非標準寬高比的視頻格式，是將兩路視頻以上下方式排放，寬度、高度均不變。變形上下格式也稱為標準的上下格式，具有標準的寬高比，合成時圖像左右伸拉變形，上下視頻分辨率分別在縱向上除以2，橫向不變。隔離變形上下格式是一種間隔變形上下格式的立體視頻形式，合成時同變形上下格式幾乎相同，只是中間有一條黑色間隔，在分辨率上保持寬度不變，高度分別除以2。

5.4交錯格式立體視覺資源

包括逐行掃描交錯格式和隔行掃描交錯格式立體視覺資源。逐行掃描交錯是兩重影的交錯格式，是一種比較科學(xué)但較為復(fù)雜的偏振立體格式，運用了反交錯技術(shù)。隔行掃描交錯是垂直方向隔行掃描的條形交錯格式，以交錯場直接顯示一幅立體幀。

5.5互補色格式立體視覺資源

互補色立體視覺資源是利用不同色光混合后能得到白光的原理，將以互補色表示的對象或場景進行影像重疊而產(chǎn)生視差，從而形成立體感[14]。包括綠紅格式、紅青、紅藍格式、紅綠格式、紅藍格式、棕藍格式、黃藍格式、黑白紅青格式等立體視覺資源。

6基于視差類型的立體視覺資源分類

雙目立體視覺系統(tǒng)中，立體效果的呈現(xiàn)關(guān)鍵在于雙目視差，而視差是由雙目成像的左右視覺差異產(chǎn)生的，在顯示中以雙目圖像對方式呈現(xiàn)。視差具有垂直視差和水平視差之分，水平視差相對于垂直視差能夠達到更理想的立體視覺效果，且能較好地實現(xiàn)視覺舒適度[15]。在相關(guān)研究和成像實踐中通常針對水平視差，水平視差包括正視差、負視差、零視差[16]。

6.1正視差立體視覺資源

雙目立體視覺正視差又稱入屏，指觀察者所觀測到的左右視覺成像點在成像面后，即被觀察到的影像或?qū)ο笤谄聊缓?，遠離觀察者?；谡暡钤淼囊曈X資源（如立體視頻鏡頭、片段等）即為正視差立體視覺資源。一般常用于需要表達視野開闊、場面宏大的視頻鏡頭或片段中。

6.2負視差立體視覺資源

雙目立體視覺負視差又稱出屏，指觀察者所觀測到的左右視覺成像點在成像面前，即被觀察到的影像或?qū)ο笤谄聊磺埃拷^察者，通常會有“飛”出屏幕的感覺?；谪撘暡钤淼囊曈X資源（如立體視頻鏡頭、片段等）即為負視差立體視覺資源，常用于表達驚悚、刺激、夸張的視頻鏡頭或片段中。

6.3零視差立體視覺資源

雙目立體視覺零視差，指觀察者觀測到的左右視覺成像點在成像面上，即被觀察到的影像或?qū)ο笤谄聊簧?。在正視差和負視差情況下畫面對像呈現(xiàn)具有明顯深度，相應(yīng)的視覺顯示呈立體感。零視差則沒有深度信息，相應(yīng)的立體感也不明顯，但通常在立體視頻視覺顯示時用作正視差和負視差之間的過渡，以使視差和深度變換過程具有漸進性，緩解和減少觀察者的視覺疲勞。

7基于內(nèi)容類型的立體視覺資源分類

基于內(nèi)容類型的立體視覺資源主要根據(jù)常用的《廣播電視節(jié)目資料分類法》對其進行分類[17]，分為政治類、法律類、軍事類、經(jīng)濟類、文學(xué)藝術(shù)類、體育類、歷史地理類、科學(xué)技術(shù)類、醫(yī)藥衛(wèi)生類、社會生活與社會問題類、娛樂休閑類、文化類、教育類、哲學(xué)宗教類、城鄉(xiāng)建設(shè)與環(huán)境類等立體視覺資源，根據(jù)需要可對各類資源進行二級、三級等深層次分類。

參考文獻參考文獻：

[1]塞利斯基.計算機視覺：算法與應(yīng)用[M].艾海舟，興軍亮，譯.北京：清華大學(xué)出版社，2012.

[2]董全武，周同，郭宗明，等.立體視頻鏡頭誤差檢測和質(zhì)量分析[J].北京大學(xué)學(xué)報：自然科學(xué)版，2014，50（6）：9981006.

[3]李彥生，尚奕彤，袁艷萍，等.3D 打印技術(shù)中的數(shù)據(jù)文件格式[J].北京工業(yè)大學(xué)學(xué)報，2016，42（7）：10091016.

[4]VETRO A，WIEGAND T，SULLIVAN G J.Overview of the stereo and multiview video coding extensions of the H.264/MPEG4 AVC standard[J].Proceedings of the IEEE，2011，99（4）：626642.

[5]趙慧敏，姜秀華.基于視頻加深度格式的立體視頻技術(shù)分析[J].電視技術(shù)，2014，38（1）：25.

[6]TSINGALIS I，TEFAS A，NIKOLAIDIS N，et al.Shot type characterization in 2D and 3D video content[C].2014 IEEE 16th International Workshop on Multimedia Signal Processing （MMSP），2014：15.

[7]潘文平，沈春林，蔡亮，等.交互式動態(tài)體三維顯示關(guān)鍵技術(shù)[J].科技導(dǎo)報，2011，29（1）：4451.

[8]余文濤，張漢樂，鄧歡，等.基于全息光學(xué)元件的增強現(xiàn)實3D顯示系統(tǒng)[J].中國激光，2016，43（10）：202208.

[9]趙陽.三維全景圖像生成的若干關(guān)鍵技術(shù)研究[D].沈陽：沈陽理工大學(xué)，2015.

[10]秦曉軍，黃秋儒.面向網(wǎng)絡(luò)視頻的三維全景展示技術(shù)[J].電視技術(shù)，2014，38（19）：120122.

[11]崔建.從模擬到數(shù)字、從標清到高清——視頻記錄存儲設(shè)備的歷史回顧和發(fā)展（下）[J].現(xiàn)代電視技術(shù)，2016，（2）：8891.

[12]邱麗娜.2D+深度格式的3D視頻重建技術(shù)研究[D].武漢：華中科技大學(xué)，2013.

[13]李響.立體影片格式有多少種[EB/OL].天極網(wǎng)，http：//news.yesky.com/4/33946004.shtml，20121031.

[14]劉妍秀.3D顯示技術(shù)的原理及應(yīng)用[J].長春大學(xué)學(xué)報，2011，21（12）：5254.

[15]蔡輝躍.虛擬場景的立體顯示技術(shù)研究[D].南京：南京郵電大學(xué)，2013.

[16]段峰峰，王永濱，楊麗芳，等.一種時間一致性立體視頻深度圖序列估計算法[J].計算機應(yīng)用研究，2015（10）：31423146.

[17]全國廣播電視標準化技術(shù)委員會.GY/Z 199-2004.廣播電視節(jié)目資料分類法[S].北京：國家廣播電影電視總局，2004.

責(zé)任編輯（責(zé)任編輯：杜能鋼）