中國科學院深圳先進技術研究院高性能技術研究中心張云研究團隊在 3D 虛擬視點視頻質量評價研究取得進展。相應成果為“Zhang Y, Zhang H, Yu M, et al. Sparse representation based video quality assessment for synthesized 3D videos [J]. IEEE Transactions on Image Processing, 2020, 29: 509-524(基于稀疏表示的 3D 虛擬視點視頻質量評價方法)”。

3D 和自由視點視頻系統(tǒng)中，虛擬視點可以提供任意角度的觀看體驗，這為人們提供更加身臨其境的 3D 體驗，因而虛擬視點質量對于 3D 系統(tǒng)的視覺質量感知意義重大。然而，由于深度圖的壓縮失真和繪制過程等引入的噪聲，虛擬視點視頻中產(chǎn)生了一種惱人的閃爍失真，嚴重影響了 3D 觀看質量。

為了評價虛擬視點視頻質量以及進一步優(yōu)化 3D 視頻系統(tǒng)中的壓縮技術，該研究提出一種針對 3D 虛擬視點視頻的質量評價方法。具體地，首先將虛擬視頻高效表示為空間上相鄰的時間層，利用時間層梯度特征和深度圖的強邊緣特征檢測閃爍失真位置；然后，針對時域層采用字典學習和稀疏表示有效表達時域閃爍失真并得到虛擬視點視頻的閃爍失真分數(shù)；最后，將提出的虛擬視點閃爍失真測量模塊與傳統(tǒng)的空域失真測量模塊結合，得到虛擬視點視頻最終的質量評價模型 SR-3DVQA。

結果顯示，在現(xiàn)有的 SIAT 3D 序列測試集上，所提出的虛擬視點視頻質量評價模型 SR-3DVQA 的線性評價指標 PLCC(Pearson 線性相關系數(shù))、SROCC(Spearman 秩相關系數(shù))、RMSE(均方根誤差)分別達到 0.910、0.914 和 0.053，更接近與人眼主觀質量，且顯著優(yōu)于其他圖像/視頻質量評價方法。

所提出的方法可以衡量虛擬視點視頻質量，為 3D 系統(tǒng)的壓縮、傳輸?shù)葓D像處理過程提供更先進的技術指導，以提高用戶 3D 視覺體驗。該方法可應用于 3DTV、VR 游戲、遠程教育等場景。

3D 虛擬視點視頻質量評價模型 SR-3DVQA