陳章,尹宇杰,,馮蕓,萬帥,3

(1. 西北工業(yè)大學電子信息學院,710129,西安; 2. 河海大學信息學部計算機與信息學院,210024,南京;3. 皇家墨爾本理工大學工程學院,VIC3001,澳大利亞墨爾本)

點云是三維空間中一系列具有空間坐標信息以及額外屬性信息的點所組成的集合。隨著數(shù)字技術(shù)與三維感知技術(shù)的高速發(fā)展,在面向人眼視覺感知的沉浸式新媒體應(yīng)用中,表征三維物體或場景的點云數(shù)據(jù)已經(jīng)得到廣泛應(yīng)用,如虛擬現(xiàn)實(virtual reality, VR)、增強現(xiàn)實(augmented reality, AR)、數(shù)字文化遺產(chǎn)以及3D視頻會議等[1-2]。隨著點云相關(guān)技術(shù)的發(fā)展,如何提高用戶的觀看體驗成為目前點云研究領(lǐng)域內(nèi)的一個關(guān)鍵問題[3]。不同于傳統(tǒng)圖像的呈現(xiàn)方式,點云在呈現(xiàn)過程中需要通過硬件和渲染算法進行輔助[4]。其中,點渲染是一種廣泛應(yīng)用于計算機圖形學中渲染點云的技術(shù)[5-6]。與傳統(tǒng)的基于三角形網(wǎng)格重建表面的渲染方式不同,點渲染則直接渲染出離散的點集,將每個點的顏色、透明度、法向量等信息映射到屏幕上。在點渲染中,圖形對象以點的形式表示,而不是以面的形式表示,具有更好的可擴展性和動態(tài)性,能夠更好地處理復雜的幾何形狀和大規(guī)模的點云數(shù)據(jù)[7]。因此,針對點渲染方式對量化點云主觀質(zhì)量的研究,既有利于提高點渲染算法實際應(yīng)用效率,又可以輔助點云編碼器相關(guān)算法性能的優(yōu)化。

近年來,國內(nèi)外專家學者結(jié)合點渲染方式對點云的主觀質(zhì)量進行了廣泛探索。瑞士聯(lián)邦理工學院的Alexiou等探究了渲染過程中各種相關(guān)因素對點云主觀質(zhì)量的影響:文獻[8]將無色點云在2D顯示器上以點渲染的方式呈現(xiàn),探究了八叉樹剪枝和高斯噪聲兩種失真對無色點云主觀質(zhì)量的影響,利用點對點距離計算客觀質(zhì)量,通過對比上述兩種失真的主觀質(zhì)量分數(shù),發(fā)現(xiàn)該客觀指標對高斯噪聲產(chǎn)生的失真評價更加準確;文獻[9]對比了絕對類別評級和雙刺激損傷評價法(double-stimulus impairment scale, DSIS)兩種主觀打分方式與點渲染失真程度的關(guān)系,結(jié)果顯示DSIS打分方式與點渲染失真程度更接近;文獻[10]將同一壓縮失真點云在不同顯示設(shè)備上進行點渲染顯示,實驗結(jié)果顯示2D顯示屏和AR頭戴式設(shè)備上渲染的失真點云得到的主觀質(zhì)量分數(shù)具有差異;文獻[11]通過對失真點云進行網(wǎng)格重建,對比點渲染和經(jīng)過表面重建點云的主觀質(zhì)量差異。葡萄牙里斯本理工大學的Javaheri等[12]探究了不同點云編碼方式和渲染顯示方案對點云感知質(zhì)量的影響,并在點渲染過程中,利用每個點在點云中空間距離最近的10個鄰居點計算點渲染半徑。實驗結(jié)果顯示,點渲染方式下,量化后的顏色失真會對幾何失真產(chǎn)生屏蔽效應(yīng)。上海交通大學的Yang等[13]探究了點渲染方式下,八叉樹失真、顏色噪聲失真、幾何噪聲失真和縮放失真對主觀質(zhì)量的影響,并提出了一個包含上述失真類型的點云主觀質(zhì)量數(shù)據(jù)庫SJTU-PCQA[14]。中國科學院大學的Wu等[15]通過VR頭戴式顯示設(shè)備觀察V-PCC壓縮生成的失真點云,建立了一個包含17種壓縮失真的主觀質(zhì)量數(shù)據(jù)庫SIAT-PCQD[16]。青島大學的Liu等[17]利用點渲染對彩色3D點云序列進行可視化,采用DSIS的打分方式評價主觀質(zhì)量,并根據(jù)渲染顯示結(jié)果,提出了一種基于注意力機制和信息內(nèi)容加權(quán)、結(jié)構(gòu)相似性變體的新型客觀點云質(zhì)量評估模型。

然而,現(xiàn)有大多數(shù)工作在采用基礎(chǔ)的點渲染時,未能考慮點渲染方式對主觀質(zhì)量的影響。對于基于點的渲染方式,影響人眼視覺質(zhì)量的因素主要有2個:初始渲染的基礎(chǔ)幾何體類型和基礎(chǔ)幾何體的半徑。基礎(chǔ)幾何體半徑最為關(guān)鍵,半徑過小渲染后點云會產(chǎn)生空洞現(xiàn)象,半徑過大則會造成基礎(chǔ)幾何體的混疊。本文針對這一問題:首先,設(shè)計了3組不同點渲染方式的主觀質(zhì)量評價實驗;其次,在對比了3組主觀質(zhì)量分數(shù)后,分析了不同幾何體類型、最近鄰計算半徑算法對量化失真點云主觀質(zhì)量的影響;最后,結(jié)合上述主觀實驗結(jié)果和理論分析,建立了點渲染失真面積與基礎(chǔ)幾何體半徑的模型,提出基于幾何八叉樹量化參數(shù)的點渲染優(yōu)化算法。測試結(jié)果顯示,本文算法相比于基于最近鄰的算法渲染效果更佳,有利于提升量化點云的主客觀質(zhì)量。

1 點云主觀質(zhì)量評價實驗

1.1 主觀質(zhì)量評價數(shù)據(jù)集構(gòu)建

1.1.1 原始序列構(gòu)建

選取MPEG點云數(shù)據(jù)庫[18]中的9個高質(zhì)量靜態(tài)序列,其中包含5個人物序列和4個物體序列。序列縮略圖和詳細信息分別如圖1和表1所示。使用人物序列basketball player作為預實驗的評價序列,其余8個序列用于最終實驗結(jié)論分析。

表1 點云序列詳細信息Table 1 Point cloud sequence details

(a)basketball player

1.1.2 失真點云生成

失真點云序列采用基于幾何的點云壓縮標準(geometry-based point cloud compression, G-PCC)[19]對原始點云量化生成。G-PCC能夠分別對幾何和屬性設(shè)置不同的量化參數(shù),產(chǎn)生不同的失真等級。量化參數(shù)的設(shè)置參考通用測試條件(common test conditions, CTC)[20],幾何量化包含無損、R02和R05這3個等級,屬性量化包含R01、R03和R05這3個等級,因此每個點云序列共有9種不同的量化失真組合,如表2所示。G-PCC編碼軟件版本為Test Model Category 13 version 14.0(TMC13v14.0)。其中,幾何編碼采用八叉樹編碼方式,屬性編碼采用預測方式。

表2 點云序列量化參數(shù)Table 2 Quantization parameters of point cloud sequence

1.2 可視化平臺及子實驗設(shè)計

為探究點渲染方式對主觀質(zhì)量的影響,將點云采用3種不同點渲染方式顯示,每種點渲染方式對應(yīng)一組子實驗。子實驗渲染參數(shù)如表3所示。

表3 子實驗渲染參數(shù)Table 3 Sub-experimental rendering parameters

(1)

式中:N=10。

主觀實驗的顯示設(shè)備主要參數(shù)如表4所示。環(huán)境設(shè)置參考電視主觀質(zhì)量評價標準[21-22]中的建議。測試背景RGB(紅、綠、藍)三通道顏色值為 [128, 128, 128]。評分期間,受試者與屏幕的位置固定,受試者可以通過鼠標對點云序列進行自由旋轉(zhuǎn)以做到全方位觀測,受試者評分時間不做限制。實驗實施環(huán)境如圖2所示。

表4 顯示設(shè)備主要參數(shù)Table 4 Display main parameter table

圖2 實驗實施環(huán)境Fig.2 Experiment implementation environment

1.3 主觀質(zhì)量評價流程

1.3.1 實驗打分方法

打分方式采用DSIS打分方式[21],原始無失真點云序列置于屏幕左邊,量化失真點云序列置于屏幕右邊。實驗評分采取五級評分制[22],如表5所示。受試者同時觀察原始參考點云和量化失真點云,依據(jù)原始參考點云序列對量化失真點云序列進行五級評分。參考點云序列作為隱藏參考出現(xiàn)在量化失真的測試點云序列位置,即要求受試者對每個點云模型的參考點云序列進行一次五級質(zhì)量評分。在進行數(shù)據(jù)分析時,計算每個測試點云序列和其對應(yīng)的隱藏參考之間的差異平均主觀分數(shù)(differential mean opinion score,DMOS)。

表5 五級評分制Table 5 Five-level grading scale

1.3.2 實驗受試者篩選

主觀質(zhì)量評價過程中邀請了11名受試者參與。受試者年齡在20～40歲之間,其中10人為高校學生,1人為點云視頻領(lǐng)域的研究學者。受試者均通過Snellen和Ishihara視力表[23]檢測,并在正式主觀實驗之前對實驗受試者進行相關(guān)的實驗指導和預實驗演練。

1.3.3 實驗指導及預實驗

為確保主觀質(zhì)量評價的準確性,所有受試者在進行實驗前均進行實驗指導及預實驗。實驗指導包含以下內(nèi)容:點云相關(guān)概念以及主觀質(zhì)量評價要求介紹,點云失真種類、失真類型和點云渲染的相關(guān)介紹,正式實驗與預實驗等實驗流程介紹,實驗環(huán)境與設(shè)備使用說明,實驗評分規(guī)則方式介紹。在正式實驗之前,為確保受試者熟悉正式實驗的操作過程,采用basketball player序列進行演練,失真類型、渲染類型、顯示方式、評分方式等均與正式實驗相同,預實驗評分結(jié)果不記錄在實驗數(shù)據(jù)之內(nèi)。

1.3.4 正式實驗要求

正式實驗包含上述3個子實驗,每組子實驗在主觀評價過程中測試序列順序隨機,以免序列排序?qū)χ饔^質(zhì)量的干擾。受試者每持續(xù)評價30 min強制休息5～10 min,以避免受試者因為長時間觀察產(chǎn)生視覺疲勞,從而影響對失真程度的判斷。正式實驗過程中,總點云序列數(shù)目為240個(8個初始序列×(9組失真+1組無失真)×3種渲染方式),受試者人數(shù)為11,最終獲得平均意見分數(shù)(mean opinion score,MOS)為2 640個。

2 主觀質(zhì)量評價結(jié)果與分析

2.1 受試者可靠性分析及DMOS計算

依據(jù)ITU-R BT.500-13[22]附件1中2.3小節(jié)推薦的受試者可靠性分析方法,剔除異常受試者數(shù)據(jù)。經(jīng)驗證篩查,本次主觀質(zhì)量評價3個子實驗中均無異常受試者數(shù)據(jù)。

為剔除量化失真點云序列MOS值中原始點云的隱藏參考,將點云MOS值轉(zhuǎn)化為DMOS值,做到“隱藏參刪除(hidden reference removal,HR)”。DMOS的計算參考ITU-TP.913[20]中的方法。DMOS值計算方法為

(2)

式中:t為受試者;j為測試點云序列;jref為j對應(yīng)的原始參考點云序列;mtj為t對j的MOS分值,mtjref為t對jref的MOS分值;dtj為j與jref之間的質(zhì)量分數(shù)差異,即DMOS值。子實驗的DMOS均值如表6所示。

表6 點云主觀質(zhì)量評價DMOS均值Table 6 Point cloud subjective quality assessment DMOS distribution

2.2 幾何體類型對主觀質(zhì)量的影響

為探究幾何體類型對主觀質(zhì)量的影響,對子實驗1和子實驗2的主觀質(zhì)量評價分數(shù)進行統(tǒng)計檢驗。采用威爾科克森符號秩檢驗[24]和雙獨立樣本T檢驗[25]分別對兩組實驗數(shù)據(jù)的中值和均值分布進行檢驗。為滿足雙獨立樣本T檢驗方差齊次性的先驗條件,采用萊文檢驗驗證樣本組方差齊次性。各檢驗的零假設(shè)和備擇假設(shè)如表7所示。

表7 原假設(shè)與備擇假設(shè)Table 7 Null hypothesis and alternative hypothesis

檢測結(jié)果顯示:子實驗1和子實驗2的威爾科克森符號秩檢驗P值為0.000 065,萊文檢驗P值為0.762,雙獨立樣本T檢驗P值為0.69。子實驗1和2萊文檢驗P值大于0.05,因此各個樣本組均滿足雙獨立樣本T檢驗的方差齊次性條件。由于威爾科克森符號秩檢驗的P值小于0.05,因此子實驗1和子實驗2在總體分布上存在顯著性差異。渲染幾何體類型對主觀質(zhì)量存在影響。

圖3為各個量化失真類別下,子實驗2和子實驗1主觀質(zhì)量分數(shù)差值的箱式圖,圖中縱坐標d2,1計算式為

圖3 子實驗2和子實驗1主觀質(zhì)量差值箱式圖Fig.3 Sub-experiment 2 and sub-experiment 1 subjective quality difference compartment plots

d2,1=d2-d1

(3)

式中:d1、d2分別為子實驗1和子實驗2計算得到的DMOS值。

從圖3可知,對于各量化失真類別,整體d2,1均值高于0,即子實驗2的主觀質(zhì)量優(yōu)于子實驗1。同時,在相同幾何量化失真下,當屬性量化失真增大時,d2,1呈現(xiàn)上升趨勢,子實驗2的渲染優(yōu)于子實驗1的情況在主觀質(zhì)量上更加顯著。雖然兩組子實驗在渲染過程中每個基礎(chǔ)幾何體的渲染半徑相同,但是立方體的半徑對應(yīng)立方體對角線的一半。所以,在相同的觀察視角下,圓形渲染產(chǎn)生的混疊面積會大于立方體,即圓形產(chǎn)生的幾何和屬性畸變大于立方體,如圖4所示。

圖4 圓形與立方體最近鄰點渲染比較Fig.4 Comparison of circle and cube nearest neighbour rendering

2.3 最近鄰渲染對主觀質(zhì)量的影響

為探究最近鄰渲染方式對主觀質(zhì)量的影響,對子實驗1和子實驗3的主觀質(zhì)量評價分數(shù)進行統(tǒng)計檢驗。與2.2節(jié)中使用的統(tǒng)計方法相同,采用威爾科克森符號秩檢驗和雙獨立樣本T檢驗分別對兩組實驗數(shù)據(jù)的中值和均值進行檢驗。各個檢驗的零假設(shè)和備擇假設(shè)同表7。

檢測結(jié)果顯示:子實驗1和子實驗3的威爾科克森符號秩檢驗P值為0.354,萊文檢驗P值為0.892,雙獨立樣本T檢驗P值為0.841。子實驗1和子實驗3萊文檢驗P值大于0.05,因此樣本組均滿足雙獨立樣本T檢驗的方差齊次性條件。又因為威爾科克森符號秩檢驗和雙獨立樣本T檢驗的P值均大于0.05,因此子實驗1和子實驗3在總體分布上無顯著性差異?；谧罱徲嬎沅秩景霃降乃惴ú]有因為減少空洞現(xiàn)象而提升量化點云的主觀質(zhì)量。

圖5為各個量化失真類別下,子實驗1和子實驗3的主觀質(zhì)量分數(shù)差值,圖中縱坐標d1,3計算式為

d1,3=d1-d3

(4)

從圖5可以看出,相同幾何量化失真時,隨著屬性量化參數(shù)的增大,d1,3呈現(xiàn)下降趨勢,且d1,3均值會從大于0轉(zhuǎn)變成小于0的情況。在屬性量化參數(shù)為51時,子實驗3的主觀質(zhì)量分數(shù)顯著高于子實驗1。基于最近鄰的點渲染算法是利用空間中點的密度信息自適應(yīng)計算基礎(chǔ)幾何體的渲染半徑,從而減少幾何量化產(chǎn)生的空洞。但是,由于基礎(chǔ)幾何體渲染半徑增大,在這一過程中人眼對于屬性質(zhì)量的感知更加敏感,渲染結(jié)果上與屬性量化失真相關(guān)性高。因此,當屬性量化失真較小時,子實驗1中人眼感知的質(zhì)量會高于子實驗3中,反之結(jié)果相同。

3 量化點云點渲染算法優(yōu)化

3.1 面向八叉樹量化的點渲染優(yōu)化

通過主觀實驗的分析可知,量化點云的主觀質(zhì)量在點渲染過程中受基礎(chǔ)幾何體半徑產(chǎn)生的混疊和空洞影響。2.2節(jié)的實驗結(jié)果表明,在不產(chǎn)生空洞的前提下,較小的基礎(chǔ)幾何體可以減少點云渲染過程中的混疊,從而減小幾何和屬性上的畸變,提高點云的主觀質(zhì)量。此外,2.3節(jié)的實驗結(jié)果顯示,基于最近鄰的點渲染算法可以有效減少空洞的產(chǎn)生,并在屬性量化較低的情況下表現(xiàn)出良好的效果。然而,當屬性量化增大時,混疊引起的失真會降低點云的主觀質(zhì)量。因此,為了優(yōu)化量化點云的主觀質(zhì)量,應(yīng)當在設(shè)置基礎(chǔ)幾何體半徑時避免產(chǎn)生空洞,并盡可能減少混疊現(xiàn)象的發(fā)生。

以基礎(chǔ)幾何體采用圓形渲染為例,假設(shè)當前點云中點的幾何坐標為(xi,yi,zi),i=1,2,,M,每個點對應(yīng)的渲染半徑為ri,整個點云渲染產(chǎn)生的空洞面積為S1(如圖6中的藍色區(qū)域所示),整個點云渲染產(chǎn)生的混疊面積為S2(如圖6中的綠色區(qū)域所示),則最優(yōu)的人眼感知質(zhì)量下,渲染半徑滿足

圖6 點渲染空洞和混疊產(chǎn)生過程示意Fig.6 A diagram of the process of creating point-rendering hole and blending

minS2(r1,r2,,ri); s.t.S1(r1,r2,,ri)=0

(5)

(6)

在渲染過程中,S1由點云中每個點和其空間最近鄰點決定。八叉樹剪枝后,點云中的點在空間中的最近鄰距離近似。因此,全點云中量化后的點與其最近鄰的平均距離d近似為

(7)

令所有點的渲染半徑相同,即

r1=r2=r3==rM

(8)

此時,空洞可視為由點云中每個點與其26個鄰居點產(chǎn)生,則滿足S1=0約束條件的渲染半徑為

(9)

結(jié)合式(7)、(8)可知,滿足minS2的渲染半徑為

(10)

所提算法在二維屏幕上的渲染示意如圖7所示。

圖7 所提算法的點渲染過程示意Fig.7 Diagram of the proposed method point rendering process

3.2 優(yōu)化算法性能測試結(jié)果

本文以渲染圖像峰值信噪比(peak signal-to-noise ratio,PSNR)、主觀質(zhì)量分數(shù)和渲染時間復雜度這3種指標評價所提算法性能。其中,渲染圖像PSNR的計算是先將點云渲染后投影到包圍盒的6個平面上,再計算6個圖像PSNR的均值。

將所提算法與最近鄰渲染算法進行對比,評價指標為

(11)

ΔIDMOS=IDMOS,proposed-IDMOS,NNR

(12)

(13)

式中:IPSNR、IDMOS分別代表PSNR、DMOS值;T代表渲染時間復雜度;下標proposed、NNR分別代表本文算法、最近鄰渲染算法。

表8展示了所提算法與基于最近鄰的點渲染算法[12]的比較結(jié)果。

表8 最近鄰渲染算法與所提算法性能對比結(jié)果Table 8 The performance comparison results between the nearest neighbor rendering algorithm and the proposed algorithm

從表8可以看出,與最近鄰渲染算法相比,所提算法渲染質(zhì)量提升了12.3%,主觀質(zhì)量分數(shù)提升了0.5,時間復雜度顯著減少,降低了52%。這是因為所提算法在對量化后的點云渲染時僅利用幾何量化參數(shù)計算渲染半徑,減少了對量化點云中每個點的遍歷和尋找每個點最近10個鄰居點的過程。

同時,圖8展示了所提算法與最近鄰渲染算法在不同量化參數(shù)下的主觀效果對比。由結(jié)果可知,相比于最近鄰渲染算法,所提算法根據(jù)幾何量化參數(shù)計算渲染半徑,減少了基礎(chǔ)幾何體間的混疊,從而使渲染后的點云在細節(jié)表達上效果更好。

(a)longdress,幾何量化參數(shù)為1/4,屬性量化參數(shù)為28

4 結(jié) 論

本文通過設(shè)計不同點渲染方式的點云主觀質(zhì)量評價實驗,分析了不同點渲染類型和最近鄰渲染方式對量化點云主觀質(zhì)量的影響。研究結(jié)果表明:點渲染類型會因為基礎(chǔ)幾何體產(chǎn)生的混疊程度不同而影響主觀質(zhì)量;最近鄰渲染的質(zhì)量分數(shù)與屬性量化失真相關(guān)性更高,在屬性失真嚴重時,渲染效果更差。實驗結(jié)果顯示,點渲染中基礎(chǔ)幾何體半徑的合理設(shè)置是提升量化點云主觀質(zhì)量的關(guān)鍵因素,需要在不產(chǎn)生空洞時減少混疊。

結(jié)合主觀實驗結(jié)果,本文在理論分析的基礎(chǔ)上,建立了點渲染半徑和渲染失真面積的優(yōu)化模型。通過結(jié)合八叉樹量化后的空間相似性,將多模型參數(shù)簡化為單一參數(shù)并求解,提出一種利用幾何量化參數(shù)計算基礎(chǔ)幾何體半徑的渲染算法。相比基于最近鄰計算渲染半徑的算法,所提算法減少了空間最近鄰的搜索過程,時間復雜度降低了52%。同時,因為減少了渲染過程中基礎(chǔ)幾何體的混疊程度,所以所提算法PSNR提升了12.3%,并且主觀實驗結(jié)果反映人眼感知質(zhì)量更高。