張 娟, 張習(xí)民, 萬(wàn)旺根, 方志軍
1.上海大學(xué)通信與信息工程學(xué)院,上海200444
2.上海大學(xué)智慧城市研究院,上海200444
由于激光掃描儀等測(cè)量設(shè)備的快速發(fā)展,通過(guò)測(cè)量三維模型得到的點(diǎn)云數(shù)據(jù)日益精確、龐大.目前,一般的激光測(cè)量設(shè)備可以從物體表面輕易獲取數(shù)十萬(wàn)、甚至數(shù)百萬(wàn)個(gè)點(diǎn)云數(shù)據(jù).早在20世紀(jì)80年代,文獻(xiàn)[1]提出了基于點(diǎn)繪制復(fù)雜的三維幾何模型——點(diǎn)云模型,但當(dāng)時(shí)并沒(méi)有引起人們的關(guān)注.
近年來(lái),隨著網(wǎng)格模型處理復(fù)雜度的劇增,點(diǎn)云模型的優(yōu)勢(shì)更加明顯.以點(diǎn)云模型為研究對(duì)象的基于點(diǎn)的計(jì)算機(jī)圖形學(xué)已經(jīng)受到廣泛關(guān)注,點(diǎn)云模型的數(shù)字幾何處理技術(shù)也逐漸成為圖形學(xué)中的一個(gè)研究熱點(diǎn)[2-4],在逆向工程、工業(yè)制造、文物保護(hù)以及醫(yī)學(xué)可視化等領(lǐng)域得到廣泛的應(yīng)用.
三維幾何模型(如網(wǎng)格模型、點(diǎn)云模型)能更好地表達(dá)物體的形狀,但數(shù)據(jù)量龐大.因此,在存儲(chǔ)、傳輸三維幾何模型時(shí),通常需要對(duì)三維幾何模型進(jìn)行適當(dāng)?shù)奶幚?,如有損壓縮.目前,針對(duì)三維幾何模型處理的評(píng)價(jià)方法主要有主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法.主觀評(píng)價(jià)方法簡(jiǎn)單而直觀,但要耗費(fèi)大量的時(shí)間和人力,并且受觀測(cè)者個(gè)人因素的影響較大,大大降低了主觀評(píng)價(jià)的實(shí)用性和準(zhǔn)確性.客觀評(píng)價(jià)方法將擺脫依賴(lài)人的主觀判斷的局限,有效提高評(píng)價(jià)的效率,為三維幾何模型的處理提供科學(xué)的、統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn),具有操作簡(jiǎn)單、成本低、易于解析和嵌入實(shí)現(xiàn)等優(yōu)點(diǎn),將成為今后三維幾何數(shù)據(jù)質(zhì)量評(píng)價(jià)的研究重點(diǎn).
關(guān)于三維幾何模型質(zhì)量客觀評(píng)價(jià)的研究主要集中在網(wǎng)格模型領(lǐng)域[5-10].文獻(xiàn)[5]認(rèn)為因嵌入水印而產(chǎn)生的視覺(jué)差異可以通過(guò)網(wǎng)格模型表面的粗糙度來(lái)反映,并定義了基于全局粗糙度的兩種客觀度量指標(biāo),用來(lái)計(jì)算含水印的網(wǎng)格模型質(zhì)量.文獻(xiàn)[6]基于網(wǎng)格模型的幾何和紋理分辨率提出了一種三維網(wǎng)格模型質(zhì)量的評(píng)估方法,并指出圖像紋理在視覺(jué)上的貢獻(xiàn)遠(yuǎn)遠(yuǎn)大于幾何形狀.文獻(xiàn)[7]從視覺(jué)心理學(xué)的角度提出了一種評(píng)估不同網(wǎng)格模型簡(jiǎn)化算法的實(shí)驗(yàn)方法.文獻(xiàn)[8]借鑒二維圖像的質(zhì)量評(píng)價(jià)方法,采用基于結(jié)構(gòu)相似性的原理對(duì)網(wǎng)格模型進(jìn)行質(zhì)量評(píng)價(jià).文獻(xiàn)[9]以含水印網(wǎng)格模型與原網(wǎng)格模型之間的粗糙度增量作為評(píng)價(jià)水印不可見(jiàn)性的標(biāo)準(zhǔn).
由于點(diǎn)云模型的研究尚處于起步階段,關(guān)于點(diǎn)云模型的質(zhì)量評(píng)價(jià)研究并不多見(jiàn)[11-12].文獻(xiàn)[11]從噪聲、密度、完整性、準(zhǔn)確性等方面對(duì)采集的點(diǎn)云數(shù)據(jù)進(jìn)行質(zhì)量評(píng)價(jià),分析了由于數(shù)字化系統(tǒng)來(lái)源導(dǎo)致點(diǎn)云數(shù)據(jù)獲取的誤差,并對(duì)每個(gè)評(píng)價(jià)指標(biāo)提出了對(duì)應(yīng)的評(píng)價(jià)方法.文獻(xiàn)[12]分析了在3D成像系統(tǒng)中采集繪畫(huà)制品的質(zhì)量和性能要求.
在網(wǎng)格模型中,若刪除一個(gè)面或點(diǎn),則該處的平面將更光滑,但用于表達(dá)的信息發(fā)生了變化.而在點(diǎn)云模型中,若刪除一個(gè)點(diǎn),則該處為空,導(dǎo)致人眼無(wú)法獲取任何有價(jià)值的信息.因此,兩者之間的質(zhì)量評(píng)價(jià)有著本質(zhì)的區(qū)別.
本文首先對(duì)顯著性計(jì)算方法[13]進(jìn)行改進(jìn),提出了以點(diǎn)的法向量與其鄰域點(diǎn)的平均法向量的差異作為計(jì)算該點(diǎn)顯著性的權(quán)值;然后對(duì)比處理前后點(diǎn)云模型顯著性之間的變化,并以此作為質(zhì)量評(píng)價(jià)依據(jù);最后通過(guò)實(shí)驗(yàn)驗(yàn)證了質(zhì)量評(píng)價(jià)模型.
本文研究的是全參考類(lèi)型的點(diǎn)云模型質(zhì)量評(píng)價(jià),點(diǎn)云模型中的對(duì)象是通過(guò)高分辨率激光掃描儀掃描實(shí)物得到的點(diǎn)云數(shù)據(jù).
文獻(xiàn)[13]根據(jù)計(jì)算二維圖像的顯著性的中心操作方法[14]計(jì)算了三維網(wǎng)格模型的顯著性,認(rèn)為三維模型的幾何拓?fù)浣Y(jié)構(gòu)信息能夠很好地反映網(wǎng)格模型的顯著性.該方法以網(wǎng)格上頂點(diǎn)鄰域內(nèi)所有點(diǎn)的平均曲率作高斯權(quán)值的加權(quán)平均,表示該頂點(diǎn)的顯著性,并把網(wǎng)格模型中零顯著性的區(qū)域定義為一個(gè)球面,即3D模型中零顯著性的區(qū)域?yàn)榍蛐蔚狞c(diǎn)云面.
根據(jù)顯著性在三維幾何模型中的研究成果,得出顯著性與人類(lèi)視覺(jué)之間存在重要的關(guān)聯(lián)特性.顯著性越大的點(diǎn)對(duì)人的視覺(jué)越敏感,該點(diǎn)在點(diǎn)云模型中越重要,于是本文以點(diǎn)云模型的顯著性作為質(zhì)量評(píng)價(jià)的依據(jù),下面給出本文顯著性的計(jì)算過(guò)程.
設(shè)點(diǎn)云模型P是m個(gè)點(diǎn)的集合,點(diǎn)p∈P,np為p點(diǎn)的法向量(法向量的計(jì)算使用最小二乘法近似得到).求出以點(diǎn)p為圓心,r為半徑的球體圍內(nèi)所有的點(diǎn)t,記為球鄰域B(p,r)={t|‖t-p‖≤r};計(jì)算B(p,r)中所有點(diǎn)t的法向量nt與點(diǎn)p的法向量np之間的正弦值
如圖1所示,對(duì)于點(diǎn)云模型,如果表面復(fù)雜或不光滑,對(duì)應(yīng)相鄰點(diǎn)之間的法向量夾角就越大;如果表面比較光滑,人眼視覺(jué)對(duì)該區(qū)域不太敏感,則該區(qū)域相鄰點(diǎn)之間的法向量夾角越接近0或π.兩法向量之間的夾角取值范圍為[0,π].對(duì)于顯著性越高的點(diǎn),與近鄰點(diǎn)計(jì)算得到的正弦值越接近1;對(duì)于顯著性越低的點(diǎn),其正弦值越接近0.法向量估算的方法具有二義性,即計(jì)算得到的只是法向量所在的直線,而沒(méi)有確定是直線的哪個(gè)方向.根據(jù)正弦函數(shù)對(duì)稱(chēng)于π/2的特性,可以避免對(duì)法向量重定向的計(jì)算.
圖1 點(diǎn)法向量夾角示意圖Figure 1 Angle between the normal vectors
下面給出點(diǎn)云模型P中點(diǎn)p在球鄰域B(p,r)中的高斯平均加權(quán)顯著性的計(jì)算公式
為了計(jì)算方便,當(dāng)p點(diǎn)不存在時(shí),令s(λP,r,P)=0.可以看出每個(gè)點(diǎn)的顯著性是通過(guò)與球鄰域內(nèi)所有點(diǎn)的法向量夾角的正弦值進(jìn)行高斯加權(quán)平均得到的.r的取值不同,包含在球鄰域中的點(diǎn)也不同,計(jì)算得到的顯著性也不相同.顯然,點(diǎn)云模型中零顯著性區(qū)域?yàn)槠矫?,即光滑平面上的點(diǎn)被刪除對(duì)于人的視覺(jué)影響較小,而凹凸面上的點(diǎn)被刪除對(duì)于人的視覺(jué)影響則較大.
原始點(diǎn)云模型通常包含較多的點(diǎn),而處理后的點(diǎn)云模型包含較少的點(diǎn),這兩個(gè)點(diǎn)云模型屬于同源模型,且不包含噪聲點(diǎn).下面給出點(diǎn)云模型的客觀質(zhì)量評(píng)價(jià)模型的計(jì)算過(guò)程.
根據(jù)點(diǎn)在處理前后點(diǎn)云模型中的對(duì)比結(jié)果可以把點(diǎn)分為3類(lèi):不變點(diǎn)˙V、變異點(diǎn)¨V、消失點(diǎn)V.不變點(diǎn)是在點(diǎn)云模型處理前后不發(fā)生變化的點(diǎn).變異點(diǎn)是在原始點(diǎn)云模型中不出現(xiàn)而在處理后點(diǎn)云模型中出現(xiàn)的點(diǎn).消失點(diǎn)是在原始點(diǎn)云模型中出現(xiàn)而在處理后點(diǎn)云模型中不出現(xiàn)的點(diǎn).假設(shè)P為原始點(diǎn)云模型,Q為處理后的點(diǎn)云模型,則點(diǎn)分類(lèi)示意圖如圖2所示.
圖2 點(diǎn)法向量夾角示意圖Figure 2 Point classif ication diagram
下面給出不變點(diǎn)、變異點(diǎn)、消失點(diǎn)的定義:
在同源點(diǎn)云模型P和Q中,變異點(diǎn)只在Q中出現(xiàn),而不在P中出現(xiàn).將變異點(diǎn)v在點(diǎn)云模型P的消失點(diǎn)集中的最鄰近點(diǎn)作為變異點(diǎn)的原始點(diǎn),記為?v.變異點(diǎn)通常在較近距離進(jìn)行變異,于是可設(shè)定一個(gè)閾值r為變異點(diǎn)的搜索范圍,如果在此范圍內(nèi)無(wú)最鄰近點(diǎn),則認(rèn)為該變異點(diǎn)為噪聲點(diǎn),不存在原始點(diǎn).原始點(diǎn)的定義如下:
定義4 在同源點(diǎn)云模型P和Q中,將變異點(diǎn)變異之前的原始點(diǎn)集合記為
根據(jù)以上各類(lèi)點(diǎn)的定義,可以很容易對(duì)兩個(gè)點(diǎn)云模型中的點(diǎn)進(jìn)行篩選和分類(lèi).下面給出各類(lèi)點(diǎn)集的顯著性計(jì)算公式:
不變點(diǎn)集在點(diǎn)云模型P中的顯著性記為
不變點(diǎn)集在點(diǎn)云模型Q中的顯著性記為
變異點(diǎn)集的顯著性記為
消失點(diǎn)集的顯著性記為
在同源點(diǎn)云模型P和Q中,若要點(diǎn)云模型的質(zhì)量前后保持不變,則點(diǎn)的顯著性應(yīng)保持不變,但因消失點(diǎn)與變異點(diǎn)的存在,點(diǎn)的顯著性將發(fā)生改變,于是可以考慮利用這種變化來(lái)衡量點(diǎn)云模型的質(zhì)量差異,從而將兩個(gè)點(diǎn)云模型的差異度歸結(jié)為以上3類(lèi)點(diǎn)的關(guān)于顯著性的算法模型.
不變點(diǎn)集的顯著性變化情況可歸納如下:在點(diǎn)云模型P和Q中,分別計(jì)算不變點(diǎn)的顯著性,一般由于點(diǎn)的減少,凹凸面的細(xì)節(jié)情況不明顯,即不變點(diǎn)的顯著性會(huì)降低,其計(jì)算公式為
變異點(diǎn)的顯著性變化情況歸納如下:點(diǎn)云模型Q中的變異點(diǎn)是由點(diǎn)云模型P中的原始點(diǎn)演變而成,因此變異點(diǎn)顯著性將在原始點(diǎn)的顯著性上發(fā)生變化,即變異點(diǎn)顯著性變化的計(jì)算公式為
由定義4可知,一個(gè)原始點(diǎn)一定是一個(gè)消失點(diǎn),原始點(diǎn)集為消失點(diǎn)集的子集.
消失點(diǎn)集的顯著性變化情況如下:消失點(diǎn)只在點(diǎn)云模型P中出現(xiàn),因此消失點(diǎn)的顯著性在處理后點(diǎn)云模型Q中為零.由于消失點(diǎn)集中包含了原始點(diǎn)集,需要減去原始點(diǎn)集.消失點(diǎn)的顯著性變化計(jì)算公式為
根據(jù)對(duì)顯著性變化的分析,給出有參考的點(diǎn)云模型質(zhì)量的計(jì)算公式
式中,θ1、θ2、θ3為權(quán)值,滿足θ1+θ2+θ3=3,表示各類(lèi)點(diǎn)影響點(diǎn)云模型質(zhì)量的重要程度.
當(dāng)同源點(diǎn)云模型P和Q相同時(shí),M(P,Q)=0,說(shuō)明點(diǎn)云模型在質(zhì)量上不存在差異.當(dāng)點(diǎn)云模型Q為空時(shí),M(P,Q)=100%,說(shuō)明此時(shí)點(diǎn)云模型的質(zhì)量全部損失了.
如果點(diǎn)云模型P和Q不是同源點(diǎn)云模型,說(shuō)明兩個(gè)點(diǎn)云模型不存在任何的相交部分,此時(shí)得到的結(jié)果將為100%.
為了方便實(shí)驗(yàn)結(jié)果的對(duì)比,本文針對(duì)點(diǎn)云模型的特點(diǎn),參照二維圖像信噪比的定義,設(shè)計(jì)了一種點(diǎn)云模型的信噪比計(jì)算方法.
點(diǎn)云模型x坐標(biāo)的均方差計(jì)算公式為
式中,f和f′代表點(diǎn)云模型P和Q各坐標(biāo)分量的值,n為點(diǎn)云模型的點(diǎn)數(shù).當(dāng)沒(méi)有點(diǎn)對(duì)應(yīng)時(shí),x坐標(biāo)值取當(dāng)前點(diǎn)云模型的最大變化值Δfx,x方向上峰值信噪比的計(jì)算公式為
取各坐標(biāo)分量的峰值信噪比平均值作為最后的峰值信噪比評(píng)價(jià)的結(jié)果,其計(jì)算公式為
用FARO Focus3D高分辨率三維激光掃描儀對(duì)猴子玩具進(jìn)行原始點(diǎn)云模型的采集.為了避免點(diǎn)云模型在配準(zhǔn)過(guò)程中對(duì)掃描數(shù)據(jù)產(chǎn)生干擾,盡可能地反映自然物體的真實(shí)性,本文僅使用掃描數(shù)據(jù)中的一站點(diǎn)云數(shù)據(jù).經(jīng)過(guò)噪聲預(yù)處理后,獲取到的原始點(diǎn)云模型共包含520 125個(gè)點(diǎn).
利用PCL庫(kù)[15]的開(kāi)源軟件生成同源的5個(gè)不同分辨率的點(diǎn)云模型,分別如圖3~8所示.圖3為原始點(diǎn)云模型;在原始點(diǎn)云的基礎(chǔ)上采取均勻壓縮方法,壓縮比為1.1855的點(diǎn)云模型,壓縮后包含438 734個(gè)點(diǎn),如圖4所示;壓縮比為1.7712的點(diǎn)云模型,壓縮后包含293 662個(gè)點(diǎn),如5所示;壓縮比為3.508 0的點(diǎn)云模型,壓縮后包含148 270個(gè)點(diǎn),如圖6所示;壓縮比為10.360 8的點(diǎn)云模型,壓縮后包含50 201個(gè)點(diǎn),如圖7所示;壓縮比為25.600 5的點(diǎn)云模型,壓縮后包含20 317個(gè)點(diǎn),如8所示.
圖3 原始點(diǎn)云模型Figur e 3 Original model
圖4 壓縮比為1.185 5的點(diǎn)云模型Figure 4 Model with compression ratio of 1.185 5
圖5 壓縮比為1.771 2的點(diǎn)云模型Figure 5 Model with compression ratio of 1.771 2
圖6 壓縮比為3.508 0的點(diǎn)云模型Figure 6 Model with compression ratio of 3.5080
圖7 壓縮比為10.3608的點(diǎn)云模型Figur e 7 Model with compression ratio of 10.3608
圖8 壓縮比為25.6005的點(diǎn)云模型Figur e 8 Model with compression ratio of 25.600 5
由于目前還沒(méi)有公認(rèn)的點(diǎn)云數(shù)據(jù)質(zhì)量客觀評(píng)價(jià)標(biāo)準(zhǔn),在實(shí)驗(yàn)中還需引入主觀評(píng)價(jià)方法與本文的評(píng)價(jià)方法進(jìn)行對(duì)比.參與主觀評(píng)價(jià)的人數(shù)共計(jì)18人,計(jì)分標(biāo)準(zhǔn)為百分制,最低分0%定義為點(diǎn)云數(shù)據(jù)無(wú)損耗,質(zhì)量最高;最高分100%定義為點(diǎn)云數(shù)據(jù)完全耗損,質(zhì)量最低.把原始點(diǎn)云模型作為參考模型,對(duì)參與評(píng)價(jià)的圖3~8的5個(gè)點(diǎn)云模型進(jìn)行打分,得到主觀評(píng)價(jià)的結(jié)果.
經(jīng)過(guò)計(jì)算實(shí)驗(yàn)得到了主觀和客觀評(píng)價(jià)分析的對(duì)比結(jié)果,如表1所示.根據(jù)r的不同取值,表中列出了不同壓縮率下點(diǎn)云模型質(zhì)量耗損的實(shí)驗(yàn)結(jié)果.其中r的取值分別為0.3、0.2、0.1、0.05,θ1、θ2、θ3取值分別為1、1、1.
表1 主觀評(píng)價(jià)與客觀評(píng)價(jià)的實(shí)驗(yàn)結(jié)果對(duì)比Table 1 Comparison experiment results between subjective and objective evaluation
從實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論:1)本文的客觀評(píng)價(jià)的結(jié)果基本上與主觀評(píng)價(jià)一致;2)壓縮率和點(diǎn)云模型的降質(zhì)基本上呈正比關(guān)系;3)壓縮率在30%~55%附近的壓縮-失真率最好;4)在某個(gè)合理范圍內(nèi),r的取值對(duì)實(shí)驗(yàn)結(jié)果影響較?。?)對(duì)比本文的客觀評(píng)價(jià)和信噪比的結(jié)果可知,本文的結(jié)果更能體現(xiàn)人的感知.
本文根據(jù)人類(lèi)視覺(jué)系統(tǒng)對(duì)于物體的凹凸部分可以產(chǎn)生更多的視覺(jué)感知這一特點(diǎn),改進(jìn)了點(diǎn)的顯著性定義,并將顯著性應(yīng)用于點(diǎn)云模型質(zhì)量的客觀評(píng)價(jià).由實(shí)驗(yàn)結(jié)果可知,基于顯著性的點(diǎn)云模型質(zhì)量的客觀評(píng)價(jià)可以很好地替代人的主觀評(píng)價(jià).
點(diǎn)云模型中不僅包含坐標(biāo)信息,而且包含了豐富的顏色信息.為了進(jìn)一步提高質(zhì)量評(píng)價(jià),今后的研究將引入點(diǎn)云模型的顏色屬性作為評(píng)價(jià)指標(biāo).
[1]LEVOY M,WHITTED T.The use of points as a display primitive[M].[S.l]:University of North Carolina,1985.
[2]AMENTA N,KIL Y J.Def ining point-set surfaces[J].ACM Transactions on Graphics,2004,23(3):264-270.
[3]ISENBURGM.LASzip:losslesscompression of LiDAR data[J].Photogrammetric Engineering and Remote Sensing,2013,79(2):209-217.
[4]DURANLEAUF,BEAUDOINP,POULINP.Multiresolution point-set surfaces[C]//Proceedings of Graphics Interface 2008.Canadian Information Processing Society,2008:211-218.
[5]CORSINI M,GELASCA E D,EBRHIMI T,BARNI M.Watermarked 3D mesh quality assessment[J].IEEE Transactions on Multimedia,2007,9(2):247-256.
[6]PANY,CHENGI,BASUA.Quality metric for approximating subjective evaluation of 3D objects[J].IEEE Transactions on Multimedia,2005,7(2):269-279.
[7]CHENG I,SHEN R,BOULANGER P,YANG X D.Perceptual analysis of level-of-detail:the JND approach.2006[C]//ISM'06.Eighth IEEE International Symposium on Multimedia,2006:533-540.
[8]石振鋒,金凱,牛夏牧.基于結(jié)構(gòu)相似的三維模型視覺(jué)降質(zhì)度量[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2010(9):1444-1448.
SHIZhenfeng,JINKai,NIUXiamu.Evaluation of visual perception degradation for 3D mesh based on structural similarity[J].Journal of Harbin Institute of Technology,2010(9):1444-1448.(in Chinese)
[9]楊斌,李曉強(qiáng),李偉,丁廣太.基于表面粗糙度的三維模型質(zhì)量評(píng)價(jià)研究[J].計(jì)算機(jī)科學(xué),2011,38(1):276-278.
YANG Bin,LI Xiaoqiang,LI Wei,DING Guangtai.Quality assessment for 3D model based on surface roughness[J].Computer Science,2011,38(1):276-278.(in Chinese)
[10]LAVOUéG.A local roughness measure for 3D meshes and its application to visual masking[J].ACM Transactions on Applied Perception(TAP),2009,5(4):aticle 21:1-23..
[11]LARTIGUEC,CONTRIA,BOURDET P.Digitised point quality in relation with point exploitation[J].Measurement,2002,32(3):193-203.
[12]BLAIS F,TAYLOR J,COURNOYER L,PICARD M,BORGEAT L,DICAIREL G,RIOUXM,BERALDINJ A,GODING,LAHNANIERC.Ultra-high resolution imaging at 50μm using a portable XYZ-RGB color laser scanner[C]//Intl.Workshop on Recording,Modeling and Visualization of Cultural Heritage.Centro Stefano Franscini,Monte Verita.Ascona,Switzerland,2005,May:22-27.
[13]LEEC H,VARSHNEYA,JACOBSD W.Mesh saliency[C]//ACM Transactions on Graphics,2005,24:659-666.
[14]ITTI L,KOCH C,NIEBUR E.A model of saliencybased visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.
[15]RUSU R B,COUSINS S.3D is here:point cloud library[C]//2011 IEEE International Conference on Robotics and Automation(ICRA),2011:1-4.