溫 穎，劉思遠(yuǎn)，張 玲

（1.杭州職業(yè)技術(shù)學(xué)院 信息電子系，浙江 杭州310018；2.浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州310023；3.浙江省可視媒體智能處理技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，浙江 杭州310012）

0 引 言

漸進(jìn)編碼傳輸技術(shù)［1］、可視掩碼計(jì)算算法［2］、適用于移動(dòng)設(shè)備的模型簡(jiǎn)化和漸進(jìn)傳輸方法［3，4］以及文獻(xiàn) ［5］提出在服務(wù)端完成并刪除耗時(shí)的本地重組計(jì)算，極大減少三維模型在客戶端的繪制等待時(shí)間的方法，上述這些面向移動(dòng)終端的模型簡(jiǎn)化、傳輸和繪制技術(shù)，能較好地實(shí)現(xiàn)三維圖形在移動(dòng)終端上的可視化，但這些方法沒有考慮移動(dòng)終端的跨平臺(tái)特性［6，7］，沒有綜合考慮視覺感知、圖形本身復(fù)雜度的動(dòng)態(tài)性、移動(dòng)終端系統(tǒng)資源及占用可能性，使得生成圖形的時(shí)間不均衡，視覺感知效果比較差。因此在三維圖形的信息動(dòng)態(tài)重組與自適應(yīng)可視化技術(shù)方面，系統(tǒng)應(yīng)綜合考慮當(dāng)前的資源狀況和計(jì)算能力，采用簡(jiǎn)略的計(jì)算方法和數(shù)據(jù)降低對(duì)計(jì)算質(zhì)量的要求，保證計(jì)算在指定時(shí)間內(nèi)完成，才能獲得良好的視覺效果。本文通過(guò)對(duì)象重要性計(jì)算，對(duì)不同級(jí)別細(xì)節(jié)層次模型的分布比例進(jìn)行跨平臺(tái)自動(dòng)調(diào)整，從而生成視覺效果較為滿意的三維場(chǎng)景，為移動(dòng)圖形繪制成本和視覺效果尋求一種折中方案。

1 視覺優(yōu)化的移動(dòng)三維圖形自適應(yīng)重構(gòu)系統(tǒng)的架構(gòu)

由于移動(dòng)終端屏幕尺寸較小，存儲(chǔ)量有限，若所有對(duì)象都采用精度高的場(chǎng)景模型顯示將對(duì)移動(dòng)終端存儲(chǔ)的占用量和網(wǎng)絡(luò)傳輸帶來(lái)巨大壓力，但若全部采用精度低的場(chǎng)景模型，視覺效果又無(wú)法得到保證。因此要采取分層次模型顯示策略。

一個(gè)物體有了不同的細(xì)節(jié)層次后，選擇該物體的一個(gè)用于繪制的細(xì)節(jié)層次的方法就是LOD （level of detail）選擇方法。選取LOD常用的兩種方法是根據(jù)視距來(lái)選擇合適的模型［8］和基于投影面積的LOD選取方法。但是，對(duì)象重要程度除了和視點(diǎn)位置、對(duì)象大小等影響視覺重要度的因素有關(guān)外還應(yīng)考慮觀測(cè)者的感興趣程度、對(duì)象的顏色等因素，因此要建立對(duì)象視覺重要度、對(duì)象顏色、對(duì)象大小、視點(diǎn)位置等綜合因素的對(duì)象重要度模型。此外，由于移動(dòng)終端軟硬件環(huán)境不盡相同，采取固定的顯示策略無(wú)法適應(yīng)所有移動(dòng)終端，因而需要根據(jù)不同終端對(duì)顯示策略進(jìn)行調(diào)整，按照新的顯示策略進(jìn)行圖形重構(gòu)。

本文提出的視覺優(yōu)化的移動(dòng)三維圖形自適應(yīng)重構(gòu)技術(shù)主要實(shí)現(xiàn)不同移動(dòng)終端上的自適應(yīng)繪制，即自動(dòng)適應(yīng)不同用戶要求和軟硬件環(huán)境生成滿意的可視化結(jié)果。該技術(shù)主要完成3個(gè)步驟：①結(jié)合對(duì)象的運(yùn)動(dòng)過(guò)程，估算對(duì)象的重要度；②根據(jù)對(duì)象重要度來(lái)選擇合適的可視化模型，確定哪些級(jí)別的LOD模型被用來(lái)進(jìn)行繪制；③根據(jù)移動(dòng)終端的平臺(tái)類型、移動(dòng)終端的配置參數(shù)和性能等，對(duì)選擇的層次細(xì)節(jié)模型再進(jìn)行適當(dāng)調(diào)整，使場(chǎng)景生成時(shí)間滿足限時(shí)要求，且較為均衡，達(dá)到最佳視覺效果。如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

2 對(duì)象視覺重要性的計(jì)算方法研究

對(duì)象重要性的計(jì)算是實(shí)現(xiàn)自適應(yīng)重構(gòu)的一個(gè)關(guān)鍵問(wèn)題，它是是否可以降低模型精度的重要依據(jù)。文獻(xiàn)［9］對(duì)視覺顯著度和視覺重要度進(jìn)行了量化分析，得到如下結(jié)論：當(dāng)觀測(cè)者在觀察感興趣的目標(biāo)時(shí)，他們的視線并不會(huì)分布于該目標(biāo)的所有區(qū)域，僅僅是目標(biāo)中特定的某幾個(gè)區(qū)域吸引了絕大多數(shù)的視覺注視點(diǎn)。這些區(qū)域定義為視覺重要度區(qū)域，且該區(qū)域和區(qū)域內(nèi)的對(duì)象大小、面積無(wú)關(guān)。對(duì)視覺顯著圖的計(jì)算，文獻(xiàn)［9］是基于這樣的假設(shè)：當(dāng)人類的視線落在某一點(diǎn)上時(shí)，該區(qū)域受到的視覺的強(qiáng)度，是以該點(diǎn)為中心的高斯分布。文獻(xiàn)［9］假設(shè)觀察者眼球距離屏幕的距離為1575像素 （約41厘米），而人類視網(wǎng)膜中央凹的寬度大約在1°左右，如圖2所示。

圖2 計(jì)算點(diǎn)擴(kuò)散函數(shù)

通過(guò)三角函數(shù)R＝1575像素×tan0.5°≈14pixels，便可以算出，所需使用的高斯函數(shù)，其寬度約為28個(gè)像素，得到直徑為28像素的圓形區(qū)域，即為1個(gè)注視點(diǎn)下的視覺重要度區(qū)域。

此外，在日常生活中，人們常?？梢泽w驗(yàn)到在視距相等的情況下，有些顏色顯得比實(shí)際距離近，而有些顏色顯得比實(shí)際距離遠(yuǎn)［10］，色彩的不同會(huì)造成空間遠(yuǎn)近感不同［11］。

基于以上研究成果，本文綜合考慮視覺重要度區(qū)域、視線方向、對(duì)象顏色及大小對(duì)視覺效果的影響，如圖3所示，把圓心作為視點(diǎn)，垂直視線方向上距離圓心最遠(yuǎn)的對(duì)象作為基準(zhǔn)對(duì)象，引入一個(gè)與視線方向相關(guān)的因子factor，取factor＝tanθ，d表示某對(duì)象到圓心的實(shí)際距離，s表示對(duì)象的投影面積，c表示對(duì)象的顏色，得到改進(jìn)后的重要度度量公式為

式中：α1，α2——權(quán)重系數(shù)，B——重要度基準(zhǔn)值，它的值由處于重要度臨界位置的某對(duì)象 （稱作基準(zhǔn)對(duì)象）計(jì)算得到，則，其中，θ0表示該基準(zhǔn)對(duì)象的視角，d0表示基準(zhǔn)對(duì)象到視點(diǎn)的距離，s0表示基準(zhǔn)對(duì)象的對(duì)象大小，c0表示基準(zhǔn)對(duì)象的顏色。I的值越大，表示某對(duì)象的重要度值越大。顏色按照紅、橙、黃、綠、青、藍(lán)、紫分別賦值7、6、5、4、3、2、1。圖3中，P1、P3、P6處的對(duì)象為綠色，P2處的對(duì)象為黃色，P4、P5、P7處的對(duì)象為紅色，P8處的對(duì)象為紫色。

以上對(duì)象重要性判斷主要針對(duì)視覺重要度區(qū)域之內(nèi)的對(duì)象，對(duì)于重要度區(qū)域之外的部分，隨著圓半徑的逐漸擴(kuò)大，根據(jù)對(duì)象和圓心之間的距離，可以利用線性關(guān)系逐步降低對(duì)象重要性，在此不再展開論述。

圖3 對(duì)象重要度

表1 重要度信息表，α1＝0.6，α2＝0.4

3 基于視覺優(yōu)化的移動(dòng)三維圖形重構(gòu)策略研究

按需動(dòng)態(tài)分配LOD模型適合于資源有限條件下的三維模型重構(gòu)。現(xiàn)有方法多數(shù)以虛擬對(duì)象的幾何屬性作為模型等級(jí)選擇的重要依據(jù)［12］，未考慮繪制時(shí)間限制，對(duì)虛擬對(duì)象在環(huán)境中所具有的其他屬性也極少考慮。

在自然圖形繪制過(guò)程中，由于時(shí)間限制不能將所有的模型都按照最高細(xì)節(jié)層次繪制，尤其是移動(dòng)終端，全部按照每個(gè)對(duì)象的LOD最高層次來(lái)傳輸，將對(duì)網(wǎng)絡(luò)造成較大壓力，且會(huì)增加移動(dòng)終端的能耗，因此需要對(duì)各個(gè)對(duì)象的繪制層次作出選擇。以LOD模型為數(shù)據(jù)源，對(duì)所需模型按照對(duì)象重要性進(jìn)行層次選取和繪制，從而降低數(shù)據(jù)量來(lái)滿足視覺的實(shí)時(shí)性要求，適合于移動(dòng)終端的計(jì)算環(huán)境。

假設(shè)場(chǎng)景中每個(gè)對(duì)象有n個(gè)模型，模型按細(xì)節(jié)層次從高到低依次為L(zhǎng)OD1，LOD2，…LODn。為滿足限時(shí)計(jì)算和視覺優(yōu)化的需要，將對(duì)象重要度從高到低排序，重要度越高，就選取層次越高的模型來(lái)顯示，設(shè)置不同層次模型的分布比例參數(shù)K。假設(shè)視覺重要度區(qū)域中有m個(gè)對(duì)象，num （LODi）表示第i層次模型的總數(shù) （i＝1，2，……，n），LOD模型的相應(yīng)級(jí)別所占的百分比依次為K1，K2，…Kn，Ki＝num （LODi）／m，Ki＞＝0 （i＝1，2，……，n），且K0＋K1＋K2＋…＋Kn＝1。

根據(jù)限時(shí)要求，按照對(duì)象重要性在場(chǎng)景數(shù)據(jù)庫(kù)中重新選取對(duì)象的細(xì)節(jié)層次。重構(gòu)策略的關(guān)鍵就是根據(jù)移動(dòng)終端的性能，不斷調(diào)整不同層次模型的分布比例參數(shù)K，以滿足限時(shí)要求。

重構(gòu)包括3個(gè)步驟：

首先識(shí)別終端類型，根據(jù)終端類型選擇不同層次模型分布比例參數(shù)K＝ ｛K1，K2，…Kn｝；

然后根據(jù)對(duì)象重要性選取待可視化對(duì)象。在視覺重要度區(qū)域內(nèi)形成可視化對(duì)象集Soi＝ ｛Oi；i＝1，2，…，n｝，然后計(jì)算每個(gè)對(duì)象的重要性Ioi，并根據(jù)對(duì)象重要性從高到低排序，得到有序可視化對(duì)象集：So＇i＝ ｛Oj；Ioj＞Ioj＋1，j＝1，2，…，n－1｝；

最后，計(jì)算So＇i中的LOD層次，并進(jìn)行調(diào)整。根據(jù)不同層次模型分布比例參數(shù)K，確定LOD級(jí)別計(jì)其數(shù)量，使重要度性的對(duì)象選取高層次的LOD模型。此時(shí)待可視化對(duì)象對(duì)應(yīng)的層次模型集合為：

Loi＝Oi ∈ So＇i，l＝ 1，2，3，…，n，num（li）＝m＊Ki，i＝1，2，3，…，n｝，其中L為L(zhǎng)OD模型，l為對(duì)象的LOD層次，num （li）為第i層次模型的數(shù)量，m為對(duì)象個(gè)數(shù)，n為層次模型個(gè)數(shù)。

計(jì)算完成后，要根據(jù)繪制時(shí)間自適應(yīng)地調(diào)整可視化模型，保證在限定的時(shí)間內(nèi)將數(shù)據(jù)繪制完成，一般采用降低LOD級(jí)別的方法，對(duì)已選取的LOD層次要進(jìn)行調(diào)整，通過(guò)減少高層次的數(shù)據(jù)傳輸量來(lái)降低移動(dòng)終端能耗。若繪制時(shí)間在限定時(shí)間的合理范圍內(nèi)時(shí)，則直接進(jìn)行繪制；若估算的繪制時(shí)間小于限定時(shí)間的合理范圍，則按照對(duì)象重要性由大到小的排列，增加對(duì)象的模型級(jí)別，直到在估算的繪制時(shí)間接近限定時(shí)間或者所有對(duì)象的LOD級(jí)別已經(jīng)達(dá)到最高等級(jí)為止；反之，則依次降低當(dāng)前對(duì)象的模型級(jí)別，直到不能降低模型級(jí)別為止。

考慮到移動(dòng)終端資源有限，可以從比較低的分辨率的模型開始選擇，通過(guò)逐步增加高層次模型來(lái)提高視覺顯示效果。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文提出的方法，進(jìn)行了3個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境為：CPU為Intel（R）Core （TM）i3CPU 550＠3.20GHz 3.19GHz，內(nèi)存為2048MB（DDR2SDRAM），顯卡為ATI Radeon HD 4550的PC機(jī)一臺(tái)、分辨率為640×480像素的HP iPAQ hx4700型PDA一臺(tái)、iphone手機(jī)一臺(tái)。實(shí)驗(yàn)前在PC建立場(chǎng)景數(shù)據(jù)庫(kù)，并采用層次樹的方式為場(chǎng)景中每個(gè)對(duì)象組織各自的層次模型。在PAD端初始時(shí)采用二維圖片方式展示場(chǎng)景和對(duì)象，操作者通過(guò)點(diǎn)擊某處作為當(dāng)前注視點(diǎn)，并將此作為視覺重要度區(qū)域的圓心，把直徑為28像素的圓形區(qū)域作為視覺重要度區(qū)域。通過(guò)使用PAD進(jìn)行漫游，在運(yùn)行中，PC機(jī)根據(jù)視覺重要度區(qū)域傳輸不同的層次模型供操作者進(jìn)行交互。

圖4為本文實(shí)驗(yàn)所用到對(duì)象的10個(gè)級(jí)別的LOD模型，其中標(biāo)題顯示的是對(duì)應(yīng)LOD模型的面片數(shù)量。圖4（a）的LOD模型最為精細(xì)，面片數(shù)量為5840個(gè)；圖4（j）的LOD模型最粗糙，面片數(shù)量?jī)H為60個(gè)。

圖4 不同細(xì)節(jié)層次的LOD模型

實(shí)驗(yàn)1 對(duì)使用區(qū)分優(yōu)先層次策略和未使用區(qū)分優(yōu)先層次策略兩者的仿真時(shí)間對(duì)比。

圖5為兩者的仿真時(shí)間的變化情況。顯示同一個(gè)場(chǎng)景，采用相同的路徑進(jìn)行漫游，漫游路程為100幀，每隔5幀采樣一點(diǎn)，期望響應(yīng)時(shí)間為0.068s。藍(lán)色曲線表示使用區(qū)分優(yōu)先層次優(yōu)化策略前的仿真時(shí)間變化，紅色曲線表示使用區(qū)分優(yōu)先層次優(yōu)化策略后的仿真時(shí)間變化?？梢园l(fā)現(xiàn)，使用區(qū)分優(yōu)先層次策略后，場(chǎng)景的仿真時(shí)間降低，且場(chǎng)景的仿真時(shí)間更加穩(wěn)定且接近于預(yù)先設(shè)定的期望響應(yīng)時(shí)間。

圖5 使用區(qū)分優(yōu)先層次策略前后的仿真時(shí)間比較

實(shí)驗(yàn)2 使用自適應(yīng)優(yōu)化方法和未使用自適應(yīng)優(yōu)化方法的LOD分布對(duì)比。

表2為使用自適應(yīng)方法優(yōu)化前和優(yōu)化后的LOD分布，T1～T5為5個(gè)不同的時(shí)刻，視覺重要區(qū)域內(nèi)平均有36個(gè)對(duì)象。如在T1時(shí)刻，在使用自適應(yīng)優(yōu)化方法前，LOD1和LOD2的數(shù)量較多，因而造成仿真時(shí)間過(guò)長(zhǎng)；在使用自適應(yīng)優(yōu)化方法后，LOD1和LOD2的數(shù)量減少，且LOD4（紋理貼圖）的數(shù)量增加，該優(yōu)化方法降低了那些重要性相對(duì)較低的對(duì)象的模型級(jí)別，所以仿真速率也相應(yīng)提高了。

表2 使用區(qū)分優(yōu)先層次策略前后的LOD分布

實(shí)驗(yàn)3 不同網(wǎng)絡(luò)帶寬采取同一個(gè)分層策略的仿真時(shí)間對(duì)比。

圖6顯示了不同網(wǎng)絡(luò)帶寬采取同一個(gè)分層策略的仿真時(shí)間。實(shí)驗(yàn)場(chǎng)景中共30個(gè)對(duì)象，每個(gè)對(duì)象的LOD取4個(gè)層次，分別是LOD1，LOD2，LOD3和LOD4（采用紋理貼圖），分 別 設(shè) 置 分 布 比 例 參 數(shù) K1＝ ｛0.4，0.2，0.2，0.2｝，K2＝ ｛0.3，0.2，0.2，0.3｝，K3＝ ｛0.1，0.2，0.3，0.4｝。從圖中可以看出，由于平臺(tái)不同，導(dǎo)致性能不同，采取同樣的分層策略無(wú)法取得一致滿意的結(jié)果。在網(wǎng)絡(luò)帶寬較為滿意的情況下，按分布比例參數(shù)K3繪制時(shí)，能取得較滿意的結(jié)果。

圖6 同一分層策略在不同網(wǎng)絡(luò)帶寬下的仿真時(shí)間

我們分別在iPhone和iPad上進(jìn)行了自適應(yīng)可視化的應(yīng)用，仿真場(chǎng)景實(shí)例如圖7所示。通過(guò)應(yīng)用表明，該方法能根據(jù)移動(dòng)終端的類型和網(wǎng)絡(luò)環(huán)境進(jìn)行模型不同層次的分布比例參數(shù)的調(diào)整，實(shí)現(xiàn)三維場(chǎng)景的自適應(yīng)可視化。

5 結(jié)束語(yǔ)

圖7 仿真場(chǎng)景實(shí)例

為了自動(dòng)適應(yīng)不同平臺(tái)移動(dòng)終端的軟硬件環(huán)境，保證虛擬圖形可視化真實(shí)感的同時(shí)，保持三維交互虛擬圖形繪制時(shí)間的恒定性，本文研究了一種視覺優(yōu)化的移動(dòng)三維圖形自適應(yīng)重構(gòu)方法。該方法能根據(jù)不同移動(dòng)終端的特點(diǎn)，通過(guò)對(duì)復(fù)雜圖形中對(duì)象視覺重要性的評(píng)估，采用區(qū)分優(yōu)先層次的策略生成可視化效果較為滿意的虛擬圖形。進(jìn)一步的工作包括為不同計(jì)算能力的移動(dòng)終端提供合理的初始層次分布比例，以縮短自適應(yīng)調(diào)整時(shí)間，提高顯示效率。此外還需進(jìn)一步研究當(dāng)移動(dòng)終端在大范圍漫游時(shí)，如何保證對(duì)象顯示的仿真時(shí)間較為穩(wěn)定。

［1］FU Xin，TANG Yan.3Dmodel transmission technology ［C］／／Chongqin：Computer Application Technology Exchange，2008：78－83（in Chinese）.［付鑫，唐雁.三維模型傳輸技術(shù) ［C］／／重慶：計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)，2008：78－83.］

［2］Qu L J，Meyer G W.Perceptually guided polygon reduction［J］.IEEE Transactions on Visualization and Computer Graphics，2008，14 （5）：1015－1029.

［3］LUO Xiaonan，LIN Mouguang，JI Changbo，et al.A progressive geometry simplification method for mobile computing terminal ［J］.Journal of Computer Research and Development，2007，44 （6）：1038－1043 （in Chinese）.［羅笑南，林謀廣，姬長(zhǎng)波，等.面向移動(dòng)計(jì)算終端的漸進(jìn)幾何簡(jiǎn)化方法 ［J］.計(jì)算機(jī)研究與發(fā)展，2007，44 （6）：1038－1043.］

［4］MA Jianping，LUO Xiaonan，CHEN Bo，et al.A geometry simplification method for mobile 3Dgraphics ［J］.Journal of Computer Research and Development，2008，45 （8）：1395－1401（in Chinese）.［馬建平，羅笑南，陳渤，等.一種面向移動(dòng)3D圖形的幾何簡(jiǎn)化方法 ［J］.計(jì)算機(jī)研究與發(fā)展，2008，45 （8）：1395－1401.］

［5］YANG Bailin，WANG Xun，PAN Zhigeng.Perceptually optimized model transmission and realtime rendering among wireless network ［J］.Journal on Communications，2011，32 （2）：77－85（in Chinese）.［楊柏林，王勛，潘志庚.無(wú)線網(wǎng)絡(luò)中基于視覺優(yōu)化的三維模型傳輸與實(shí)時(shí)繪制方法 ［J］.通信學(xué)報(bào)，2011，32 （2）：77－85.］

［6］Johannes Behr，Yvonne Jung，Tobias Franke，et al.Using images and explicit binary container for efficient and incremental delivery of declarative 3Dscenes on the web ［C］／／Los Angeles，USA：Proceedings of the 17th International Conference on 3DWeb Technology，2012：17－25.

［7］Jingshu Huang，Brian Bue，Avin Pattath，et al.Interactive illustrative rendering on mobile devices ［J］.IEEE Computer Graphics and Applications，2007：48－56.

［8］Bao G B，Li H J，Zhang X P，et al.Realistic real－time rendering for large－scale forest scenes ［C］／／Singapore：Proceedings of IEEE International Symposium on Virtual Reality Innovation，2011：217－223.

［9］WANG Junle.The research of visual attention and quantifying the relationship between visual saliency and visual importance［D］.Guangzhou：South China University of Technology，2010：1－67 （in Chinese）.［王君樂(lè).視覺注意機(jī)制相關(guān)研究及其中視覺顯著度與重要度間關(guān)系的量化分析 ［D］.廣州：華南理工大學(xué)，2010：1－67.］

［10］MA Aimei.Color based on color psychology，urban planning and design ［D］.Tianjin：Tianjin University of Science and Technology，2010：1－65 （in Chinese）.［麻愛美.基于色彩心理學(xué)的城市色彩規(guī)劃設(shè)計(jì) ［D］.天津：天津科技大學(xué)，2010：1－65.］

［11］YANG Zhen.Research on technology of retinal projection display ［D］.Xian：Northwestern Polytechnical University，2011：1－59 （in Chinese）.［楊震.視網(wǎng)膜投影顯示技術(shù)研究［D］.西安：西北工業(yè)大學(xué)，2011：1－59.］

［12］LIANG Xiaohui，ZHAO Qinping，HE Zhiying，et al.Mobile terminal－oriented real－time interaction point model drawing method ［J］.Science China Press，2009，39 （8）：822－832（in Chinese）.［梁曉輝，趙沁平，何志熒，等.一種面向移動(dòng)終端實(shí)時(shí)交互的點(diǎn)模型繪制方法 ［J］.中國(guó)科學(xué)，2009，39（8）：822－832.］