宋穎麗，牛保寧，宋春花

太原理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030600

多級(jí)紋理細(xì)節(jié)的立方體全景紋理再現(xiàn)*

宋穎麗，牛保寧，宋春花+

太原理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030600

城市可視化中的紋理再現(xiàn)，是場景真實(shí)性的關(guān)鍵。紋理再現(xiàn)通常需要大量的紋理數(shù)據(jù)，對于資源受限的移動(dòng)終端，意味著巨大的網(wǎng)絡(luò)流量和電量消耗，成為制約城市可視化技術(shù)在移動(dòng)終端應(yīng)用的瓶頸。提出一種多級(jí)紋理細(xì)節(jié)的立方體全景紋理再現(xiàn)技術(shù)（LOD-in-IBR）。根據(jù)人眼視覺系統(tǒng)信息選擇策略中對場景各區(qū)域關(guān)注度存在的差異，用較低分辨率的紋理數(shù)據(jù)再現(xiàn)關(guān)注度較低的區(qū)域，從而減少所需的紋理數(shù)據(jù)，降低移動(dòng)終端的資源消耗。場景各區(qū)域用圖像紋理的信息熵進(jìn)行區(qū)分，按照信息熵的大小對場景各區(qū)域分類，不同類別的紋理采用不同的分辨率進(jìn)行再現(xiàn)，使之達(dá)到全景圖像的同層次多級(jí)細(xì)節(jié)。對于縮?。ǚ直媛式档停┍壤∮?.5以上的部分所產(chǎn)生的塊效應(yīng)，用雙三次迭代插值算法進(jìn)行優(yōu)化。實(shí)驗(yàn)證明該方法在不引起視覺感知變化的條件下，再現(xiàn)所需的紋理數(shù)據(jù)減少30%，全景平均渲染時(shí)間減少30%。

立方體全景；圖像信息熵；紋理再現(xiàn)；同層次多級(jí)細(xì)節(jié)

1 引言

城市可視化中的紋理再現(xiàn)，是實(shí)現(xiàn)場景真實(shí)性的關(guān)鍵。無論基于圖形學(xué)的場景建模方法[1-2]，還是基于圖像的場景建模方法[3-4]，都需要利用紋理再現(xiàn)來增加場景的真實(shí)感?；趫D形學(xué)的場景建模方法通過構(gòu)建實(shí)體的幾何模型顯示實(shí)體的輪廓特征，然后對實(shí)體模型進(jìn)行紋理渲染，增加場景的真實(shí)感；基于圖像的建模方法通過對自然場景的照片序列拼接視角和變換視點(diǎn)，然后修改觀察參數(shù)以形成真實(shí)的場景。采用自然場景的紋理圖像可以真實(shí)地反映場景中實(shí)物的色澤明暗和材質(zhì)紋理等特性，不需要額外光照和紋理的模擬，具有很高的真實(shí)性。

然而城市場景可視化的數(shù)據(jù)量可達(dá)到千兆字節(jié)（GB）甚至太字節(jié)（TB）級(jí)別，其中紋理數(shù)據(jù)占50%～70%[5]。對于資源受限的移動(dòng)終端，巨大的紋理數(shù)據(jù)傳輸導(dǎo)致高額的網(wǎng)絡(luò)流量，對內(nèi)存和電池容量提出更高要求。紋理數(shù)據(jù)再現(xiàn)成為制約城市可視化技術(shù)在移動(dòng)端應(yīng)用的主要瓶頸。

現(xiàn)有紋理再現(xiàn)技術(shù)主要有Mip-Map[6]技術(shù)、過程式語法紋理構(gòu)建技術(shù)[5]兩種。Mip-Map技術(shù)按照實(shí)體與觀看者距離遠(yuǎn)近的不同，使用不同分辨率渲染同一場景。分辨率最大的圖像放在前面人眼觀看的顯著位置，分辨率低的圖像放在背景區(qū)域。這種方法的優(yōu)點(diǎn)是利用低分辨率紋理圖像加載時(shí)間短的特點(diǎn)，縮短場景顯示在線等待時(shí)間。但是當(dāng)場景前進(jìn)后，距離觀察者遠(yuǎn)的建筑物移動(dòng)到距離近的位置，同一建筑物立面紋理會(huì)有低分辨率和高分辨率多次調(diào)用的過程，這樣從服務(wù)器端傳輸?shù)揭苿?dòng)端的紋理數(shù)據(jù)會(huì)大幅度增加。另外，Mip-Map技術(shù)需要深度信息，通常只適用于圖形學(xué)建模方式。過程式語法紋理構(gòu)建技術(shù)提取二維紋理數(shù)據(jù)的重復(fù)性和對稱性，構(gòu)建基于語義的過程式語法，只傳輸不重復(fù)的單元紋理，壓縮紋理圖像數(shù)據(jù)。但是這種方法在渲染時(shí)，用戶需要通過逆過程式建模將單元紋理重構(gòu)來還原真實(shí)紋理，增加了渲染終端的計(jì)算量。此外，其他紋理再現(xiàn)技術(shù)，把研究重點(diǎn)主要集中在圖像拼接和添加深度信息增加觀察者的沉浸感[7-9]方面，同樣沒有考慮到紋理數(shù)據(jù)傳輸量大的問題。

由于立方體全景建模技術(shù)不存在深度信息，能夠大幅度壓縮紋理數(shù)據(jù)的Mip-Map技術(shù)不能夠直接在立方體全景建模中應(yīng)用。針對這一問題，本文提出一種多級(jí)紋理細(xì)節(jié)的立方體全景紋理再現(xiàn)技術(shù)（LOD-in-IBR），基于Mip-Map技術(shù)思想，用人眼識(shí)別場景各區(qū)域重要度差異代替深度信息，選取不同分辨率圖像渲染各區(qū)域。根據(jù)人眼視覺系統(tǒng)信息選擇策略中對場景各區(qū)域關(guān)注度存在的差異，用較低分辨率的紋理數(shù)據(jù)再現(xiàn)關(guān)注度較低的區(qū)域，用較高分辨率的紋理數(shù)據(jù)再現(xiàn)關(guān)注度較高的區(qū)域，從而減少所需紋理數(shù)據(jù)。

LOD-in-IBR引入圖像信息熵表示紋理信息復(fù)雜度，把場景分割為若干區(qū)域，以信息熵為依據(jù)對區(qū)域分類，不同的區(qū)域類別采用不同的分辨率再現(xiàn)紋理。對于低分辨率低再現(xiàn)產(chǎn)生的塊效應(yīng)，用雙三次迭代插值算法進(jìn)行優(yōu)化，達(dá)到不引起視覺感知變化的效果。

本文組織結(jié)構(gòu)如下：第2章綜述城市場景可視化相關(guān)工作；第3章介紹相關(guān)背景知識(shí)；第4章闡述紋理再現(xiàn)技術(shù)原理及實(shí)驗(yàn)流程；第5章通過實(shí)驗(yàn)驗(yàn)證本文方法并分析實(shí)驗(yàn)結(jié)果；第6章進(jìn)行總結(jié)和展望。

2 相關(guān)工作

城市場景建模所需數(shù)據(jù)量巨大，一些攝影設(shè)備、測量CCD傳感器、LIDAR設(shè)備的使用使得紋理數(shù)據(jù)尺寸和精度也有了明顯的提高，海量紋理數(shù)據(jù)意味著巨額網(wǎng)絡(luò)流量和電量消耗?，F(xiàn)有快速場景可視化渲染主要從降低建模所需數(shù)據(jù)量和優(yōu)化實(shí)時(shí)渲染兩方面來解決。

在降低建模所需數(shù)據(jù)量方面：Glander和D?llner提出基于單元塊聚類對建筑物進(jìn)行合并[10]；Ellul和Joubran在三維場景中對城市建筑物集設(shè)定閾值進(jìn)行特征值的移除、簡化和聚合[11]；Ellul和Altenbuchner提出對單個(gè)建筑物采用拓?fù)鋽?shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ)表示，從而降低用于構(gòu)建建筑物幾何模型的數(shù)據(jù)[12]。以上方法都是在基于圖形學(xué)的城市場景可視化中對模型數(shù)據(jù)進(jìn)行壓縮。然而，這種建模方式對場景再現(xiàn)終端的計(jì)算能力要求較高，計(jì)算量的增多必然會(huì)加劇電量消耗，因此這種方法并不適用于移動(dòng)終端。對于場景的構(gòu)建，二維紋理數(shù)量占總數(shù)據(jù)量絕大多數(shù)，因此對紋理圖像壓縮才是數(shù)據(jù)壓縮的重中之重。文獻(xiàn)[5]提出通過提取建模二維紋理的重復(fù)性和對稱性，構(gòu)建過程式語法，傳輸單元紋理，壓縮紋理圖像數(shù)據(jù)，但是這種壓縮方法在場景重現(xiàn)時(shí)必然會(huì)導(dǎo)致渲染終端計(jì)算量的增加。針對以上現(xiàn)狀，本文在移動(dòng)端采用計(jì)算量較小的基于圖像的城市場景建模方法，并對紋理圖像數(shù)據(jù)進(jìn)行壓縮。

在優(yōu)化實(shí)時(shí)渲染方面：對紋理數(shù)據(jù)切片模型進(jìn)行處理[13]，這種方法實(shí)際是將大圖切成小圖分塊加載，達(dá)到加快渲染的目的，數(shù)據(jù)傳輸量并未降低；另一種是Mip-Map技術(shù)，使用不同分辨率圖像減少同一靜止場景渲染數(shù)據(jù)總量，達(dá)到降低渲染時(shí)間的效果。但是在場景變換時(shí)，同一場景的不同分辨率多次進(jìn)行調(diào)用，反而增加紋理數(shù)據(jù)的加載。受Mip-Map方法啟發(fā)，本文根據(jù)場景區(qū)域等級(jí)不同對紋理數(shù)據(jù)采用不同分辨率。與Mip-Map技術(shù)不同之處在于，Mip-Map根據(jù)距離人眼的距離進(jìn)行分級(jí)，這種分級(jí)方式導(dǎo)致場景變換時(shí)實(shí)體與人眼距離是不斷變換的，因此增加了紋理數(shù)據(jù)量的加載。全景圖由二維紋理圖像拼接而成，無法使用Mip-Map技術(shù)，因此本文根據(jù)人眼視覺系統(tǒng)對場景各部分關(guān)注度的重要程度進(jìn)行分級(jí)，將細(xì)節(jié)層次模型與技術(shù)的思想相結(jié)合，從而降低渲染數(shù)據(jù)量。

3 背景知識(shí)

3.1 全景圖像的紋理數(shù)據(jù)組織

立方體全景模型是將同一個(gè)場景旋轉(zhuǎn)360°拍攝所獲得的前、后、上、下、左、右6張影像分別貼于立方體模型對應(yīng)的6個(gè)面當(dāng)中[14]，生成的六面體全景圖建立在二維紋理數(shù)據(jù)基礎(chǔ)上[15]。為了交互式全方位展示立方體全景圖，必須把紋理實(shí)時(shí)地映射到終端顯示的平面圖像視平面上。平面圖像和全景紋理的幾何關(guān)系如圖1所示，全景立方體6個(gè)展開面與全景圖的存儲(chǔ)關(guān)系如圖2所示。

Fig.1 Projection principle of cubic panorama圖1 立方體全景的投影原理

Fig.2 Storage format of cubic texture image圖2 立方體全景紋理圖像的存儲(chǔ)格式

3.2 圖像插值算法

降低圖像紋理分辨率可以降低紋理數(shù)據(jù)量，又能減少流經(jīng)移動(dòng)端的數(shù)據(jù)量，從而降低移動(dòng)終端紋理加載的計(jì)算量，達(dá)到降低紋理渲染時(shí)間的目的。

圖像分辨率的改變通過圖像插值算法實(shí)現(xiàn)。插值算法可以分為非自適應(yīng)插值算法和自適應(yīng)插值算法。自適應(yīng)插值算法復(fù)雜度高，運(yùn)行時(shí)間長[16]，不適合擁有TB級(jí)紋理數(shù)據(jù)量圖像的處理。

設(shè)原圖為S，圖像尺寸大小為Sw×Sh?？s小后的目標(biāo)圖像為D，大小為Dw×Dh。橫向縮放比例為Sw/Dw，縱向縮放比例為Sh/Dh。當(dāng)Sw/Dw=Sh/Dh時(shí)，簡稱縮放比例?？s小后圖像每個(gè)位置的像素與原圖像像素的關(guān)系如式（1）：

以原圖像大小5×5，縮小后目標(biāo)圖像4×4為例，設(shè) fxy為(x,y)點(diǎn)像素值。在計(jì)算目標(biāo)像素對應(yīng)原像素坐標(biāo)時(shí)，Sw/Dw和Sh/Dh會(huì)出現(xiàn)小數(shù)，即目標(biāo)圖像f22位置的像素應(yīng)該由原圖像中 f2.52.5的像素決定，如圖3所示。像素的坐標(biāo)是整數(shù)，當(dāng)使用四舍五入處理這些小數(shù)時(shí)，是最近鄰插值算法。由式（1）計(jì)算得到的目標(biāo)像素所對應(yīng)的原像素設(shè)為 f(i+u,j+v)（i、j分別為浮點(diǎn)坐標(biāo)的整數(shù)部分；u、v為浮點(diǎn)坐標(biāo)的小數(shù)部分），如果由 (i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)4個(gè)像素決定時(shí)，此方法為雙線性插值算法。

Fig.3 Relation of original image and target image pixels圖3 原圖像與目標(biāo)圖像像素點(diǎn)關(guān)系

雙三次插值是對雙線性插值的一種改進(jìn)，考慮鄰域內(nèi)4×4像素對目標(biāo)像素的影響，本文在降低分辨率方面選擇了雙三次插值算法。其插值公式為：

4 多級(jí)紋理細(xì)節(jié)的立方體全景紋理再現(xiàn)

根據(jù)人眼視覺神經(jīng)系統(tǒng)的特征可知，視覺注意機(jī)制引導(dǎo)人眼對場景識(shí)別關(guān)注復(fù)雜度較高區(qū)域，而對于場景復(fù)雜度較低的區(qū)域人眼并不敏感[17]，因此可以降低對人眼認(rèn)知場景無關(guān)性小的圖像分辨率，從而保證在不引起視覺感知變化的條件下，達(dá)到降低紋理數(shù)據(jù)的目的。

為了實(shí)現(xiàn)場景的同層次多級(jí)紋理細(xì)節(jié)，需要解決以下問題：（1）把場景分割為3個(gè)等級(jí)的區(qū)域；（2）根據(jù)區(qū)域等級(jí)的劃分把相應(yīng)區(qū)域的分辨率分為3個(gè)等級(jí)；（3）降低分辨率后再次渲染時(shí)塊效應(yīng)的消除。本章分別討論解決以上問題的方案。

4.1 場景分割

同一場景中，人眼識(shí)別場景會(huì)快速識(shí)別有效興趣區(qū)域，即復(fù)雜度較高區(qū)域，實(shí)現(xiàn)對場景的識(shí)別。本文通過信息熵來表征圖像復(fù)雜度，圖像信息熵越大，代表紋理圖像信息量越多，對人眼視覺系統(tǒng)識(shí)別場景的貢獻(xiàn)度越大；相反，信息熵越小，代表紋理圖像中所包含信息量越小，對人眼視覺系統(tǒng)識(shí)別場景的貢獻(xiàn)度越小。因此可以對場景各區(qū)域用圖像紋理的信息熵進(jìn)行區(qū)分，按照信息熵的大小對場景各區(qū)域進(jìn)行分類，不同類別的紋理采用不同的分辨率進(jìn)行再現(xiàn)，使之達(dá)到全景圖像的同層次多級(jí)細(xì)節(jié)。

由上文立方體展開面與全景圖存儲(chǔ)關(guān)系可知，一個(gè)場景由6張紋理圖像組成，即6個(gè)區(qū)域。本文將立方體全景中的6張二維紋理圖像根據(jù)信息熵的大小分成3個(gè)等級(jí)區(qū)域。信息熵最大的兩個(gè)區(qū)域?yàn)橐坏燃?jí)區(qū)域，信息熵最小的兩個(gè)區(qū)域?yàn)槿燃?jí)區(qū)域，剩下的兩個(gè)區(qū)域?yàn)槎燃?jí)區(qū)域。

4.2 分辨率分級(jí)

根據(jù)3個(gè)等級(jí)區(qū)域劃分，將各區(qū)域所對應(yīng)圖像分辨率也分成3個(gè)等級(jí)，信息熵最大的兩個(gè)區(qū)域即一等級(jí)區(qū)域，用分辨率最高的紋理圖像再現(xiàn)；信息熵大小排序中間的兩個(gè)區(qū)域即二等級(jí)區(qū)域，降低其紋理圖像分辨率，將紋理圖像長寬分別縮小為原來的0.5；信息熵最小的兩個(gè)區(qū)域即三等級(jí)區(qū)域，用最低分辨率，將紋理圖像長寬縮小為原來的0.25。

本文采用上采樣方法縮小圖像以降低圖像紋理的分辨率，使用雙三次插值算法對縮小比例0.5的圖像進(jìn)行操作，對于縮小比例0.25的部分所產(chǎn)生的塊效應(yīng)，提出用雙三次迭代插值算法進(jìn)行優(yōu)化。

4.3 雙三次迭代插值算法

由上文圖像的縮小原理可知，縮放過程中要用更少的像素來代替原圖像，因此信息的丟失是無法避免的。減少原圖像信息丟失的關(guān)鍵是用浮點(diǎn)坐標(biāo)周圍更多的像素去表示縮小后相應(yīng)的像素。實(shí)驗(yàn)測定雙三次插值算法在縮小比例0.5～1.0內(nèi)所產(chǎn)生的效果不會(huì)對人眼感受產(chǎn)生影響，而縮放比例小于0.5時(shí)邊緣會(huì)出現(xiàn)塊效應(yīng)。本文提出雙三次迭代插值算法，其思想為：當(dāng)縮放比例Sw/Dw≥0.5,Sh/Dh≥0.5時(shí)可以直接使用雙三次插值算法；當(dāng)Sw/Dw＜0.5,Sh/Dh＜0.5時(shí)，需要對Sh/Dh和Sw/Dw先進(jìn)行放大操作，尋找放大次數(shù) n，滿足 n×Sh/Dh≥0.5,n×Sw/Dw≥0.5，先對原圖進(jìn)行n×Sh/Dh和n×Sw/Dw的縮放，再進(jìn)行n-1次0.5比例的縮小。

以本文紋理再現(xiàn)過程為例，縮小比例Sw/Dw=Sh/Dh=0.5時(shí)，圖像進(jìn)行一次雙三次插值操作；縮小比例Sw/Dw=Sh/Dh=0.25時(shí)，當(dāng)放大到原來圖像尺寸渲染時(shí)就會(huì)出現(xiàn)塊效應(yīng)，此時(shí)需要先對原圖進(jìn)行2×Sw/Dw=2×Sh/Dh=0.5縮小操作，再進(jìn)行1次0.5比例的縮小操作。當(dāng)進(jìn)行一次雙三次插值時(shí)，式（2）中B的每一個(gè)像素 f(i′,j′)由其橫坐標(biāo)為 (i′-1)～(i′+2)、縱坐標(biāo)為 (j′-2)～(j′+1)這些像素點(diǎn)決定，再進(jìn)行 1次 0.5縮放比例迭代后，f(i,j)將由橫坐標(biāo)(i-2)～(i+4)、縱坐標(biāo)(j-4)～(j+2)領(lǐng)域的像素決定。即縮小后目標(biāo)圖像的像素由原來圖像對應(yīng)領(lǐng)域內(nèi)4×4的像素點(diǎn)決定，迭代后變成由原來圖像領(lǐng)域內(nèi)7×7的像素點(diǎn)決定。其原理如圖4所示。

Fig.4 Relation of original sub-block image and target image sub-block圖4 原圖像子塊與目標(biāo)圖像子塊的對應(yīng)關(guān)系

4.4 整體步驟和算法

本文基于熵的雙三次迭代算法分為兩個(gè)階段：第一個(gè)階段是在每個(gè)場景的6幅紋理圖像中進(jìn)行信息熵計(jì)算，并按熵值從大到小排序。第二階段是將第一階段所得到的結(jié)果作為初始條件，將熵值排序第三和第四的兩張紋理圖像縮小為原來的0.5；將熵值排序第五和第六最小的兩張紋理圖像進(jìn)行0.25縮小操作；對熵值排序最高的兩張紋理圖像不進(jìn)行操作，這樣在同一場景中，就形成了同級(jí)多層次細(xì)節(jié)。

整體步驟如下：

步驟1設(shè)場景S中的6張紋理圖像分別為l1、l2、l3、l4、l5、l6，對每一場景 6 張彩色紋理圖 S={l1,l2,l3,l4,l5,l6}進(jìn)行RGB通道到灰度通道的轉(zhuǎn)換，采用式（3），對應(yīng)以下算法描述的第2、第3行。

步驟2分別求解步驟1輸出圖像的信息熵，如式（4）所示。因?yàn)槊總€(gè)場景熱點(diǎn)中使用的是相同參數(shù)的相機(jī)進(jìn)行拍攝，所以每個(gè)場景中的6幅圖是具有可比較性的。利用信息熵含義，來描述每個(gè)場景平均信息量的多少，對應(yīng)算法描述的第4、第5行。

其中，Pi代表圖像信息中灰度值為i的像素在所有像素中所占比例。可知圖像信息熵表示圖像中灰度聚集度分布所包含的信息量。H越高，擁有更多的紋理信息。相反，H越低則代表紋理信息較單一。

步驟3對步驟2中6張圖像計(jì)算出來的信息熵H={H1,H2,H3,H4,H5,H6}由大到小排序，假定其中H1＞H2＞H3＞H4＞H5＞H6。根據(jù)圖像信息熵等級(jí)的排列采用雙三次插值縮放算法和雙三次迭代插值算法對紋理圖像分別操作。經(jīng)過實(shí)驗(yàn)測定，對H3、H4所表示的紋理數(shù)據(jù)縮小0.5，對H5、H6所表示紋理數(shù)據(jù)縮小0.25的實(shí)驗(yàn)結(jié)果較好。

步驟4對H3、H4包含信息量中等的圖像進(jìn)行0.5縮放比例的雙三次插值變換，如式（2）所示，對應(yīng)算法描述的第7行。

步驟5對H5、H6包含信息量較小的原圖像利用雙三次迭代插值算法進(jìn)行比例0.25的縮小變換。即先對 H5、H6所對應(yīng)的原圖進(jìn)行寬 2×Sw/Dw(2×Sw/Dw≥0.5)、高2×Sh/Dh(2×Sh/Dh≥0.5)的雙三次插值計(jì)算，如式（5）所示，式中B的每個(gè) f(a,b)值由 f(a+u,b+v)帶入到式（2）對其結(jié)果再次進(jìn)行寬0.5、高0.5的迭代計(jì)算，最后可得縮小為0.25圖像，如算法描述的第8行。

算法描述：

輸入：場景的6張紋理S={l1,l2,l3,l4,l5,l6}

輸出：紋理壓縮后的場景紋理D={l1,l2,l3,l4,l5,l6}

1.初始化G,H;

2.for eachli∈Sdo

3. 將li由RGB模式轉(zhuǎn)換成灰度模式gi放入數(shù)組G中；

4.for eachgi∈Gdo

5. 計(jì)算gi的圖像信息熵hi；

6.for eachhi∈Hdo

7. 將最小的兩個(gè)hi所對應(yīng)的li縮小0.5；

8. 將次小的兩個(gè)hi所對應(yīng)的li縮小0.25；

9. 將變換后的li放入D中;

10.returnD；

5 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

本實(shí)驗(yàn)環(huán)境配置：Inter?Pentium?CPU G3250@3.20 GHz處理器，4 GB內(nèi)存，Windows8.1操作系統(tǒng)，C++語言實(shí)現(xiàn)算法，VS2010環(huán)境下運(yùn)行。

5.1 場景熵值

本文以一個(gè)場景為例，設(shè)pano_b、pano_d、pano_f、pano_l、pano_r、pano_u分別代表同一場景全景紋理圖像存儲(chǔ)格式中的后平面、下平面、前平面、左平面、右平面和上平面。利用式（4）計(jì)算此場景中6幅圖的熵值，結(jié)果如表1所示。

Table 1 Experiment data of scene entropy表1 場景熵值實(shí)驗(yàn)數(shù)據(jù)

由表1可知，下一步需要對pano_d和pano_u進(jìn)行0.25比例的縮小操作，對pano_r和pano_b進(jìn)行0.50比例的縮小操作，剩余其他紋理不進(jìn)行操作。

5.2 圖像縮小效果及其再現(xiàn)質(zhì)量評(píng)價(jià)

本文對其中一個(gè)場景，使用最鄰近算法、線性插值算法、雙三次線性插值算法和本文算法進(jìn)行0.25縮小再放大操作。由于篇幅原因，截取該場景圖像的一部分，其效果如圖5所示。

從圖5所示結(jié)果中可以看出，最鄰近算法效果最差，樓房邊緣和電線桿等處可以看到明顯的塊效應(yīng)，本文的雙三次迭代插值算法效果最佳。

Fig.5 Effect comparison of 4 methods圖5 4種算法效果對比

在LIVE和TID2008兩個(gè)公開評(píng)價(jià)數(shù)據(jù)庫上[18]對現(xiàn)有的9種圖像質(zhì)量評(píng)價(jià)方法進(jìn)行了測試。其中，特征相似度（FSIM、FSIMc）幾乎在所有失真類型的測試中都有很好的結(jié)果。這是因?yàn)镕SIM和FSIMc考慮了相位一致性信息和圖像梯度，來模擬人眼感興趣區(qū)域[19]，所以在質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)上除了使用峰值信噪比（PSNR）和均方誤差（MSE）外，還增加FSIMc的測量。其計(jì)算公式如式（6）所示，其中PCm(x,y)=max(PC(x),PC(y))代表圖像x、y整體的相似性加權(quán)，SPC(x,y)和SG(x,y)分別表示x、y的特征相似性和梯度相似性，PC和G分別表示圖像的相位一致性和梯度幅度，SI和SQ表示圖像的色度信息，I和Q代表圖像的色度分量。

利用上述質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)對其中一張圖像的原圖和縮小0.25后再放大到原圖尺寸進(jìn)行質(zhì)量測評(píng)，結(jié)果如表2所示。

Table 2 Image quality measurement表2 圖像質(zhì)量測量

由表2中數(shù)據(jù)可知，3種方法所測得的PSNR、MSE和FSIMc變化趨勢相同，F(xiàn)SIMc結(jié)果是一個(gè)0到1的任意數(shù)字，表示相似度，數(shù)字越大，相似度越高。由實(shí)驗(yàn)結(jié)果可知，本文方法的FSIMc結(jié)果最高，相似度為0.994 0，人眼幾乎識(shí)別不出差異。

表3為一場景縮放前后文件大小的對比，場景中6張紋理原圖大小分別為 564、683、848、674、646、188 KB，總計(jì)3 603 KB。根據(jù)表1中的熵值得出，需要一級(jí)縮小的紋理是pano_b和pano_r，分辨率降低后圖像大小為370KB和403KB，需要二級(jí)縮小的紋理是pano_d和pano_u，分辨率降低后圖像大小為109 KB和48 KB。壓縮后6張紋理圖像大小為2 452 KB，壓縮率為32%。

Table 3 Data comparison before and after lowerresolution of texture data表3 紋理數(shù)據(jù)降低分辨率前后數(shù)據(jù)對比 KB

表4為紋理原圖和縮小后的紋理內(nèi)存載入與顯示時(shí)間之和的前后對比。

由表4可知，紋理圖像縮小前后相比，縮小后紋理圖像再現(xiàn)沒有引進(jìn)額外的計(jì)算量，從時(shí)間度量可知，圖像降低分辨率后會(huì)降低紋理的顯示時(shí)間。

Table 4 Time comparison before and after lower resolution of texture data表4 紋理數(shù)據(jù)降低分辨率前后顯示時(shí)間對比 s

實(shí)驗(yàn)過程中以同一場景的6幅2 048×2 048紋理圖像作為研究對象，設(shè)定一級(jí)紋理為2 048×2 048，二級(jí)紋理為1 024×1 024，三級(jí)紋理為512×512，壓縮率達(dá)到了32%；將經(jīng)過縮放技術(shù)的圖像在html中利用three.js開源庫模擬全景在移動(dòng)端的顯示，驗(yàn)證了利用圖像信息熵對場景紋理高效再現(xiàn)方法的可行性，仿真效果如圖6所示。

Fig.6 Compression effect before and after experiment圖6 壓縮前后實(shí)驗(yàn)效果

6 總結(jié)

本文突破傳統(tǒng)紋理“縱向分層、橫向分塊”的處理思想。根據(jù)信息熵大小，將全景紋理圖像分成多個(gè)等級(jí)的區(qū)域，每一級(jí)區(qū)域圖像的尺寸大小都是上一等級(jí)圖像的0.5倍；利用雙三次插值迭代算法消除了縮小（分辨率降低）比例小于0.5圖像再放大所產(chǎn)生的塊效應(yīng)。從理論上紋理數(shù)據(jù)的壓縮率可以達(dá)到50%，通過實(shí)驗(yàn)比對，壓縮率可達(dá)30%以上。在不引起視覺感知變化的條件下，減小再現(xiàn)所需紋理數(shù)據(jù)和渲染時(shí)間。本文方法雖然針對基于圖像的立方體全景紋理數(shù)據(jù)，但是針對球形和圓柱形全景紋理數(shù)據(jù)，在基于圖形圖像的建模領(lǐng)域中也可以有很好的應(yīng)用，對三維建模紋理數(shù)據(jù)高效再現(xiàn)提供了一種新思路、新方法。后續(xù)也將繼續(xù)研究本文方法在球形和圓柱形全景建模中的應(yīng)用。

[1]Batty M,Shiode N,Smith A,et al.Visualizing the city:communicating urban design to planners and decision-makers[J].Planning Support Systems,2001:26.

[2]Vanegas C A,Aliaga D G,Bene? B,et al.Visualization of simulated urban spaces:inferring parameterized generation of streets,parcels,and aerial imagery[J].IEEE Transactions on Visualization&Computer Graphics,2009,15(3):424-435.[3]Zhou Kun,Pan Zhigeng,Shi Jiaoying.A real-time rendering algorithm based on hybrid multiple level-of-detail methods[J].Journal of Software,2001,12(1):74-82.

[4]Liu Bo,Wang Zhangye,Wang Liying,et al.Study on the efficient modeling and real-time rendering of large-scale urban scenes[J].Journal of Computer Aided Design&Computer Graphics,2008,20(9):1153-1162.

[5]Du Ying,Wu Yuguo,You Xiong.Research of Mipmap textures for virtual global terrain environment[J].Journal of Geomatics Science and Technology,2006,23(5):355-358.

[6]Zhou Shengchuan.A geometry-and image-based hybrid modeling and visually lossless rendering approach for largescale urban simulation[D].Qingdao:Ocean University of China,2014.

[7]Lin Mingxiu,Xu Gang,Ren Xingning,et al.Cylindrical panoramic image stitching method based on multi-cameras[C]//Proceedings of the 5th International Conference on Cyber Technology in Automation,Control,and Intelligent Systems,Shenyang,China,Jun 8-12,2015.Piscataway,USA:IEEE,2015:1091-1096.

[8]Wang Jiaxi,Watada J.Panoramic image mosaic based onSURF algorithm using OpenCV[C]//Proceedings of the 9th International Symposium on Intelligent Signal Processing,Siena,Italy,May 15-17,2015.Piscataway,USA:IEEE,2015:1-6.

[9]Iizuka S,Kanamori Y,Mitani J,et al.Efficiently modeling 3D scenes from a single image[J].IEEE Computer Graphics&Applications,2012,32(6):18-25.

[10]Glander T,D?llner J.Cell-based generalization of 3D building groups with outlier management[C]//Proceedings of the 15th International Symposium on Geographic Information Systems,Seattle,USA,Nov 7-9,2007.NewYork:ACM,2007:54.

[11]Ellul C,Joubran J A.Preliminary investigations into the potential of improving rendering performance of 3D datasets using 2D generalisation[J].Usage,2012,10:1-7.

[12]Ellul C,Altenbuchner J.Investigating approaches to improving rendering performance of 3D city models on mobile devices[J].Geospatial Information Science,2014,17(2):73-84.

[13]Chen Hua,Yue Liqun,Xia Qing,et al.Research on the conversion and pretreatment of global multi-resolution texture[C]//Proceedings of the 14th National Conference on Image and Graphics,Fuzhou,China，May 16-19,2008.Bijing:Tsinghua University Press,2008:699-702.

[14]Zhang Chunxiao,Dubois E,Zhao Yan.Virtual cubic panorama synthesis based on triangular reprojection[J].Computer Animation&Virtual Worlds,2014,25(2):143-154.

[15]Amini A S,Varshosaz M,Saadatseresht M.Development of a new stereo-panorama system based on off-the-shelf stereo cameras[J].Photogrammetric Record,2014,29(146):206-223.

[16]Tian Qichong.A fast edge-based image interpolation algorithm[D].Wuhan:Huazhong University of Science and Technology,2013.

[17]Grill S K,Malach R.The human visual cortex[J].Annual Review of Neuroscience,2004,27(1):649-677.

[18]Chu Jiang,Chen Qiang,Yang Xichen.Review on fullreference image quality assessment algorithms[J].Application Research of Computers,2014,31(1):13-22.

[19]Zhang Lin,Zhang Lei,Mou Xuanqin,et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing,2011,20(8):2378-2386.

附中文參考文獻(xiàn)：

[3]周昆,潘志庚,石教英.基于混合多細(xì)節(jié)層次技術(shù)的實(shí)時(shí)繪制算法[J].軟件學(xué)報(bào),2001,12(1):74-82.

[4]劉波,王章野,王麗英,等.大規(guī)模城市場景的高效建模及其實(shí)時(shí)繪制[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2008,20(9):1153-1162.

[5]杜瑩,武玉國,游雄.全球虛擬地形環(huán)境中Mipmap紋理技術(shù)研究[J].測繪科學(xué)技術(shù)學(xué)報(bào),2006,23(5):355-358.

[6]周圣川.大規(guī)模城市場景圖形圖像混合建模與視覺無損渲染技術(shù)[D].青島:中國海洋大學(xué),2014.

[13]陳華,岳利群,夏青,等.全球多分辨率紋理數(shù)據(jù)的轉(zhuǎn)換與預(yù)處理技術(shù)研究[C]//第十四屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集,中國,福州,2008.北京:清華大學(xué)出版社,2008:699-702.

[16]田其沖.基于邊緣的快速圖像插值算法研究[D].武漢:華中科技大學(xué),2013.

[18]褚江,陳強(qiáng),楊曦晨.全參考圖像質(zhì)量評(píng)價(jià)綜述[J].計(jì)算機(jī)應(yīng)用研究,2014,31(1):13-22.

SONG Yingli was born in 1992.She is an M.S.candidate at Taiyuan University of Technology.Her research interest is computer graphics and image processing.

宋穎麗（1992—），女，山西晉中人，太原理工大學(xué)碩士研究生，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形圖像處理。

NIU Baoning was born in 1964.He is a professor and Ph.D.supervisor at Taiyuan University of Technology,and the senior member of CCF.His research interests include big data,the autonomic computing and performance management of database system.

牛保寧（1964—），太原理工大學(xué)教授、博士生導(dǎo)師，CCF高級(jí)會(huì)員，主要研究領(lǐng)域?yàn)榇髷?shù)據(jù)，數(shù)據(jù)庫系統(tǒng)的自主計(jì)算與性能管理。

SONG Chunhua was born in 1965.She is an associate professor and M.S.supervisor at Taiyuan University of Technology.Her research interests include computer graphic modeling,visible simulation and database modeling.

宋春花（1965—），太原理工大學(xué)副教授、碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)圖形建模，可視化仿真，數(shù)據(jù)庫建模。

Multilevel of Details Texture Rendering on Cubic Panorama*

SONG Yingli,NIU Baoning,SONG Chunhua+
School of Computer Science and Technology,Taiyuan University of Technology,Taiyuan 030600,China

Texture rendering is the key to the scene reality in urban visualization,and it limits the development of urban visualization,as excessive quantities of texture data are needed,which means network traffic and power consumption on mobile terminal.This paper proposes a multilevel of details among same layer texture techniques used in cubic texture rendering,named LOD-in-IBR.Because the information selection strategy of the human visual system is different when facing vary areas,the texture data with lower resolution are used to reappear low concerned area,so as to reduce the texture data and the resource consumption of the mobile terminal.The scene area is distinguished by information entropy of image texture,the multi-resolution is used to reappear different areas in order to achieve the multilevel of details among the same layer.This paper puts forward iterated bi-cubic interpolation algorithm to eliminate the block effect of which image scaling rate is less than 0.5.Using the proposed method,the texture data needed are reduced by 30%and the time of rendering panorama is reduced by 30%with no visual perception change when texture rendering.

cubic panorama;image information entropy;texture rendering;multilevel of details among same layer

2016-08, Accepted 2016-10.

A

TP391

+Corresponding author:E-mail:songchunhua@tyut.edu.cn

SONG Yingli,NIU Baoning,SONG Chunhua.Multilevel of details texture rendering on cubic panorama.Journal of Frontiers of Computer Science and Technology,2017,11(9)：1496-1504.

10.3778/j.issn.1673-9418.1609013

*The National Natural Science Foundation of China under Grant No.61572345(國家自然科學(xué)基金);the National Science and Technology Support Program of China under Grant No.2015BAH37F01(國家科技支撐計(jì)劃).

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2016-10-31, http://www.cnki.net/kcms/detail/11.5602.TP.20161031.1650.020.html