簡洪登，范湘濤

（1.中國科學(xué)院 遙感與數(shù)字地球研究所 數(shù)字地球重點實驗室，北京100094；2.中國科學(xué)院大學(xué)，北京100049）

0 引 言

實時視頻與三維場景融合技術(shù)在大范圍增強虛擬環(huán)境（augmented virtual environment，AVE）［1－3］的構(gòu)建、真實感環(huán)境模擬以及三維視頻監(jiān)控等方面發(fā)揮著重要作用。通過軟件解碼的方式將傳感器網(wǎng)絡(luò)獲取的實時視頻流讀入到三維仿真系統(tǒng)中，然后運用投影紋理映射技術(shù) （projective texture mapping）［4］將其作為紋理投影到三維模型上，從而構(gòu)建一個真實感強的三維虛擬場景。然而，直接使用投影紋理映射技術(shù)將視頻映射到三維模型上會出現(xiàn)反向投影、紋理拉伸等現(xiàn)象，嚴重影響增強虛擬環(huán)境的真實感和可視化效果。Cass Everitt［5］在闡述投影紋理映射技術(shù)時討論了反向投影現(xiàn)象的產(chǎn)生并簡單分析了原因。Ulrich Neumann和Ismail Oner Sebe等［1，6］在運用增強虛擬環(huán)境進行三維視頻監(jiān)控的過程中發(fā)現(xiàn)，以攝像機視角觀察場景能獲得很好的效果，但以其它視角觀察場景會出現(xiàn)明顯的紋理拉伸現(xiàn)象。另外，為了獲取大范圍的實時場景，需要將多路實時視頻同時映射到三維模型上，但由于不同攝像機獲取的視頻清晰度、色彩明暗程度不一，當(dāng)視頻流之間存在重疊區(qū)域時，紋理映射之后會出現(xiàn)明顯的拼縫現(xiàn)象［7，8］，需要對投影后的視頻紋理進行進一步的融合處理。

OpenGL著色語言 （OpenGL shading language，GLSL）是一種用于OpenGL 的高級過程著色語言［9］，它采用類似C語言的詞法和語法結(jié)構(gòu)，數(shù)據(jù)類型豐富，大量內(nèi)置的函數(shù)組提供了實現(xiàn)著色算法所需要的許多功能［10］，能夠在OpenGL的渲染管線中對頂點和片元進行自定義處理以達到滿意的效果。本文首先介紹投影紋理映射的基本原理，并針對反向投影、紋理拉伸等現(xiàn)象，運用GLSL 進行相應(yīng)的算法改進，然后在片元著色器中增加了自定義的圖像融合算法對視頻重疊區(qū)域進行處理，從而構(gòu)建大范圍的、色彩均衡的增強虛擬環(huán)境。

1 投影紋理映射原理

三維場景中模型的紋理生成方式通常有兩種：一是通過軟件或程序直接為模型的頂點指定相應(yīng)紋理坐標(biāo)，從而使紋理映射到模型表面；二是通過視點矩陣、投影矩陣等參數(shù)的設(shè)置來自動生成紋理坐標(biāo)。投影紋理映射是自動生成紋理坐標(biāo)的一種方式，最早由Segal等于1992年提出［4］，用于將紋理映射到物體上，就像使用投影儀將幻燈片投影到墻上一樣［5］。這種紋理映射的方式不需要指定紋理坐標(biāo)，只需通過視點矩陣和投影矩陣等參數(shù)的設(shè)置來實現(xiàn)紋理坐標(biāo)和頂點坐標(biāo)的實時對應(yīng)。

在計算投影紋理映射坐標(biāo)時，首先將頂點從模型坐標(biāo)系轉(zhuǎn)換到場景的相機坐標(biāo)系中，然后轉(zhuǎn)換到世界坐標(biāo)系，之后將世界坐標(biāo)系坐標(biāo)轉(zhuǎn)換到以投影點為中心的投影坐標(biāo)系，再轉(zhuǎn)換到投影裁剪坐標(biāo)系，最后將獲得的投影頂點坐標(biāo)歸一化到 ［0，1］空間中，得到投影紋理坐標(biāo)［11］，流程如圖1所示。

圖1 計算投影紋理映射坐標(biāo)流程

用公式表示投影紋理映射坐標(biāo)計算過程，即為

式中（vx，vy，vz，vw）T表示頂點在物體坐標(biāo)系下的坐標(biāo)，（s，t，r，q）T表示紋理坐標(biāo)，Vw表示頂點在世界坐標(biāo)系下的坐標(biāo)，它是將頂點從相機坐標(biāo)系向投影坐標(biāo)系轉(zhuǎn)換的紐帶，Mmv表示場景相機的模型視圖變換矩陣，Minv表示相機視圖矩陣的逆矩陣，Mpv表示投影視圖變換矩陣，Pp表示投影變換矩陣，N 表示歸一化矩陣，其值為

在GLSL的頂點著色器中，頂點的物體坐標(biāo)（vx，vy，vz，vw）T和相機的模型視圖矩陣Mmv可分別由gl＿Vertex和gl＿ModelViewMatrix 表示［12］，Minv、Mpv、Pp等參數(shù)需要程序以 “一致性變量”的形式傳入著色器。頂點著色器計算完紋理坐標(biāo)后，通過內(nèi)置的易變變量gl＿TexCoord［i］（i表示紋理通道編號）傳入片元著色器進行紋理查詢和顏色計算。

2 投影紋理映射方法改進

2.1 反向投影剔除

圖2 反向投影處理流程

2.2 深度測試

圖3 反向投影錯誤及修正

傳感器網(wǎng)絡(luò)中的攝像機獲取的視頻流是一幅幅連續(xù)的二維圖像，沒有深度信息，并且在攝像機視域內(nèi)，較遠的物體會被較近的物體遮擋，即只有具有較小深度值的物體的紋理才能反映在視頻圖像上。然而在使用投影紋理映射技術(shù)進行視頻紋理的投影時，由于在進行紋理查詢過程中沒有考慮場景深度的影響，所有處于虛擬投影機視域內(nèi)的模型都會被投影上相應(yīng)的紋理，深度值較大的物體不應(yīng)該有視頻紋理，卻會被投影上錯誤的紋理。因此在對視頻進行投影映射之前，需要確定哪些三維模型的表面應(yīng)該有紋理，哪些三維模型的表面應(yīng)該被忽略［13，14］。由于涉及到場景深度的問題，我們可以在GLSL 中進行深度測試，過濾掉不符合條件的紋理映射，具體步驟如下：

（1）獲取深度圖。深度圖保存了場景中各點相對于攝像機的距離，如果場景中某個點被較近的點所遮擋，那么深度圖中只保存較近點的深度值。要獲取場景的深度圖，首先在投影機的位置上設(shè)置一臺虛擬的相機 （即深度相機），深度相機的各個參數(shù) （坐標(biāo)、方向、近裁面和遠裁面的距離、視場角、圖像長寬比等）與投影紋理映射中的虛擬投影機的參數(shù)相同，然后以相機為中心渲染整個場景，獲取場景的深度信息，并將其與一個二維紋理對象相關(guān)聯(lián)。

（2）將深度圖傳入片元著色器。將二維紋理作為sampler2D 類型的一致性變量傳入片元著色器，以備深度測試使用。如果現(xiàn)實中攝像機的位置和方向不發(fā)生變化，獲取的視頻圖像的背景也相對不變，深度圖也不需要更新。如果攝像機視域內(nèi)的場景發(fā)生了變化，則使用深度相機重新獲取并更新深度圖。

（3）深度測試。在片元著色器中進行視頻紋理查詢前，判斷當(dāng)前紋理坐標(biāo)對應(yīng)的實際深度值 （curDepth）是否大于深度圖上對應(yīng)的像素值 （depth），如果大于則跳過此次視頻紋理的查詢階段。當(dāng)前紋理坐標(biāo)對應(yīng)的實際深度值可由式 （4）進行計算

在實際計算中，考慮到計算機保存深度圖時的舍入誤差和計算誤差，我們可以設(shè)定一個較小的閾值Δd，將curDepth ＞depth＋Δd作為紋理查詢的過濾條件，以保證應(yīng)該有視頻紋理的模型表面都被投影上視頻紋理。運用GLSL進行投影紋理映射的深度測試的過程如圖4所示。對投影紋理進行深度測試前后的對比效果將在實驗結(jié)果中加以詳述。

3 多重視頻紋理融合

圖4 深度測試流程

為了能夠在虛擬三維場景中瀏覽大范圍的現(xiàn)實場景，需要將多路實時視頻同時投影在三維模型上。在進行多路視頻紋理映射時，首先為每路視頻賦一個紋理通道，然后按照紋理通道的編號從小到大依次進行紋理渲染。如果相鄰的兩路視頻存在重疊區(qū)域且投影后沒做任何融合處理，那么通道較大的視頻紋理會直接將重疊部分的視頻紋理覆蓋掉，從而產(chǎn)生明顯的拼縫，因此在進行視頻紋理映射的同時，還要對視頻紋理之間的重疊區(qū)域進行融合，使大范圍的視頻紋理相協(xié)調(diào)、紋理間過渡更加平滑。

在通常的圖像處理中，我們在任何時候都可以輕易地獲取某個坐標(biāo)對應(yīng)的像素值、重疊區(qū)域的坐標(biāo)范圍，而運用GLSL對紋理進行融合有很多不同之處：首先，GLSL在每幀的渲染中實時計算每個頂點的紋理坐標(biāo)并進行顏色計算，如果在計算當(dāng)前頂點對應(yīng)的紋理坐標(biāo)的顏色時需要用到其它點的顏色值作為參考，則必須根據(jù)當(dāng)前的紋理坐標(biāo)進行推算，無法直接得到；其次，每張紋理的有效坐標(biāo)都是 ［0，1］，由于不同紋理圖像的大小、方向等可能各不相同，對應(yīng)到模型表面的大小、坐標(biāo)朝向、坐標(biāo)分量增長方向也不盡相同，紋理坐標(biāo)系的差異給紋理坐標(biāo)的定位和顏色的融合帶來了很多困難。此外，不同紋理的上下左右位置關(guān)系也會對融合算法造成影響，在算法設(shè)計時需要進行分類討論。在多重視頻紋理的融合中，各個攝像機的視域大小相近、視頻圖像的大小相同，對應(yīng)到模型表面的紋理大小也近似相同，因此在融合過程中需要著重考慮紋理坐標(biāo)系方向和紋理位置關(guān)系對紋理融合造成的影響。

由于GLSL在每幀的渲染中都需要實時計算每個頂點的紋理坐標(biāo)、計算并融合多個紋理通道的片元顏色，因此紋理融合的算法應(yīng)該盡量簡單高效。針對紋理的位置關(guān)系和算法要求，本文提出了兩種基于GLSL 的紋理融合算法：橫向加權(quán)融合算法和對角加權(quán)融合算法。

3.1 橫向加權(quán)融合算法

橫向加權(quán)融合指的是在GLSL片元著色器中沿紋理的s坐標(biāo)方向?qū)y理重疊區(qū)域進行加權(quán)融合，核心思想與數(shù)字圖像處理中的漸入漸出融合［15］類似，其步驟為：①根據(jù)當(dāng)前頂點對應(yīng)的不同通道的紋理坐標(biāo)推算紋理重疊區(qū)域的橫向最大距離Smax；②根據(jù)當(dāng)前通道的紋理坐標(biāo)和Smax計算當(dāng)前通道的紋理值的權(quán)重α；③計算將當(dāng)前通道的紋理進行融合后的片元顏色值，然后將其傳入下一個紋理通道。假設(shè)當(dāng)前通道為2，紋理坐標(biāo)為（s2，t2），對應(yīng)的紋理值為color2，上一個紋理通道 （通道1）的紋理坐標(biāo)為（s1，t1），經(jīng)通道1融合后的片元顏色值為color1，經(jīng)過通道2 融合后的片元顏色值為color，則有

橫向加權(quán)融合算法計算簡單，對t坐標(biāo)相同或色彩相差不大的紋理具有很好的融合效果 （如圖5 （a）所示，測試圖片為兩幅顏色和紋理特征均有較大差異的草地圖片），但對于t坐標(biāo)有較大差異的紋理，在縱向的拼接處會有明顯的拼縫 （如圖5 （b）所示）。

3.2 對角加權(quán)融合算法

對角加權(quán)融合指的是在紋理重疊區(qū)域沿對角方向進行加權(quán)融合，如圖6所示，紋理通道2在上，其權(quán)值沿向量的方向逐漸增加，通道1的權(quán)值逐漸減小。對角加權(quán)融合算法的步驟為：①根據(jù)當(dāng)前頂點對應(yīng)的不同通道的紋理坐標(biāo)推算紋理重疊區(qū)域的橫向最大距離Smax和縱向最大距離Tmax；②建立局部坐標(biāo)系，根據(jù)直線BD 的斜率得到當(dāng)前紋理坐標(biāo)所在的直線方程；③計算當(dāng)前通道的權(quán)重α；④計算將當(dāng)前通道的紋理進行融合后的片元顏色值，然后將其傳入下一個紋理通道。

圖5 橫向加權(quán)平均算法融合效果及不足

圖6 對角加權(quán)算法原理

將F 的坐標(biāo)帶入直線EF 方程可求得m，然后求得當(dāng)前通道的權(quán)值為

根據(jù)式 （7）計算經(jīng)過當(dāng)前通道的紋理融合后的片元顏色值，然后將其傳入下一個紋理通道繼續(xù)進行融合。根據(jù)紋理之間的位置關(guān)系，式 （10）列舉了不同情況下的權(quán)值，可將其直接應(yīng)用于片元著色器中，省略中間的推理步驟，提高片元著色器的效率

4 實驗結(jié)果與分析

為了驗證投影紋理映射方法的改進效果和多重視頻紋理融合效果，本文使用建筑結(jié)構(gòu)較為復(fù)雜的室內(nèi)場景作為試驗場地，程序測試所用的計算機為普通配置的計算機（處理器：Inter Core2 Quad Q8400；內(nèi)存：4 GB；顯卡：NVIDIA GT240，顯存：1GB）。使用本文所論述的反向投影處理算法、深度測試算法和紋理融合算法對多重投影紋理進行處理的前后結(jié)果如圖7至圖9所示 （對反向投影錯誤的處理只需在GLSL 中加入簡單的判斷即可，這此處不再予以顯示）。圖7表示的是直接使用投影紋理映射算法的結(jié)果，其中A 指的是原本透明的玻璃變得不透明；B 指的是兩幅視頻紋理的連接處，由于兩幅紋理存在一定的色彩差異，未經(jīng)處理的視頻連接處有很明顯的拼縫；C 指的是錯誤的投影紋理，因為在攝像機視域中這幾處模型的位置靠后，深度值較大，它們會被前面的模型遮擋住，攝像機只會獲取到前面模型的紋理。實驗過程中進行了視頻紋理的反向投影剔除和深度測試，并采用對角加權(quán)算法對多重視頻紋理進行融合。圖8是經(jīng)算法處理后的結(jié)果，玻璃變得透明，視頻紋理的連接處變得很平滑，錯誤的投影紋理被深度測試算法剔除掉，顯示的是模型本身的紋理。圖9表示的是使用3路實時視頻與三維模型融合后的場景，視頻重疊區(qū)域色彩過渡比較平滑，整體融合效果較好。

圖7 直接使用投影紋理映射算法的結(jié)果

圖8 經(jīng)算法處理后的結(jié)果

圖9 三路視頻與模型融合后的場景

為了測試使用GLSL 進行多重視頻紋理融合對渲染效率的影響，本文對比了不同場景下、不同數(shù)量的靜止圖片（JPG 格式）和實時視頻的渲染結(jié)果 （見表1），用于測試的模型三角面數(shù)分別為34萬、102萬和204萬，顯卡內(nèi)存為1GB。

表1 不同紋理類型渲染效率／fps

從渲染結(jié)果中可以看出，在場景三角面數(shù)相同的情況下，使用實時視頻作為投影紋理與使用靜止圖片的渲染效率相差不多；隨著投影紋理數(shù)目的增加，場景的幀率會稍有下降；隨著場景三角面數(shù)的增多，場景幀率有所下降，且使用實時視頻作為投影紋理的幀率比使用靜止圖片的幀率下降稍快，但場景依然能保持較高的幀率 （大于40fps）。

實驗結(jié)果分析如下：使用實時視頻作為投影紋理時，程序使用多線程的方式對碼流進行解碼，完成一幀的解碼工作后，將解碼后的圖像作為紋理投影到三維模型上，這個過程比直接使用靜止圖像作為投影紋理的過程多了解碼和紋理替換的步驟，所以幀率會偏低；隨著場景三角面數(shù)的增加，對系統(tǒng)資源的需求也增加，場景幀率的差異也將變大 （由不足一幀變化到3－5幀）。另外，將自定義的算法加入到GLSL的片元著色其中對場景進行渲染也會增加系統(tǒng)負擔(dān)?？傮w來講，將GLSL 應(yīng)用于多重視頻紋理與三維模型的融合能達到很好的效果，并且不會影響三維場景的實時流暢顯示。

5 結(jié)束語

本文針對構(gòu)建增強虛擬環(huán)境的需求和投影紋理映射算法的不足，實現(xiàn)了基于GLSL 的反向投影的修正算法和深度測試算法，提出并實現(xiàn)了基于GLSL 的多重紋理橫向加權(quán)融合算法和對角加權(quán)融合算法。實驗結(jié)果表明，使用本文所論述的多重視頻紋理的投影和融合算法能達到很好的實時視頻與三維場景融合效果，各路視頻投影正確，視頻重疊區(qū)域色彩過渡比較平滑，同時能夠在顯存為1GB的計算機上使包含200萬三角面和6路實時視頻的三維場景的運行幀率保持在40fps以上，不會影響三維場景的實時流暢顯示，適用于基于實時視頻的增強虛擬環(huán)境構(gòu)建。然而，視頻與三維場景的融合對虛擬場景的真實度要求較高，當(dāng)虛擬場景與現(xiàn)實場景差別較大，或現(xiàn)實場景發(fā)生變化特別是出現(xiàn)運動前景時，虛擬場景的模型無法實時更新，會出現(xiàn)紋理投影錯誤、運動前景扭曲并投影到背景模型上等現(xiàn)象，需要將運動前景從視頻中分割出來，并制作成三維模型插入到場景中的正確位置上，這些問題的高效解決還有待進一步研究。

［1］Ulrich Neumann，You Suya，Hu Jinhui，et al.Augmented virtual environments：Dynamic fusion of imagery and 3D models［C］／／Proceedings Virtual Reality.IEEE，2003，61－67.

［2］Ulrich Neumann，You Suya.Modeling and video projection for augmented virtual environments ［P］.US：US00583275B2，2009－09－01.

［3］LIU Qifang，ZHAO Gang，HE Bin.Moving target retrieval method based on track constraint for AVE surveillance system［J］.Computer Engineering and Design，2012，33 （9）：3475－3480 （in Chinese）.［劉啟芳，趙剛，何彬.AVE 監(jiān)控系統(tǒng)中基于軌跡約束的目標(biāo)檢索方法 ［J］.計算機工程與設(shè)計，2012，33 （9）：3475－3480.］

［4］Mark Segal，Carl Korobkin，Rolf van Widenfelt，et al.Fast shadows and lighting effects using texture mapping ［C］／／SIGGRAPH Proceedings of the 19th Annual Conference on Computer Graphics and Interactive Techniques，1992：249－252.

［5］Cass Everitt.Projective texture mapping ［EB／OL］.https：／／developer.nvidia.com／sites／default／files／akamai／gamedev／docs／projective＿texture＿mapping.pdf，2001／2013.

［6］Ismail Oner Sebe，Hu Jinhui，You，et al.3Dvideo surveillance with augmented virtual environments ［C］／／First ACM SIGMM International Workshop on Video Surveillance，2003：107－112.

［7］Jeferson R Silva，Thiago T Santos，Carlos H Morimoto.Automatic camera control in virtual environments augmented using multiple sparse videos［J］.Computers ＆Graphics，2011，35（2）：412－421.

［8］MA Yuanye，ZHAO Gang，HE Bin.Design and implementation of a fused system with 3DGIS and multiple－videos ［J］.Computer Applications and Software，2012，29 （6）：109－112（in Chinese）.［馬原野，趙剛，何彬.3DGIS與多視頻融合系統(tǒng)的設(shè)計與實現(xiàn) ［J］.計算機應(yīng)用與軟件，2012，29 （6）：109－112.］

［9］Randi J Rost，Bill M Licea－Kane，Dan Ginsburg，et al.Open－GL shading language ［M］.3rd ed.Boston：Addison Wesley Professional，2009.

［10］CHEN Jixuan，WANG Yigang.GLSL shader edting environment based on OSG ［J］.Computer Systems ＆ Applications，2011，20 （3）：153－156 （in Chinese）.［陳繼選，王毅剛.基于OSG 的GLSL 著色器編譯環(huán)境 ［J］.計算機系統(tǒng)應(yīng)用，2011，20 （3）：153－156.］

［11］QIU Feiyue，ZHAO Bole，ZHANG Weize，et al.Research of spherical inclined projection correction method based on projective texture mapping and its application ［J］.Chinese Journal of Biomedical Engineering，2012，31 （5）：697－703 （in Chinese）.［邱飛岳，趙柏樂，張維澤，等.基于投影紋理映射的球面斜投影校正方法研究及其應(yīng)用 ［J］.中國生物醫(yī)學(xué)工程學(xué)報，2012，31 （5）：697－703.］

［12］Dave Shreiner，The Khronos OpenGL ARB Working Group.OpenGL programming guide ［M］.7th ed.LI Jun，XU Bo，transl.Beijing：China Machine Press，2011 （in Chinese）.［Dave Shreiner，The Khronos OpenGL ARB Working Group.OpenGL編程指南 ［M］.7 版.李軍，徐波，譯.北京：機械工業(yè)出版社，2011.］

［13］Milosavljevi c＇A，Dimitrijevi c＇A，Ran cˇi c＇D.GIS－augmented video surveillance ［J］.International Journal of Geographical Information Science，2010，24 （9）：1415－1433.

［14］ZHAO Kai，QUAN Chunlai，AI Fei，et al.Rending of live video on 3D model［J］.Computer Engineering and Design，2009，30 （22）：5221－5224 （in Chinese）. ［趙凱，全春來，艾飛，等.視頻圖像在三維模型中的渲染 ［J］.計算機工程與設(shè)計，2009，30 （22）：5221－5224.］

［15］RUAN Qin.Research on video image stitching technique in real－time system ［D］.Wuhan：Huazhong University of Science and Technology，2011 （in Chinese）.［阮芹.實時視頻拼接系統(tǒng)關(guān)鍵技術(shù)研究 ［D］.武漢：華中科技大學(xué)，2011.］