郭巾銘　陳一民　黃　晨

(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院　上海 200444)

?

基于移動增強(qiáng)現(xiàn)實(shí)的實(shí)時軟陰影繪制算法

郭巾銘陳一民黃晨

(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院上海 200444)

由于移動設(shè)備的計(jì)算能力和存儲空間有限，基于移動終端的光照估計(jì)和實(shí)時軟陰影繪制技術(shù)和研究很少，提出一種適用于移動增強(qiáng)現(xiàn)實(shí)的實(shí)時軟陰影繪制算法。根據(jù)移動終端光線傳感器的數(shù)值來計(jì)算光源的方向，得到模擬的點(diǎn)光源，在該點(diǎn)光源附近均勻采樣得到多個虛擬光源，疊加每個虛擬光源產(chǎn)生的陰影效果，實(shí)時繪制出軟陰影。實(shí)驗(yàn)結(jié)果表明，在保證移動終端良好的虛實(shí)融合效果的情況下，采用該算法具有良好的實(shí)時性，為移動終端軟陰影的繪制提供了有效的解決方法。

軟陰影光照估計(jì)移動增強(qiáng)現(xiàn)實(shí)

0　引　言

傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)研究多集中在PC端，發(fā)展較為成熟。隨著移動設(shè)備的迅速崛起，PC端應(yīng)用成本高、外設(shè)復(fù)雜、攜帶不便等缺點(diǎn)越來越突出，而快速發(fā)展的移動設(shè)備憑借便攜性和不斷提高的計(jì)算能力成為新一代增強(qiáng)現(xiàn)實(shí)應(yīng)用的研發(fā)平臺。智能手機(jī)中內(nèi)置的多種傳感器為移動增強(qiáng)現(xiàn)實(shí)[1]的發(fā)展提供了新思路，對移動增強(qiáng)現(xiàn)實(shí)技術(shù)的發(fā)展具有現(xiàn)實(shí)意義。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，為了實(shí)現(xiàn)虛與實(shí)的無縫對接，提高虛擬物體的真實(shí)存在感，不僅需要實(shí)時的跟蹤和精確的注冊[2,3]，還需要在虛擬物體上模擬真實(shí)場景的光照分布并繪制其陰影，否則用戶很容易察覺虛實(shí)場景的不一致性，破壞沉浸感。傳統(tǒng)的陰影繪制算法[4]主要集中在PC端，常用的有Franklin C. Crow 提出的Shadow Volumes[5]和Lance Williams提出的Shadow Maps[6]以及這些算法的變種，如Depth Shadow Maps[7]，Perspective Shadow Maps[8]等。這些算法或因算法復(fù)雜度高，或因依賴專業(yè)設(shè)備，在移動終端都不能直接使用。

針對上述問題，本文提出一種適用于移動增強(qiáng)現(xiàn)實(shí)的實(shí)時軟陰影繪制算法，使用基于標(biāo)記的NyARToolKit完成虛擬物體的注冊，在初始化過程中調(diào)整手機(jī)的位置，通過讀取光線傳感器的數(shù)值來完成光源方向的計(jì)算并渲染虛擬物體的陰影。該算法避免了龐大外圍設(shè)備和復(fù)雜的數(shù)學(xué)計(jì)算，充分利用移動終端傳感器的優(yōu)勢來估計(jì)場景中光源的方向并進(jìn)行軟陰影的繪制，不僅操作簡便，實(shí)時性高，而且取得了很好的虛實(shí)融合效果。

1　基于傳感器的移動AR光照估計(jì)

傳統(tǒng)的光照估計(jì)方法大致分為三種：一種是基于物理的光照估計(jì)，根據(jù)圖像中的一些特殊信息如陰影、明暗等建立基于物理的表達(dá)式從中求解光源的方向或強(qiáng)度；第二種是基于圖像求解，在添加虛擬物體的位置放置一個鏡面球，通過多張曝光不同的圖像合成環(huán)境映照來實(shí)現(xiàn)；第三種是根據(jù)輸入圖像的明暗信息來求解光照分布。這些方法或需場景先驗(yàn)知識，或依賴外設(shè)，或計(jì)算復(fù)雜，在移動終端都不合適。硬件方面，與PC端相比，計(jì)算能力薄弱是移動終端的一大劣勢，PC端所用的方法無法直接移植到移動終端。另一方面，移動終端除了具有便攜性的優(yōu)勢之外，功能強(qiáng)大又小巧的傳感器更是一大亮點(diǎn)，為數(shù)據(jù)的獲取提供了新的選擇。實(shí)驗(yàn)中用到的光線傳感器主要用來檢測手機(jī)周邊的光照強(qiáng)度，讀數(shù)單位為lux，光線傳感器的數(shù)據(jù)稍作處理即可直接使用。另外，根據(jù)攝像頭捕獲的標(biāo)記，通過計(jì)算可以得到攝像頭相對于標(biāo)記的旋轉(zhuǎn)平移矩陣，由于光線傳感器的位置和攝像頭基本重疊，可以近似認(rèn)為該矩陣也是光線傳感器相對于標(biāo)記的旋轉(zhuǎn)平移矩陣。

(1)

2　陰影繪制技術(shù)

2.1陰影介紹

通常的虛擬物體注冊到真實(shí)場景中會有懸浮感，是因?yàn)闆]有考慮虛擬物體在真實(shí)場景的光照情況下應(yīng)產(chǎn)生的陰影和表面的明暗分布。為實(shí)現(xiàn)無縫融合，提高用戶的沉浸感，陰影的繪制是必不可少的。

陰影的產(chǎn)生離不開光源，物體表面陰影的形成是因?yàn)楸黄渌矬w所遮擋，接受光照不均勻造成的。理想情況下的光源有兩種，一種是點(diǎn)光源，一種是光源位于無窮遠(yuǎn)處(即平行光)，那么從空間中的任意一點(diǎn)來看，都只會有光線照射的到和照射不到兩種極端情況。在現(xiàn)實(shí)生活中，點(diǎn)光源是不存在的，存在的是面光源、線光源和體光源。這些光源的照射下，某些位置只有部分光線能照射到，如圖1中的A點(diǎn)。理想情況下生成的陰影因?yàn)殛幱皡^(qū)和非陰影區(qū)有著明確的界限，陰影邊緣鋒利，稱之為硬陰影；現(xiàn)實(shí)環(huán)境中二者沒有明確的界限，陰影邊緣柔和，稱之為軟陰影。如圖1是陰影的生成效果示意圖。

圖1　陰影的生成效果示意圖

2.2硬陰影的繪制

對于硬陰影來說，所有的點(diǎn)只有在陰影區(qū)和不在陰影區(qū)的分別，所以以光源位置為起點(diǎn)，向虛擬物體上的每一個點(diǎn)做射線，與地面的交界點(diǎn)組成了陰影所在區(qū)域。

圖2　陰影繪制示意圖

令N = (A, B, C, D)，有：

=[k′(P-L)+L]·N

=[k′P+(1-k′)L]·N

(2)

由此解得S的四維向量坐標(biāo)S=HP，其中P為空間某點(diǎn)的向量坐標(biāo)，H即為平面陰影投射矩陣，如式(3)，從而在H的變換下，圖形將被“壓扁”地繪制到陰影投射平面上，也就形成了所謂的硬陰影。

(3)

在OpenGL中，使用4×4的空間-平面坐標(biāo)變換矩陣R將三維坐標(biāo)映射為屏幕實(shí)際顯示出來的二維坐標(biāo)。設(shè)S0是點(diǎn)S的屏幕坐標(biāo)，則S0=RS=RHP=R′P，其中R′=RH，轉(zhuǎn)換后屏幕上就顯示出了正確的硬陰影。

2.3軟陰影的繪制

軟陰影是由面光源或者線光源、體光源生成的，而它們可以等效于無數(shù)個點(diǎn)光源組合形成，對軟陰影的模擬可以通過采樣多個點(diǎn)光源來實(shí)現(xiàn)。通過疊加多個點(diǎn)光源產(chǎn)生的陰影來模擬實(shí)際光源產(chǎn)生的陰影效果，不僅降低了問題的復(fù)雜度，而且可以通過控制點(diǎn)光源的數(shù)量來調(diào)節(jié)速度與質(zhì)量之間的平衡。

為了有效繪制軟陰影，在上文估計(jì)的等效光源L(x,y,z)的附近均勻采樣出n個虛擬點(diǎn)光源，第i個點(diǎn)光源的位置為L(xi,yi,zi)，使用以下函數(shù)來確定虛擬點(diǎn)光源的強(qiáng)度，即：

(4)

圖3　實(shí)時軟陰影繪制算法流程

2.4實(shí)驗(yàn)效果

(1) 軟陰影繪制

實(shí)驗(yàn)中使用的NyARToolKit for Android是由日本的Android users group開發(fā)的，由ARToolKit衍生而來的可視AR類庫，用戶可以方便地在Android上開發(fā)增強(qiáng)現(xiàn)實(shí)應(yīng)用，體積小巧，具有較快的執(zhí)行速度。實(shí)驗(yàn)在Eclipse平臺下完成開發(fā)，使用手機(jī)SAMSUNG GT-I9082，搭載4.1.2 Android版本。實(shí)驗(yàn)開始后晃動手機(jī)，理想情況下將手機(jī)大范圍旋轉(zhuǎn)，獲取周圍每一個點(diǎn)的光照強(qiáng)度，其中光照強(qiáng)度最大的方向就是當(dāng)前光源的方向。假定光源位于手機(jī)上方一定高度處，就可以得到一個等效的點(diǎn)光源。為了模擬真實(shí)場景，在該點(diǎn)光源附近一定范圍內(nèi)均勻采樣并繪制陰影，通過調(diào)整每個點(diǎn)光源產(chǎn)生的陰影的顏色和透明度，最終實(shí)現(xiàn)軟陰影的繪制，實(shí)驗(yàn)效果如圖4所示。

圖4　實(shí)驗(yàn)效果圖

(2) 算法實(shí)時性驗(yàn)證

為了帶給用戶沉浸式虛實(shí)交錯的體驗(yàn)，實(shí)時性在增強(qiáng)現(xiàn)實(shí)中顯得尤為重要。為了驗(yàn)證本文算法是否能夠滿足實(shí)時性的需要，實(shí)驗(yàn)采用繪制虛擬物體和陰影及僅繪制虛擬物體兩種情況下每次繪制場景所需的時間長度進(jìn)行對比。具體方法如下：在程序開始執(zhí)行后，每一幀畫面都要通過OnDrawFrame函數(shù)渲染場景并繪制虛擬物體及其陰影，所以選擇程序中每次OnDrawFrame函數(shù)中繪制部分的執(zhí)行時間長度作為具體的衡量標(biāo)準(zhǔn)。

圖5是其中兩次實(shí)驗(yàn)中的20幀數(shù)據(jù)，橫坐標(biāo)表示幀號，縱坐標(biāo)表示繪制時間，單位為ms。從圖中可以看出繪制陰影后陰影繪制的時間略高于僅繪制虛擬物體的時間。圖6列出了九次實(shí)驗(yàn)中，每次實(shí)驗(yàn)OnDrawFrame執(zhí)行的平均時間的對比，每次實(shí)驗(yàn)均選取前1400幀圖像統(tǒng)計(jì)。橫坐標(biāo)表示實(shí)驗(yàn)編號，縱坐標(biāo)表示平均繪制時間，單位為ms。通過對九次實(shí)驗(yàn)的數(shù)據(jù)統(tǒng)計(jì)，僅繪制虛擬物體時OnDrawFrame的執(zhí)行時間平均約為1.01 ms，繪制陰影后OnDrawFrame的執(zhí)行時間平均約為1.34 ms。經(jīng)測算，原程序中大約每秒能繪制27～30幀圖像，即每幀圖像的繪制時間在33～37 ms之間，陰影的渲染時間只增加了不到10%的時間，所以對程序的實(shí)時性沒有明顯的影響，可以完全滿足移動增強(qiáng)現(xiàn)實(shí)系統(tǒng)對實(shí)時性的要求。

圖5　20幀圖像平均繪制時間對比

圖6　十次實(shí)驗(yàn)平均繪制時間對比圖

3　結(jié)　語

本文提出了一種高效的軟陰影繪制算法，該算法充分發(fā)揮了移動終端傳感器的優(yōu)勢，避免了復(fù)雜的計(jì)算，提高了系統(tǒng)的實(shí)時性。實(shí)驗(yàn)表明，本文所提出的算法對移動終端軟陰影的繪制有很好的實(shí)驗(yàn)效果，虛實(shí)融合效果真實(shí)自然，并且具有良好的實(shí)時性。但本文的算法只適用于場景中只有一個光源的情況，未來的工作主要集中在多光源的識別方面。

[1] 李丹,程耕國.基于Android平臺的移動增強(qiáng)現(xiàn)實(shí)的應(yīng)用與研究[J].計(jì)算機(jī)應(yīng)用與軟件,2015(1):16-19,23.

[2] 范利君,童小念.移動增強(qiáng)現(xiàn)實(shí)中視覺三維注冊方法的實(shí)現(xiàn)[J].數(shù)字工程,2011,39(12):138-140.

[3] Wagner D,Reitmayr G,Mulloni A,et al.Real-time Detection and Tracking for Augmented Reality on Mobile Phones[J].IEEE Transactions on Visualization and Computer Graphics,2010,16(3):355-368.

[4] 李紅波,吳亮亮,吳渝.自適應(yīng)采樣與融合的增強(qiáng)現(xiàn)實(shí)陰影生成算法[J].計(jì)算機(jī)應(yīng)用,2012,32(7):1860-1863.[5] Crow,Franklin C.Shadow algorithms for computer graphic[J].ACM Siggraph Computer Graphics,1977,11(2):242-248.

[6] Williams,Lance.Casting curved shadows on curved surfaces[J].ACM Siggraph Computer Graphics,1978,12(3):270-274.

[7] Weiskopf D,Ertl T.Shadow mapping based on dual depth layers[C]//Proceedings of Eurographics,2003,3:53-60.

[8] Stamminger M,Drettakis G.Perspective shadow maps[J].TOG:ACM Transactions on Graphics,2002,21(3):557-562.

[9] Jung Y,Kim T,Oh J,et al.Mobile AR Rendering Method using Environmental Light Source Information[C]//ICISA:International Conference on Information Science and Applications,2013:1-3.

ALGORITHM OF REAL-TIME SOFT SHADOW RENDERING BASED ON MOBILE AUGMENTED REALITY

Guo JinmingChen YiminHuang Chen

(School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China)

Constrained by computing capability and storage space of mobile devices, the mobile terminal-based illumination estimation and real-time soft shadow rendering techniques and studies are quite few. We proposed a real-time soft shadow rendering algorithm applicable for mobile augmented reality. First it calculates the directions of light source according to the illumination intensity value of light sensor at mobile terminal and obtains the simulated point light source. Secondly, it makes uniform sampling around the point light source to get a couple of virtual light sources. At last, it overlays the shadow effects from every virtual light source and obtains the soft shadow in real-time rendering result. Experimental result showed that under the condition of ensuring good blending effect of virtuality and reality at mobile terminal, the use of the proposed algorithm has good real-time property, this provides the effective solution for soft shadow rendering of mobile terminals.

Soft shadowIllumination estimationMobile augmented reality

2015-05-26。郭巾銘，碩士生，主研領(lǐng)域：計(jì)算機(jī)圖形圖像，增強(qiáng)現(xiàn)實(shí)。陳一民，教授。黃晨，博士生。

TP391.41

A

10.3969/j.issn.1000-386x.2016.09.050