陳鋒，劉越*，王涌天

(1.北京理工大學 光電學院，北京100081;2.北京市混合現(xiàn)實與新型顯示工程技術研究中心，北京100081)

隨著投影機硬件性能的提升與計算機圖形圖像技術的不斷發(fā)展，投影技術被應用到越來越多的領域中.通過投影技術來改變物體表面的顯示效果是近年來增強現(xiàn)實領域的一個熱門研究課題.基于投影系統(tǒng)的光照補償技術可以消除投影表面的交叉反射、散射等現(xiàn)象對投影效果造成的影響，讓增強現(xiàn)實技術應用到更多的場合中，用戶可以更隨意地與日常生活中的實際物體進行交互.

國內(nèi)外學者對基于投影機-攝像機結構的光照補償技術進行了大量的研究.楊萍等［1］提出了一種采用彩色數(shù)字相機在給定的照明及觀測條件下對光譜反射率進行測量的方法.通過奇異值分解將光譜反射率近似為若干基向量的線性組合，結合相機的輸出數(shù)據(jù)訓練人工神經(jīng)網(wǎng)絡，再將其與基向量結合，由相機輸出物體表面的光譜反射率.該算法的提出使得光譜反射率的恢復更加簡單，不需要使用昂貴的光學儀器進行相關測量.湯一平等［2］提出了基于雙色反射模型的結構光顏色識別技術，通過對攝像機、投影機的色度標定以及對物體表面反射率的估計來識別投影機出射光的顏色.這些算法都基于嚴格的顏色測量方法，采用標準色板對器件進行標定，計算精確但卻對系統(tǒng)要求嚴格且需要人工干預.文獻［3-6］提出了基于顏色混合矩陣的快速光照補償算法，通過少量的顏色標定圖案來求取投影機-攝像機系統(tǒng)中的顏色混合矩陣，在此基礎上對目標圖像進行補償，系統(tǒng)高度自動化，無需人工干預即可高速求取系統(tǒng)參數(shù)并進行實時補償.Wetzstein 和 Bimber［7］提出了一種基于光線傳輸矩陣的光照補償算法，通過分析每個投影機像素對場景光照的貢獻來對目標圖像進行補償，此方法將環(huán)境中的交叉反射、鏡面反射等因素考慮在內(nèi)，使得補償系統(tǒng)可以應用于更多場合.以上2種采用單臺投影機的系統(tǒng)在分辨率、亮度、投影角度等方面受到限制，采用多通道投影技術可以有效解決這些問題.國內(nèi)外學者對應用于無紋理表面上的多通道投影技術有較長時間的研究［8-9］，應用于紋理表面則需要一些額外的處理.劉一然和楊旭波［10］提出了一種采用多投影的光度補償系統(tǒng)，將多通道投影與光照補償技術結合到一起，提高了系統(tǒng)分辨率.但其邊緣融合算法沒有充分考慮到投影機的非線性響應問題.Aliaga等［11］提出了另外一種使用多通道投影系統(tǒng)對復雜表面進行光照補償?shù)乃惴?，算法基于光線傳輸矩陣，通過帶有平滑約束的最優(yōu)化算法來計算每個投影像素的輸入，該算法在提高補償精度的同時提高了系統(tǒng)的亮度范圍.但是，龐大的計算量使得系統(tǒng)無法實時對目標圖像進行補償.

本文提出了一種基于多通道投影系統(tǒng)的紋理表面實時繪制技術.通過分析投影機-攝像機系統(tǒng)中的顏色混合特性，以及投影機對投影表面的能量貢獻比例來計算每個投影像素的補償輸入.系統(tǒng)還加入了實時繪制技術，通過在平板交互設備上進行繪制，可以實現(xiàn)對物體表面圖案的實時修改.并分析了系統(tǒng)模型以及相關參數(shù)的求解方法.

1 系統(tǒng)顏色模型

1.1 單通道投影系統(tǒng)的顏色模型

在投影機-攝像機系統(tǒng)中，某個投影表面點反射的光能量可以描述為

式中，s(λ)為投影表面點針對不同波段的反射系數(shù);a(λ)為環(huán)境光的光譜分布函數(shù);eK(λ，PK)為投影機第K個顏色通道的光譜分布函數(shù)，假設投影機與攝像機都具有線性的亮度響應(線性化方法將在2.2節(jié)介紹)，則有

式中wK(λ)為投影機K通道歸一化的光譜分布函數(shù).如果攝像機 K通道的光譜效率表示為qK(λ)，攝像機K通道某個像素獲取的能量為

可以將上式整理為

式中

式中，F(xiàn)為環(huán)境光的貢獻;V為顏色混合矩陣，描述了投影機-攝像機結構中不同通道的相互影響;下標R，G，B分別代表紅色、綠色、藍色通道.

1.2 多通道投影系統(tǒng)的顏色模型

對于多通道投影系統(tǒng)，式(4)將擴展為

式中

式中wi為某臺投影機的一個像素點在顯示最終圖像時所占的比重.對于某個投影表面點，其接收到的投影亮度主要取決于投影機的能量以及入射角，可以用下式來估計:

式中，ei為投影機每個像素的能量大小;θ為每個投影表面點的法線與入射光線間夾角.對于表面點i，與之對應的某個投影像素的權重就可以通過下式計算得出:

為了保證投影機能量的平滑過渡，算法對計算出的權重蒙版進行平滑處理，避免補償效果中出現(xiàn)亮度的突變.

由此，每個投影像素的輸入可以用下式求出:

相關參數(shù)的求取方法將在第2節(jié)中介紹.

2 系統(tǒng)參數(shù)的恢復

為了對目標圖像進行補償，必須計算出環(huán)境光線的強弱、每臺投影機的顏色混合矩陣以及每個投影像素的亮度權重.在此之前，還必須求取出投影機與攝像機間的幾何映射關系.

2.1 幾何模型的求取

系統(tǒng)使用格雷碼結構光來獲取物體表面三維模型以及投影機模型［12-13］，同時求出投影機-攝像機的幾何映射關系.為了排除環(huán)境光線及內(nèi)部交叉反射的影響，每幅結構光分別投影正反兩幅圖案，每組圖案相減的結果作為一層編碼數(shù)據(jù).此外，系統(tǒng)引入了RANSAC算子來提高算法的準確性.由此建立的系統(tǒng)三維模型可以用于式(7)來計算投影像素的權重.

2.2 攝像機、投影機亮度響應的線性化

在第1節(jié)的討論中，投影機與攝像機的亮度響應被假設為線性，這個假設不符合實際的應用情形.系統(tǒng)需要求取投影機與攝像機的亮度響應曲線，通過建立對應于每個通道的查找表來將這些器件的響應線性化.

通過 Debevec和 Malik［14］提出的 HDR 成像算法可以求取攝像機的亮度響應曲線.獲取到亮度響應函數(shù)之后，攝像機可以用于計算場景中的相對亮度，以此測量并擬合出投影機每個通道的亮度響應曲線.

2.3 顏色參數(shù)的求取

對于式(4)，通過投影一定數(shù)量的標定圖案即可求出F和V.首先求解環(huán)境光照F.當投影機各通道輸入值均為0時，攝像機捕獲到的圖像亮度就是環(huán)境光照F，如下式所示:

之后，再投影一幅輸入值為(PR，0，0)的圖像:

將兩式相減并展開可得

使用同樣的方法投影另外2幅只含有綠色與藍色值的圖像，可以得出完整的V矩陣.

3 實時繪制系統(tǒng)

在建立幾何與顏色映射關系之后，用戶可以通過交互式的平板顯示設備(如IPAD等)對投影表面進行實時繪制.

圖1 系統(tǒng)流程圖Fig.1 Flow chart of system

系統(tǒng)流程圖如圖1所示.系統(tǒng)分為交互端、渲染端兩部分.渲染端首先根據(jù)幾何映射信息生成繪制背景，再將此背景傳輸給交互端.交互端可以進行背景的選取及繪制操作.在繪制過程中，用戶可以設置線條粗細和線條顏色，還可以放大某部分區(qū)域進行細節(jié)上的繪制.用戶在交互端繪制時，用戶的動作信息及畫筆信息將被傳輸給渲染端，渲染端根據(jù)這些信息更新目標圖像，并實時生成補償圖像傳輸給投影機用于顯示.

3.1 繪制背景的生成

系統(tǒng)提供了攝像機與投影機等多個視角的圖像作為繪制背景，用戶可以根據(jù)實際應用情形選取更適合的視角.攝像機視角圖像直接通過攝像機捕獲.投影機視角的圖像通過已經(jīng)獲取的幾何映射關系來求?。?5］.

攝像機與投影機視角生成的圖像如圖2所示.用戶可以根據(jù)實際需要選取合適的角度進行繪制.

圖2 攝像機與投影機視角生成的圖像Fig.2 Images generated by camera and projector views

3.2 補償圖像的生成

為了保證系統(tǒng)運行的實時性，繪制過程中，交互端與渲染端傳輸?shù)氖怯脩舻膭幼骷爱嫻P信息，渲染端在接收到這些繪制信息后實時更新系統(tǒng)的目標圖像.

在渲染端，系統(tǒng)首先判斷交互端使用的繪制背景，對于使用攝像機視角或者其他投影機視角進行繪制的圖像，需要先通過幾何映射關系將目標圖像映射到當前投影機的視角;然后再根據(jù)每臺投影機所占目標圖像的權重計算對應于每臺投影機的目標圖像;最后根據(jù)反射率及顏色混合信息計算每臺投影機的補償圖像.渲染流程圖如圖3所示.

圖3 渲染流程圖Fig.3 Flow chart of rendering

4 結果及分析

系統(tǒng)采用2臺投影機(三洋XU1050C)進行投影，通過Apple IPAD進行實時繪制.用于投影的物體為一個帶有彩色方格圖案的杯子.采用佳能450D相機來捕獲圖像以計算各項參數(shù).

獲取幾何模型與顏色模型需要耗費大約10 min的時間.系統(tǒng)采用Shader語言設計圖形渲染流水線，離線階段求取出的相關參數(shù)全部被保存在顯卡內(nèi)存中，通過一維或者二維尋址的方式實時計算出目標圖像.在一個系統(tǒng)配置為Intel 3G*4，GeForce GTX 570，1 280 M memory 的計算機上，可以實時地(30幀/s)使用2臺畫面分辨率為1024×768的投影機系統(tǒng)進行補償.

圖4所示為450D相機的亮度響應曲線，其中橫坐標表示相機光學傳感器接收到的相對能量值［14］，圖5所示為投影機的亮度響應曲線.

圖4 450D相機的亮度響應曲線Fig.4 Intensity response curves of 450D camera

圖5 投影機的亮度響應曲線Fig.5 Intensity response curves of projector

圖6所示為系統(tǒng)的補償結果.其中圖6(a)為通過IPAD從相機角度進行繪制的動物圖案.圖6(b)為實際的投影效果.鑒于投影表面并非理想的朗伯表面，從不同角度觀察時效果會有偏差.系統(tǒng)的相關參數(shù)是在相機視角下測量的，所以攝像機位置是系統(tǒng)的最佳觀察位置.

圖6 系統(tǒng)的補償結果Fig.6 Compensation results of system

4.1 補償準確性

相比于傳統(tǒng)的光照補償系統(tǒng)，本文提出的系統(tǒng)采用多臺投影機進行補償.采用多通道投影系統(tǒng)可以在某些情況下更為準確地對目標圖像進行補償，補償效果對比通過圖7可以看出.其中圖7(a)為目標圖像，圖7(b)、圖7(d)為分別使用Fujii與本文算法進行補償?shù)男Ч?，圖7(c)、圖7(e)分別為這2種效果與目標圖像的差值圖像，圖7(f)為2幅差值圖像的直方圖對比，其中淺灰色區(qū)域表示圖7(c)中的直方圖，黑色區(qū)域表示圖7(e)的直方圖.

圖7 補償效果對比Fig.7 Comparison of compensation effects

通過對比可以看出，對于反射率較小的投影表面，使用1臺投影機進行補償時，由于受到投影機亮度的限制，某些部分無法達到目標亮度，也就是通過補償計算出的投影機輸入已經(jīng)超出投影機的最大值(255)，而使用2臺投影機進行補償時，這部分亮度可以被補償.從圖7中也可以看出，入射角較大的部分無法很好地被補償，這是因為隨著入射角的增大，投影表面能反射回相機的能量隨之減少，不足以將圖像補償?shù)侥繕藞D像的亮度值.

4.2 亮度范圍

圖8所示為系統(tǒng)亮度范圍對比，圖8(b)為對圖8(a)在藍色通道的亮度范圍內(nèi)進行的分析(只分析黑色框線范圍內(nèi)的圖像)，其中x，y表示圖像坐標，z為歸一化亮度，表示目標亮度值與圖中最高亮度值的比例.上層的淺色曲面為使用2臺投影機時能補償?shù)降淖畲笏{色值，下層深色曲面為使用一臺投影機時能補償?shù)降淖畲笏{色值.可以看出，使用多通道投影可以有效提高系統(tǒng)的亮度范圍，從而對更多反射率不同的表面進行補償.

圖8 系統(tǒng)亮度范圍對比Fig.8 Comparison of system intensity range

4.3 延遲分析

系統(tǒng)作為實時繪制系統(tǒng)，通過網(wǎng)絡連接的繪制段與渲染端間的同步至關重要，由于投影機的響應及網(wǎng)絡數(shù)據(jù)傳遞等因素，輕微的延遲無法避免，表1所示為系統(tǒng)中的延遲分析.

表1 系統(tǒng)中的延遲分析Table1 Delay analysis in system ms

投影延遲是系統(tǒng)用的投影機相對于液晶顯示器的延遲，將1臺電腦同時連接1臺液晶顯示器與1個投影機，讓二者顯示相同的時間，拍攝20組圖像，記錄時間差.繪制延遲通過在IPAD端顯示時間，錄制圖像并查找2個顯示端的時間差來記錄.系統(tǒng)的平均延遲在一幀左右的時間，人眼很難察覺其差異.

5 結論

本文提出了一種基于多通道投影系統(tǒng)的紋理表面實時繪制技術.通過對實驗結果的分析，得出如下結論:

1)系統(tǒng)可以在帶有紋理、形狀不規(guī)則表面上投影出目標圖案，并可以根據(jù)用戶的意愿進行實時修改.

2)相對于單臺投影系統(tǒng)，有效提高了系統(tǒng)亮度范圍，可以對更多反射率不理想的表面進行補償.

3)合理的渲染及網(wǎng)絡連接方式保證了系統(tǒng)的實時運行.

未來的工作將著眼于如何針對移動投影系統(tǒng)進行快速的反射率計算，使得這種表面繪制技術可以推廣到更多的應用中.

References)

［1］ 楊萍，廖寧放，宋宏.基于彩色數(shù)字相機的光譜反射率重建方法研究［J］.光譜學與光譜分析，2009，29(5):1176-1180.Yang P，Liao N F，Song H.Study of approaches to spectral reflectance reconstruction based on digital camera［J］.Spectroscopy and Spectral Analysis，2009，29(5):1176-1180(in Chinese).

［2］ 湯一平，宗明理，吳麗娟.基于雙色反射模型的彩色結構光顏色識別的研究［J］.計算機學報，2013，36(9):1908-1916.Tang Y P，Zong M L，Wu L J.Research on identification of color structured light based on dichromatic reflection model［J］.Chinese Journal of Computers，2013，36(9):1908-1916(in Chinese).

［3］ Fujii K，Grossberg M D，Nayar S K.A projector-camera system with real-time photometric adaptation for dynamic environments［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Washington，D C:IEEE Computer Society Press，2005，1:814-821.

［4］ Nayar S K，Peri H，Grossberg M D，et al.A projection system with radiometric compensation for screen imperfections［C］//Proceedings of the IEEE International Workshop on Projector-Camera System.Washington，D C:IEEE Computer Society Press，2003.

［5］ Lee M，Park H，Park J.Fast radiometric compensation accomplished by eliminating color mixing between projector and camera［J］.IEEE Transactions on Consumer Electronics，2008，54(3):987-991.

［6］ Chen X L，Yang X B，Xiao S J，et al.Color mixing property of a projector-camera system［C］//Proceedings of the 5th ACM/IEEE International Workshop on Projector Camera Systems.New York:ACM Press，2008.

［7］ Wetzstein G，Bimber O.Radiometric compensation through inverse light transport［C］//Proceedings of Pacific Conference on Computer Graphics and Applications.Washington，D C:IEEE Computer Society Press，2007:391-399.

［8］ 王修暉，華煒，林海，等.面向多投影顯示墻的畫面校正技術［J］.軟件學報，2007，18(11):2955-2964.Wang X H，Hua W，Lin H，et al.Screen calibration techniques for multi-projector tiled display wall［J］.Journal of Software，2007，18(11):2955-2964(in Chinese).

［9］ 周艷霞，秦開懷，羅建利.多投影儀自由立體顯示的GPU幾何及亮度校正技術［J］.計算機輔助設計與圖形學學報，2011，23(4):561-570.Zhou Y X，Qin K H，Luo J L.GPU-based geometric and photometric corrections for multi-projector autostereoscopic display［J］.Journal of Computer-Aided Design ＆ Computer Graphics，2011，23(4):561-570(in Chinese).

［10］ 劉一然，楊旭波.基于相機的多投影光度補償系統(tǒng)［J］.中國圖象圖形學報，2011，16(3):342-349.Liu Y R，Yang X B.Camera-based multi-projector radiometric compensation system［J］.Journal of Image and Graphics，2011，16(3):342-349(in Chinese).

［11］ Aliaga D G，Yu H Y，Law A，et al.Fast high-resolution appearance editing using superimposed projections［J］.ACM Transactions on Graphics，2012，31(2):13.

［12］ 肖朝，楊紅雨，梁海軍，等.多投影顯示系統(tǒng)結構光幾何校正算法［J］.計算機輔助設計與圖形學學報，2013，25(6):802-808.Xiao C，Yang H Y，Liang H J，et al.Geometric calibration for multi-projector display system based on structured light［J］.Journal of Computer-Aided Design ＆ Computer Graphics，2013，25(6):802-808(in Chinese).

［13］ 王俊，朱利.基于圖像匹配-點云融合的建筑物立面三維重建［J］.計算機學報，2012，35(10):2072-2079.Wang J，Zhu L.3D building facade reconstruction based on image matching-point cloud fusing［J］.Chinese Journal of Computers，2012，35(10):2072-2079(in Chinese).

［14］ Debevec P E，Malik J.Recovering high dynamic range radiance maps from photographs［C］//Proceedings of ACM Siggraph.New York:ACM Press，1997:369-378.

［15］ Sen P，Chen B，Garg G，et al.Dual photography［J］.ACM Transactions on Graphics，2005，24(3):745-755.