金嘉斌，鮑城洲，姜忠鼎

基于相機反饋的交互式多投影校正系統(tǒng)

金嘉斌，鮑城洲，姜忠鼎

隨著相關(guān)技術(shù)和行業(yè)的發(fā)展，多投影顯示系統(tǒng)以其良好的顯示效果在展覽展示、娛樂教育等領(lǐng)域得到了日益廣泛的應(yīng)用。大型多投影顯示系統(tǒng)整體像素數(shù)量非常大，進行畫面輸出的顯示節(jié)點常采用生成整體圖像的一部分，即切分紋理的方式提高系統(tǒng)伸縮性，這需要投影拼接校正結(jié)果的支持。針對常見的柱面多投影顯示環(huán)境，設(shè)計并實現(xiàn)了一套基于相機反饋和交互式編輯的多投影校正系統(tǒng)，支持切分紋理的使用。實際多投影顯示環(huán)境中的實驗驗證了系統(tǒng)的可用性和準確性。

多投影校正系統(tǒng)；交互式編輯；切分紋理映射

0 引言

多投影顯示系統(tǒng)具有覆蓋視域廣、分辨率高、沉浸感強等特點，在展覽展示、娛樂教育、科學研究等領(lǐng)域得到了越來越多的應(yīng)用。相關(guān)的多投影拼接校正技術(shù)也在不斷發(fā)展[1]。

基于相機反饋的校正方法是近年來的研究熱點，相比于機械和人工的方法更加靈活和方便[2]。文獻[3]和文獻[4]給出了適合多種屏幕類型的基于相機反饋的校正技術(shù)，但此類完全基于相機的校正技術(shù)在實際項目中會有一些局限性[5]。Watchout[6]和Scalable Display[7]是商用領(lǐng)域比較成熟的多投影校正軟件，兩者都支持基于網(wǎng)格編輯的方法對校正結(jié)果進行編輯，但其編輯功能較為簡單，對切分紋理的支持也非常有限。

針對常見的柱面幕的多投影校正工作，本文設(shè)計并實現(xiàn)了一套基于相機反饋和交互式編輯的多投影校正系統(tǒng)。系統(tǒng)首先對相機參數(shù)進行定標，然后采用基于相機反饋的方法進行投影校正計算，并通過多種交互式編輯的方法對校正過程和結(jié)果中的誤差進行修正。最后系統(tǒng)采用以整體圖像或?qū)嶋H屏幕上的輸出畫面作為參考，對貝塞爾曲面表示的切分紋理進行交互式編輯的方法，得到投影相對于切分紋理的映射結(jié)果，以支持大型多投影顯示系統(tǒng)中切分圖像、切分視頻等的應(yīng)用。

1 系統(tǒng)設(shè)計

系統(tǒng)采用單個控制節(jié)點和多個顯示節(jié)點的分布式架構(gòu)，通過顯示節(jié)點控制各投影的畫面輸出，以支持投影特征圖像的顯示和交互式編輯過程中結(jié)果的實時輸出；主控節(jié)點能夠連接和控制相機設(shè)備，在方便用戶操作的同時也避免了手動拍照過程中可能造成的相機抖動，影響檢測結(jié)果。

系統(tǒng)的校正環(huán)節(jié)包括基于相機反饋的校正計算和基于交互式編輯的結(jié)果修正兩大模塊。

基于相機反饋的校正計算模塊通過對拍攝到的包含投影特征圖像的照片進行識別，在相機平面建立投影空間與屏幕空間之間的映射關(guān)系，以此計算校正結(jié)果。

基于交互式編輯的結(jié)果修正模塊對實際項目中各類限制因素導(dǎo)致的校正結(jié)果誤差進行修正，包括通過網(wǎng)格編輯調(diào)整幾何校正結(jié)果以及通過調(diào)節(jié)投影Gamma曲線、顏色衰減率調(diào)整顏色校正結(jié)果。同時，通過交互式編輯貝塞爾曲面表示的切分紋理，建立切分紋理與整體圖像之間的映射關(guān)系，能夠得到投影各自的切分紋理坐標，從而支持切分紋理的使用。

校正完成后，校正結(jié)果能以靈活、可配的格式進行輸出，并上傳到顯示節(jié)點，方便其他系統(tǒng)使用。

2 基于相機反饋的校正計算

2.1 整體計算過程

在幾何校正方面，系統(tǒng)先通過基于相機反饋的方法[2]建立投影畫面空間P(r,c)與屏幕表面空間S(s,t)的對應(yīng)關(guān)系Fps，再結(jié)合屏幕表面空間S(s,t)與輸入圖像空間Q(u,v)的對應(yīng)關(guān)系Fsq來確定投影的輸出圖像與輸入圖像之間的映射關(guān)系如式（1）：

當輸入圖像為對應(yīng)整個屏幕空間的整體圖像時，屏幕與圖像的映射關(guān)系Fsq由屏幕類型決定。對于柱面幕，屏幕表面空間可以均勻、完整地映射到矩形的圖像空間。當輸入圖像對應(yīng)屏幕空間的一部分，即采用切分紋理時，系統(tǒng)通過交互式編輯的方式建立切分紋理與屏幕空間的映射關(guān)系Fqs: Q(u,v)→S(s,t)，然后基于逆向查找和插值的方法得到其逆映射Fsq。

系統(tǒng)采用參數(shù)化的方法表示屏幕，并以網(wǎng)格的形式對屏幕空間和投影空間進行離散化描述?；谙鄼C的位置等信息，可以將參數(shù)化表示的屏幕網(wǎng)格由屏幕空間映射到相機平面空間Fsc: S(s,t)→C(x,y)。保持相機參數(shù)不變的情況下，拍攝并對得到的包含投影網(wǎng)格信息的投影特征圖像照片進行識別，能得到投影空間到相機平面空間的映射關(guān)系Fpc: P(r,c)→C(x,y)。結(jié)合兩者可以得到投影空間到屏幕空間的轉(zhuǎn)化關(guān)系Fps如式（2）：

其中Fsc的逆過程可以通過對Fsc映射結(jié)果進行逆向查找和插值的方法近似得到。

在得到投影網(wǎng)格各點的紋理坐標后，投影畫面空間中其他像素的紋理坐標可以通過插值得到。設(shè)像素點P對應(yīng)的網(wǎng)格三角形為△ABC，對應(yīng)的重心坐標為w，則有式（3）和式（4）：

其中S△為對應(yīng)三角形的面積，f(X)為X點對應(yīng)的紋理坐標。該過程可以在圖形流水線的光柵化階段自動進行。

在顏色校正方面，系統(tǒng)基于相機平面的投影區(qū)域，采用常用的邊緣融合方法[2]對投影重疊區(qū)域的亮度偏高現(xiàn)象進行修正。

2.2 相機定位

系統(tǒng)根據(jù)屏幕和相機的相關(guān)參數(shù)在模擬場景中構(gòu)建屏幕和相機對象，從而可以模擬相機在各種位置下屏幕的成像結(jié)果。通過將該圖像與實際拍攝的圖像進行疊加對比，可以反映虛擬相機與實際相機位置、朝向的差別。參照實時的結(jié)果反饋，不斷地調(diào)整虛擬相機位置和朝向，使其與真實值之間的誤差逐步減小，最終可以得到真實值的有效估計。

2.3 投影特征圖像檢測

系統(tǒng)采用的投影特征圖像如圖1所示：

圖1 投影特征圖像

兩張圖像分別包含完整的投影網(wǎng)格信息和特定行列的網(wǎng)格點信息。各投影需要分別投射這兩張圖像并由相機進行拍攝。拍攝結(jié)果會與不含特征圖像的背景圖像做差以去除環(huán)境光的影響，然后經(jīng)過包含亮度閾值調(diào)節(jié)、有效區(qū)域調(diào)整、特定區(qū)域排除等內(nèi)容的預(yù)處理如圖2所示：

圖2 特征圖像預(yù)處理界面

過程后，進行特征點檢測；并基于參考特征點的行列值將特征點與網(wǎng)格點對應(yīng)起來、補全缺失的特征點，以此得到投影網(wǎng)格在相機平面的位置信息。

相比Scalable Display[7]等系統(tǒng)，本系統(tǒng)支持對特征點大小等進行靈活的調(diào)整，并通過豐富的預(yù)處理功能提升檢測準確度。

2.4 網(wǎng)格邊界裁剪

當投影網(wǎng)格部分落在屏幕區(qū)域外時，需要對投影網(wǎng)格進行裁剪，以保證屏幕邊緣處圖像的連續(xù)、平滑。系統(tǒng)首先將相機平面空間進行剖分，然后參照掃描線算法對位于屏幕內(nèi)、外和邊界上的剖分區(qū)塊分別進行標記。對于包圍核涵蓋屏幕邊界區(qū)塊的投影網(wǎng)格三角形，按照屏幕邊界對應(yīng)的多邊形進行裁剪并進行重新三角化，最后再將裁剪后的投影網(wǎng)格映射回投影空間如圖3所示：

圖3 裁剪前后輸出圖像的邊界

從圖3所示裁剪前后的輸出圖像可以看出，通過裁剪能消除輸出圖像邊界處的鋸齒現(xiàn)象和超出屏幕范圍的圖像顯示。

3 基于交互式編輯的結(jié)果修正

由于實際項目中可能存在障礙物遮擋影響照片拍攝、輸入?yún)?shù)存在誤差等各類限制條件[5]，以及在基于相機反饋的校正計算過程中，多次插值過程的誤差累計，導(dǎo)致校正結(jié)果存在誤差。對此，系統(tǒng)提供了多種基于交互式編輯的方法進行修正。

3.1 幾何校正結(jié)果編輯

系統(tǒng)采用貝塞爾曲面對投影網(wǎng)格和屏幕網(wǎng)格進行描述，從而支持基于貝塞爾曲面的網(wǎng)格編輯方法對幾何校正結(jié)果進行修正。貝塞爾曲面由完整的網(wǎng)格信息生成，包含一系列貝塞爾曲線和貝塞爾面片，通過將不同采樣率下得到的采樣點作為編輯操作的控制點，能支持以不同的細節(jié)層次對網(wǎng)格進行編輯。

對控制點進行平移、旋轉(zhuǎn)、拉伸等操作，或修改貝塞爾曲面的采樣率后，需要更新網(wǎng)格頂點的位置。設(shè)網(wǎng)格點在對應(yīng)貝塞爾面片中的參數(shù)化坐標為(u,v)，則對應(yīng)的網(wǎng)格空間坐標為式（5）：

針對不同的誤差來源和應(yīng)用情景，系統(tǒng)提供了3種基于貝塞爾曲面的網(wǎng)格編輯方式對幾何校正結(jié)果進行編輯：

（1）相機平面投影網(wǎng)格編輯

針對特征圖像檢測結(jié)果的誤差，系統(tǒng)提供了直接在相機平面空間對投影網(wǎng)格進行編輯的功能。該過程以拍攝到的完整特征點圖像作為背景和參照，能直觀地顯示投影網(wǎng)格點位置與實際位置之間的誤差。用戶需要通過編輯操作使各網(wǎng)格點與圖像中對應(yīng)的點重合，以修正檢測結(jié)果偏差導(dǎo)致的投影輸出圖像紋理映射錯誤和基于投影區(qū)域計算的邊緣融合結(jié)果的錯誤。

（2）相機平面屏幕網(wǎng)格編輯

針對參數(shù)化描述的屏幕與實際屏幕之間的偏差，以及相機內(nèi)外參數(shù)定標結(jié)果的誤差導(dǎo)致的屏幕網(wǎng)格在相機平面映射結(jié)果的誤差，系統(tǒng)提供了直接在相機平面空間對屏幕網(wǎng)格進行編輯的功能。由于屏幕網(wǎng)格的變動會一致性地影響所有投影的輸出圖像，該編輯模式可以作為一種整體性的圖像變形方法，滿足實際項目中對整體圖像進行調(diào)整的需求。

如圖4所示：

圖4 不同細節(jié)層次下對屏幕網(wǎng)格進行編輯操作

編輯界面采用相機拍攝的帶有實際屏幕圖像的背景照片或相機的實時取景圖像作為背景參照，用戶可以設(shè)置屏幕網(wǎng)格的貼圖和透明度等選項，以達到良好的觀察效果。編輯狀態(tài)會實時傳輸?shù)剿酗@示節(jié)點，通過投影儀將與編輯狀態(tài)對應(yīng)的投影圖像輸出到實際屏幕上，作為編輯操作的反饋。

（3）投影平面投影網(wǎng)格編輯

針對以上兩種編輯操作后仍然存在的圖像缺陷，比如以線性插值對非線性變化做近似處理導(dǎo)致的圖像細微扭曲等問題，系統(tǒng)提供了在投影平面對投影網(wǎng)格進行編輯的功能，通過直接調(diào)整各投影儀的輸出圖像能有效地消除圖像錯誤。編輯過程中，各投影的輸出圖像也會進行實時更新作為結(jié)果反饋。

以上3種編輯方式分別適用于不同的情景，綜合使用能方便、有效地消除大部分幾何校正結(jié)果誤差。與Scalable Display[7]等系統(tǒng)相比，本系統(tǒng)提供了更豐富和靈活的編輯支持。

3.2 顏色校正結(jié)果編輯

針對投影儀之間亮度、顏色的差別[2]，系統(tǒng)提供了交互式編輯投影Gamma曲線、RGB顏色分量衰減率的功能進行修正。

Gamma曲線用于將邊緣融合方法得到的基礎(chǔ)亮度值映射為最終的亮度衰減值γ。Gamma曲線可以由f(I)=I-g形式確定，也可以進行自由編輯。

RGB顏色分量衰減率包含3個分量，分別對投影輸出顏色的R、G、B分量做線性變換。對于投影輸出畫面中一點，設(shè)其通過采樣得到的顏色值為(cr,cg,cb)，基礎(chǔ)亮度值為α，投影的RGB顏色分量衰減率為(dr,dg,db)，則最終的輸出顏色值為式（7）所示：

其中γ=G(α)是對α進行Gamma變換的結(jié)果。

用戶參照實際屏幕上實時結(jié)果反饋，通過不斷的編輯操作逐步修正相關(guān)參數(shù)，能夠逐漸逼近理想值，使得屏幕上整體輸出圖像的顏色具有較好的一致性。

3.3 切分紋理映射編輯

系統(tǒng)利用切分紋理圖像與整體圖像之間的對應(yīng)關(guān)系，通過交互式編輯的方法確定切分紋理與屏幕空間的映射關(guān)系Fqs。方法首先采用貝塞爾曲面形式對切分紋理進行描述，然后以整體圖像作為背景，在平面上對切分紋理的網(wǎng)格進行編輯，使其與整體圖像中對應(yīng)的區(qū)域重合，以此得到切分紋理與整體圖像之間的映射關(guān)系，再結(jié)合整體圖像與屏幕空間的映射關(guān)系得到切分紋理相對于屏幕空間的映射關(guān)系Fqs。

切分紋理映射編輯界面中如圖5所示：

圖5 切分紋理映射編輯界面

通過調(diào)整觀察視角、切分紋理和投影區(qū)域的透明度等能清晰地顯示切分紋理和整體圖像之間的重合情況。對于切分紋理對應(yīng)整體圖像中矩形區(qū)域的簡單情形，可以通過四點對齊的方法快速得到結(jié)果；對于其他復(fù)雜映射情況，可以采用先粗粒度地定位圖像大致區(qū)域，再逐漸增加控制點細節(jié)層次進行精確調(diào)整的方法獲得結(jié)果。

無法獲得整體圖像，但大致了解切分圖像對應(yīng)的屏幕區(qū)域時，可以參照實際屏幕上的實時輸出畫面進行編輯，并利用相鄰?fù)队皟x畫面之間的相關(guān)性，通過多次迭代的方式逐步優(yōu)化。

4 實驗結(jié)果及分析

4.1 實驗環(huán)境

為驗證系統(tǒng)的正確性和可用性，本文在實際的柱面多投影環(huán)境中進行了實驗。柱面幕高約2.4米，半徑約4.3米，張角約120度，由3臺Vivitek投影儀覆蓋。實驗使用的相機為佳能EOS 6D，鏡頭為SIGMA8mm F3.5，實驗前已對內(nèi)參進行了定標。

4.2 實驗流程及結(jié)果

實驗包含兩方面內(nèi)容，一是完整校正過程的測試，以驗證系統(tǒng)整體功能的完備性以及結(jié)果的準確性；二是復(fù)雜情形下切分紋理映射編輯功能的測試，以驗證該功能的可用性。

（1）完整校正過程實驗

在依次完成參數(shù)設(shè)置、相機定位、投影特征圖像的拍攝和檢測后，通過相機反饋的方法得到的幾何校正結(jié)果如圖6所示：

圖6 編輯操作前后的校正結(jié)果

如圖6（a）所示，該結(jié)果存在以下幾點缺陷：一是由于相機參數(shù)等誤差，校正結(jié)果中圖像與屏幕的邊界沒有嚴格對齊，且屏幕兩側(cè)的圖像有一定的歪斜；二是投影重疊區(qū)域還有細微的像素偏差；三是右側(cè)投影區(qū)域的亮度較另外兩個明顯偏亮。

對此，首先通過編輯屏幕網(wǎng)格進行整體性的調(diào)整，對齊屏幕邊界，消除兩側(cè)的歪斜現(xiàn)象。其次，通過分別編輯各投影的網(wǎng)格，修正重疊區(qū)域的細微像素錯位問題。最后，通過調(diào)整投影的顏色衰減率來降低右側(cè)投影區(qū)域的亮度。調(diào)整后包含顏色校正結(jié)果的最終結(jié)果如圖6（b）所示。

參照各投影對應(yīng)的區(qū)域，本文從整體的網(wǎng)格圖像中分別切取了一部分圖像，作為各投影的切分紋理，如圖7所示：

圖7 使用切分紋理時各投影的切分紋理和整體效果

如圖7（a）所示，完成各投影切分紋理映射的編輯后，各投影分別采用各自切分紋理時的整體輸出圖像如圖7（b）所示。該結(jié)果與采用整體圖像時的結(jié)果基本一致，兩者都具有較好的準確性和較高的質(zhì)量。

（2）切分紋理映射編輯實驗

在前面的實驗中，編輯切分紋理映射時有整體圖像作參照，操作較為簡單，無法充分驗證編輯功能的可用性和靈活性。為此，本文模擬了實際項目中的復(fù)雜情景，進行了更深入的測試：首先，編輯過程中沒有整體圖像作為參照，需要以實際屏幕上的輸出圖像作為參考；其次，編輯切分紋理映射前對屏幕整體網(wǎng)格做了適度的打亂，以模擬整體校正結(jié)果存在缺陷的情景。

編輯過程中采用先粗粒度調(diào)整圖像大致區(qū)域，然后逐漸增加編輯操作的細節(jié)層次，迭代地對結(jié)果進行修正和優(yōu)化的方式。最終在30×30個控制點時編輯的結(jié)果如圖8所示：

圖8 30×30個控制點時編輯的結(jié)果

該結(jié)果具有較好的質(zhì)量，表明切分紋理映射編輯功能具有良好的可用性。

5 總結(jié)

本文針對柱面環(huán)境多投影顯示系統(tǒng)的拼接校正工作，以及切分紋理的使用需求，設(shè)計并實現(xiàn)了一套基于相機反饋和交互式編輯的校正系統(tǒng)。系統(tǒng)結(jié)合了相機反饋方法的方便性與交互式編輯方法的靈活性，并支持切分紋理的應(yīng)用。實驗結(jié)果表明系統(tǒng)具有良好的可用性和準確性。未來將進一步支持基于多個相機視圖的校正方法，并對交互式編輯功能做優(yōu)化。

[1] Majumder A, Sajadi B. Large area displays: The changing face of visualization[J]. Computer, 2013 (5): 26-33.

[2] Brown M, Majumder A, Yang R. Camera-based calibration techniques for seamless multiprojector displays[J]. Visualization and Computer Graphics, IEEE Transactions on, 2005, 11(2): 193-206.

[3] Majumder A, Lai D Q, Tehrani M A. A multi-projector display system of arbitrary shape, size and resolution[C]// ACM SIGGRAPH 2015 Emerging Technologies. ACM, 2015: 2.

[4] Zhu B, Xie L, Wang Q, et al. An intelligent projection system adapted to arbitrary surfaces[C]//Instrumentation, Measurement, Computer, Communication and Control, 2011 First International Conference on. ieee, 2011: 293-298.

[5] Sun F, Meng W. An interactive warping method for Multi-channel VR projection display systems with quadric surface screens[C]//Virtual Reality and Visualization (ICVRV), 2013 International Conference on. IEEE, 2013: 1-8.

[6] Watchout—Multi display software[EB/OL]. 2016-04-15. http://www. dataton.com/watchout.

[7] ScalableDesktop TM | Scalable Display Technologies[EB/ OL]. 2016-04-15.http://www.scalabledisplay.com/.

Camera-based Interactive Multi-Projector Calibration System

Jin Jiabin, Bao Chengzhou, Jiang Zhongding
(Software School, Fudan University, Shanghai 201203, China)

With the development of related technologies and industries, multi-projector display systems have been increasingly used in many fields suchas exhibition and education. The resolution of a large multi-projector display system can be very high, and it requires the use of split texture mapping. To support the use of split texture mapping in cylinder screens, it presents a camera-based interactive multi-projector calibration system. Experimental results show the system can effectively carry out the calibration and produce accurate results.

Multi-projector calibration system; Interactive editing; Split texture mapping

TP311

A

1007-757X(2016)010-0001-04

2016.04.01）

國家自然科學基金項目（60803064）

金嘉斌（1990-），男，復(fù)旦大學，軟件學院，碩士研究生，研究方向：計算機圖形學，上海 201203鮑城洲（1990-），男，復(fù)旦大學，軟件學院，碩士研究生，研究方向：計算機圖形學，上海 201203姜忠鼎（1976-），男，復(fù)旦大學，軟件學院，副教授，研究方向：計算機圖形學，上海 201203