王 盛 王魏平 張 真

(上海航空電器有限公司 上海 201101)

0 引 言

隨著投影顯示技術(shù)在多領(lǐng)域內(nèi)的快速發(fā)展，以光學(xué)投影顯示系統(tǒng)為核心的影像畫面顯示手段，已逐漸深入各類顯示環(huán)境與應(yīng)用領(lǐng)域。非規(guī)則投影表面對(duì)空間投影的顯示特性將極大豐富人們的視覺感受，在虛擬現(xiàn)實(shí)、藝術(shù)表演、科技普及、創(chuàng)新創(chuàng)意等領(lǐng)域都具有廣闊的普適前景[1-2]。

常規(guī)應(yīng)用環(huán)境中，人們將投影畫面投射到平面幕布上，為投影顯示系統(tǒng)提供了良好的顯示介質(zhì)，無形中增加了投影顯示系統(tǒng)的使用成本，限定了投影顯示系統(tǒng)的使用場(chǎng)合，降低了投影顯示系統(tǒng)的使用便捷性[3-4]。然而現(xiàn)實(shí)生活中的各種接收表面本身均可以作為投影顯示介質(zhì)來使用，只不過這種非標(biāo)準(zhǔn)化的接收表面形態(tài)各異，使得投影顯示畫面會(huì)受到調(diào)制而發(fā)生不可預(yù)期的形變，致使投影顯示系統(tǒng)的視覺效果無法滿足人們正常觀看。

Bandyopadhyay等[5]提出并實(shí)現(xiàn)了針對(duì)簡(jiǎn)單投影表面的動(dòng)態(tài)投影顯示系統(tǒng)Dynamic Shader Lamps，通過投影表面建模、投影區(qū)域跟蹤等復(fù)雜過程，實(shí)現(xiàn)了無紋理可移動(dòng)投影表面的交互式繪制及渲染顯示的目的。Steimle等[6]提出并實(shí)現(xiàn)了基于可形變曲面擬合的柔性投影表面顯示系統(tǒng)Flexpad，通過可形變曲面的關(guān)鍵控制點(diǎn)對(duì)投影表面進(jìn)行空間曲面擬合，得到投影表面的可參數(shù)化描述的三維空間曲面方程，從而達(dá)到柔性投影表面的紋理貼合顯示目的。

Jones等[7]提出并實(shí)現(xiàn)了室內(nèi)環(huán)境下具有沉浸式增強(qiáng)現(xiàn)實(shí)體驗(yàn)的智能化投影顯示系統(tǒng)RoomAlive，利用Kinect深度傳感器對(duì)室內(nèi)環(huán)境表面進(jìn)行三維空間信息的自主構(gòu)建，通過對(duì)投影表面進(jìn)行三維重建以及顯示內(nèi)容的映射，實(shí)現(xiàn)了室內(nèi)環(huán)境中投影顯示內(nèi)容與室內(nèi)環(huán)境表面的無縫增強(qiáng)現(xiàn)實(shí)效果。除此之外，Siegl等[8]構(gòu)建了無標(biāo)記映射的面部增強(qiáng)投影顯示系統(tǒng)FaceForge，根據(jù)人臉面部結(jié)構(gòu)的三維空間深度信息，對(duì)預(yù)期投影于人臉表面的紋理影像進(jìn)行動(dòng)態(tài)分析與調(diào)整，從而使真實(shí)人臉面部能夠表現(xiàn)出各類惟妙惟肖的面部增強(qiáng)投影效果。

投影顯示系統(tǒng)最為核心的作用便是呈現(xiàn)出人們可以正常進(jìn)行視覺感受的觀看畫面，而畫面顯示一旦發(fā)生幾何形變將嚴(yán)重影響人類的常規(guī)視覺體驗(yàn)[9-12]。從光線傳播的角度來看，可以將投影顯示系統(tǒng)看作是逆向的物理成像系統(tǒng)，這使得投影顯示系統(tǒng)自動(dòng)化、定性、定量的自主幾何校正成為可能[13]，致使投影幾何校正技術(shù)成為投影顯示技術(shù)領(lǐng)域的熱點(diǎn)研究問題。由于投影顯示系統(tǒng)極易受到非規(guī)則投影表面調(diào)制，且此類調(diào)制將導(dǎo)致投影顯示畫面出現(xiàn)無法正確表達(dá)影像內(nèi)容等感知問題，因此使投影顯示畫面能夠適應(yīng)于非規(guī)則投影表面的三維幾何形態(tài)變化變得至關(guān)重要[14-16]。圖1所示為非規(guī)則投影表面的貼附式幾何校正系統(tǒng)構(gòu)成圖。

圖1 非規(guī)則投影表面的貼附式幾何校正系統(tǒng)構(gòu)成圖

非規(guī)則投影表面的貼附式幾何校正系統(tǒng)主要由計(jì)算機(jī)、數(shù)字相機(jī)、投影機(jī)、非規(guī)則投影表面構(gòu)成?；诜且?guī)則表面分割的紋理貼附式幾何校正算法將被分解為兩階段進(jìn)行解算，即：非規(guī)則投影表面幾何分割、紋理貼附式投影顯示校正。

1 非規(guī)則投影表面幾何分割

非規(guī)則投影表面幾何分割處理的核心之處在于：對(duì)非規(guī)則投影表面進(jìn)行特征標(biāo)記的預(yù)期設(shè)定，使得非規(guī)則投影表面的幾何分割方式能夠滿足投影顯示系統(tǒng)對(duì)區(qū)域映射的匹配需求，從而實(shí)現(xiàn)有效投影顯示區(qū)域中預(yù)投影影像的紋理貼附式顯示效果。也就是使預(yù)投影影像能夠作為非規(guī)則投影表面的“自身”紋理，形成非規(guī)則投影表面與預(yù)投影影像的無縫貼附融合。

1.1 數(shù)字索引式特征標(biāo)記紋理貼圖

現(xiàn)有關(guān)于預(yù)設(shè)特征的編碼圖像構(gòu)建方式很多，諸如不同圖元的排列、基本圖元的組合等，但以往的這些特征編碼方式并沒有能夠完全克服識(shí)別失效等問題，而且它們被使用的過程會(huì)受到投影表面尺度、特征編碼數(shù)量、特征排他性等眾多局限，僅普遍地適用于小尺度投影顯示區(qū)域。利用數(shù)字索引的方式對(duì)特征標(biāo)記進(jìn)行標(biāo)識(shí)序號(hào)編排，將有效地增強(qiáng)非規(guī)則表面投影顯示系統(tǒng)的擴(kuò)展性，且特征編碼的標(biāo)記數(shù)量將不受編碼圖像的限制。圖2所示為數(shù)字索引式特征標(biāo)記紋理圖。

圖2 數(shù)字索引式特征標(biāo)記紋理圖

圖2中，每個(gè)黑色實(shí)心圓右側(cè)的數(shù)字索引表示該黑色實(shí)心圓的行、列索引，且上方數(shù)字索引為該黑色實(shí)心圓所在行索引，下方數(shù)字索引為該黑色實(shí)心圓所在列索引。

如果非規(guī)則投影表面的待投影區(qū)域尺度較大，且單幅特征標(biāo)記紋理圖無法覆蓋所需非規(guī)則投影表面時(shí)，則可以使用多幅特征標(biāo)記紋理圖并按特征編碼的標(biāo)記序號(hào)編排進(jìn)行拼接，以使特征標(biāo)記紋理圖能夠覆蓋需要投影顯示的全部非規(guī)則投影表面區(qū)域。

1.2 特征編碼坐標(biāo)定位

通過數(shù)字相機(jī)對(duì)非規(guī)則投影表面貼附的特征標(biāo)記紋理圖進(jìn)行采集，然后利用閾值進(jìn)行采集圖像的灰度化、二值化處理，再利用Canny算子對(duì)特征標(biāo)記紋理采集圖像進(jìn)行邊緣提取，從而得到特征標(biāo)記紋理采集圖像中所有邊緣的二維離散點(diǎn)集。由于特征標(biāo)記紋理圖的每個(gè)特征編碼均使用實(shí)心圓表示，因此需要對(duì)二維離散點(diǎn)集進(jìn)行連通邊緣區(qū)域的檢測(cè)與分離，最后得到特征標(biāo)記紋理采集圖像的所有連通邊緣區(qū)域集合，以便進(jìn)行有效特征編碼的二維圖像坐標(biāo)定位。

根據(jù)各組連通邊緣區(qū)域離散點(diǎn)集，以橢圓方程表達(dá)為圖元擬合模型，對(duì)連通邊緣區(qū)域離散點(diǎn)集進(jìn)行橢圓曲線擬合。利用最小二乘法對(duì)式(1)表示的橢圓曲線擬合規(guī)則進(jìn)行解算，從而得到各組連通邊緣區(qū)域所表示的橢圓方程參數(shù)A、B、C、D、E。

(1)

各組連通邊緣區(qū)域的橢圓中心點(diǎn)橫軸坐標(biāo)值可通過式(2)計(jì)算得到，橢圓中心點(diǎn)縱軸坐標(biāo)值可通過式(3)計(jì)算得到，橢圓長(zhǎng)軸長(zhǎng)度值可通過式(4)計(jì)算得到，橢圓短軸長(zhǎng)度值可通過式(5)計(jì)算得到。

(2)

(3)

(4)

(5)

通過對(duì)邊緣連通區(qū)域的橢圓曲線擬合，即可計(jì)算得到特征標(biāo)記紋理采集圖像中每個(gè)特征編碼的二維圖像坐標(biāo)位置以及長(zhǎng)軸與短軸的長(zhǎng)度值。

1.3 特征編碼標(biāo)記識(shí)別

由于受到數(shù)字相機(jī)拍攝角度、非規(guī)則投影表面幾何形態(tài)等因素的影響，特征標(biāo)記紋理采集圖像中特征編碼的排布會(huì)發(fā)生調(diào)制現(xiàn)象，并且每個(gè)特征編碼的右側(cè)都采用數(shù)字索引進(jìn)行標(biāo)識(shí)序號(hào)編排。所以為了能夠正確地識(shí)別出特征編碼的數(shù)字索引，需要對(duì)每個(gè)特征編碼右側(cè)的數(shù)字索引區(qū)域進(jìn)行旋轉(zhuǎn)處理，使其能夠被OCR光學(xué)字符識(shí)別過程準(zhǔn)確地識(shí)別。

根據(jù)特征標(biāo)記紋理圖中所有特征編碼的排布特性，可以得知：每個(gè)數(shù)字索引都處于特征編碼黑色實(shí)心圓的右側(cè)，并且數(shù)字索引所占寬度小于相鄰兩個(gè)特征編碼距離的三分之二。以特征標(biāo)記紋理圖中特征編碼的排布特性為依據(jù)，且以數(shù)字索引區(qū)域的旋轉(zhuǎn)角度不超過正、負(fù)60度為限制條件，對(duì)特征標(biāo)記紋理采集圖像的每個(gè)特征編碼進(jìn)行數(shù)字索引區(qū)域檢測(cè)。然后根據(jù)該數(shù)字索引區(qū)域左右兩側(cè)特征編碼的連線所成角度，對(duì)該數(shù)字索引區(qū)域進(jìn)行反向的旋轉(zhuǎn)變化處理，使其中包含的數(shù)字索引處于水平放置狀態(tài)。

利用現(xiàn)有已經(jīng)成熟的OCR光學(xué)字符識(shí)別技術(shù)，對(duì)每個(gè)數(shù)字索引區(qū)域進(jìn)行“0”“1”“2”“3”“4”“5”“6”“7”“8”“9”十個(gè)數(shù)字的光學(xué)字符識(shí)別，并得到每個(gè)光學(xué)字符識(shí)別的匹配度，然后根據(jù)光學(xué)字符的識(shí)別匹配度判斷其檢測(cè)結(jié)果的可用性，最后即可識(shí)別得到特征標(biāo)記紋理采集圖像中所有特征編碼右側(cè)的數(shù)字索引序號(hào)。

2 紋理貼附式投影顯示校正

投影顯示校正的目的是通過對(duì)待投影圖像進(jìn)行逆向預(yù)扭曲變換，以消除原始待投影圖像直接投射而引起的非預(yù)期形變，使投影顯示畫面能夠表現(xiàn)出與預(yù)期相一致的投影顯示效果。紋理貼附式投影顯示校正過程將由“投影特征映射定位”和“待投影圖像預(yù)校正”兩個(gè)處理階段構(gòu)成。

2.1 投影特征映射定位

任意兩個(gè)相鄰的格雷碼編碼值僅有1位二進(jìn)制數(shù)不同，其具有錯(cuò)誤最小化的編碼特性，圖3所示為格雷碼序列的像素化表示。由于非規(guī)則投影表面的數(shù)字索引式特征編碼標(biāo)記無法被投影機(jī)感知，故需要利用格雷碼編碼圖像序列對(duì)非規(guī)則投影表面進(jìn)行特征編碼標(biāo)記的投影映射定位。

圖3 格雷碼序列的像素化表示

根據(jù)格雷碼編碼序列的二進(jìn)制數(shù)排列形式可知，格雷碼編碼圖像序列所包含的編碼圖像數(shù)量將由投影分辨率、編碼條紋寬度共同決定。如果投影分辨率保持不變，編碼條紋寬度越大則所需編碼圖像數(shù)量越少，編碼條紋寬度越小則所需編碼圖像數(shù)量越多，也就是說：投影分辨率不變的前提下，編碼條紋寬度與編碼圖像數(shù)量成反比。根據(jù)式(6)即可計(jì)算得到格雷碼編碼圖像序列所含圖像數(shù)目。

(6)

式中：n表示格雷碼編碼圖像序列所包含的編碼圖像數(shù)量；Sp表示投影機(jī)投射分辨率；Sn表示編碼條紋所占像素寬度值。

根據(jù)格雷碼編碼序列的二進(jìn)制數(shù)排列形式，生成t幅格雷碼編碼圖像序列GCPs={GCPs1,GCPs2,…,GCPst}。將非規(guī)則投影表面貼附的特征標(biāo)記紋理圖進(jìn)行移除處理，使非規(guī)則投影表面恢復(fù)成無特征標(biāo)記的狀態(tài)，可以更好地接收格雷碼編碼圖像序列GCPs，以便準(zhǔn)確地解析出特征標(biāo)記紋理采集圖像中各特征標(biāo)記與格雷碼編碼圖像序列GCPs中格雷碼編碼坐標(biāo)位置的對(duì)應(yīng)匹配關(guān)系。

通過投影機(jī)依次將格雷碼編碼圖像序列GCPs的每幅編碼圖像投射于非規(guī)則投影表面，而后使用數(shù)字相機(jī)依次采集投射于非規(guī)則投影表面的每幅編碼圖像，得到數(shù)字相機(jī)采集的t幅格雷碼編碼圖像序列CGCPs={CGCPs1,CGCPs2,…,CGCPst}。

通過對(duì)格雷碼編碼圖像序列的采集圖像序列CGCPs進(jìn)行解碼處理，可得到數(shù)字相機(jī)采集圖像中各投影像素點(diǎn)的格雷碼編碼值，根據(jù)特征標(biāo)記紋理采集圖像中特征標(biāo)記的二維圖像坐標(biāo)，即可得到各特征標(biāo)記中心對(duì)應(yīng)于格雷碼投影圖像的屏幕坐標(biāo)位置集SAPs，進(jìn)而進(jìn)行后續(xù)的待投影圖像預(yù)矯正。

2.2 待投影圖像預(yù)校正

非規(guī)則投影表面環(huán)境的投影幾何校正過程，需要對(duì)非規(guī)則投影表面的每個(gè)分塊進(jìn)行單獨(dú)校正，且投影幾何校正過程需使用單應(yīng)性變換矩陣實(shí)現(xiàn)，因此可通過式(7)計(jì)算得到各分塊自身的單應(yīng)性變換矩陣，然后利用各單應(yīng)性變換矩陣對(duì)待投影圖像進(jìn)行預(yù)校正。

(7)

式中：(Dx,Dy)表示投影幾何校正后的預(yù)期圖像坐標(biāo)位置;H11、H12、H13、H21、H22、H23、H31、H32、1表示投影幾何校正過程的單應(yīng)性變換矩陣中的元素；(Sx,Sy)表示投影幾何校正前的原始圖像坐標(biāo)位置。

根據(jù)特征標(biāo)記紋理圖所包含特征標(biāo)記的行數(shù)、列數(shù)，對(duì)投影機(jī)分辨率進(jìn)行均勻網(wǎng)格劃分，得到所有劃分網(wǎng)格的頂點(diǎn)坐標(biāo)位置序列SMPs。根據(jù)屏幕坐標(biāo)位置集SAPs和頂點(diǎn)坐標(biāo)位置序列SMPs的對(duì)應(yīng)點(diǎn)對(duì)取值，計(jì)算得到非規(guī)則投影表面中所有面片網(wǎng)格的單應(yīng)性變換矩陣集HTS={HTS1,HTS2,…}。

根據(jù)單應(yīng)性變換矩陣集HTS，通過使用式(7)對(duì)待投影圖像中每個(gè)網(wǎng)格分塊的面片圖像進(jìn)行預(yù)校正形變處理，得到待投影圖像中每個(gè)網(wǎng)格分塊的目標(biāo)面片圖像。將所有網(wǎng)格分塊的目標(biāo)面片圖像合并在一起，便可得到原始待投影圖像所對(duì)應(yīng)的整幅預(yù)校正投影圖像。然后便可通過投影機(jī)將預(yù)校正投影圖像投射到非規(guī)則投影表面。

3 幾何校正算法驗(yàn)證

通過對(duì)非規(guī)則投影表面幾何分割和紋理貼附式投影顯示校正處理，即可實(shí)現(xiàn)非規(guī)則投影表面的特征標(biāo)記設(shè)置、檢測(cè)與識(shí)別，各面片網(wǎng)格單應(yīng)性變換矩陣的求解，待投影圖像的幾何校正等操作，從而達(dá)到非規(guī)則投影表面的紋理貼附顯示目的。

為了檢驗(yàn)本文算法的可行性及有效性，采用了C++編程語言實(shí)現(xiàn)整體處理過程的具體操作，硬件環(huán)境包括：數(shù)字相機(jī)，投影機(jī)，非規(guī)則投影表面，計(jì)算工作站。由于平面投影表面或規(guī)則投影表面可被看作非規(guī)則投影表面的特例，而且本文算法強(qiáng)調(diào)了對(duì)非規(guī)則投影表面的適應(yīng)性，故將以更具普適性的非規(guī)則投影表面為驗(yàn)證環(huán)境。

將特征標(biāo)記紋理圖“貼合”至非規(guī)則投影表面，而后使用數(shù)字相機(jī)采集當(dāng)前非規(guī)則投影表面，得到非規(guī)則投影表面的特征標(biāo)記紋理采集圖像。通過對(duì)特征標(biāo)記紋理采集圖像進(jìn)行特征編碼坐標(biāo)的定位，然后提取數(shù)字索引的有效區(qū)域并對(duì)其進(jìn)行水平化旋轉(zhuǎn)處理，最后利用OCR光學(xué)字符識(shí)別獲取各特征標(biāo)記的數(shù)字索引值。圖4所示為特征編碼標(biāo)記的識(shí)別過程樣例?？梢钥闯觯疚乃惴軌驕?zhǔn)確地檢測(cè)出特征標(biāo)記坐標(biāo)位置，并正確完成特征標(biāo)記的數(shù)字索引識(shí)別。

(a) 算法驗(yàn)證硬件環(huán)境 (b) 特征標(biāo)記紋理采集圖像

(c) 特征標(biāo)記中心定位及數(shù)字索引識(shí)別圖4 特征編碼標(biāo)記識(shí)別樣例

對(duì)于特征標(biāo)記紋理采集圖像，為了實(shí)現(xiàn)各特征標(biāo)記在投影機(jī)圖像坐標(biāo)系的映射定位，將格雷碼編碼圖像序列投射于非規(guī)則投影表面。圖5所示為投射了格雷碼編碼圖像的非規(guī)則投影表面。

(a) 縱向格雷碼編碼圖像 (b) 橫向格雷碼編碼圖像

(c) 縱向編碼采集圖像 (d) 橫向編碼采集圖像圖5 第7幅投射格雷碼圖像的非規(guī)則投影表面

利用投影特征映射定位階段的處理過程，即可計(jì)算得到非規(guī)則投影表面所有分塊面片的單應(yīng)性變換矩陣。通過對(duì)待投影圖像每個(gè)圖像分塊進(jìn)行幾何變換處理，就得到了待投影圖像的幾何預(yù)校正圖像，再將預(yù)校正圖像投射于非規(guī)則投影表面。圖6所示為預(yù)校正圖像投射于非規(guī)則表面的紋理貼附式顯示效果。

(a) 第8幀未校正投影圖像 (b) 第8幀預(yù)校正圖像 (c) 第8幀已校正投影圖像

(d) 第116幀未校正投影圖像 (e) 第116幀預(yù)校正圖像 (f) 第116幀已校正投影圖像

(g) 視角1的第116幀顯示 (h) 視角2的第116幀顯示 (i) 視角3的第116幀顯示圖6 非規(guī)則投影表面的紋理貼附式顯示效果

4 結(jié) 語

針對(duì)非規(guī)則投影表面測(cè)量難度大、人工操作復(fù)雜度高等問題，本文提出基于非規(guī)則投影表面分割的紋理貼附式幾何校正算法。通過將特征標(biāo)記圖像作為紋理介質(zhì)貼附于非規(guī)則投影表面的方式，對(duì)非規(guī)則投影表面進(jìn)行非重建式的均勻面片網(wǎng)格劃分。將特征編碼序號(hào)作為特征標(biāo)記的碼值使用，一定程度上提高了特征標(biāo)記圖像對(duì)非規(guī)則投影表面的適應(yīng)性和擴(kuò)展性。實(shí)驗(yàn)結(jié)果表明，本文幾何校正算法能夠?qū)崿F(xiàn)非規(guī)則投影表面的貼附式紋理增強(qiáng)顯示效果。

本文幾何校正算法能夠根據(jù)特征標(biāo)記的數(shù)字化序號(hào)編排，準(zhǔn)確地檢測(cè)和識(shí)別出特征標(biāo)記的坐標(biāo)位置，提高了非規(guī)則投影表面顯示系統(tǒng)的擴(kuò)展性、易用性、魯棒性等，但其目前并不適用于動(dòng)態(tài)變化的非規(guī)則投影表面，還需進(jìn)一步研究。