雷清樺，楊婷，程鵬

1.四川大學(xué)視覺合成圖形圖像技術(shù)國家級重點實驗室,成都 610000；2.四川大學(xué)計算機學(xué)院,成都 610000；3.四川大學(xué)空天科學(xué)與工程學(xué)院,成都 610000

0 引 言

隨著沉浸式虛擬現(xiàn)實技術(shù)的發(fā)展，沉浸式投影系統(tǒng)在大型虛擬現(xiàn)實場景中得到了廣泛應(yīng)用，但存在一個重要且經(jīng)常忽視的問題，就是光線互反射。

大多數(shù)沉浸式投影系統(tǒng)都存在互反射現(xiàn)象，互反射現(xiàn)象嚴(yán)重降低了投影圖像質(zhì)量和虛擬現(xiàn)實場景逼真度。該問題常常成為沉浸式系統(tǒng)推廣的瓶頸，阻礙了虛擬現(xiàn)實項目的實施。同時，在沉浸式投影環(huán)境中，光的反射和折射非常復(fù)雜，特別是復(fù)雜的投影環(huán)境，使得利用光學(xué)方法解決這一問題變得困難。互反射補償是指通過對投影機輸入圖像進行補償，得到能夠提高投影圖像質(zhì)量、消除互反射影響的圖像。典型的沉浸式投影補償系統(tǒng)包括投影儀—攝像機對和一個放置在適當(dāng)距離和方向上的曲面屏幕，如圖1所示。

圖1 曲面投影系統(tǒng)的實驗場景Fig.1 Inner-reflection compensation system

現(xiàn)行方法大多是先建立場景幾何模型，然后再尋找光的反射函數(shù)，計算光線在屏幕間的互反射。雖然這些方法相對容易實現(xiàn)，但是主要存在3個問題。1)在沉浸式投影環(huán)境中，光的反射函數(shù)通常比較復(fù)雜，大多數(shù)方法都需要大矩陣進行求逆運算，而該矩陣的逆卻可能是不存在的，無法進行求解。2)傳統(tǒng)的互反射補償方案由于不可避免的數(shù)學(xué)誤差，難以產(chǎn)生高質(zhì)量的視覺效果。3)以往的解決方案大多是對整幅圖像進行補償，忽略了圖像亮度不同區(qū)域的補償強度應(yīng)該不同的問題。目前，還沒有研究針對互反射問題的差異化提出補償方案。Huang和Ling(2019a，b)提出了新的基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的光補償算法CompenNet和CompenNet++，與傳統(tǒng)方法相比，在光補償方面具有更大優(yōu)勢。受此啟發(fā)，本文提出一種新的基于互反射通道(inter-reflection channel，IRC)先驗補償網(wǎng)絡(luò)Pair-Net，充分考慮了沉浸式投影環(huán)境下圖像不同區(qū)域的補償強度應(yīng)該不同的特點，設(shè)計了兩個結(jié)構(gòu)相同的端到端的子網(wǎng)絡(luò)分別負(fù)責(zé)對高亮度區(qū)域和低亮度區(qū)域進行補償。通過使用注意力機制，使兩個子網(wǎng)絡(luò)能夠分別學(xué)習(xí)到原圖中兩個區(qū)域的補償函數(shù)。而注意力圖的生成是通過IRC先驗圖的監(jiān)督學(xué)習(xí)得到的，能夠為兩個網(wǎng)絡(luò)劃分出亮度不同區(qū)域。圖2展示了本文的解決方案，可以看出，經(jīng)過補償?shù)耐队敖Y(jié)果(圖2(d))在視覺上明顯比未經(jīng)補償?shù)耐队敖Y(jié)果(圖2(b))更接近原圖。

圖2 曲面投影系統(tǒng)互反射補償實例Fig.2 Inner-reflection compensation for curve projection screen based on Pair-Net ((a)original image;(b)camera-captured image when original image is projected; (c)compensated image;(d)camera-captured image when compensated image is projected)

綜上所述，本文方法主要有以下貢獻：1)在沉浸或半沉浸式投影系統(tǒng)中，提出通過IRC先驗獲取投影圖像不同區(qū)域的亮度信息；2)提出一種新型補償網(wǎng)絡(luò)Pair-Net，使用兩個子網(wǎng)絡(luò)分別補償高亮區(qū)域和低亮區(qū)域，提升了補償圖像質(zhì)量；3)在互反射補償問題中使用注意力機制，可以對不同區(qū)域進行差別化補償，提升了補償圖像視覺效果。

1 相關(guān)工作

1.1 互反射補償

1.1.1 基于光傳輸矩陣的互反射補償

基于光傳輸矩陣的補償算法(Ashdown，2006;Ng 等，2003；Grundh?fer，2013；Grundh?fer和Iwai，2015；Ng等，2012；Wang等，2009)建立在相機的像素點只受投影儀對應(yīng)像素點影響的假設(shè)之上。這意味著投影儀和相機對之間的像素點存在一對一的映射關(guān)系。根據(jù)這一假設(shè)，Ng等人(2003)提出一種近似求解光傳輸矩陣的逆的方法，采用較小的矩陣初始值模擬計算，利用小矩陣求逆和分層矩陣求逆提高精度。由于采用子矩陣模擬光傳輸矩陣，在精度上存在不足。實際上對于多數(shù)基于光傳輸矩陣的方法來說，矩陣規(guī)模較大，計算量也較大。此外，投影光線和反射光線可以影響周圍區(qū)域，這意味著像素級光傳輸矩陣在假設(shè)本身上就存在問題。

1.1.2 基于反射模型的互反射補償

為了避免大規(guī)模矩陣計算，提出了越來越多的無矩陣方法，將投影儀作為光源，在真實投影場景中建立光的反射模型(Li等，2013；Bimber等，2006；Takeda等，2016；Habe等，2007；Zou等，2008)。Bimber 等人(2006)提出一種直接互反射補償方法，通過建立沉浸式投影環(huán)境下的真實反射模型，先計算環(huán)境中的互反射，然后將原圖減去互反射得到補償圖像。Takeda 等人(2016)提出一種投影儀—相機對的空間反射模型，用一種在光線照射下會改變顏色的化合物制作投影屏幕，光線照射可以通過屏幕后面的光感LED(light emitting diode)陣列控制，通過LED陣列改變最終投影圖像的顯示效果。由于該方法需要通過LED輔助設(shè)備進行投影圖像矯正，因此實用性較低。

1.2 注意力機制

注意力機制已廣泛用于神經(jīng)網(wǎng)絡(luò)(Ma等，2012；Mejjati等，2018)。Kuen等人(2016)提出一種遞歸注意力網(wǎng)絡(luò)，可以自動學(xué)習(xí)輸入圖像中的一系列子區(qū)域，用于顯著性檢測，將這些局部估計區(qū)域合并成一個全局估計。Li等人(2017)提出一種通過全局上下文檢測目標(biāo)的注意引導(dǎo)方法，證明了注意力機制在計算機視覺和圖像處理任務(wù)中應(yīng)用的優(yōu)越性。Chen等人(2016)提出一種生成圖像中每個像素點的注意力權(quán)重的方法，稱為像素級別的注意力機制。

本文首次在互反射補償中運用注意力機制，由于相機捕獲的圖像是受到互反射影響形成的圖像，因此圖像上面存在互反射分布信息。利用IRC先驗作為注意力圖生成器的監(jiān)督便可以獲取不同亮度區(qū)域的注意力圖。

2 互反射通道

2.1 互反射通道定義

本文提出的互反射通道先驗是受著名的暗通道先驗的啟發(fā)，暗通道先驗已廣泛應(yīng)用于圖像去霧領(lǐng)域(Xu等，2012)?；シ瓷渫ǖ?IRC)基于投影圖像像素點的亮度值通常高于原始圖像，并且原始圖像中亮度較高的圖像受互反射影響較大、亮度較低的圖像受互反射影響相對較少這一事實。因此，獲取相機拍攝圖像三通道的高值區(qū)域，能夠有效描述受互反射影響更大的區(qū)域。本文將這種情況定義為互反射通道。對于相機拍攝的投影圖像Icam，互反射通道S可描述為

(1)

通過上述操作，能夠獲取到沉浸式投影系統(tǒng)的高亮度區(qū)域，這就是IRC的定義。IRC不僅包含反射信息，也包含原圖的高亮信息，高亮區(qū)域反射越強，對周邊區(qū)域影響越大。IRC的高亮區(qū)域主要由兩個因素造成，一是互反射，互反射幾乎存在于投影圖像的所有區(qū)域，特別是在輸入圖像的高亮度區(qū)域。二是輸入圖像中的高亮度區(qū)域和物體，如天空、海洋、雪地或白羊，也將導(dǎo)致IRC中的高亮度值。利用IRC得到的沉浸式投影系統(tǒng)的反射信息，可以監(jiān)督Pair-Net的注意圖的生成，使高亮和低亮區(qū)域按合適的權(quán)重進行補償。

2.2 IRC的優(yōu)勢

圖3是獲取的投影圖像的IRC先驗圖，可以看出，由于原圖左上角的光暈影響以及互反射造成該區(qū)域的圖像亮度較高。通過IRC先驗，能夠有效獲取到原圖的高光區(qū)域以及受到互反射影響的區(qū)域。在訓(xùn)練中，可以將IRC先驗作為注意力掩膜來區(qū)分高亮度和低亮度區(qū)域，從而使用雙網(wǎng)絡(luò)進行差異化補償。

圖3 投影圖像IRC例圖Fig.3 The IRC prior of projection image

傳統(tǒng)暗通道圖像先驗方法主要對原始圖像的特征區(qū)域進行區(qū)分，并計算區(qū)域最小值，這樣的區(qū)域特征信息對于互反射補償問題是無效的。這是由于在投影系統(tǒng)中的互反射補償問題中，場景中的光污染是互反射造成的，圖像中的高亮區(qū)域?qū)ν队敖Y(jié)果影響更大，而非暗通道特征區(qū)域信息。此外，IRC先驗是基于投影圖像的特征進行計算的，除了能夠獲得原圖的高亮區(qū)域外，受互反射影響形成的高亮區(qū)域也可以提取出來。因此，本文提出并采用IRC先驗而非暗通道作為區(qū)域特征提取的監(jiān)督先驗。

3 Pair-Net網(wǎng)絡(luò)設(shè)計

3.1 曲面投影系統(tǒng)的數(shù)學(xué)模型

本文提出的互反射補償系統(tǒng)由一個未校準(zhǔn)的相機—投影儀對和一個固定距離和方向的曲線投影屏幕組成，如圖1和圖4所示，其中，E為全局光照。整個曲面投影系統(tǒng)可以描述為

圖4 曲面投影系統(tǒng)的光傳播Fig.4 The light transmission process of curve shaped screen

Icam=fc(fs(fp(Iin),E,s))

(2)

式中，Iin是投影儀輸入圖像，Icam是相機拍攝圖像。

fp和fc是投影儀和相機的轉(zhuǎn)換函數(shù)，fs是光線在屏幕間的反射函數(shù)。由于不同屏幕材質(zhì)具有不同的光線反射率，本文使用s表示屏幕的反射率。同時，由于本文專注解決沉浸式投影系統(tǒng)的互反射問題，因此控制環(huán)境光照為E=0，避免環(huán)境光照的影響。為了簡化公式，可以將投影儀—相機的轉(zhuǎn)換函數(shù)合并成為一個函數(shù)T，式(2)可以重新表述為

Icam=T(Iin,s)

(3)

(4)

(5)

3.2 基于深度學(xué)習(xí)的公式

本文使用投影圖像與相機拍攝圖像作為訓(xùn)練集，由式(3)變形可得

Icam=T(Iin,s)→Iin=T-1(Icam,s)

(6)

Ipred=Tθ(Icam,s)

(7)

(8)

(9)

(10)

采用Loss=l1+lssim組合作為損失函數(shù)的原因在于，l1損失函數(shù)能夠很好地對圖像顏色進行優(yōu)化，而結(jié)構(gòu)相似性損失函數(shù)和l1損失函數(shù)能夠優(yōu)化生成圖像的整體質(zhì)量(Zhao等，2017)。

3.3 互反射補償流程

圖5 Pair-Net補償流程Fig.5 The compensation process of Pair-Net((a)project and capture images with a camera;(b)the structure of Pair-Net;(c)the process of compensating images))

在訓(xùn)練過程中，前景網(wǎng)和背景網(wǎng)分別以兩幅幾何校正后的圖像作為輸入。子網(wǎng)的兩個輸入和輸出都是256×256×3。然后，將兩個子網(wǎng)的輸出圖像根據(jù)掩膜網(wǎng)生成的注意力圖進行融合得到生成圖像。

3.3.1 前景網(wǎng)絡(luò)和背景網(wǎng)絡(luò)的設(shè)計

在前景和背景網(wǎng)絡(luò)中，輸入圖像送入一個卷積層序列進行降采樣。因為更深層的網(wǎng)絡(luò)結(jié)構(gòu)允許更為復(fù)雜的模型映射，從而有更大的潛力提高網(wǎng)絡(luò)精度和生成高質(zhì)量圖像(Ronneberger等，2015)。因此，在降采樣中間利用殘差塊序列加深網(wǎng)絡(luò)，提高生成圖像的質(zhì)量。殘差塊通過將低層次特征與當(dāng)前層特征相結(jié)合，可以有效訓(xùn)練更深層次的網(wǎng)絡(luò)。同時，利用跳卷積將低層次特征信息傳遞給深層網(wǎng)絡(luò)保證低層次特征不會丟失。然后，利用3個反向卷積層，逐步向上采樣到256 × 256 × 3作為前景和背景網(wǎng)絡(luò)的輸出。具體子網(wǎng)絡(luò)架構(gòu)和殘差塊架構(gòu)如表1和表2所示。

表1 子網(wǎng)絡(luò)架構(gòu)Table 1 The structure of sub network

表2 殘差塊架構(gòu)Table 2 The structure of residual block

3.3.2 掩膜網(wǎng)的設(shè)計

由于在未投影前不可能獲取每幅投影圖像的IRC，而且互反射強弱依賴于環(huán)境。為此，本研究采用一個掩膜網(wǎng)S(圖5(b))監(jiān)督生成注意力圖，該注意力圖能夠?qū)W習(xí)IRC的光照信息。掩膜網(wǎng)的架構(gòu)非常簡單，如表3所示，由4個卷積層和1個殘差塊組成，對圖像特征信息進行編碼。同時利用兩個卷積層對特征圖進行上采樣，得到256 × 256 × 1的輸出。由于未經(jīng)投影無法直接獲得一幅投影圖像的IRC，因此通過學(xué)習(xí)的方式獲取待補償圖像的IRC。將掩膜網(wǎng)絡(luò)的輸出與訓(xùn)練集輸入圖像(相機拍攝的受互反射影響的圖像)的IRC計算一個L1+L2損失。經(jīng)過訓(xùn)練，掩膜網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中的高光部分以及可能受到投影互反射影響的部分，從而得到一個近似于IRC的掩膜。

表3 掩膜網(wǎng)架構(gòu)Table 3 The structure of mask network

3.4 基于注意力機制的互反射補償

(11)

(12)

(13)

4 實驗及評價指標(biāo)

4.1 客觀評價指標(biāo)

采用傳統(tǒng)的像素級別指標(biāo)峰值信噪比(peak signal to noise ratio，PSNR)、結(jié)構(gòu)相似性(structural similarity index，SSIM)和均方根誤差(root mean square error，RMSE)等評價圖像質(zhì)量。由于曲面投影屏幕的幾何變形不能得到準(zhǔn)確校正，導(dǎo)致評價指標(biāo)結(jié)果偏低，不能很好地反映光照的消除程度，因此在采用傳統(tǒng)圖像評價指標(biāo)的同時，本文提出一種新的圖像指標(biāo)評價方式——感興趣區(qū)域(region of interesting，ROI)分析。通過PSNR、SSIM、RMSE和ROI分析，共同說明方法的有效性。

ROI分析的基本思想是收集不同算法的投影圖像，在每幅圖像中選擇幾個相對平滑區(qū)域，計算區(qū)域均值和標(biāo)準(zhǔn)差。區(qū)域均值表示區(qū)域光照，標(biāo)準(zhǔn)方差描述區(qū)域質(zhì)量。最后，將每個區(qū)域的方差繪制在圖中與均值中點垂直的直線上。具體計算為

(14)

(15)

式中，μk和δk為投影圖像的第k個子區(qū)域的均值與方差，m和n是該子區(qū)域的高度和寬度。上述指標(biāo)可以用來比較投影圖像與原始圖像的亮度差距和圖像質(zhì)量。

4.2 數(shù)據(jù)集

實驗的投影儀—攝像系統(tǒng)由2 992 × 2 000像素分辨率的尼康DX VR相機和1 920 × 1 080像素分辨率的JMGO G7投影儀組成。相機與投影儀之間的距離為500 mm，投影儀前方有一個弧形屏幕，距離為800 mm。相機的白平衡模式、快門速度、感光度和對焦分別設(shè)置為自動、1/45、200和光圈值f=5.6。為了模擬真實的沉浸式系統(tǒng)，排除全局光的影響，實驗在黑暗環(huán)境中拍攝照片。

由于沉浸式投影系統(tǒng)的研究沒有相應(yīng)的公共數(shù)據(jù)集，本文使用相機拍攝圖像，構(gòu)建Cam-Pro數(shù)據(jù)集，包括5 000幅用于訓(xùn)練的256 × 256 像素的RGB圖像和800幅用于訓(xùn)練過程中進行網(wǎng)絡(luò)擬合程度測試的圖像。同時針對互反射補償算法的特殊性，采集50幅色彩風(fēng)格不同的圖像用于算法最終補償效果的客觀指標(biāo)測試。如圖5(a)所示，由于曲面屏上的投影圖像總是伴有幾何畸變，不能直接作為數(shù)據(jù)集，因此對上述數(shù)據(jù)中相機捕獲的圖像都進行幾何校正(Huang等，2019a)。為了便于圖像預(yù)處理，將采集的攝像機圖像和原始圖像統(tǒng)一下采樣到1 920 × 1 080像素。如表3，由于網(wǎng)絡(luò)結(jié)構(gòu)的輸入層圖像尺寸為256×256×3，因此需要將下采樣圖調(diào)整到256 × 256 × 3作為網(wǎng)絡(luò)輸入。

4.3 實現(xiàn)細(xì)節(jié)

實驗在PyTorch框架下訓(xùn)練、20個epoch，batch-size為16，優(yōu)化函數(shù)采用Adam函數(shù)，學(xué)習(xí)率由1E-3逐步提高到lE-4。

5 實驗結(jié)果

5.1 對比現(xiàn)行方法

在ROI評價指標(biāo)的基準(zhǔn)上，與3種無注意力機制的方法，即Bimber等人(2006)方法、CompenNet方法和CompenNet++方法進行對比，視覺效果比較和ROI分析分別如圖6和圖7所示。

圖6 不同方法的視覺效果比較Fig.6 Comparison of visualization results among different methods((a)ground truth;(b)uncompensated;(c)CompenNet;(d)CompenNet++;(e)Bimber et al.(2006);(f)Pair-Net(ours))

圖7 不同方法補償結(jié)果的ROI分析Fig.7 ROI analysis of compensation results of different methods((a)row 1 in Fig.6;(b)row 2 in Fig.6;(c)row 3 in Fig.6;(d)row 4 in Fig.6)

在比較方法中，Bimber等人(2006)的方法建立了真實投影環(huán)境的數(shù)學(xué)模型，將投影屏幕劃分成n個子區(qū)域，并計算區(qū)域之間的互反射，該方法需要獲得所有與環(huán)境有關(guān)的參數(shù)，如鏡頭畸變、表面反射和投影—相機對幾何位置的細(xì)節(jié)信息，但在真實場景中，由于投影環(huán)境不同，這些參數(shù)很難保持不變，對實際使用會造成一些不便。本文提出的Pair-Net無論是視覺效果還是ROI分析，都比Bimber等人(2006)方法有明顯改進。

為了說明互反射問題的難度和注意力機制的有效性，將Pair-Net與基于深度學(xué)習(xí)的端到端網(wǎng)絡(luò)CompenNet和CompenNet++進行比較，3種模型在同一數(shù)據(jù)集上訓(xùn)練。CompenNet和Compennet++在不考慮不同區(qū)域不同光照強度情況下對投影圖像進行全局補償。觀察這兩個模型的結(jié)果，可以看到它們對輸入圖像進行了相同強度的補償，可以很好地去除高亮區(qū)域的互反射，然而低亮區(qū)域太暗，圖像色彩質(zhì)量嚴(yán)重下降。從圖7的ROI分析可以看出，CompenNet與CompenNet++補償圖像的標(biāo)準(zhǔn)差異較大。而Pair-Net補償?shù)膱D像在區(qū)域均值和方差上都與原圖更加接近，能夠在很好地消除反射光的同時，得到更好的成像質(zhì)量，在評價指標(biāo)和視覺效果方面均優(yōu)于CompenNet和CompenNet++。

不同方法的PSNR、SSIM和RMSE如表4所示，計算方法為使用相機拍攝補償圖像的投影經(jīng)幾何矯正后與原圖計算。從表4可以看出，4種方法的PSNR和SSIM指標(biāo)較原圖均有比較顯著的提升，說明互反射得到了消除，投影圖像質(zhì)量得到了增強。本文方法的PSNR和RMSE指標(biāo)均優(yōu)于其他方法，SSIM指標(biāo)居于第3，未經(jīng)補償?shù)膱D像投影和Bimber等人(2006)方法獲得的SSIM指標(biāo)較高，原因在于SSIM指標(biāo)更注重考量圖像的結(jié)構(gòu)性和清晰程度，而本文方法以及基于深度學(xué)習(xí)的方法的圖像都是經(jīng)過網(wǎng)絡(luò)生成的，在圖像清晰度和結(jié)構(gòu)相似性方面相較于原圖有一定程度的失真，因此造成了SSIM指標(biāo)偏低，但是在可接受范圍內(nèi)。

表4 不同方法的質(zhì)量評價Table 4 The quantitative indexes of different methods

5.2 單網(wǎng)絡(luò)與雙網(wǎng)絡(luò)結(jié)構(gòu)對比

為了驗證雙子網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的有效性，設(shè)計了一個單補償網(wǎng)模型進行對比，實驗結(jié)果如圖8所示?？梢钥闯?，單網(wǎng)絡(luò)模型無法在不同補償強度下對高、低亮度區(qū)域進行自適應(yīng)補償，低亮度區(qū)域在投影圖像中變得亮度極低，意味著不同亮度區(qū)域進行了同一強度的補償，同時單網(wǎng)的色彩失真問題比較嚴(yán)重，這是由于單補償網(wǎng)絡(luò)的算法對全局采取一致性的補償強度，造成不同區(qū)域間存在色差。而Pair-Net對不同區(qū)域采取不同補償強度，能夠得到正確的顏色。

圖8表明，雙網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計能有效消除沉浸式投影系統(tǒng)中的互反射，恢復(fù)投影圖像的顏色和質(zhì)量，相較于基于全局水平考慮的單網(wǎng)絡(luò)設(shè)計，Pair-Net的雙網(wǎng)絡(luò)設(shè)計能夠差異化對待不同亮度區(qū)域，提升圖像質(zhì)量，獲得更加合適的色彩效果。單網(wǎng)絡(luò)與雙網(wǎng)絡(luò)結(jié)構(gòu)的ROI分析如圖9所示，可以看出，Pair-Net取得了與原始圖像最接近的均值方差。

圖8 單網(wǎng)絡(luò)結(jié)構(gòu)與雙網(wǎng)絡(luò)結(jié)構(gòu)投影效果對比Fig.8 Comparison of projection visualization results between single-net and Pair-Net((a)ground truth;(b)uncompensated;(c)projection visualization results of single net;(d)projection visualization results of Pair-Net(ours))

圖9 單網(wǎng)絡(luò)和雙網(wǎng)絡(luò)補償結(jié)果的ROI分析Fig.9 ROI analysis of compensation results of single-net and Pair-Net((a)row 1 in Fig.8;(b)row 2 in Fig.8)

5.3 IRC先驗的作用

注意力機制在Pair-Net中起著至關(guān)重要的作用，能夠差異化補償原圖的高亮區(qū)域和低亮區(qū)域，提升最終補償圖像的質(zhì)量。而IRC先驗的作用是監(jiān)督生成注意力圖，提供有效的互反射分布信息。如果將注意力圖ircback替換為全為1的掩膜，即將整幅圖像標(biāo)記為背景，則得到帶有背景補償強度的整幅圖像補償結(jié)果。如果ircback均為0，則Pair-Net將成為只考慮前景補償強度的補償結(jié)構(gòu)。如果缺少IRC注意力圖的監(jiān)督，則暗區(qū)域會過度補償，而高亮度區(qū)域補償程度不夠。

為了驗證IRC先驗監(jiān)督和注意力機制的有效性，設(shè)計了一個明通道與IRC先驗的對比實驗。實驗1采用原始投影圖像的明通道作為注意力圖的監(jiān)督。明通道作為圖像處理領(lǐng)域常用的算法，能夠獲取原始圖像高亮度區(qū)域的掩膜。實驗2采用IRC監(jiān)督生成不同的前景和背景掩膜作為對照實驗，IRC監(jiān)督不僅考慮了原始圖像的亮度信息，也學(xué)習(xí)沉浸式投影系統(tǒng)中的互反射信息。實驗結(jié)果如圖10所示?？梢钥闯觯褂妹魍ǖ啦荒芎芎玫剡M行前景和背景的差異化補償，導(dǎo)致投影圖像顏色失真。觀察圖10第2行可以發(fā)現(xiàn)，使用明通道作為監(jiān)督的補償圖像的天空區(qū)域光照沒有很好地消除。而Pair-Net針對高亮度的天空區(qū)域和低亮度的鹿區(qū)域進行了很好的差異化補償，最終效果更加優(yōu)秀。明通道與IRC先驗的ROI分析如圖11所示，可以看出，IRC監(jiān)督的互反射消除效果更好，圖像質(zhì)量優(yōu)于明通道。

圖10 明通道與IRC先驗投影效果對比Fig.10 Comparison of projection visualization results between bright channel and IRC prior((a)ground truth;(b)uncompensated;(c)projection visualization results of bright channel;(d)projection visualization results of IRC prior)

圖11 明通道與IRC先驗補償結(jié)果的ROI分析Fig.11 ROI analysis of compensation results of bright channel and IRC prior((a)row 1 in Fig.10;(b)row 2 in Fig.10)

6 結(jié) 論

本文基于注意力機制提出一種互反射補償網(wǎng)絡(luò)Pair-Net，解決了投影式虛擬現(xiàn)實系統(tǒng)中由于光照冗余反射造成圖像質(zhì)量下降問題。同時提出IRC先驗，有效獲取了投影圖像中的高光區(qū)域以及原始圖像的高光區(qū)域用于監(jiān)督注意力圖的生成，能夠提升補償效果。

Pair-Net基于IRC先驗監(jiān)督生成的注意力圖，關(guān)注強互反射區(qū)域，對互反射較強的區(qū)域增強補償效果，對較弱的互反射區(qū)或低亮區(qū)域在投影后使其光強保持在合適水平。實驗數(shù)據(jù)集通過真實投影場景收集獲得，測試數(shù)據(jù)在相同實驗場景進行測試從而保證算法的有效性。與現(xiàn)有算法相比，本文算法的PSNR和RMSE指標(biāo)獲得最高分值，SSIM指標(biāo)位居第二，ROI分析展示了本文算法在互反射消除上的優(yōu)勢。在人眼視覺感受上，本文提出的算法基本不存在嚴(yán)重色差，具有很好的人眼視覺感受。實驗結(jié)果表明，本文方法在客觀指標(biāo)和視覺效果上均優(yōu)于傳統(tǒng)方法和基于CNN的光度補償算法。

然而，本文算法存在一些局限，將在后續(xù)工作中進一步研究。首先，采用端到端的CNN網(wǎng)絡(luò)進行補償需要對齊的圖像數(shù)據(jù)集。因此，對某些無法使用照相機收集到整個投影場景圖像的虛擬現(xiàn)實設(shè)備，該方法需要進一步改進。其次，本文算法生成的圖像一定程度上存在模糊問題，與傳統(tǒng)算法相比，SSIM指標(biāo)有所下降，因此，生成圖像清晰度仍然有提升的空間。