胡宗禹 程鵬 劉建 劉洪 陳虎 張意 楊紅雨

沉浸式投影系統(tǒng)中的互反射現(xiàn)象會(huì)導(dǎo)致投影質(zhì)量下降，投影補(bǔ)償任務(wù)通過對(duì)輸入圖像的修改補(bǔ)償，減少互反射造成的影響從而得到更好的成像效果.投影補(bǔ)償任務(wù)是研究輸入原圖與最終成像之間的關(guān)系，通過對(duì)輸入圖像的修改補(bǔ)償，減少互反射造成的影響從而得到更好的成像效果.本文提出互反射先驗(yàn)，互反射先驗(yàn)是指發(fā)生互反射的區(qū)域的臨近區(qū)域通道像素值十分接近最大值256，因此通過圖像的區(qū)域通道像素值可以獲得互反射信息.本文提出的互反射補(bǔ)償網(wǎng)絡(luò)（IRCN），通過互反射先驗(yàn)生成互反射掩膜，消除沉浸式投影環(huán)境中的多余互反射.為了驗(yàn)證IRCN模型，使用了超過5000對(duì)投影圖像數(shù)據(jù)集和曲面投影系統(tǒng)以及折面投影系統(tǒng)來完成實(shí)驗(yàn).本文將IRCN對(duì)比多種現(xiàn)有投影補(bǔ)償方法，實(shí)驗(yàn)結(jié)果表明IRCN在PSNR，RMSE，SSIM，均值標(biāo)準(zhǔn)差分析等客觀評(píng)價(jià)指標(biāo)中具有明顯優(yōu)勢，說明本文提出的IRCN能夠有效利用互反射先驗(yàn)信息，對(duì)沉浸式投影環(huán)境中的互反射現(xiàn)象進(jìn)行補(bǔ)償，在均衡訓(xùn)練時(shí)間的基礎(chǔ)上增強(qiáng)了投影效果.

投影補(bǔ)償； 神經(jīng)網(wǎng)絡(luò)； 互反射； 沉浸式投影

TP389.1 A 2024.012001

End-to-end projection compensation in immersive ?projection systems based on the inter-reflection prior

HU Zong-Yu ?1 ， ?CHENG Peng ?2 ?， LIU Jian ?3 ， LIU Hong ?1，4 ， ?CHEN Hu ?1 ， ZHANG Yi ?5 ， YANG Hong-Yu ?1，4

（1.College of Computer Science， Sichuan University， Chengdu 610065， China;

2. School of Aeronautics and Astronautics， Sichuan University， Chengdu 610065， China;

3.Airspace Management Center， Air Traffic Management Bureau， Beijing 100000， China;

4.State Key Laboratory of Fundamental Science on Synthetic Vision， Sichuan University， Chengdu 610065， China;

5. School of Cyber Science and Engineering， Sichuan University， Chengdu 610065， China）

The inter-reflection phenomenon in immersion projection systems seriously affects the effect of projection， the projection compensation task can reduce the influence caused by the inter-reflection by modifying and compensating the input image so as to obtain a better imaging effect. In this paper，an inter-reflection prior is proposed， which means that the color effect of the region where inter-reflection occurs is very close to the maximum 256 due to the light superposition effect. Therefore， inter-reflection information can be obtained through the regional channel pixel of the image. The Inter-Reflection Compensation Network （IRCN） proposed in this paper generates an inter-reflection mask value through the inter-reflection prior， so that the IRCN can eliminates the excess interreflection in immersive projection environments. To verifly the IRCN model， the erperiment were ?performed on more than 5000 pairs of projected image datasets and curved projection system， and fold projection system.Compared with the existing projection compensation methods， the experiment results show that IRCN has obvious advantages in objective evaluation indicators such as PSNR， RMSE， SSIM， mean and standard deviation analysis， The proposed IRCN can effectively utilize the inter-reflection prior information to compensate for the inter-reflection phenomenon in the immersive projection environment， and enhance the projection effect based on balancing the training time.

Projection compensation; Neural network; Inter-reflection; Immersive projection

1 引 言

近年來，沉浸式投影系統(tǒng)發(fā)展迅速，特別是各種包圍式投影系統(tǒng)飛速興起.塔臺(tái)模擬系統(tǒng)、飛行模擬系統(tǒng)等對(duì)投影質(zhì)量有一定要求的大型投影系統(tǒng)在國內(nèi)外廣泛應(yīng)用，使得投影質(zhì)量重建工作尤為重要，因此投影補(bǔ)償成為一個(gè)重要的課題 ?［1-3］ .

投影互反射是指入射光在幾個(gè)反射面間多次反射的現(xiàn)象，在沉浸式投影系統(tǒng)，特別是上文提到的大型包圍式投影環(huán)境中互反射現(xiàn)象普遍存在并成為影響投影成像質(zhì)量的主要因素之一.投影補(bǔ)償是指建模整個(gè)投影系統(tǒng)，從輸入圖片到最終成像的整體改變中得到一定的規(guī)律，進(jìn)而補(bǔ)償投影儀的輸入圖片，達(dá)到增強(qiáng)投影圖像質(zhì)量的過程.

最近卷積神經(jīng)網(wǎng)絡(luò)在投影圖像質(zhì)量增強(qiáng)方面的應(yīng)用展現(xiàn)了巨大的潛力.Huang等提出的CompenNet ?［4］ 第一次使用神經(jīng)網(wǎng)絡(luò)解決投影質(zhì)量重建問題，這種方法假設(shè)投影面是不平整且有紋理的，使用一張合適的投影面背光圖片作為輸入，通過相同的下采樣設(shè)計(jì)，在對(duì)輸入圖下采樣的同時(shí)補(bǔ)償投影面的紋理和背景. Li等人 ?［5］ 提出的SRCN首次在投影補(bǔ)償任務(wù)中考慮人眼感知，SRCN在輸入端進(jìn)行伽馬矯正，并且在CompenNet的基礎(chǔ)上增加了超分層和感知損失函數(shù)嘗試提升圖像生成效果. Lei等人 ?［6］ 提出的基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)PairNet首次提出使用先驗(yàn)信息對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化設(shè)計(jì)，類似于通道注意力機(jī)制，該方法先驗(yàn)信息的計(jì)算區(qū)域?yàn)?×1區(qū)域，采用這樣的先驗(yàn)信息的注意力機(jī)制對(duì)互反射現(xiàn)象達(dá)到抑制效果.

受到上述工作的啟發(fā)，綜合考慮多種方法的優(yōu)劣勢，本文提出一種全新的互反射先驗(yàn)，并且基于互反射先驗(yàn)提出一個(gè)投影補(bǔ)償卷積神經(jīng)網(wǎng)絡(luò).該網(wǎng)絡(luò)通過互反射先驗(yàn)信息，對(duì)受到互反射污染的圖片區(qū)域精確補(bǔ)償互反射影響，并且通過一個(gè)幾何矯正網(wǎng)絡(luò)的設(shè)計(jì)，實(shí)現(xiàn)端到端的投影圖像質(zhì)量重建.

綜上所述，本文有以下貢獻(xiàn)：（1） 在多種沉浸式投影環(huán)境中分析研究了互反射問題，提出互反射先驗(yàn)用于從投影圖像中直接獲取互反射信息;（2） 構(gòu)建了全新的端到端IRCN模型，通過融合幾何矯正網(wǎng)絡(luò)實(shí)現(xiàn)真正端到端訓(xùn)練網(wǎng)絡(luò)，降低數(shù)據(jù)處理工作量;（3） 提出的IRCN模型生成的補(bǔ)償圖像重投影質(zhì)量優(yōu)于主流基線，能夠利用互反射先驗(yàn)信息有效消除互反射現(xiàn)象.

2 相關(guān)工作

2.1 傳統(tǒng)方法

傳統(tǒng)投影補(bǔ)償方法假設(shè)投影儀輸入圖像和相機(jī)捕獲圖像之間的像素存在一一對(duì)應(yīng)關(guān)系，然后建立對(duì)應(yīng)的光傳輸矩陣 ?［7，8］ .Ren等人 ?［9］ 根據(jù)這一假設(shè)提出求解光傳輸矩陣的逆矩陣從而實(shí)現(xiàn)投影質(zhì)量重建的方法.然而投影儀，攝像機(jī)各自的雙邊反射以及光線在投影面上的反射導(dǎo)致像素對(duì)應(yīng)的假設(shè)存在一定問題，并且光傳輸矩陣過于復(fù)雜，幾乎難以求得精確解.為了解決這些問題，不依賴構(gòu)建光傳輸矩陣的方法被提出，Bimber等人 ?［10］ 提出一種建立真實(shí)反射模型方法，通過計(jì)算互反射，將原圖像素對(duì)應(yīng)減去計(jì)算所得互反射，直接補(bǔ)償相應(yīng)的互反射.Li等人 ?［11］ 提出的方法采用投影儀攝像機(jī)系統(tǒng)進(jìn)行非數(shù)值計(jì)算的物理矩陣向量乘法模擬，同時(shí)該方法采用一種移位克雷洛夫子空間方法來消除物理乘法模擬和非負(fù)裁剪過程中產(chǎn)生的累積噪聲，從而提升投影質(zhì)量.但是這些方法很難直接估計(jì)互反射情況，模擬計(jì)算的補(bǔ)償量并不精確，在實(shí)際環(huán)境中容易導(dǎo)致過度補(bǔ)償?shù)葐栴}.

大規(guī)模的矩陣面臨計(jì)算時(shí)間成本過高，補(bǔ)償效果不佳等問題，因此一些依賴額外設(shè)備的方法被提出，Takeda等人 ?［12］ 提出了基于投影相機(jī)對(duì)的空間反射模型，該模型用一種光致變色化合物繪制屏幕，當(dāng)紫外線照射時(shí)，這種化合物會(huì)改變顏色.紫外線照射可以通過屏幕后面的紫外線LED陣列來控制，通過借助這些信息達(dá)到補(bǔ)償?shù)男Ч?這些方法往往不僅需求包括結(jié)構(gòu)光探測器，紫外線陣列板等昂貴的額外設(shè)備，而且需要精確的幾何和光度校準(zhǔn).

2.2 深度學(xué)習(xí)方法

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，深度學(xué)習(xí)方法在圖像處理方面的應(yīng)用愈發(fā)成熟，一些基于深度學(xué)習(xí)的圖像處理方法，如圖像風(fēng)格遷移算法pix2pix ?［13］ ，cyclegan ?［14］ 等以及圖像增強(qiáng)算法 ?［15，16］ ，圖像超分算法 ?［17-19］ 和基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)算法 ?［20，21］ 都展示了神經(jīng)網(wǎng)絡(luò)在投影補(bǔ)償任務(wù)中的的潛力和可能性.

在投影補(bǔ)償方面，Huang等人 ?［4］ 第一次提出了CompenNet使用深度學(xué)習(xí)方法解決投影質(zhì)量增強(qiáng)問題.這種方法采用了類似U-net ?［22］ 的跳躍連接，采用卷積神經(jīng)網(wǎng)絡(luò)分別采樣投影面背光圖像和攝像機(jī)捕獲投影圖像，通過一系列卷積操作，以投影儀輸入圖像作為監(jiān)督，端到端地完成了投影補(bǔ)償任務(wù).這種方法設(shè)計(jì)了背光投影表面圖像采樣網(wǎng)絡(luò)，但是對(duì)于同一種投影表面，使用不同亮度，色彩的環(huán)境光照射會(huì)導(dǎo)致結(jié)果的巨大差別，很難找到合適的配置.Li等人 ?［5］ 提出的SRCN在CompenNet的基礎(chǔ)上增加了超分層和感知損失函數(shù)嘗試提升圖像生成效果，并且在輸入端進(jìn)行伽馬矯正使補(bǔ)償效果更貼合人眼感知，但是這樣的網(wǎng)絡(luò)結(jié)構(gòu)和CompenNet區(qū)別并不明顯，在客觀評(píng)價(jià)指標(biāo)上的提升也有限.Lei等人 ?［6］ 提出的PairNet采用先驗(yàn)信息，并設(shè)計(jì)兩個(gè)光度補(bǔ)償子網(wǎng)分別對(duì)前景和背景光針對(duì)性補(bǔ)償，并融合兩個(gè)子網(wǎng)的輸出與先驗(yàn)信息的乘積作為輸出.該方法使用的先驗(yàn)信息僅僅考慮單點(diǎn)像素，而且通過先驗(yàn)信息獲得的掩膜直接與生成圖像乘積的做法有待商榷，并且有著網(wǎng)絡(luò)較大，訓(xùn)練時(shí)間較長以及數(shù)據(jù)處理較復(fù)雜等問題.這些深度學(xué)習(xí)方法往往沒有針對(duì)考慮區(qū)域性的互反射問題，并且普遍面臨需要裁剪數(shù)據(jù)集，數(shù)據(jù)整理工作復(fù)雜的問題.

3 互反射補(bǔ)償網(wǎng)絡(luò)設(shè)計(jì)

3.1 互反射先驗(yàn)

互反射是沉浸式投影環(huán)境中普遍存在的現(xiàn)象，本文提出的互反射先驗(yàn)受到暗通道先驗(yàn) ?［23］ 和互反射通道先驗(yàn) ?［6］ 的啟發(fā)，基于沉浸式投影系統(tǒng)中投影圖像由于單點(diǎn)的像素受到復(fù)雜光反射影響可能受該點(diǎn)附近區(qū)域高亮度像素點(diǎn)影響，導(dǎo)致最終投影圖像比原始圖像亮度普遍較高的事實(shí).對(duì)于攝像機(jī)捕獲的與原始圖像像素對(duì)齊的投影圖片 I ??cam ， x 點(diǎn)的互反射先驗(yàn)由以下公式計(jì)算而來：

Mask （x）= ∑ 3 ?i=1 ?f ??y∈Ζ（x） （i， ?max ????c∈{r，g，b} （I ?c ??cam ?（y））） 3 ???（1）

其中， c 是 y 點(diǎn)的rbg像素值; Ζ（x） 是圍繞 x 的3×3 ??區(qū)域; ??max ???c∈{r，g，b} （I c ??cam ?（y）） 是 y 點(diǎn)rbg像素通道中對(duì)應(yīng)最大值的通道，本文稱這個(gè)值為互反射像素， f ?y∈ Ζ （x） （i，c） 是求在 ?Ζ （x） 區(qū)域內(nèi)一共3×3=9個(gè)點(diǎn)的互反射像素值從大到小排列后第 i 大的那一個(gè).不同于兩種通道先驗(yàn)方法只計(jì)算單點(diǎn)像素，考慮到在投影任務(wù)中存在原本自身的通道像素值較高的情況，因此本文設(shè)計(jì)了區(qū)域性先驗(yàn).這樣的互反射先驗(yàn)計(jì)算所得的互反射掩膜能夠綜合考慮到圖像本身高像素區(qū)域成像效果以及互反射對(duì)成像的影響，從而進(jìn)一步增強(qiáng)互反射抑制效果.

在存在互反射現(xiàn)象的投影圖像中，部分局部的高亮度可能會(huì)影響周圍大部分區(qū)域的投影質(zhì)量，互反射先驗(yàn)?zāi)軌颢@取這些區(qū)域信息.本文分析了超過4000張投影圖片的互反射先驗(yàn)值的累積分布，從圖1可以看到有大量區(qū)域的互反射先驗(yàn)單點(diǎn)像素趨近256最大值，這些區(qū)域的成像質(zhì)量受到極大影響.

3.2 投影系統(tǒng)的數(shù)學(xué)模型

本文的投影質(zhì)量補(bǔ)償系統(tǒng)是由一個(gè)投影儀-攝像機(jī)對(duì)和一個(gè)與投影儀距離方向固定的沉浸式投影屏幕構(gòu)成，如圖2和圖3所示.為了在多維度驗(yàn)證本方法的可行性，本文采用了曲面屏和90°折面屏兩種投影面構(gòu)建了兩套投影系統(tǒng).

本文的投影系統(tǒng)均可以描述為

y=G（f c（f s（f p（x，p），g，r），c）） ?（2）

其中， y 是與輸入圖像 x 像素對(duì)齊的攝像機(jī)捕獲圖像； x 是投影儀的輸入圖像； f p 是投影儀的幾何光度畸變函數(shù)； p 是幾何光度畸變的參數(shù)； f s 是 投影面表面雙向反射率分布函數(shù)； g 是全局環(huán)境光照參數(shù)； r 是互反射參數(shù)； f c 是相機(jī)的復(fù)合捕獲函數(shù)； c 是對(duì)應(yīng)的參數(shù)； G 是從攝像機(jī)原始捕獲圖片到與輸入圖片像素對(duì)齊的幾何畸變函數(shù).需要注意在投影補(bǔ)償流程中輸入圖片為原始圖片，不存在幾何畸變，因此在補(bǔ)償流程里輸入圖片不需要幾何校正.由于沉浸式投影環(huán)境一般要求在無全局光的情況下部署，本文的投影系統(tǒng)控制全局環(huán)境光照參數(shù) ?g=0 ?，同時(shí)將各個(gè)函數(shù)的參數(shù)融合進(jìn)函數(shù)中，保留互反射參數(shù)，將 f c，f s，f p 融合成一個(gè)函數(shù) F ：從投影儀輸入圖片到攝像機(jī)捕獲圖片的光度偏移函數(shù)，能得到式（3）.

y=G（F（x，r）） ?（3）

考慮互反射先驗(yàn)信息，用 mask 表示與輸入圖像x像素對(duì)齊的互反射掩膜，可以將式（3）寫為式（4）：

y=G（F（x）+mask） ?（4）

即相機(jī)捕獲的與輸入圖像像素對(duì)齊的圖像是由輸入圖像的正常光度變化與互反射額外污染共同作用形成.

投影圖像補(bǔ)償?shù)哪康氖钦业揭粡堁a(bǔ)償圖像 x * ，使得最終成像效果能達(dá)到投影儀輸入圖像 y * 的水平即：

y *=G（F（x *）+mask） ?（5）

由于投影儀輸入圖像已知，因此在補(bǔ)償流程中補(bǔ)償圖像 x * 可以表示為：

x *=F ?-1 （G ?-1 （y *）-mask） ?（6）

3.3 基于深度學(xué)習(xí)的公式

由于前文提到，互反射信息可以從攝像機(jī)捕獲圖像中計(jì)算得到，將從該圖像到對(duì)應(yīng)的互反射掩膜的轉(zhuǎn)換函數(shù)寫為 M ，神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程可以從式（6）表示為：

x ?^ =F ?-1 （G ?-1 （y）-λ×M（G ?-1 （y））） ?（7）

其中， x ?^ ?為訓(xùn)練中網(wǎng)絡(luò)整體輸出； y 為攝像機(jī)捕獲圖像，即 λ 控制互反射先驗(yàn)信息對(duì)最終圖像的影響程度，并產(chǎn)生對(duì)應(yīng)的互反射掩膜，作為先驗(yàn)信息加入網(wǎng)絡(luò)訓(xùn)練中.將 F ?-1 ?， G ?-1 ?， M 建模為巻積神經(jīng)網(wǎng)絡(luò) π θ ：

x ?^ =π θ（y） ?（8）

其中， θ={θ F，θ G，θ M} 包含三個(gè)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，投影的正過程為從原圖像到攝像機(jī)捕獲圖像，而 π θ 為從攝像機(jī)捕獲圖像 y 到輸入投影儀的原圖像 y * 的過程，因此 π θ 可以直觀理解為投影逆過程， x ?^ ?是對(duì)應(yīng)整體網(wǎng)絡(luò)輸入 y 的補(bǔ)償圖像.因此本文的神經(jīng)網(wǎng)絡(luò)由原圖像，攝像機(jī)捕獲圖像對(duì) （y *，y） 作為輸入進(jìn)行訓(xùn)練，將訓(xùn)練集分為 N 組原圖像，攝像機(jī)捕獲圖像對(duì)，則有訓(xùn)練集 ?{（y * i，y i）} ?N ?i=1 ?，整體損失函數(shù)如下.

L ??total ?=L 1+L 2+L ?SSIM ?+ λ ?s ×L ??mask ??2 ?（9）

式（9）中， L 1 ， L 2 ， L ?SSIM ?分別為整體網(wǎng)絡(luò)的 L ??1 損失函數(shù)， L ??2 損失函數(shù)和SSIM損失函數(shù)，具體表示如下.

L 1= 1 N ∑ N ?i=1 ??x ?^ ??i-y ?i ??（10）

L 2= 1 N ?∑ N ?i=1 ??x ?^ ??i-y ?i ??2 ?（11）

L ??SSIM = 1 N ∑ N ?i=1 ?（1-SSIM（x ?^ ??i，y ?i）） ?（12）

SSIM（x，y）= 2μ xμ y+C 1 μ x ??2+μ y ??2+C 1 × 2σ ?xy +C 2 σ x ??2+σ y ??2+C 2 ???（13）

其中， y 是輸入投影儀的原圖像； x ?^ ?為網(wǎng)絡(luò)整體輸出圖像； μ x 為圖像 x 的均值； μ y 為圖像 y 的均值； σ x 為圖像 x 的方差； σ y 為圖像 y 的方差； σ ?xy ?為 x 與 y 的協(xié)方差； C 1 ， C 2 是為了保持穩(wěn)定避免分母為0的兩個(gè)常數(shù).式（9）中的 L ??mask ??2 為控制互反射生成網(wǎng)絡(luò)輸出的損失函數(shù)； ?λ ?s為對(duì)應(yīng)的參數(shù)； L ??mask ??2 表示 ?如下.

L ?mask ?2= 1 N ?∑ N ?i=1 ?（Mask（y ?i）-m * ?i） ?2 ?（14）

其中， Mask（y ???i） 為通過網(wǎng)絡(luò)輸入圖像 y 幾何校正后計(jì)算所得的互反射先驗(yàn)，具體計(jì)算方式見式（1）； m * 為互反射掩膜生成網(wǎng)絡(luò)的輸出.

3.4 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

IRCN由三部分：一個(gè)幾何矯正網(wǎng)絡(luò)，一個(gè)光度矯正網(wǎng)絡(luò)和一個(gè)互反射掩膜生成網(wǎng)絡(luò)組成.在訓(xùn)練中，攝像機(jī)捕獲圖像首先輸入幾何矯正網(wǎng)絡(luò)，生成與投影儀輸入圖像像素對(duì)齊的攝像機(jī)圖像.然后這個(gè)圖像會(huì)輸入互反射掩膜生成網(wǎng)絡(luò)，而互反射掩膜生成網(wǎng)絡(luò)的輸出又與這個(gè)圖像共同產(chǎn)生光度矯正網(wǎng)絡(luò)的輸入.具體的網(wǎng)絡(luò)結(jié)構(gòu)見圖4.

由于沉浸式投影環(huán)境中，輸入圖像最終成像形狀會(huì)產(chǎn)生畸變，攝像機(jī)捕獲圖像同時(shí)包含輸入圖像以外的屏幕背景信息，所以需要使用幾何矯正網(wǎng)絡(luò)將攝像機(jī)捕獲的圖像轉(zhuǎn)變?yōu)榕c投影儀輸入圖像像素對(duì)齊的圖像.IRCN的幾何矯正網(wǎng)絡(luò)首先包含薄板樣條參數(shù) ?［24］ 和仿射變換參數(shù)這兩個(gè)可學(xué)習(xí)模塊，受其他幾何矯正網(wǎng)絡(luò)的啟發(fā) ?［5，25，26］ ，如圖4a所示，IRCN設(shè)計(jì)仿射變換參數(shù)aff，薄板樣條參數(shù)tps兩個(gè)可學(xué)習(xí)參數(shù)分別通過網(wǎng)格生成器生成對(duì)應(yīng)的采樣網(wǎng)格，然后通過網(wǎng)格采樣將兩個(gè)網(wǎng)格結(jié)合后輸入一個(gè)網(wǎng)格細(xì)化網(wǎng)絡(luò)，以調(diào)整整體矯正效果.最終輸出的采樣網(wǎng)格通過雙線性插值將攝像機(jī)捕獲圖像幾何矯正為與輸入圖像對(duì)應(yīng)的圖像.

如圖4c所示，互反射掩膜生成網(wǎng)絡(luò)是一個(gè)輕量級(jí)網(wǎng)絡(luò)，由于投影系統(tǒng)中的真實(shí)互反射很難直接獲取，受到一些注意力機(jī)制方法 ?［27，28］ 的啟發(fā)，本文設(shè)計(jì)互反射掩膜生成網(wǎng)絡(luò)，如圖5所示.采用攝像機(jī)捕獲圖像信息通過前文提到的互反射先驗(yàn)計(jì)算得到互反射先驗(yàn)圖作為監(jiān)督，使用一個(gè)帶參數(shù) λ ?s=0.2調(diào)節(jié)其影響程度的 L 2 損失函數(shù)控制互反射掩膜生成網(wǎng)絡(luò)的輸出.

如圖4b，按照前文的公式推導(dǎo)，IRCN的光度矯正網(wǎng)絡(luò)將前兩個(gè)網(wǎng)絡(luò)輸出做差結(jié)合，通過互反射先驗(yàn)信息，將補(bǔ)償了互反射影響的攝像機(jī)捕獲圖像輸入，在使用卷積和反卷積的下采樣，上采樣之間采用跳躍連接結(jié)構(gòu)，具體結(jié)構(gòu)參考圖4，采用三個(gè)殘差塊的卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到對(duì)應(yīng)的光 度變化信息.在訓(xùn)練中，式（7）和圖5里控制互反射先驗(yàn)信息的參數(shù) λ 被設(shè)計(jì)為一個(gè)可學(xué)習(xí)參數(shù)，將其范圍控制在［0.1，init_value］，初始值init_value被設(shè)計(jì)為0.3.

綜上所述，IRCN訓(xùn)練中以攝像機(jī)捕獲圖像為輸入，投影儀輸出圖像為監(jiān)督.在投影補(bǔ)償流程中，將投影儀輸入圖像作為訓(xùn)練好的IRCN的輸入，如圖5所示.由于補(bǔ)償流程中輸入圖像并不需要幾何校正，因此忽略訓(xùn)練好的幾何校正網(wǎng)絡(luò)，直接輸入網(wǎng)絡(luò)其余部分，IRCN生成相應(yīng)的補(bǔ)償圖像，將該補(bǔ)償圖像輸入投影儀以增強(qiáng)投影效果，整體的互反射補(bǔ)償流程如圖5所示.

4 實(shí)驗(yàn)過程和分析

4.1 評(píng)價(jià)指標(biāo)和對(duì)比方法

本文對(duì)照一種傳統(tǒng)方法（Bimber的方法 ?［10］ ）和三種深度學(xué)習(xí)方法（CompenNet ?［4］ ，SRCN ?［5］ ， PairNet ?［6］ ），采用常用于投影重建任務(wù)中的像素級(jí)別圖像質(zhì)量評(píng)價(jià)指標(biāo)，PSNR，SSIM，RMSE以及像素均值標(biāo)準(zhǔn)差分析.所有方法都在曲面投影系統(tǒng)和折面投影系統(tǒng)中測試，投影補(bǔ)償測試流程如圖5所示.測試集經(jīng)過再投影，攝像機(jī)拍攝后采用已訓(xùn)練好的幾何校正網(wǎng)絡(luò)對(duì)采集圖片進(jìn)行校正，與原圖對(duì)齊后比較各個(gè)客觀評(píng)價(jià)指標(biāo).

4.2 數(shù)據(jù)集

由于投影補(bǔ)償任務(wù)缺乏公開數(shù)據(jù)集，CompenNet提出的數(shù)據(jù)集在特殊紋理投影面上采集，并不適用于本文實(shí)驗(yàn)要求，因此本文構(gòu)建了自己的數(shù)據(jù)集.本文實(shí)驗(yàn)均控制環(huán)境光照，在黑暗環(huán)境下進(jìn)行數(shù)據(jù)采集，為了確保方法的適用性，分別在90°折面屏和曲面屏投影面上，使用超過4000張512×512的多種類RGB圖像進(jìn)行訓(xùn)練，并且額外采集超過500張圖像進(jìn)行測試和結(jié)果分析.

本文的投影儀和攝像機(jī)分別是JMGO G7投影儀和NIKON DX VR相機(jī).本文的沉浸式投影系統(tǒng)中，為了達(dá)到較好的投影效果和相機(jī)捕獲效果，攝像機(jī)和投影儀的距離控制在60 cm，投影面的中心與攝像機(jī)投影儀的垂直距離控制在90 cm.相機(jī)具體設(shè)置為：自動(dòng)白平衡，1/45快門速度，ISO為400，對(duì)焦 f =5.6.投影儀采用自動(dòng)對(duì)焦，投影模式為默認(rèn).為了端到端訓(xùn)練，攝像機(jī)圖像在直接輸入網(wǎng)絡(luò)之前自動(dòng)剪裁為512×512作為輸入.

4.3 實(shí)現(xiàn)細(xì)節(jié)

對(duì)于傳統(tǒng)方法，本文直接采用原文方法進(jìn)行測試.而對(duì)于深度學(xué)習(xí)方法，首先由于CompenNet，SRCN，PairNet三種方法都是光度矯正算法，需要對(duì)采集圖像幾何校正才能進(jìn)行訓(xùn)練.因此本文單獨(dú)采用本文方法中的幾何校正網(wǎng)絡(luò)對(duì)訓(xùn)練集和測試集幾何矯正，形成新的數(shù)據(jù)集進(jìn)行訓(xùn)練.由于CompenNet是針對(duì)投影面有紋理和顏色的投影環(huán)境的方法，因此需要一張背光投影表面圖像作為額外輸入，實(shí)際上不同的表面圖像會(huì)對(duì)最終的補(bǔ)償效果產(chǎn)生巨大的影響，因此本文測試多種灰度，色彩的表面圖像，選擇效果最佳的進(jìn)行對(duì)比.所有方法的數(shù)據(jù)采集和投影補(bǔ)償效果測試流程可見圖5.

本文所有深度學(xué)習(xí)方法都在Pytorch框架下，訓(xùn)練20個(gè)epoch，batch-size為8，采用D Kingma等提出的Adam函數(shù)進(jìn)行優(yōu)化，使學(xué)習(xí)率從1e-3下降到1e-4.所有深度學(xué)習(xí)方法都按照以上的設(shè)置在兩張RTX2080ti上完成.

4.4 現(xiàn)有方法對(duì)比

本文在客觀評(píng)價(jià)指標(biāo)的基準(zhǔn)上，將本文提出的IRCN與四種目前主流的投影補(bǔ)償方法進(jìn)行了比較.對(duì)比的方法分別是Bimber提出的方法 ?［10］ ，CompenNet ?［4］ ，SRCN ?［5］ ，Lei提出的方法 ?［6］ .所有方法均通過投影補(bǔ)償流程，采集測試集500張測試圖像并矯正為512×512尺寸進(jìn)行對(duì)比.圖6展示這些方法在不同色調(diào)的投影圖像上的視覺效果.

Bimber的方法將投影面分為多個(gè)子區(qū)域直接計(jì)算區(qū)域間互反射.但是正如所有不依賴光傳輸矩陣的傳統(tǒng)方法的弊病，該方法需要包括攝像機(jī)鏡頭畸變，投影面雙邊反射，投影補(bǔ)償系統(tǒng)的相對(duì)坐標(biāo)信息等額外細(xì)節(jié).但是在實(shí)際場景中，這些信息很難準(zhǔn)確獲取，并且可能改變，同時(shí)計(jì)算所得互反射精確度也不能保證因此該方法在實(shí)際的沉浸式投影系統(tǒng)中的效果并不佳.如表1所示，在客觀評(píng)價(jià)指標(biāo)方面，本文的方法明顯優(yōu)于該方法.

本文通過對(duì)比三種深度學(xué)習(xí)方法，說明IRCN在投影質(zhì)量增強(qiáng)和互反射補(bǔ)償方面的優(yōu)勢.所有的深度學(xué)習(xí)方法都在統(tǒng)一數(shù)據(jù)集上訓(xùn)練.正如前文所說，CompenNet和SRCN需要背景光信息，而采用不同背景光信息會(huì)導(dǎo)致實(shí)驗(yàn)結(jié)果的巨大差別，因此這兩種方法不能兼顧多種不同色調(diào)的補(bǔ)償效果，雖然SRCN通過感知損失函數(shù)和伽馬矯正在最終成像上有一定改善，但是整體的區(qū)別并不明顯，如圖6b，由于背景信息的加入需要光照后采集，兩種方法的低亮度區(qū)域被抑制，導(dǎo)致整體顏色偏暗，特別是低飽和度區(qū)域色調(diào)上表現(xiàn)較差，與原圖的灰度相似性大幅下降，在客觀評(píng)價(jià)指標(biāo)上也劣于IRCN.Lei提出的方法由于采用1×1區(qū)域的最大像素值作為先驗(yàn)信息，沒有考慮到局部區(qū)域互反射和原本高亮度區(qū)域，對(duì)局部互反射抑制并沒有達(dá)到很好的效果.雙子網(wǎng)的輸出直接融合的網(wǎng)絡(luò)設(shè)計(jì)導(dǎo)致針對(duì)前景與背景的補(bǔ)償難以平衡，見圖6.在各種色調(diào)下的生成圖像亮度較原圖更高，并且雙子網(wǎng)設(shè)計(jì)讓訓(xùn)練時(shí)間大幅度增加.而IRCN在輸入端學(xué)習(xí)到互反射信息，只使用一個(gè)光度補(bǔ)償子網(wǎng)的設(shè)計(jì)有效補(bǔ)償了相應(yīng)的互反射.從圖7可以看出，在像素總體分布上也更接近原圖分布，并且兼顧了訓(xùn)練時(shí)間，在整體評(píng)價(jià)指標(biāo)上領(lǐng)先于其他方法.

4.5 消融實(shí)驗(yàn)

本文設(shè)計(jì)了兩個(gè)消融實(shí)驗(yàn)證明IRCN的合理性.第一個(gè)是直接采取計(jì)算所得互反射先驗(yàn)作為互反射掩膜代替掩膜生成網(wǎng)絡(luò)，在后文稱為直接先驗(yàn)網(wǎng)絡(luò).另一個(gè)是將互反射先驗(yàn)的監(jiān)督計(jì)算從3×3的區(qū)域修改為1×1的區(qū)域，在后文稱為1×1網(wǎng)絡(luò).

由于互反射先驗(yàn)?zāi)軌虻玫礁吡炼葏^(qū)域的互反射信息，但是在沉浸式投影環(huán)境中仍然有一些受互反射影響較小，像素過渡比較平滑的區(qū)域.從圖8可以看到，直接先驗(yàn)網(wǎng)絡(luò)采用計(jì)算得到的互反射先驗(yàn)作為掩膜可能會(huì)導(dǎo)致這些受互反射影響較小的區(qū)域的補(bǔ)償量過大，整體顏色偏暗，從表2和圖8也可以看出，直接先驗(yàn)網(wǎng)絡(luò)的評(píng)價(jià)指標(biāo)表現(xiàn)也較差.在圖8中可以看到1×1網(wǎng)絡(luò)沒有考慮局部高亮度對(duì)附近區(qū)域的影響，導(dǎo)致局部區(qū)域的像素補(bǔ)償效果較差，并且丟失原圖部分細(xì)節(jié)，存在互反射區(qū)域最終成像飽和度降低的現(xiàn)象.

從表2，圖8和圖9可以看出，本文的互反射先驗(yàn)?zāi)軌蛴行Й@取投影互反射信息，通過3×3區(qū)域互反射先驗(yàn)對(duì)互反射掩膜生成網(wǎng)絡(luò)的監(jiān)督，能夠兼顧局部和整體的互反射抑制效果.同時(shí)本文方法在最終成像質(zhì)量上以及細(xì)節(jié)保留上有更好的表現(xiàn).

5 結(jié) 論

本文提出了一個(gè)全新的基于互反射先驗(yàn)的沉浸式投影補(bǔ)償網(wǎng)絡(luò)IRCN，以解決沉浸式投影系統(tǒng)中的互反射問題.采用提出的3×3區(qū)域互反射先驗(yàn)，獲取相應(yīng)的沉浸式投影導(dǎo)致的互反射的信息，同時(shí)本文提出的IRCN能夠端到端訓(xùn)練網(wǎng)絡(luò)，融合幾何矯正網(wǎng)絡(luò)的整體結(jié)構(gòu)使得數(shù)據(jù)處理難度降低，并且使網(wǎng)絡(luò)結(jié)果重投影的幾何結(jié)構(gòu)復(fù)原效果更良好.本文在訓(xùn)練超過4000對(duì)圖像的基礎(chǔ)上，分析對(duì)比500張測試圖像.與目前存在的投影補(bǔ)償方法對(duì)比，本文提出的IRCN能夠有效抑制互反射的產(chǎn)生，使得投影質(zhì)量大幅提升，色彩亮度更接近原圖，綜合訓(xùn)練時(shí)間的客觀評(píng)價(jià)指標(biāo)表現(xiàn)也優(yōu)于其他方法.

但是本文的工作仍然存在一定局限性，首先，本文的方法依然存在卷積神經(jīng)網(wǎng)絡(luò)圖像生成局部模糊問題，這個(gè)問題在大面積高分辨率投影中可能會(huì)比較明顯.其次，包含幾何矯正網(wǎng)絡(luò)的整體網(wǎng)絡(luò)在沒有預(yù)訓(xùn)練的情況下收斂速度較慢.上述問題都是后續(xù)研究的重點(diǎn).

參考文獻(xiàn)：

［1］ ??Fujimoto ?Y， Sawabe T， Kanbara M， ?et al . Structured light of flickering patterns having different frequencies for a projector-event-camera system ［C］//Proceedings of the Conference on Virtual Reality and 3D User Interfaces. Christchurch： IEEE， 2022： 582.

［2］ ?Park ?J， Jung D， Moon B. Projector compensation framework using differentiable rendering ［J］. IEEE Access， 2022， 10： 44461.

［3］ ?Narita G， Watanabe Y， Ishikawa M. Dynamic projection mapping onto deforming non-rigid surface using deformable dot cluster marker ［J］. IEEE T Vis Comput Gr， 2017， 23： 1235.

［4］ ?Huang B， Ling H. End-to-end projector photometric compensation［C］//Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 6810.

［5］ ?Li X F， Hu Z H， Gu H Y， ?et al . Multiprojector interreflection compensation using a deep convolution network［J］. Sci Programming-Neth， 2022， 2022： 1.

［6］ ?Lei Q H， Yang T， Cheng P. An attention mechanism based inter-reflection compensation network for immersive projection system ［J］.J Imag Grap， 2022， 27： 1238.［雷清樺， 楊婷， 程鵬. 注意力機(jī)制的曲面沉浸式投影系統(tǒng)補(bǔ)償. 中國圖象圖形學(xué)報(bào)， 2022， 27： 1238.］

［7］ ?Grundhofer A， Iwai D. Robust， error-tolerant photometric projector compensation ［J］. IEEET Image Process， 2015， 24： 5086.

［8］ ?Sajadi B， Lazarov M， Majumder A. ADICT： accurate direct and inverse color transformation［C］//Proceedings of the 11th European Conference on Computer Vision. Heraklion： Springer， 2010（6314）： 72.

［9］ ?Ren N， Ramamoorthi R， Hanrahan P. All-frequency shadows using non-linear wavelet lighting approximation ［J］. ACM T Graphic， 2003， 22： 376.

［10］ ?Bimber O， Grundhofer A， Zeidler T， ?et al . Compensating indirect scattering for immersive and semi-immersive projection displays ［C］//Proceedings of the IEEE Virtual Reality Conference （VR 2006）. Alexandria： IEEE， 2006： 151.

［11］ Li Y， Yuan Q， Lu D. Perceptual radiometric compensation for inter-reflection in immersive projection environment ［C］//Acm Symposium on Virtual Reality Software & Technology. Singapore： ACM， 2013： 201.

［12］ Takeda S， Iwai D， Sato K. Inter-reflection compensation of immersive projection display by spatio-temporal screen reflectance modulation ［J］.IEEE T Vis Comput Gr， 2016， 22： 1424.

［13］ Isola P， Zhu J Y， Zhou T， ?et al . Image-to-image translation with conditional adversarial networks［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： ??5967.

［14］ Zhu J Y， Park T， Isola P， ?et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］//Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice： IEEE， 2017： 2242.

［15］ He L， Long W， Li Y Y， ?et al. ?A low-light image enhancement model based on gray level mapping and fusion technology ［J］. J Sichuan Univ（Nat Sci Ed）， 2022， 59： 022001.［何磊， 龍偉， 李炎炎， 等. 一種基于灰度映射與融合技術(shù)的微光圖像增強(qiáng)模型［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 59： ??022001.］

［16］ Liu S X， Long W， Li Y Y， ?et al. ?Non-linear low-light image enhancement based on fusion color model spade ［J］. J ?Sichuan Univ（Nat Sci Ed）， 2021， 58： 012003.［劉壽鑫， 龍偉， 李炎炎， 等. 融合彩色模型空間的非線性低照度圖像增強(qiáng)［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 58： 012003.］

［17］ Kim J， Lee J K， Lee K M. Accurate image super-resolution using very deep convolutional networks［C］//Proceedings of the 2016 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 1646.

［18］ Wang X，Yu K， Dong C， ?et al . Recovering realistic texture in image super-resolution by deep spatial feature transform［C］//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 606.

［19］ Zhang D， Shao J， Hu G， ?et al . Sharp and real image super-resolution using generative adversarial network ［C］//Proceedings of the International Conference on Neural Information Processing. Guangzhou： Springer， 2017， 3： 217.

［20］ Zhang Y， Kan Z W， Shao Z W， ?et al . Remote sensing image denoising based on attention mechanism and perceptual loss ［J］.J Sichuan Univ（Nat Sci Ed）， 2021， 58： 042001.［張意， 闞子文， 邵志敏， 等. 基于注意力機(jī)制和感知損失的遙感圖像去噪［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 58： ??042001.］

［21］ Jin R L， Qing L B， Wen H Q. Emotion recognition of the natural scenes based on attention mechanism and multi-scale network ［J］. J Sichuan Univ（Nat Sci Ed）， 2022， 59： 012003.［晉儒龍， 卿粼波， 文虹茜. 基于注意力機(jī)制多尺度網(wǎng)絡(luò)的自然場景情緒識(shí)別［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 59： 012003.］

［22］ Ronneberger O， Fischer P， Brox T. U-net： Convolutional networks for biomedical image segmentation［C］//Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention. Munich： Springer， 2015： 234.

［23］ He K， Sun J， Tang X. Single image haze removal using dark channel prior ［J］.IEEE T Pattern Anal， 2011， 33： 2341.

［24］ Donato ?G， Belongie S. Approximate thin plate spline mappings ［C］//Proceedings of the 7th European Conference on Computer Vision. Berlin， Heidelberg： Springer， 2002： 21.

［25］ Feng H， Zhou W， Deng J，et al . Geometric representation learning for document image rectification ［C］//Proceedings of the 17th European Conference on Computer Vision. Cham， Switzerland： Springer， 2022.

［26］ Rocco ?I， Arandjelovic R， Sivic J. Convolutional neural network architecture for geometric matching［J］. IEEE T Pattern Anal， 2019， 41： 2553.

［27］ Cheng Q， Li H， Wu Q， et al. ?Learn to pay attention via switchable attention for image recognition ［C］//Proceedings of the 2020 IEEE Conference on Multimedia Information Processing and Retrieval （MIPR 2020）. Shenzhen： IEEE， 2020： 291.

［28］ Fei W， Jiang M， Chen Q， ?et al. ?Residual attention network for image classification ［C］//Proceedings of the 2017 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： 3156.

收稿日期： ?2022-10-06

基金項(xiàng)目： ?國家自然科學(xué)基金民航聯(lián)合研究基金（U1833128）; 成都市重點(diǎn)研發(fā)支撐計(jì)劃項(xiàng)目（2021YF0501788SN）

作者簡介： ??胡宗禹（1998-）， 男， 四川宜賓人， 碩士研究生， 研究方向?yàn)閳D像處理與神經(jīng)網(wǎng)絡(luò). E-mail： 2020223040012@stu.scu.edu.cn

通訊作者： ?陳虎. E-mail： huchen@scu.edu.cn