李 勇，何良波，詹建東，黃 凱

（1. 浙江師范大學(xué) 信息光學(xué)研究所，浙江 金華321004；2. 浙江省光信息檢測(cè)與顯示技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，浙江 金華321004）

1 引 言

全息三維顯示是一種理想的三維顯示技術(shù)，自全息術(shù)［1］提出以來(lái)就受到研究者的關(guān)注［2-3］。隨著技術(shù)的發(fā)展，全息術(shù)也由模擬走向數(shù)字。數(shù)字化全息的出現(xiàn)為全息圖的存儲(chǔ)、傳輸及復(fù)制提供了便利，它在虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）、混合現(xiàn)實(shí)（MR）中有廣闊的應(yīng)用前景［4-6］。目前主要有計(jì)算機(jī)制全息與數(shù)字全息這兩種數(shù)字化全息。前者由Kozma 等［7］最早提出，Lohmann 等［8］首先實(shí)現(xiàn)。它使得由利用計(jì)算機(jī)創(chuàng)作的虛擬三維場(chǎng)景直接制作全息圖成為現(xiàn)實(shí)，實(shí)現(xiàn)了三維場(chǎng)景全息圖的全數(shù)字化制作。后者由Goodman 等［9］提出，采用光導(dǎo)攝像管探測(cè)器進(jìn)行無(wú)透鏡傅里葉變換全息圖的數(shù)字化并利用快速傅里葉變換（FFT）實(shí)現(xiàn)了全息圖數(shù)字再現(xiàn)。Schnars 等［10］利 用CCD 進(jìn) 行 了 光 學(xué) 全 息 圖 的 數(shù)字化。數(shù)字全息提供了一種真實(shí)場(chǎng)景三維信息數(shù)字化手段。

在MR、元宇宙等應(yīng)用中常常需要將真實(shí)三維場(chǎng)景和虛擬三維場(chǎng)景混合顯示。常用的方法有先采用三維成像方法將真實(shí)場(chǎng)景數(shù)字化［11-12］，再與虛擬場(chǎng)景混合，然后制作CGH。這種方法在場(chǎng)景級(jí)別進(jìn)行虛實(shí)混合，場(chǎng)景的幾何變換比較靈活，采集的三維場(chǎng)景尺度從厘米到百米級(jí)別甚至更大。三維數(shù)據(jù)采集及全息圖制作對(duì)計(jì)算能力的要求較高。另一種方法是光波復(fù)振幅或全息圖級(jí)別的虛實(shí)場(chǎng)景混合。用DH 記錄真實(shí)三維場(chǎng)景，然后與虛擬場(chǎng)景的CGH 混合。目前這種方法記錄的真實(shí)場(chǎng)景尺度從亞微米到10 cm 級(jí)別。由于是全息圖混合，對(duì)計(jì)算能力的要求低。Arima等［13］采用合成孔徑無(wú)透鏡傅里葉變換數(shù)字全息圖記錄，利用三步相移法從DH 中獲得包含真實(shí)物體三維信息的物光波復(fù)振幅并與虛擬建模物體的物光波復(fù)振幅在計(jì)算機(jī)中計(jì)算得到全息圖，實(shí)現(xiàn)了靜態(tài)單色場(chǎng)景的虛實(shí)混合全息三維顯示。Matsushims 等［14］利用相同的方法實(shí)現(xiàn)了彩色場(chǎng)景的虛實(shí)混合三維顯示。該方法在復(fù)振幅級(jí)別進(jìn)行虛實(shí)場(chǎng)景混合，由于采用了相移法獲取物光波復(fù)振幅，不適合動(dòng)態(tài)三維場(chǎng)景的采集。胡等［15］在混合場(chǎng)景的動(dòng)態(tài)全息三維顯示方面進(jìn)行了初步的探索。搭建再現(xiàn)像混合光學(xué)系統(tǒng)，將DH 和CGH 分別輸入不同的空間光調(diào)制器中，實(shí)現(xiàn)混合場(chǎng)景動(dòng)態(tài)全息三維顯示。該方法利用光學(xué)系統(tǒng)混合再現(xiàn)像，對(duì)計(jì)算機(jī)運(yùn)算能力要求低，但是存在未充分利用空間光調(diào)制器能力的問(wèn)題。本文提出全息圖級(jí)別虛實(shí)場(chǎng)景混合方法，首先對(duì)獲取的數(shù)字全息圖根據(jù)設(shè)計(jì)需求進(jìn)行處理，然后將處理后的DH 與CGH 進(jìn)行混合，利用彩色全息三維顯示系統(tǒng)實(shí)現(xiàn)了彩色動(dòng)態(tài)三維場(chǎng)景的虛實(shí)混合顯示。給出了理論分析和實(shí)驗(yàn)驗(yàn)證。

2 原 理

2.1 全息記錄及融合

設(shè)全息面上的物光復(fù)振幅分布為O（x，y），參考光復(fù)振幅分布為R（x，y），根據(jù)光學(xué)全息原理，全息面上的干涉光強(qiáng)為：

I(x，y)=|O(x，y)+R(x，y)|2=|O(x，y)|2+|R(x，y)|2+O(x，y)R*(x，y)+O*(x，y)R(x，y)=|O(x，y)|2+|R(x，y)|2+2O'(x，y)R'(x，y)·cos[φo(x，y)-φr(x，y)]. （1）

式中φo（x，y）與φr（x，y）分別為物光與參考光的相位，O'（x，y）與R'（x，y）分別為全息面上物光和參考光的振幅。式（1）的前兩項(xiàng)分別為物光與參考光的自相干項(xiàng)，屬于低頻成分，在再現(xiàn)時(shí)表現(xiàn)為再現(xiàn)像的零級(jí)。第3 項(xiàng)包含了物體的再現(xiàn)像與共軛像。實(shí)際中只需要記錄第3 項(xiàng)就能夠正確再現(xiàn)記錄的物體。對(duì)于再現(xiàn)像，零級(jí)為噪音。在DH 中可以通過(guò)濾波的方法濾除零級(jí)。而在CGH 中只需要計(jì)算第3 項(xiàng)，再加上直流偏置，保證最后的干涉光強(qiáng)非負(fù)。

采用點(diǎn)元法計(jì)算CGH 時(shí)，物光O（x，y）表示為：

式中Ai（xo，yo）為（xo，yo）處物點(diǎn)發(fā)出光波的幅為物點(diǎn)到全息面上（x，y）點(diǎn)的距離，k=2π/λ為波數(shù)，N為物點(diǎn)數(shù)。采用點(diǎn)光源作為參考光時(shí)：度，

式中A（xr，yr）為點(diǎn)光源的幅度，rr為點(diǎn)光源到全息面上（x，y）點(diǎn)的距離。將式（2）、（3）代入式（1）的第3、4 項(xiàng)得：

I′CGH（x，y）取值范圍為實(shí)數(shù)，也稱為雙極強(qiáng)度［16］全息圖。式（4）表明，物體的雙極強(qiáng)度CGH由組成物體各點(diǎn)源的雙極強(qiáng)度CGH 疊加而成。在DH 中只要將其做高通濾波，濾除零級(jí)，得到的就是雙極強(qiáng)度DH。將雙極強(qiáng)度DH 與CGH 相加再加直流偏置即可實(shí)現(xiàn)DH 與CGH 融合。

式中Im（x，y）為融合后的全息圖，Ioffset為偏置。

2.2 全息圖采樣率變換

實(shí)際中，采集全息圖的圖像傳感器像素間隔與顯示全息圖的空間光調(diào)制器（SLM）像素間隔難以做到一致。采用與參考光共軛的再現(xiàn)光照明，忽略積分項(xiàng)前的因子，無(wú)透鏡傅里葉變換全息圖的再現(xiàn)像復(fù)振幅表示為：

設(shè)圖像傳感器的像素間隔為Δ，SLM 的像素間隔為Δ′，則縮放因子α=Δ'/Δ。根據(jù)傅里葉變換的縮放性質(zhì)，此時(shí)全息圖再現(xiàn)像復(fù)振幅為：

當(dāng)α≠1 時(shí)，再現(xiàn)像將發(fā)生縮放。需要對(duì)DH進(jìn)行重采樣，將DH 的采樣率變換到與SLM 的一致。根據(jù)采樣定理，采樣后全息圖的頻譜表示為：

式中G（jξ，jη）表示采樣前全息圖的頻譜。在不發(fā)生混疊時(shí)，采樣后全息圖的有效頻譜范圍為1/Δ。設(shè)以Δ′對(duì)全息圖進(jìn)行重采樣，則其有效頻譜范圍變?yōu)?/Δ′。因此全息圖采樣率變換實(shí)際上是其有效頻譜范圍的變換。先將DH 做FFT，再在頻域補(bǔ)零（采樣周期變?。┗虿眉簦ú蓸又芷谧兇螅诡l域大小變?yōu)樵瓉?lái)的1/Δ′，然后再做IFFT 就可以實(shí)現(xiàn)DH 采樣率的變換。

2.3 再現(xiàn)像幾何變換

在虛實(shí)混合三維顯示中，尤其是涉及到人機(jī)交互時(shí)，常常需要對(duì)場(chǎng)景中的物體進(jìn)行縮放、旋轉(zhuǎn)及平移等幾何變換操作。由于采用了無(wú)透鏡傅里葉變換全息圖，再現(xiàn)像在其譜面附近。在全息圖的譜面進(jìn)行幾何變換能夠?qū)崿F(xiàn)全息圖再現(xiàn)像的縮放、面內(nèi)旋轉(zhuǎn)與平移等操作。譜面的幾何變換表示為：

式（9）中（ξ′，η′）為變換后的坐標(biāo)，s為縮放因子，θ為旋轉(zhuǎn)角度，Tξ與Tη分別為水平與垂直方向的平移量。譜面縮放后新的樣點(diǎn)值采用雙線性插值得到。

在2.2 節(jié)中的采樣率變換也是在頻域操作，需要注意的是采樣率變換通過(guò)在頻域補(bǔ)零或裁剪將頻域尺寸（頻域二維方向上的點(diǎn)數(shù)）進(jìn)行變換；而再現(xiàn)像的縮放只改變像部分的尺寸，不能改變頻域尺寸。

3 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證提出方法的正確性，對(duì)一臺(tái)索尼4K投影儀（像素間隔Δ'=4.06 μ m，像素?cái)?shù)為4 096×2 160）進(jìn)行了改造，拆除原來(lái)的光學(xué)系統(tǒng)，利用其3 片4K 的LCOS 搭建了彩色動(dòng)態(tài)全息三維顯示系統(tǒng)。采用像素間隔Δ=3.5 μm，采樣點(diǎn)數(shù)為2 000×2 000 的CMOS 攝像機(jī)記錄真實(shí)場(chǎng)景的DH。

3.1 全息三維顯示系統(tǒng)

圖1 為彩色動(dòng)態(tài)全息三維顯示系統(tǒng)結(jié)構(gòu)示意圖，圖中Laser-R、Laser-G 及Laser-B 分別是波長(zhǎng)為632，532，473 nm 的固態(tài)激光器，BE1～BE3 為帶空間濾波的擴(kuò)束器，L1～L6是焦距為30 cm 的凸透鏡，BS1～BS3 是分束棱鏡，SLM 為空間光調(diào)制器，XBOX 為合色棱鏡。顯示系統(tǒng)由R、G、B三路再現(xiàn)子系統(tǒng)構(gòu)成，每路激光器發(fā)出的光經(jīng)過(guò)擴(kuò)束、濾波再通過(guò)由兩個(gè)凸透鏡構(gòu)成的變換裝置，將再現(xiàn)光變換到與記錄參考光共軛，然后通過(guò)分束棱鏡照射到SLM 上。顯示在SLM 上的全息圖將光調(diào)制后，反射光再通過(guò)分束棱鏡到達(dá)XBOX。通過(guò)XBOX 將三色再現(xiàn)像合成彩色像。顯示系統(tǒng)通過(guò)HDMI 接口與計(jì)算機(jī)連接，通過(guò)計(jì)算機(jī)將彩色全息圖序列送入SLM 實(shí)現(xiàn)彩色動(dòng)態(tài)全息三維顯示。顯示系統(tǒng)的刷新率為30 Hz。

圖1 彩色動(dòng)態(tài)全息三維顯示系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Structure diagram of color dynamic holographic three-dimensional display system

在搭建的系統(tǒng)中，拆除了LCOS 前的偏振片，使其成為相位型SLM。根據(jù)光學(xué)全息原理［17］，在其上顯示振幅型全息圖相當(dāng)于將全息圖漂白成為相位型全息圖，大幅提高了全息圖的衍射效率。

3.2 實(shí)驗(yàn)及結(jié)果分析

利用搭建的系統(tǒng)進(jìn)行了虛實(shí)場(chǎng)景全息圖的融合、幾何變換實(shí)驗(yàn)。將場(chǎng)景按R、G、B 三色分為3 個(gè)通道，每個(gè)通道分別處理。全息圖具體融合步驟如下：

（1）將采集到的DH 做FFT；

（2）設(shè)計(jì)濾波器掩模在頻域做高通濾波，濾除零級(jí)；

（3）由于α＞1，將頻域的數(shù)據(jù)水平與垂直方向分別裁剪到原來(lái)的1/α；

（4）對(duì)選中的物體進(jìn)行幾何變換；

（5）對(duì)處理后的頻譜做IFFT，得到雙極強(qiáng)度DH；

（6）以雙極強(qiáng)度DH 為初值，進(jìn)行雙極強(qiáng)度CGH 計(jì)算，實(shí)現(xiàn)DH 與CGH 融合；

（7）對(duì)融合后的全息圖歸一化得到最終的數(shù)字化全息圖。

首先采用CMOS 攝像機(jī)拍攝了實(shí)際物體的無(wú)透鏡傅里葉變換全息圖，拍攝參數(shù)如下：記錄波長(zhǎng)為632 nm，物體尺寸約為7 mm×10 mm，記錄距離為350 mm。圖2（a）為制作數(shù)字全息圖的瓢蟲模型，圖2（b）為DH 局部放大圖。然后制作了由紅色與藍(lán)色數(shù)據(jù)組成的3D 人像、棋盤格及綠色的漢字“光”構(gòu)成的CGH。棋盤格位于人像后方，為場(chǎng)景中深度最大的物體，尺寸為15 mm×15 mm。利用三維數(shù)據(jù)及顏色通道分別計(jì)算對(duì)應(yīng)的R、G、B 三色CGH，再將預(yù)處理后的DH 與紅色通道的CGH 融合，將制作的彩色全息圖送入顯示系統(tǒng)進(jìn)行光學(xué)再現(xiàn)。以毛玻璃承接再現(xiàn)像，采用單反相機(jī)拍攝。圖3（a）是融合后的數(shù)字化全息圖局部，圖3（b）是光學(xué)再現(xiàn)像。對(duì)再現(xiàn)像進(jìn)行了尺寸測(cè)量，真實(shí)物體的再現(xiàn)像與實(shí)際尺寸符合，虛擬物體再現(xiàn)像與設(shè)計(jì)尺寸符合。DH 與CGH 融合操作（不包括CGH 計(jì)算）的時(shí)間為0.34 s。

圖2 實(shí)際物體（a）及其局部DH（b）Fig.2 Real object（a）and its partial DH（b）

圖3 混合場(chǎng)景彩色全息局部（a）及再現(xiàn)像（b）Fig.3 Partial hybrid color hologram（a）and the recon structed image（b）

接著進(jìn)行了再現(xiàn)像的縮放實(shí)驗(yàn)。在頻域分別將DH 記錄的物體及CGH 記錄的物體進(jìn)行放大。圖4（a）是瓢蟲模型放大2 倍，圖4（b）是棋盤格與人像模型放大1.5 倍的再現(xiàn)結(jié)果。再現(xiàn)像未發(fā)現(xiàn)明顯失真。

圖4 再現(xiàn)像放大實(shí)驗(yàn)結(jié)果。（a）瓢蟲模型放大2 倍；（b）棋盤格與人像模型放大1.5 倍。Fig.4 Experimental results of magnifying reconstructed image.（a）Ladybug model magnified by 2×；（b）Chessboard and portrait model magnified by 1.5×.

然后進(jìn)行了場(chǎng)景中物體平移實(shí)驗(yàn)。在頻域?qū)⒅付ǖ奈矬w進(jìn)行了移動(dòng)。圖5（a）是漢字“光”水平向右移動(dòng)5 mm 的光學(xué)再現(xiàn)像；圖5（b）是瓢蟲水平向右移動(dòng)2.5 mm，豎直向下移動(dòng)5 mm 的光學(xué)再現(xiàn)結(jié)果。移動(dòng)位置達(dá)到設(shè)計(jì)要求。

圖5 物體平移實(shí)驗(yàn)結(jié)果。（a）漢字“光”右移5 mm；（b）瓢蟲右移2.5 mm，下移5 mm。Fig.5 Experimental results of translating objects.（a）Chinese character "light" shifted 5 mm to the right；（b）Ladybug model shifted 2.5 mm to the right and 5 mm down.

最后進(jìn)行了場(chǎng)景中物體隱藏面消除實(shí)現(xiàn)遮擋效果實(shí)驗(yàn)。首先根據(jù)物體前后關(guān)系制作頻域二元掩模，透光為1，被遮擋部分為0。在頻域進(jìn)行處理時(shí)，被遮擋物體的頻譜乘以被遮擋部分輪廓相對(duì)應(yīng)的二元掩模，實(shí)現(xiàn)隱藏面消除。圖6 是物體有重疊場(chǎng)景的對(duì)比實(shí)驗(yàn)結(jié)果。其中圖6（a）是未經(jīng)掩模遮擋處理的光學(xué)再現(xiàn)結(jié)果，圖6（b）是經(jīng)過(guò)掩模遮擋處理的光學(xué)再現(xiàn)結(jié)果。在實(shí)驗(yàn)結(jié)果中可以清楚看到，未經(jīng)掩模遮擋處理時(shí)，重疊部分處在后面的物體透過(guò)了處在前面的物體，導(dǎo)致重疊部分出現(xiàn)了不應(yīng)存在的像。而圖6（b）中經(jīng)過(guò)掩模處理的物體重疊場(chǎng)景，再現(xiàn)結(jié)果符合實(shí)際情況。

圖6 遮擋效果實(shí)驗(yàn)結(jié)果。（a）無(wú)遮擋處理；（b）遮擋處理。Fig.6 Experimental results of occlusion.（a）Result without occlusion processing；（b）Result with occlusion processing.

4 結(jié) 論

虛實(shí)場(chǎng)景混合三維顯示是三維顯示技術(shù)發(fā)展的趨勢(shì)。本文提出了一種全息三維顯示中虛實(shí)場(chǎng)景混合及再現(xiàn)像面內(nèi)幾何變換方法。初步的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性。在所提出的方法中，場(chǎng)景融合、再現(xiàn)像的幾何變換只需在全息圖中進(jìn)行操作，大幅降低了全息圖重新制作的時(shí)間，在實(shí)時(shí)交互中有潛在的應(yīng)用前景。目前的全息圖融合與處理是離線進(jìn)行的，今后將設(shè)計(jì)算法，實(shí)現(xiàn)實(shí)時(shí)融合。