楊墨軒，趙源萌，左 劍，呂南方，張存林

太赫茲光場(chǎng)數(shù)據(jù)采集與數(shù)字重聚焦實(shí)驗(yàn)研究

楊墨軒，趙源萌*，左 劍，呂南方，張存林

首都師范大學(xué)物理系；太赫茲光電子學(xué)教育部重點(diǎn)實(shí)驗(yàn)室；太赫茲波譜與成像北京市重點(diǎn)實(shí)驗(yàn)室；北京成像理論與技術(shù)高精尖創(chuàng)新中心，北京 100048

本文對(duì)太赫茲光場(chǎng)數(shù)據(jù)采集與數(shù)字重聚焦成像進(jìn)行實(shí)驗(yàn)研究。太赫茲成像因其穿透性、無損性等優(yōu)點(diǎn)，近年來備受國內(nèi)外研究者關(guān)注。太赫茲波段的光場(chǎng)成像技術(shù)有望增強(qiáng)圖像質(zhì)量、改善應(yīng)用效果。本文在分析光場(chǎng)成像基本原理、系統(tǒng)結(jié)構(gòu)、重建方法的基礎(chǔ)上，應(yīng)用太赫茲焦平面陣列相機(jī)進(jìn)行太赫茲光場(chǎng)數(shù)據(jù)采集和數(shù)字重聚焦實(shí)驗(yàn)。首先采集太赫茲光場(chǎng)原始數(shù)據(jù)，然后通過數(shù)字重聚焦進(jìn)行計(jì)算成像，最后對(duì)重構(gòu)圖像做增強(qiáng)處理，得到了深度、角度及目標(biāo)物輪廓分辨力強(qiáng)的太赫茲圖像。實(shí)驗(yàn)證明了太赫茲光場(chǎng)成像技術(shù)的可行性及其改善圖像質(zhì)量、豐富復(fù)現(xiàn)效果的能力。

太赫茲；光場(chǎng)采集；數(shù)字重聚焦；圖像重構(gòu)

1 引 言

多數(shù)傳統(tǒng)相機(jī)設(shè)備僅復(fù)現(xiàn)場(chǎng)景的二維信息，常規(guī)的成像技術(shù)在拍攝多目標(biāo)物體時(shí)無法做到多點(diǎn)聚焦，會(huì)造成部分物體模糊等現(xiàn)象。與傳統(tǒng)成像技術(shù)不同，光場(chǎng)成像技術(shù)在采集數(shù)據(jù)時(shí)會(huì)記錄空間中光輻射強(qiáng)度、位置與方向等信息，其原始數(shù)據(jù)中增加的維度用于后續(xù)圖像重構(gòu)與數(shù)字重聚焦等處理，可獲取更好的成像質(zhì)量與復(fù)現(xiàn)效果[1-2]。1936年Gershun提出光場(chǎng)的概念并用光場(chǎng)描述光在三維空間中的輻射傳輸特性，他認(rèn)為光輻射是一種連續(xù)且不斷變化的能量，為之后對(duì)光場(chǎng)的研究打下了基礎(chǔ)[3]。1948年，Gabor利用兩束相干光干涉，記錄下物體衍射未聚焦的波前，獲得第一張全息圖[4]，可稱為光場(chǎng)圖像的前身。1996年Levoy提出了用雙平面參數(shù)法來表示光場(chǎng)，并給出光場(chǎng)成像計(jì)算公式，為第一臺(tái)光場(chǎng)相機(jī)奠定基礎(chǔ)[5]。隨著可見光光場(chǎng)成像技術(shù)的完善和光場(chǎng)相機(jī)技術(shù)的成熟，其在軍事、航天、醫(yī)療等領(lǐng)域應(yīng)用越來越多，正不斷向多元化、實(shí)用化發(fā)展。

太赫茲波通常指波長在30 μm~3000 μm的電磁波，它對(duì)很多介電材料和非極性物質(zhì)有良好的穿透性，而金屬表面對(duì)太赫茲波有強(qiáng)反射特性。太赫茲波光譜能量很低，不會(huì)電離損傷生物組織。太赫茲成像技術(shù)利用太赫茲探測(cè)器采集太赫茲波進(jìn)行成像，由于具有穿透性、安全性等優(yōu)勢(shì)，在國防軍事、公共安全、航天遙感、無損檢測(cè)等領(lǐng)域都有著很好的發(fā)展前景[6-9]。近年來，太赫茲成像技術(shù)與光場(chǎng)成像技術(shù)不斷發(fā)展，太赫茲輻射的光場(chǎng)采集與數(shù)字重聚焦作為太赫茲光場(chǎng)成像的關(guān)鍵技術(shù)，已引起國內(nèi)外研究者的關(guān)注。2016年，德國大學(xué)的Jain等研發(fā)了一種太赫茲光場(chǎng)成像系統(tǒng)[10]，該系統(tǒng)采用硅超半球透鏡集成32×32個(gè)相機(jī)作為太赫茲光場(chǎng)采集器，通過圖像平面掃描記錄完整的太赫茲靜態(tài)光場(chǎng)，經(jīng)過后續(xù)數(shù)據(jù)處理與重構(gòu)獲得了太赫茲光場(chǎng)成像結(jié)果，目前太赫茲光場(chǎng)成像中的一些關(guān)鍵技術(shù)還有待進(jìn)一步研究。本文首先闡述光場(chǎng)成像的基本原理，分析光場(chǎng)表征方法及數(shù)字重聚焦算法；基于太赫茲焦平面陣列相機(jī)進(jìn)行太赫茲光場(chǎng)數(shù)據(jù)采集實(shí)驗(yàn)，并用數(shù)字重聚焦技術(shù)得到不同深度上的重構(gòu)圖像；最后對(duì)圖像做銳化和輪廓增強(qiáng)處理，以獲取可辨識(shí)性強(qiáng)的結(jié)果圖像。

2 光場(chǎng)成像基本原理

如圖1(a)所示，常規(guī)成像技術(shù)從幾何光學(xué)看是將從目標(biāo)物發(fā)出的光線透過主透鏡匯聚到傳感器上，將記錄的光學(xué)信號(hào)轉(zhuǎn)化為電學(xué)信號(hào)再轉(zhuǎn)換為數(shù)字圖像，而圖1(b)中的陣列型相機(jī)每一個(gè)相機(jī)都記錄了不同角度的信息，再通過光場(chǎng)計(jì)算成像[11]。光場(chǎng)成像在采集數(shù)據(jù)過程中獲取了更多的信息，在重聚焦過程中能夠選擇聚焦面，當(dāng)多個(gè)目標(biāo)物不在同一平面時(shí)，可做到不同深度的重聚焦。

2.1 光場(chǎng)的表征與光場(chǎng)數(shù)據(jù)采集

在光場(chǎng)表征方面，目前最常用的方法是雙平面參數(shù)化法，該方法依據(jù)Levoy提出的光場(chǎng)渲染理論，分別在主透鏡與傳感器處建立兩個(gè)二維平面，設(shè)一條同時(shí)穿過兩個(gè)平面的光線，分別交兩個(gè)平面于(,)和(,)兩點(diǎn)，由(,)和(,)描述這條光線的二維位置信息與二維方向信息，光線與主透鏡平面和傳感器平面相交的兩坐標(biāo)點(diǎn)共同構(gòu)成了光場(chǎng)的四維函數(shù)(,,,)，函數(shù)值是光線的輻射通量，圖2是雙平面參數(shù)化法表征光場(chǎng)的示意圖[2]。本文采用這種方法表征太赫茲光場(chǎng)。

圖1 常規(guī)成像與光場(chǎng)成像的對(duì)比

在光場(chǎng)數(shù)據(jù)采集方面，目前有三種主流方法，它們采用的裝置分別是相機(jī)陣列、微透鏡陣列和非折射掩膜。1) 相機(jī)陣列法以斯坦福大學(xué)提出的128臺(tái)相機(jī)陣列為代表，相機(jī)采用不同的排列方式，獲得多種不同角度的子圖像陣列，同時(shí)利用相機(jī)陣列景深較小的特點(diǎn)，通過數(shù)字重聚焦技術(shù)與合成孔徑技術(shù)可實(shí)現(xiàn)類似“透視”的效果[12]。2) 微透鏡陣列法在常規(guī)成像的像面處增加由×個(gè)微透鏡組成的陣列，而且在每個(gè)微透鏡后面用×個(gè)傳感器采集信息。光線從場(chǎng)景目標(biāo)物發(fā)出，通過主透鏡后形成聚焦的像點(diǎn)，再由微透鏡陣列散焦到每一個(gè)傳感器上，形成一個(gè)模糊的圖像作為采集到的原始光場(chǎng)數(shù)據(jù)[13-14]。3) 非折射掩膜法在結(jié)構(gòu)上主要是在常規(guī)相機(jī)光路中增加一個(gè)掩膜，這種方法的優(yōu)點(diǎn)是易于搭建硬件和進(jìn)行實(shí)驗(yàn)操作[15]。在三種主流方法之外還有諸如環(huán)形孔徑相機(jī)等方法[16]，但因其結(jié)構(gòu)復(fù)雜等缺點(diǎn)應(yīng)用不多。

圖2 基于Levoy光場(chǎng)渲染理論用四維光場(chǎng)函數(shù)表征光場(chǎng)

2.2 圖像數(shù)字重聚焦

光場(chǎng)圖像的數(shù)字重聚焦實(shí)現(xiàn)不同場(chǎng)景不同位置對(duì)焦，可做到先拍攝后對(duì)焦，有利于降低成像的運(yùn)動(dòng)模糊、減少由光源強(qiáng)度等問題帶來的失焦，在多目標(biāo)物快速標(biāo)定、對(duì)不同目標(biāo)物進(jìn)行深度估計(jì)等方面有較為明顯的效果[17]。光場(chǎng)的數(shù)字重聚焦在光電測(cè)量、遙感、航天等領(lǐng)域有著重要的應(yīng)用價(jià)值。如2.1節(jié)所述，這里將光場(chǎng)成像系統(tǒng)中的光線用四維光場(chǎng)函數(shù)(,,,)表征，其中面是光學(xué)系統(tǒng)主平面，面是探測(cè)器所在平面，L(,,,)代表給定光線的光輻射量，下標(biāo)代表上述兩平面間的距離，像面上接受到的輻射量可表示為

其中：為光線(,,,)與面法線的夾角，(,)為光瞳函數(shù)。在此假設(shè)和是無窮大的平面，光瞳之外的光線(,,,)=0，引入近軸近似后可將公式簡化為

在此基礎(chǔ)上通過積分求解得到一幅數(shù)字圖像。

2.2 光場(chǎng)圖3 光場(chǎng)重聚焦算法與參數(shù)示意圖

3 太赫茲光場(chǎng)采集與數(shù)字重聚焦實(shí)驗(yàn)研究

3.1 太赫茲光場(chǎng)成像系統(tǒng)及數(shù)據(jù)采集

本文基于第2節(jié)所述的基本原理，用INO公司的MICROXCAM-384I-THz型太赫茲焦平面陣列相機(jī)，通過二維掃描采集一系列特定視角的子圖像陣列，這些子圖像擁有不同方向、角度上的太赫茲輻射通量信息。在子圖像陣列所含原始太赫茲光場(chǎng)數(shù)據(jù)的基礎(chǔ)上進(jìn)行光場(chǎng)表征、數(shù)字重聚焦和后續(xù)圖像處理。實(shí)驗(yàn)中我們將成像目標(biāo)物分別前后放置，在深度方向上成一定距離間隔。

圖4(a)為太赫茲光場(chǎng)相機(jī)采集的單張子圖像，圖4(b)為利用太赫茲相機(jī)分別采集不同位置不同角度的10×10子圖像進(jìn)行排列形成子圖像陣列。圖5(a)為任意取光場(chǎng)子圖像陣列中的某一行或某一列的圖像疊加在一起，使用不同顏色的直線豎直穿過各圖像中深度不同但位置相同的點(diǎn)，而其它深度的圖像一一對(duì)應(yīng)的直線應(yīng)保持傾斜狀態(tài)[18]。若直線傾斜程度越大，其對(duì)應(yīng)物體的失焦現(xiàn)象則越嚴(yán)重。如圖5(b)所示，當(dāng)子圖像經(jīng)過聯(lián)合位移后，各條直線的狀態(tài)會(huì)有所不同，導(dǎo)致不同深度的聚焦圖像發(fā)生變化。針對(duì)圖像因?yàn)榛殳B而出現(xiàn)的模糊、馬賽克等，可借助石夢(mèng)迪等[19]提出的基于雙引導(dǎo)濾波的光場(chǎng)去馬賽克算法進(jìn)行圖像增強(qiáng)。

3.2 太赫茲圖像數(shù)字重聚焦

為了降低重構(gòu)圖像的的噪聲，銳化圖中目標(biāo)物的輪廓，本文采用八鄰域拉普拉斯算子進(jìn)行圖像增強(qiáng)。拉普拉斯算子是維歐式空間的一個(gè)二階微分算子。它定義為兩個(gè)梯度向量算子的內(nèi)積：

處理后，像素值快速變化的區(qū)域突出，增強(qiáng)了輪廓線的可辨識(shí)性，如圖7所示。

圖4 太赫茲光場(chǎng)圖像。(a) 單張子圖像；(b) 不同位置與不同角度的子圖像陣列

圖5 子圖像陣列處理示意圖

圖6 重聚焦后的光場(chǎng)圖像

圖7 經(jīng)過增強(qiáng)后的光場(chǎng)圖像

4 結(jié) 語

光場(chǎng)成像獨(dú)特的數(shù)字重聚焦、深度分辨及角度分辨能力提高了圖像的復(fù)現(xiàn)效果。太赫茲成像因其具有的穿透性和安全無損等優(yōu)勢(shì)而備受重視。太赫茲光場(chǎng)成像近年來引起了國內(nèi)外研究者的關(guān)注，這項(xiàng)技術(shù)將有望實(shí)現(xiàn)更高質(zhì)量的太赫茲圖像復(fù)現(xiàn)和辨識(shí)效果。本文分析了太赫茲光場(chǎng)的表征方法和數(shù)字重聚焦算法，通過實(shí)驗(yàn)研究了應(yīng)用焦平面陣列相機(jī)的太赫茲光場(chǎng)成像技術(shù)，并做了圖像重聚焦和輪廓增強(qiáng)處理，得到了分辨識(shí)別效果好的太赫茲圖像。

[1] Su J H, Jin Y T, Lu Y D,. Simulation of the algorithms for the light field image rendering[J]., 2017, 39(1): 31–40.

速晉輝, 金易弢, 陸藝丹, 等. 光場(chǎng)圖像重構(gòu)算法仿真[J]. 光學(xué)儀器, 2017, 39(1): 31–40.

[2] Nie Y F, Xiang L B, Zhou Z L. Advances in light field photography technique[J]., 2011, 28(5): 563–572.

聶云峰, 相里斌, 周志良. 光場(chǎng)成像技術(shù)進(jìn)展[J]. 中國科學(xué)院研究生院學(xué)報(bào), 2011, 28(5): 563–572.

[3] Gershun A. The light field[J]., 1939, 18(1–4): 51–151.

[4] Gabor D. A new microscopic principle[J]., 1948, 161(4098): 777–778.

[5] Levoy M, Hanrahan P. Light field rendering[C]//, 1996: 31–42.

[6] Zhao G Z. Progress on terahertz science and technology[J]., 2014, 33(2): 1–6, 20.

趙國忠. 太赫茲科學(xué)技術(shù)研究的新進(jìn)展[J]. 國外電子測(cè)量技術(shù), 2014, 33(2): 1–6, 20.

[7] Hu B B, Nuss M C. Imaging with terahertz waves[J]., 1995, 20(16): 1716–1718.

[8] Xu J M, Chen L, Zang X F,. Triple-channel terahertz filter based on mode coupling of cavities resonance system[J]., 2013, 103(16): 161116.

[9] Yao J Q. Introduction of THz-wave and its applications[J]., 2010, 22(6): 703–707.

姚建銓. 太赫茲技術(shù)及其應(yīng)用[J]. 重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 22(6): 703–707.

[10] Jain R, Grzyb J, Pfeiffer U R. Terahertz light-field imaging[J]., 2016, 6(5): 649–657.

[11] Xiao Z L. Camera array based light field imaging and depth estimation[D]. Xi’an: Northwestern Polytechnical University, 2014.

肖照林. 基于相機(jī)陣列的光場(chǎng)成像與深度估計(jì)方法研究[D]. 西安: 西北工業(yè)大學(xué), 2014.

[12] Wilburn B, Joshi N, Vaish V,. High performance imaging using large camera arrays[J]., 2005, 24(3): 765–776.

[13] Lumsdaine A, Georgiev T. The focused plenoptic camera[C]//, 2009: 1–8.

[14] Wang L J, Zhang J, Zhang X D,. Micro-lens array center calibration via local searching using Lytro cameras[J]., 2016, 43(11): 19–25.

王麗娟, 張駿, 張旭東, 等. 局部搜索式的Lytro相機(jī)微透鏡陣列中心標(biāo)定[J]. 光電工程, 2016, 43(11): 19–25.

[15] Veeraraghavan A, Raskar R, Agrawal A,. Dappled photography: mask enhanced cameras for heterodyned light fields and coded aperture refocusing[J]., 2007, 26(3): 69.

[16] Green P, Sun W Y, Matusik W,. Multi-aperture photography[J]., 2007, 26(3): 68.

[17] Zhang C P, Wang Q. Survey on imaging model and calibration of light field camera[J]., 2016, 43(6): 0609004.

張春萍, 王慶. 光場(chǎng)相機(jī)成像模型及參數(shù)標(biāo)定方法綜述[J]. 中國激光, 2016, 43(6): 0609004.

[18] Wang Y Q, Yang J G, Guo Y L,. Selective light field refocusing for camera arrays using bokeh rendering and superresolution[J]., 2019, 26(1): 204–208.

[19] Shi M D, Zhang X D, Dong Y L,. A light field demosaicing method with double guided filtering[J]., 2019, 46(12): 180539.

石夢(mèng)迪, 張旭東, 董運(yùn)流, 等. 一種雙引導(dǎo)濾波的光場(chǎng)去馬賽克方法[J]. 光電工程, 2019, 46(12): 180539.

An experimental study on terahertz light field data acquisition and digital refocusing

Yang Moxuan, Zhao Yuanmeng*, Zuo Jian, Lv Nanfang, Zhang Cunlin

Key Laboratory of Terahertz Optoelectronics, Ministry of Education; Beijing Key Laboratory for Terahertz Spectroscopy and Imaging; Beijing Advanced Innovation Center for Imaging Theory and Technology; Department of Physics, Capital Normal University, Beijing 100048, China

Terahertz camera array imaging model

Overview:As a highly versatile computational imaging method, light field imaging has attracted great attention and has rapidly developed in the past 20 years. Light field imaging with visible light has been widely applied. Terahertz radiation has many advantages such as good penetrability and effective bandwidth. The combination of light field imaging and terahertz radiation will enrich the concept of light field imaging.

Firstly, this article introduced the characteristics of terahertz waves, summarized the historical development of light field photography, and analyzed the basic principle of terahertz light field imaging. Based on the method of capturing, 4D light field, the typical light field photography devices are categorized into single scanning imaging camera, camera array imaging, integral imaging, aperture coded, optical mask, etc. The terahertz light field imaging technology, a kind of computational imaging method within the terahertz band, takes advantage of terahertz focal plane array camera to collect a series of target sub-image arrays from different directions and angles, then, uses the digital refocusing to get the computed imaging and image reconstruction technology to obtain image. However, the reconstructed image appears blurry with unclear boundary. In order to reduce adverse effects, the image edge feature was combined with Laplace operator to enhance images, thus obtaining the refocusing images of light field with higher depth resolution, angle resolution, and object contour resolution at different depths.

Experimental results showed the feasibility and ability of terahertz light field imaging to improve image quality and enrich retrieval effects. The successful combination of terahertz radiation and light field imaging technology provides unique characteristics for future research. For example, it overcomes the limitation of traditional visible light imaging by optical lens and sensor or the size of the aperture. Terahertz light filed imaging technology can take advantage of the characteristics of the wave to achieve image in the dark environment. In a word, the light field imaging quality is effectively improved by the above method. It lays a foundation for establish a three-dimensional reconstruction and synthetic aperture imaging algorithm by removing the foreground of terahertz light field imaging.

Citation: Yang M X, Zhao Y M, Zuo J,. An experimental study on terahertz light field data acquisition and digital refocusing[J]., 2020,47(5): 190670

An experimental study on terahertz light field data acquisition and digital refocusing

Yang Moxuan, Zhao Yuanmeng*, Zuo Jian, Lv Nanfang, Zhang Cunlin

Key Laboratory of Terahertz Optoelectronics, Ministry of Education; Beijing Key Laboratory for Terahertz Spectroscopy and Imaging; Beijing Advanced Innovation Center for Imaging Theory and Technology; Department of Physics, Capital Normal University, Beijing 100048, China

In recent years, terahertz imaging has attracted great attention due to its advantages including penetrability and nondestructive property. The field imaging technology within the terahertz range is expected to enhance the terahertz image quality and improve its application effect. In this paper, an experiment on the data acquisition and digital refocusing of the terahertz light field was conducted. Firstly, the basic principle, system structure, and the method of reconstructing light field imaging were analyzed. Secondly, the terahertz focal plane array camera was used to collect the data about light field and digital refocusing was used to get the computed imaging. Finally, the reconstructed image was enhanced to obtain higher depth resolution, angle resolution, and object contour resolution. Experimental results showed the feasibility and ability of terahertz light field imaging to improve image quality and enrich retrieval effects.

terahertz; light field acquisition; digital refocusing; image reconstruction

“the 2020 Connotation Development Funds for Interdisciplinary Academic Construction” of Graduate School of Capital Normal University

* E-mail: zhao.yuanmeng@cnu.edu.cn

TN391.4；TN29

A

楊墨軒，趙源萌，左劍，等. 太赫茲光場(chǎng)數(shù)據(jù)采集與數(shù)字重聚焦實(shí)驗(yàn)研究[J]. 光電工程，2020，47(5): 190670

10.12086/oee.2020.190670

: Yang M X, Zhao Y M, Zuo J,An experimental study on terahertz light field data acquisition and digital refocusing[J]., 2020, 47(5): 190670

2019-11-02；

2020-04-14

首都師范大學(xué)研究生學(xué)院“2020年內(nèi)涵發(fā)展跨學(xué)科學(xué)術(shù)建設(shè)基金”資助

楊墨軒(1999-)，男，主要從事圖像處理，光場(chǎng)成像方向的研究。E-mail: yang.ymx@qq.com

趙源萌(1981-)，男，博士，講師，主要從事光電成像、太赫茲成像、圖像處理的研究。-mail: zhao.yuanmeng@cnu.edu.cn

版權(quán)所有?2020中國科學(xué)院光電技術(shù)研究所