侯 飛， 韓豐澤， 李國棟， 孫 怡， 孫志斌

（1.中國科學院國家空間科學中心，北京100190；2.中國科學院大學，北京100049）

0 引言

TOF（Time of Flight）技術(shù)是一種基于光速不變原理，通過測量光信號的傳播時間來測量距離的方法。自Einstein提出光電效應理論以來，隨著光電子技術(shù)和微電子技術(shù)的發(fā)展，TOF技術(shù)也取得了重要的進展。1968年，Koecher首次實現(xiàn)了基于TOF技術(shù)的距離測量系統(tǒng)［1］。近年來，隨著CMOS技術(shù)、雪崩光電技術(shù)和光源調(diào)制技術(shù)的發(fā)展，基于TOF的三維成像相機也得到迅速發(fā)展，并在機器視覺、工業(yè)檢測、自動駕駛、三維成像、深空探測、非視域成像、超分辨成像等科學領(lǐng)域得到了廣泛的應用［2?4］。

本文介紹了TOF相機的最新發(fā)展趨勢，第一部分介紹TOF相機的基本原理、誤差分析等關(guān)鍵技術(shù)，第二部分介紹TOF相機的發(fā)展現(xiàn)狀，第三部分介紹當前TOF三維成像相機的應用研究熱點，第四部分討論TOF相機的發(fā)展趨勢。

1 飛行時間三維成像關(guān)鍵技術(shù)

TOF相機的深度測量是基于飛行時間原理，飛行時間可以通過使用脈沖或連續(xù)波（CW）調(diào)制來測量，本文著重介紹基于連續(xù)波調(diào)制的TOF三維成像技術(shù)。連續(xù)波調(diào)制的相機已經(jīng)商業(yè)化超過20年，并廣泛應用于多種領(lǐng)域中［5］，而基于脈沖的TOF相機仍然是稀缺的。

光學飛行時間系統(tǒng)的核心由光發(fā)射器和接收器組成，三維TOF相機通過主動發(fā)射調(diào)制過的光源到目標面上，然后接收對應的反射回來的光，通過發(fā)射光和反射光之間的相位差可以得到距離信息，通過轉(zhuǎn)化可以進一步得到景深，如圖1所示。一般TOF相機都是使用紅外或近紅外光信號，這也一定程度上提高了TOF相機適應復雜光環(huán)境的能力。

1.1 飛行時間三維成像數(shù)學模型

TOF深度成像過程如圖2所示，TOF相機控制器發(fā)出兩個信號，m（t）控制激光二極管，r（t－θ）作為TOF傳感器的參考信號。來自物體的反射信號apm（t－φp）被TOF像素采集，然后與參考信號r（t－θ）相關(guān)生成相機的輸出。

在大多數(shù)商用的TOF相機中，發(fā)射和快門調(diào)制信號的形式如下：

式中，cm、am、cr、ar是常數(shù)， 通過改變r（t）上的延遲，可以捕獲反射信號和曝光信號之間的全部相關(guān)性，利用解調(diào)技術(shù)，可以完全恢復反射信號。然而，大多數(shù)傳統(tǒng)的TOF傳感器只使用4個測量（稱為正交測量），對應于θ＝0、π/2、π、3π/2，來恢復反射信號的振幅ap和相位φp，具體的計算公式如下：

以dp表示目標距離，所以有：

1.2 飛行時間三維成像相機系統(tǒng)結(jié)構(gòu)

典型的TOF相機是一次獲得整個場景的深度圖，其發(fā)送器一般為激光發(fā)射模塊，該發(fā)送器將調(diào)制光照射到感興趣區(qū)域；其接收器一般為由CCD或CMOS組成的像素陣列，像素陣列從相同的感興趣區(qū)域收集反射回來的光，如圖3所示。由于方波容易由數(shù)字電路實現(xiàn)，所以大多數(shù)的TOF相機一般以方波作為其發(fā)射光。

典型的TOF相機不具有專用的模數(shù)轉(zhuǎn)換器（ADC）和每個像素的處理模塊，像素陣列中的模擬數(shù)據(jù)必須讀出并進行處理。

1.3 飛行時間相機誤差分析

TOF相機系統(tǒng)結(jié)構(gòu)較為復雜，在測量深度信息時，有一些誤差來源可能會影響TOF相機的測量，并且可能限制測量精度。TOF相機誤差來源有多種，總體上可以分為系統(tǒng)誤差和非系統(tǒng)誤差。

我一歲生日是在上海友誼餐廳過的。那天晚上我從宴會沒有開始一直哭到宴會結(jié)束。我爸爸就抱著我兜啊兜啊，然后是我媽媽抱著我兜啊兜啊……可是完全沒有用，我仍舊哇——哇——哇——哭。那天晚上友誼餐廳里除了我們一家是中國人，其他都是外國人。外國人就都笑著看著我。那天的生日晚宴就這樣被我哭得亂七八糟、一塌糊涂，阿太、爺爺、奶奶、外婆、姑媽、叔叔……所有的人全被我莫名其妙的哭弄得沒有了心思吃。長大以后，爸爸媽媽問我，那天晚上你為什么哭，是不是看見都是黃頭發(fā)藍眼睛的外國人害怕？這我怎么知道，我根本就不記得有哭的事！

系統(tǒng)誤差一般包括積分時間相關(guān)誤差、振幅相關(guān)誤差和溫度相關(guān)誤差。積分時間相關(guān)誤差對于相同的場景，會引起不同的深度值。這是一個系統(tǒng)設計上存在的誤差，一般無法消除，但是可以得出一般性規(guī)律，一般較長的積分時間增加了相機的信噪比。如圖4所示，較長的積分時間（右側(cè)）比較短的積分時間（左側(cè)）有著更高的深度精確度。

振幅相關(guān)誤差是過低或者過曝的反射光振幅引起的。由于邊緣處發(fā)射光的功率比中心低，所以在圖像的邊緣處相對容易出現(xiàn)較低的振幅，從而導致圖像邊緣處對深度的計算出現(xiàn)較大的誤差。相反，如果對象距離TOF相機太近，反射光可能會出現(xiàn)過飽和，這時的深度測量基本是無效的。所以，一般的解決方法都是適當加大發(fā)射光的功率并將探測的場景置于TOF相機的合適范圍內(nèi)。

溫度相關(guān)誤差的發(fā)生是因為溫度會影響TOF相機內(nèi)部的深度處理，TOF相機得到的深度值可能會因為內(nèi)部溫度而產(chǎn)生漂移，這幾乎是所有電子元器件都會存在的誤差。當前商業(yè)化的相機，如MESA公司的SR3000和SR4000，一般建議用戶在啟動后等待一定的時間再去使用［7］。除此之外，TI的OPT8241內(nèi)部集成了一款溫度傳感器用于校準因為溫度產(chǎn)生的相位偏移，也在一定程度上減小了溫度相關(guān)誤差。

非系統(tǒng)誤差多是由多重反射、散射光和環(huán)境光引起的。TOF相機測距時要求光只反射一次，光線的多次反射會導致測量失真。例如，房屋角落和凹陷形狀的物體表面通常會因為光束多重反射產(chǎn)生誤差，如圖5所示，這也會使得到的深度圖像中對象邊界變得模糊。

光散射是因為在鏡頭內(nèi)或者鏡頭后產(chǎn)生了多余反射。非?？拷庠吹拿髁帘砻鏁焖賹⑦^量的過線散射到鏡頭中，產(chǎn)生深度失真，使得深度圖像中出現(xiàn)偽影，如圖6所示。一般解決方案是確保在相機正前方的空間中沒有強烈反光的物體。

盡管TOF相機都是采用近紅外光作為發(fā)射光源，但是環(huán)境光依然會對TOF深度成像產(chǎn)生影響。芯片上的一個像素可以容納的電荷數(shù)量有限，環(huán)境光占用的容量越多，則為記錄實際的反射光保留的容量就越少，也就是說，信噪比會下降。一般的解決方法是在相機上加上光學帶通濾光片或者在暗室中使用，這樣可以最大限度地減少環(huán)境光的影響。

2 飛行時間三維成像發(fā)展現(xiàn)狀

21世紀以來，隨著微電子學和光電子技術(shù)的發(fā)展，三維成像技術(shù)已成為當前研究的重要發(fā)展方向。目前，三維成像技術(shù)主要有3種：第一種是結(jié)構(gòu)光三維成像技術(shù)，其主要優(yōu)勢是識別精度高，但該技術(shù)的硬件難度大且成本較高，適合應用于室內(nèi)環(huán)境；第二種是雙目視覺三維成像技術(shù)，該技術(shù)主流的方案是通過兩個彩色攝像頭模仿人的雙眼進行測距，精度較高且成本低，但對算力和后期算法要求很高，且受光照影響較大；第三種是TOF三維成像技術(shù)，TOF能夠?qū)崟r快速地計算深度信息，在體感應用體驗上表現(xiàn)優(yōu)異，但是當前成本較高，其推廣和發(fā)展需要進一步降低成本。3種成像技術(shù)的對比如表1所示。

相較于其他三維成像技術(shù)，TOF在畫面拍攝后，計算景深時不需要后續(xù)處理，因此既可避免時間延遲，又可節(jié)省采用強大處理系統(tǒng)產(chǎn)生的相關(guān)成本。此外，TOF測量距離彈性大，多數(shù)情況下只需要改變發(fā)射器脈沖頻率、光學視野和光源強度即可，適合在近距離范圍內(nèi)的體感、手勢識別和跟蹤，以及虛擬現(xiàn)實下游戲互動等操作，潛在的應用場景十分廣闊。

表1 3種主流深度成像技術(shù)對比Table 1 Comparison of three mainstream depth imaging technologies

目前，國外TOF相關(guān)技術(shù)發(fā)展迅速，Sensor則主要由意法半導體、TI等企業(yè)掌握，奧地利微電子目前也通過收購完成了Sensor技術(shù)的儲備。目前，主流的TOF相機廠商包括 PMD、MESA、Optrima、微軟、TI少數(shù)幾家。其中，MESA在科研領(lǐng)域使用較大，MESA公司生產(chǎn)的SR40003D測距相機能以視頻幀速率實時輸出三維距離值和振幅值。PMD Camcube3.0是唯一一款能夠在戶內(nèi)、戶外均能使用的TOF相機，也是全球第一款可應用于室外環(huán)境的高精度深度相機，為汽車輔助駕駛和移動機器人等應用帶來了便利。而Optrima、微軟的相機主要面向家庭、娛樂應用，價格相對較低，TI等廠家由于前期的技術(shù)積累也推出了多款TOF相機。國內(nèi)TOF技術(shù)處于起步階段，但是發(fā)展也很迅速，以?？低?、樂行天下和中國科學技術(shù)大學為代表的國內(nèi)公司和高校也相繼推出了基于TOF技術(shù)的深度攝像頭。圖7給出了目前幾款主流的TOF三維成像相機。

3 基于飛行時間三維成像技術(shù)的應用研究

連續(xù)波飛行時間相機由于其成本效益、簡單性和緊湊的尺寸，得到了廣泛的應用。但是由于現(xiàn)在的TOF相機分辨率還不是很高，探測距離大約只有10m。因此，TOF相機現(xiàn)在多數(shù)是應用在不需要非常精確但需要快速獲取3D圖像范圍數(shù)據(jù)的場景中， 例如機器人避障［8?9］、 姿勢估計［10?11］、 粗略 3D 對象重建［12?13］、 人體（部分）識別和跟蹤［14?16］等。本文將介紹幾種TOF三維成像技術(shù)在交叉領(lǐng)域中的應用和研究。

3.1 基于飛行時間相機的汽車駕駛輔助系統(tǒng)

最近幾年，隨著人工智能的興起，無人駕駛汽車也在如火如荼地蓬勃發(fā)展。國內(nèi)外對于無人駕駛汽車的不斷研究，讓我們看到了在不久的將來無人駕駛汽車會成為現(xiàn)實。ADAS（Advanced Driver Assistant System）即高級駕駛輔助系統(tǒng)，是實現(xiàn)汽車智能化，同時也是實現(xiàn)無人駕駛的基礎(chǔ)條件。

ADAS要求對行車周邊以及車內(nèi)空間狀況進行了解，實現(xiàn)對景深的實時較為精確的測量是對環(huán)境信息解讀必然面臨的問題，而這正為TOF的應用提供了廣闊的空間。目前，已有多家公司推出基于TOF相機的輔助駕駛系統(tǒng)解決方案。如Infineon（英飛凌）公司與科世達公司推出了基于TOF相機技術(shù)的攝像頭駕駛員輔助系統(tǒng)；Melexis的TOF傳感器MLX75023，它與3D視覺及手勢識別解決方案供應商SoftKinetic公司提供的軟件進行綁定，以判斷駕駛員的注意力是否集中在駕駛上；SensL公司基于TOF技術(shù)開發(fā)出一套ADAS原理樣機，如圖8所示，該ADAS原理樣機探測距離超過100m。未來隨著汽車智能化過程中ADAS的普及，TOF相機有望迎來更大的發(fā)展。

3.2 基于飛行時間相機的非視域計算三維成像

近年來，隨著激光技術(shù)的發(fā)展以及相關(guān)探測器精度的提高，國外出現(xiàn)了一種新型的成像方式，即非視域成像模式。不同于傳統(tǒng)的光學成像技術(shù)通過直接照射場景對視線范圍內(nèi)的場景成像，非視域成像是指能夠?qū)σ暰€范圍外的場景進行成像。一般非視域成像是通過一種中介對隱藏在視野之外的事物進行成像，該事物可能在拐角處，或者被煙霧遮擋等。

Hullin［17］提出了一種基于TOF相機的非視域成像方案，利用TOF相機的工作原理實現(xiàn)了對非視域場景的三維成像。如圖9所示，該方案中，通過調(diào)制的激光光源照射能夠產(chǎn)生漫反射的墻壁，其中一部分光照射到遮光板中的非視域場景，非視域場景將一部分光反射到TOF相機視野范圍內(nèi)的墻壁上，最終有一部分激光通過反射回到了TOF相機中。

3.3 基于多相機飛行時間系統(tǒng)的三維成像

兩個或者多個RGB相機可以獲得場景的深度信息并可以對場景進行實時三維重建，同時也能獲得更多的目標場景信息，這是單個RGB相機不能做到的。TOF相機也能夠?qū)崿F(xiàn)多相機協(xié)同工作，Shrestha等［18］對多相機飛行時間同步系統(tǒng)的設計和應用進行了探討。如圖10所示，其實現(xiàn)了一種多TOF相機同步的方案，并利用Doppler飛行時間成像技術(shù)獲取了運動物體的實時徑向速度。實驗發(fā)現(xiàn)該系統(tǒng)成像速度快，利用多TOF相機同步可以有效消除運動物體的偽影情況，能夠?qū)\動物體實時三維成像。

3.4 基于飛行時間相機的超分辨率三維成像

當前一代的TOF相機，其傳感器只能實現(xiàn)像素尺寸接近10μm，填充因子也只能接近10%。而傳統(tǒng)的CMOS圖像傳感器的像素尺寸已經(jīng)接近1μm，填充因子也大于90%，所以當前的TOF相機 “天生”便具有空間分辨率低的劣勢。大量的研究也在致力于通過各種方式提高TOF相機的空間分辨率。一些純軟件的算法，包括字典學習［19］和深度學習［20］算法也被用來提高TOF圖像的橫向和深度分辨率。Li等［21］通過空間光調(diào)制器DMD（數(shù)字微鏡陣列）實現(xiàn)了TOF相機的超分辨率三維成像，其設計了一種稱為CS?TOF的原型結(jié)構(gòu)，結(jié)合壓縮感知技術(shù)，使得TOF相機的深度和強度分辨率均得到了極大的提高，效果顯著。具體實現(xiàn)方案如圖11所示，控制器控制激光二極管和TOF相機，使它們保持同步，發(fā)射光照射到目標物體后，反射光通過透鏡進入DMD進行調(diào)制，DMD中之前已經(jīng)提前輸入了調(diào)制掩模，最后經(jīng)過DMD調(diào)制后的光通過中繼透鏡進入TOF傳感器成像。

4 總結(jié)與展望

本文詳細介紹了TOF三維成像相機的發(fā)展、工作原理和誤差來源，并與其他三維成像系統(tǒng)做了對比研究，分析了當前TOF三維成像技術(shù)的應用研究熱點。TOF相機作為一種主動式3D成像相機，具有體積小、幀速高、實時性好、能夠同時記錄深度和強度信息等優(yōu)點。但是，TOF相機依然需要提高自身的成像分辨率，不斷從軟件和硬件兩個方面降低誤差的影響，提高TOF相機的探測距離。

隨著TOF相機的成像分辨率的提高，脈沖激光光源技術(shù)的發(fā)展，TOF三維成像技術(shù)在機器視覺、工業(yè)檢測、自動駕駛、三維成像、深空探測、非視域成像和超分辨成像等科學領(lǐng)域?qū)玫竭M一步的廣泛應用。