郭寧博，陳向?qū)帲≡?shī)

(解放軍裝備學(xué)院，北京 101416)

【光學(xué)工程與電子技術(shù)】

基于飛行時(shí)間法的紅外相機(jī)研究綜述

郭寧博，陳向?qū)帲≡?shī)

(解放軍裝備學(xué)院，北京 101416)

基于飛行時(shí)間法(Time-of-Flight，TOF)的紅外相機(jī)是一種新型的、結(jié)構(gòu)小巧、可提取目標(biāo)3D數(shù)據(jù)的立體成像設(shè)備；它可以高效實(shí)時(shí)的捕獲運(yùn)動(dòng)或靜止目標(biāo)的深度信息和灰度信息，目前已經(jīng)成為測(cè)量成像領(lǐng)域的研究熱點(diǎn)；對(duì)TOF的發(fā)展做了系統(tǒng)的闡述，并且分析了該相機(jī)的成像原理，相機(jī)標(biāo)定以及測(cè)量誤差；歸納了TOF紅外相機(jī)的特點(diǎn)以及應(yīng)用情況，闡述了TOF紅外相機(jī)發(fā)展趨勢(shì)。

紅外脈沖；飛行時(shí)間法；深度相機(jī)；三維重建；ICP

飛行時(shí)間法，即TOF技術(shù)?；陲w行時(shí)間法的深度相機(jī)是一種新型化、結(jié)構(gòu)小巧、可獲取目標(biāo)點(diǎn)云的立體成像設(shè)備。它可以高效實(shí)時(shí)捕獲動(dòng)態(tài)或靜態(tài)目標(biāo)的深度與亮度數(shù)據(jù)。這種相機(jī)一次拍攝即可獲取包含2D和3D數(shù)據(jù)的多維圖像的結(jié)合，并且不會(huì)損失2D圖像畫質(zhì)。它操作方便、獲取信息可靠，發(fā)展?jié)摿εc市場(chǎng)前景不容小覷，在豐富人類精神生活的影視動(dòng)漫、物聯(lián)網(wǎng)、自然人機(jī)交互等領(lǐng)域?qū)?lái)巨大的貢獻(xiàn)。

最早提出用光來(lái)測(cè)量距離的是伽利略。但是基于當(dāng)時(shí)的技術(shù)條件，盡管伽利略嘗試測(cè)量光速，卻并未取得成功，沒有取得任何實(shí)驗(yàn)結(jié)果。1676年，Roemer經(jīng)過(guò)長(zhǎng)期觀測(cè)，大致算出了光穿過(guò)地球的時(shí)間。這也是人類首次粗略的推算出光的傳播速度。

200多年后，法國(guó)物理學(xué)家Fizeau和Foucault設(shè)計(jì)了世界上第一個(gè)可以測(cè)量光飛行時(shí)間的實(shí)驗(yàn)裝置。在確定的距離上，求取光的飛行速度，該實(shí)驗(yàn)剛好是TOF技術(shù)的反運(yùn)用。

1903年德國(guó)工程師克里斯琴·休斯梅爾利用雷達(dá)電磁波，結(jié)合TOF技術(shù)，進(jìn)行艦船檢測(cè)實(shí)驗(yàn)，結(jié)果并不十分精確。直到1968年，Walter Koechner設(shè)計(jì)了第一臺(tái)有使用價(jià)值的TOF測(cè)量系統(tǒng)，該系統(tǒng)只能獲取一維距離信息。19世紀(jì)初，科學(xué)家發(fā)現(xiàn)了光電效應(yīng)。1939年，第一個(gè)電子攝像管橫空出世。1969年Willard S.Boyle和George E.Smith提出了生產(chǎn)的固態(tài)圖像傳感器的CCD 技術(shù)。隨著傳感器的發(fā)展，CMOS/CCD性能不斷提升，這都為TOF紅外相機(jī)的出現(xiàn)鋪平了道路。

20世紀(jì)90年代，TOF測(cè)量技術(shù)和圖像傳感器成為光電子學(xué)的兩大熱門領(lǐng)域。通過(guò)將兩者結(jié)合，第一代 TOF 攝像機(jī)應(yīng)運(yùn)而生[1]。從此以后，CCD和CMOS技術(shù)等不斷革新，推動(dòng)了TOF紅外相機(jī)的進(jìn)步和發(fā)展，也使得TOF紅外相機(jī)在3D相機(jī)中占有一席之地。

目前，市場(chǎng)上應(yīng)用比較廣泛的TOF紅外相機(jī)基本都是由德國(guó)、日本等外國(guó)生產(chǎn)，國(guó)內(nèi)對(duì)TOF紅外相機(jī)的設(shè)計(jì)生產(chǎn)不是很多，杭州光珀智能科技有限公司對(duì)TOF紅外相機(jī)的設(shè)計(jì)進(jìn)行了初步嘗試，現(xiàn)在還在探索階段。國(guó)內(nèi)外對(duì)TOF紅外相機(jī)的研究主要集中在兩個(gè)方面：一是對(duì)TOF相機(jī)的理論研究，涉及成像原理、相機(jī)標(biāo)定、弱化誤差等；二是對(duì)TOF紅外相機(jī)應(yīng)用的研究，包括機(jī)器人領(lǐng)域、車輛洗滌與安全、醫(yī)療領(lǐng)域、工業(yè)自動(dòng)化領(lǐng)域等。本文結(jié)合TOF紅外相機(jī)的研究現(xiàn)狀，從以上兩方面展開綜述。

1 TOF紅外成像原理分析

基于飛行時(shí)間法的三維掃描成像設(shè)備正在3D視覺科研鄰域大范圍興起，它和激光掃描成像不同，它是以面的形式實(shí)時(shí)獲取被測(cè)物對(duì)應(yīng)點(diǎn)到相機(jī)感光元件上每個(gè)像素點(diǎn)的距離(圖1)。

圖1 TOF紅外相機(jī)成像示意圖

現(xiàn)在主流的TOF相機(jī)使用的感光元件是CMOS 或 CCD 芯片，TOF相機(jī)灰度圖像成像原理與傳統(tǒng)相機(jī)相類似，主要區(qū)別在于3D數(shù)據(jù)的獲取。如圖1所示，開始成像時(shí)，通過(guò)LED陣列(SICK 3Vistor-T)向目標(biāo)對(duì)象發(fā)出經(jīng)調(diào)制的紅外信號(hào),反射信號(hào)經(jīng)過(guò)透鏡進(jìn)入相機(jī)的分束鏡后分為兩部分，一部分到達(dá)光電二極管陣列成深度圖像，另一部分到達(dá)CMOS或CCD成灰度圖像。另外，還有一路紅外測(cè)量信號(hào)開始時(shí)由驅(qū)動(dòng)電路直接到達(dá)光電二極管陣列(PD2)用來(lái)作計(jì)時(shí)初始值。其中PD1和PD2是按照差頻鑒相原理計(jì)算延遲相位求出紅外信號(hào)的飛行時(shí)間，再利用光速，測(cè)量像點(diǎn)與空間對(duì)應(yīng)點(diǎn)之間的距離d。然后將得到的距離信息轉(zhuǎn)化成用偽色彩表示的距離圖像顯示。

(1)

其中，Δφ為相位差，n為波長(zhǎng)數(shù)目，t為傳播時(shí)間，f為發(fā)射光頻率，λ為波長(zhǎng)，c為光速。

如圖2所示，基于TOF技術(shù)的SICK 3Vistor-T三維掃描系統(tǒng)發(fā)出經(jīng)過(guò)調(diào)制的正弦、紅外信號(hào)，到達(dá)測(cè)量目標(biāo)，并發(fā)生反射。假設(shè)發(fā)射信號(hào)開始時(shí)相位φ0=0，幅度為A，反射回時(shí)信號(hào)的相位φ1=2π/3，延遲相位為，Δφ=2π/3反射信號(hào)此時(shí)幅度為a。通過(guò)式(1)可以計(jì)算出距離d=5 m。為了保證成像系統(tǒng)的魯棒性，由于紅外發(fā)射器功率和CMOS精度的限制，目前TOF紅外相機(jī)探測(cè)距離普遍都比較短(一般d≤λ/2)。德國(guó)Basler公司2016年新出的TOF深度相機(jī)最遠(yuǎn)也只能達(dá)到13 m的測(cè)量范圍。

圖2 TOF紅外相機(jī)測(cè)距示意圖

德國(guó)ARTTS早在2007年就開始將HDTV技術(shù)與TOF相機(jī)結(jié)合，研發(fā)新一代結(jié)構(gòu)緊湊、成本低廉的TOF紅外相機(jī)；Lynkeus一直在面向工業(yè)領(lǐng)域，開發(fā)具有較高分辨率和魯棒性較好的TOF工業(yè)相機(jī)；3D4YOU致力于場(chǎng)景重建和3D建模，并且將TOF相機(jī)實(shí)時(shí)采集的三維點(diǎn)云數(shù)據(jù)進(jìn)行處理呈現(xiàn)到家庭電視中；MOSES在2010年研究開發(fā)了面向科研實(shí)驗(yàn)人員多方面應(yīng)用的TOF紅外相機(jī)；Imaging New Modalities在2014年設(shè)計(jì)出可用于安保監(jiān)控領(lǐng)域的TOF相機(jī)；SICK公司在2015年設(shè)計(jì)出面向工業(yè)領(lǐng)域的TOF紅外相機(jī)；但是分辨率一般為176×144，普遍不高。2016年Basler和Odos Imaging公司分別推出新一代具有高分辨率的TOF紅外相機(jī)。國(guó)內(nèi)對(duì)于TOF紅外相機(jī)的設(shè)計(jì)生產(chǎn)不多，主要是因?yàn)镃MOS和CCD芯片技術(shù)的落后，杭州光珀智能科技有限公司進(jìn)行了初步設(shè)計(jì)，但是目前還沒有產(chǎn)品推向市場(chǎng)。

2 TOF紅外相機(jī)測(cè)量誤差分析

TOF紅外相機(jī)是主動(dòng)光成像，可以同時(shí)得到整幅圖像的3D數(shù)據(jù)，其獲取的光學(xué)信號(hào)是由陽(yáng)光、照明光線以及從不同方向上返回的信號(hào)集合而成的。如果發(fā)出的調(diào)制信號(hào)是s(t)，則經(jīng)反射后得到的信號(hào)為r(t)，可表示為

(2)

其中，k為衰減干擾參數(shù)[2]，n為外界添加的噪聲[3]。TOF紅外相機(jī)在使用過(guò)程中，誤差來(lái)源比較復(fù)雜。

2.1 系統(tǒng)誤差

這類誤差主要來(lái)自于TOF紅外相機(jī)本身。與傳統(tǒng)相機(jī)不同，TOF紅外相機(jī)的傳感器由PD陣列和傳統(tǒng)的CMOS或CCD組成[4]，在傳感器表面存在個(gè)別紅外信號(hào)重復(fù)發(fā)生“反射”和“散射”，這些信號(hào)沒有按照計(jì)劃路徑飛行，而是與正常信號(hào)相融合，被原像素周圍的像素吸收，影響了正常的相位測(cè)量，造成誤差。這種誤差從本質(zhì)上去不掉，只能從提高硬件上降低[5]。另外，由于相機(jī)結(jié)構(gòu)的特殊性，曝光誤差的重要來(lái)源有兩個(gè)：一是測(cè)量信號(hào)亮度過(guò)高。針對(duì)這一誤差，PMD?公司設(shè)計(jì)時(shí)增加了背景光抑制系統(tǒng)(SBI)，有效降低了該方面的誤差，MesaImaging?通過(guò)軟件控制測(cè)量信號(hào)的亮度。二是曝光時(shí)間過(guò)長(zhǎng)。TOF相機(jī)的光圈和焦距是固定不變的，分析曝光量的影響因素可以發(fā)現(xiàn)，曝光時(shí)間是影響曝光誤差的另一因素。丁津津等[6]研究發(fā)現(xiàn)曝光時(shí)間越短，噪點(diǎn)越少、目標(biāo)物體的深度圖像越清晰。

除此之外，還有溫度和波形變化造成的誤差。由于傳感設(shè)備對(duì)于TOF相機(jī)溫度的波動(dòng)特別敏感，所以持續(xù)測(cè)量后相機(jī)溫度發(fā)生劇烈變化，每個(gè)像素測(cè)量的距離值也隨之變化。SICK公司采用散熱塊降低由溫度造成的熱噪聲取得了較好的效果。通過(guò)相位差計(jì)算正弦信號(hào)飛行時(shí)間是一種理想化的模型，實(shí)際波形并不是標(biāo)準(zhǔn)的正弦信號(hào)，因此深度數(shù)據(jù)存在誤差，這種誤差稱為“擺動(dòng)誤差”。

2.2 非系統(tǒng)誤差

這類誤差主要來(lái)源于目標(biāo)物體和環(huán)境以及它們之間的距離。由于不同目標(biāo)物體自身材質(zhì)對(duì)光的反射率不同，當(dāng)發(fā)生漫反射時(shí)，目標(biāo)表面對(duì)光有較好的吸收，而發(fā)生鏡反射時(shí)，反射信號(hào)要么都回到相機(jī)導(dǎo)致光飽和，要么都沒有返回相機(jī)，使得接收到的信號(hào)產(chǎn)生“接收誤差”。另外，物體表面粗糙并且凹凸不平，相鄰像素接收到的信號(hào)相位差別大，測(cè)量誤差也就較大。調(diào)制信號(hào)的幅度A與距離d的關(guān)系為A∝1/d2。d越大，A就越低，對(duì)應(yīng)測(cè)量精度也隨之降低[7]。

針對(duì)TOF紅外相機(jī)獲取數(shù)據(jù)中不同來(lái)源的誤差噪聲，研究者們采取了相應(yīng)的解決辦法。May[8]使用中值濾波處理深度點(diǎn)云數(shù)據(jù)中的大量噪聲，利用相鄰像素間的相關(guān)性來(lái)提高數(shù)據(jù)質(zhì)量；Fuchs[9]設(shè)計(jì)了一個(gè)誤差校正模型，這個(gè)誤差模型由若干個(gè)樣條曲線構(gòu)成，每一個(gè)樣條的參數(shù)都是由它們的初始位置進(jìn)行估計(jì)，通過(guò)采集的距離數(shù)據(jù)和灰度數(shù)據(jù)校正深度圖像中的誤差。

綜上所述，系統(tǒng)誤差出現(xiàn)頻率較高，由TOF相機(jī)的設(shè)計(jì)原理、部件精度等決定，誤差特征比較單一，可以采用固定的補(bǔ)償算法降低誤差。非系統(tǒng)誤差是隨機(jī)的，不同場(chǎng)景、目標(biāo)對(duì)象以及測(cè)量距離造成的誤差大小不同，因而應(yīng)該具體問(wèn)題具體分析，需要使用具有自適應(yīng)性的補(bǔ)償算法降噪。兩類誤差的關(guān)系用公式表達(dá)[10]為

(3)

dtof是相機(jī)測(cè)得的距離值；d是實(shí)際距離值；正態(tài)分布δ2(d)表示非系統(tǒng)誤差；m(d)是系統(tǒng)誤差。

3 TOF紅外相機(jī)的標(biāo)定

TOF紅外相機(jī)的特色就是在進(jìn)行攝像時(shí)可以同時(shí)采集到距離信息和灰度信息。但是距離信息容易受到場(chǎng)景中的光線、物體的反射率、實(shí)際距離等影響造成誤差，因此與灰度圖像的標(biāo)定原因不同，并且畸變類型也不一樣，需要用不同的方法分別標(biāo)定。

3.1 灰度圖像標(biāo)定

如圖3所示，TOF紅外相機(jī)獲取的灰度圖像[11]存在畸變，o為圖像坐標(biāo)系原點(diǎn)，Ow-XwYwZw為世界坐標(biāo)系，Otof為TOF相機(jī)中心坐標(biāo)。根據(jù)小孔成像原理，任一被測(cè)點(diǎn)M在TOF相機(jī)坐標(biāo)系下的坐標(biāo)為M=(Mx,My,MZ)T，投影點(diǎn)為m坐標(biāo)為m=(xm,ym,w)T，兩坐標(biāo)的函數(shù)關(guān)系如式(4)所示。

(4)

其中，N是投影模型，px,py表示u,v方向以像素為單位的焦距，ux,vy是o在u,v軸向以像素為單位的坐標(biāo)。(u0,v0)是圖像的真實(shí)中心坐標(biāo)，由于存在畸變，M的投影點(diǎn)由m變到m1。

因此，通過(guò)對(duì)標(biāo)定來(lái)求解相機(jī)的內(nèi)外參數(shù)以及畸變系數(shù)，校正灰度圖像的徑向和切向畸變，其結(jié)果直接影響TOF成像的準(zhǔn)確性。按照標(biāo)定方法的區(qū)別，灰度圖像標(biāo)定可以分為傳統(tǒng)方法、自標(biāo)定方法和基于主動(dòng)視覺的標(biāo)定。

圖3 TOF紅外相機(jī)畸變示意圖

傳統(tǒng)方法要求已知參考物上的高精度三維信息，然后通過(guò)優(yōu)化算法解出建立在參考物的空間點(diǎn)和TOF紅外相機(jī)像素之間的函數(shù)關(guān)系。它包括兩步標(biāo)定法、最優(yōu)化標(biāo)定法、張正友法3種。R.Y Tsai提出了兩步法，他利用線性方程首先求出大部分相機(jī)外參數(shù)，再求內(nèi)參數(shù)，然后利用迭代方法算出少部分參數(shù)。這種方法迭代較少，運(yùn)算速度較快，但是只能處理簡(jiǎn)單畸變的模型。最優(yōu)化標(biāo)定法是通過(guò)對(duì)各種非線性因素最優(yōu)化進(jìn)行解算，它可以把相機(jī)成像的數(shù)學(xué)模型建立的比較詳細(xì)，兼顧了成像過(guò)程中的多種因素，使得標(biāo)定精度較高。但是，該算法對(duì)相機(jī)初始值的要求較高，初始值設(shè)定的準(zhǔn)確度將影響標(biāo)定結(jié)果的精確度。張友正法采用在不同方向和位置獲取的平面棋盤格的特征點(diǎn)與相機(jī)內(nèi)像素的對(duì)應(yīng)關(guān)系進(jìn)行標(biāo)定。它首先建立對(duì)應(yīng)關(guān)系的數(shù)學(xué)模型，然后對(duì)模型進(jìn)行優(yōu)化，這種標(biāo)定顛覆了以往對(duì)于高精度參考物的要求，操作簡(jiǎn)單，魯棒性好，實(shí)用性強(qiáng)。陳超等[]采用該方法標(biāo)定后效果如圖4所示，可以明顯發(fā)現(xiàn)邊緣的畸變得到有效校正。

自標(biāo)定方法是利用多幅圖像中對(duì)應(yīng)像素點(diǎn)之間的極線約束關(guān)系，通過(guò)基礎(chǔ)矩陣關(guān)聯(lián)圖像坐標(biāo)，然后建立方程直接標(biāo)定。該方法使用靈活、應(yīng)用范圍廣，但是標(biāo)定精度較低?；谥鲃?dòng)視覺的方法使用相機(jī)運(yùn)動(dòng)信息與圖像之間的相互關(guān)系標(biāo)定。由于相機(jī)在拍攝過(guò)程中的運(yùn)動(dòng)已知，所以可以線性求解模型參數(shù)，使得標(biāo)定計(jì)算簡(jiǎn)單可靠，但是該方法需要利用精度較高的平臺(tái)進(jìn)行標(biāo)定，標(biāo)定成本較高。

圖4 標(biāo)定矯正前后對(duì)比

3.2 距離圖像補(bǔ)償

由于成像方法的不同，TOF紅外相機(jī)距離圖像的標(biāo)定目前研究并不多。影響TOF距離圖像精度的因素比較多，當(dāng)前針對(duì)各種影響因素還沒有一個(gè)通用的方法進(jìn)行補(bǔ)償，所以得到的補(bǔ)償效果也不盡相同。

“擺動(dòng)誤差”是TOF相機(jī)的主要系統(tǒng)誤差，針對(duì)這種誤差，Lichti[13]將自標(biāo)定方法用在SR4000相機(jī)中，同時(shí)調(diào)整圖像坐標(biāo)系和相機(jī)到目標(biāo)物體的距離，采集了目標(biāo)物體的灰度數(shù)據(jù)以及與之正交的距離數(shù)據(jù)，然后應(yīng)用誤差模型補(bǔ)償，使得誤差標(biāo)準(zhǔn)差減小了54%。Boehm和Pattinson[14]在2010年提出通過(guò)分析平面棋盤格數(shù)據(jù)估計(jì)TOF相機(jī)內(nèi)外參數(shù)。首先利用集束調(diào)整法獲得攝像機(jī)三維坐標(biāo)，然后確定每個(gè)目標(biāo)的幾何距離，通過(guò)比較實(shí)際距離和測(cè)得的距離得到誤差，建立誤差模型。但是TOF測(cè)量的結(jié)果相比實(shí)際距離差0.3 m，使得實(shí)驗(yàn)效果不理想。Kahlmann等[15]提出對(duì)TOF相機(jī)中心像素采用具有不同反射特性的平板和用于距離測(cè)量的高精度軌跡線直接確定距離誤差，并建立誤差表進(jìn)行距離數(shù)據(jù)補(bǔ)償，沒有誤差表可查的像素結(jié)合曝光時(shí)間和測(cè)量的距離數(shù)據(jù)通過(guò)線性插值確定。Ringbeck等[16]應(yīng)用精度高價(jià)格昂貴的線性定位臺(tái)確定TOF相機(jī)和目標(biāo)之間的參考距離，補(bǔ)償了擺動(dòng)誤差，也提供了曝光時(shí)間引起的誤差模型。如圖5所示，M.Linder[17]和Kolb用B樣條函數(shù)對(duì)誤差建模，首先對(duì)一整幅目標(biāo)圖像進(jìn)行全局范圍的標(biāo)定，接著對(duì)每個(gè)像素的距離信息采用直線擬合方式進(jìn)行小范圍調(diào)整，使得誤差少于0.02 m。該方法雖然能夠有效校正距離圖像的畸變?nèi)毕荩撬惴ú僮鞅容^復(fù)雜，對(duì)于標(biāo)定的設(shè)備要求也比較高，而且限制了TOF紅外相機(jī)的實(shí)時(shí)性優(yōu)勢(shì)。

圖5 TOF距離圖像標(biāo)定流程

國(guó)內(nèi)對(duì)于TOF紅外相機(jī)獲取距離信息的補(bǔ)償研究不多，浙江大學(xué)、合肥工業(yè)大學(xué)、西北工業(yè)大學(xué)等少數(shù)機(jī)構(gòu)做過(guò)距離誤差補(bǔ)償?shù)难芯?，所采用的TOF相機(jī)也不同，這里就不一一論述。

4 TOF紅外相機(jī)特性分析

隨著硬件的發(fā)展，PMD? Technologies，Mesa Imaging，SICK、Basler，StarForm等相繼開發(fā)出多型號(hào)的TOF相機(jī)。表1給出了目前幾款主流TOF紅外相機(jī)的參數(shù)和外觀圖片?？梢钥闯觯琓OF紅外相機(jī)分辨率普遍較低，只是近幾年在傳感器的發(fā)展基礎(chǔ)上分辨率有所改善。

4.1 對(duì)比分析

獲取目標(biāo)3D數(shù)據(jù)的計(jì)算機(jī)視覺方法中，常見的有立體視覺法、結(jié)構(gòu)光法、相位莫爾法、掃描激光測(cè)距、TOF法，每種方法都有與之對(duì)應(yīng)的相機(jī)。

立體視覺法需要兩個(gè)或者多個(gè)GRB相機(jī)，并且相機(jī)間基線距離越大，成像深度分辨率越高。這種方法完成三維重建需要經(jīng)過(guò)大量的算法去匹配，而且通過(guò)立體視覺法獲得的深度信息一般稀疏性較高[19]。而TOF相機(jī)不同，可以同時(shí)輸出目標(biāo)的稠密深度信息與強(qiáng)度信息，并且它測(cè)量的數(shù)據(jù)精度取決于光飛行時(shí)間的測(cè)量精度。TOF相機(jī)一般的測(cè)量距離在0.3～7 m，比較短，但改變發(fā)射光的調(diào)制頻率可以對(duì)測(cè)量距離的范圍延長(zhǎng)[20]。立體視覺則需要改變基線才能對(duì)有限的測(cè)量距離進(jìn)行調(diào)整。

與TOF紅外相機(jī)相比，結(jié)構(gòu)光法缺少深度數(shù)據(jù)，需要較高的功率和聚焦的光線，并且在掃描場(chǎng)景時(shí)幀率低。它由相機(jī)和結(jié)構(gòu)光發(fā)生器[21]構(gòu)成，因?yàn)樾枰刂乒庠?，所以在室?nèi)外機(jī)器人的應(yīng)用中受到極大的限制。

表1 主流TOF紅外相機(jī)參數(shù)

相位莫爾法是一種采用光柵發(fā)生干涉生成莫爾條紋圖的成像方法。Inspeck成像掃描儀就是利用被調(diào)制柵線的相位變化信息，通過(guò)相位距離對(duì)應(yīng)關(guān)系進(jìn)行測(cè)量。雖然可以同時(shí)捕捉深度和顏色信息，但獲取數(shù)據(jù)丟失嚴(yán)重并且成像精度較低。

掃描激光測(cè)距系統(tǒng)雖然目前可以用來(lái)同時(shí)定位與制圖，但它的缺陷在于視角過(guò)窄[22]。盡管激光測(cè)距系統(tǒng)測(cè)量距離遠(yuǎn)、精確度高、可靠性強(qiáng)，可是由于它體積重量過(guò)于龐大、功率消耗高，需要增加其他的移動(dòng)配件，使得它的應(yīng)用范圍受到限制。TOF相機(jī)則不同，TOF相機(jī)結(jié)構(gòu)小巧，方便攜帶，能輕易移動(dòng)，功耗也比較低，它與掃描激光測(cè)距系統(tǒng)最不同的一點(diǎn)是，它是以面掃描，被稱為“快照”成像，大大減少了數(shù)據(jù)獲取時(shí)間。

經(jīng)過(guò)上述對(duì)比可以發(fā)現(xiàn)，TOF紅外相機(jī)不用掃描就可以同時(shí)得到目標(biāo)物體的二維和三維信息，具有結(jié)構(gòu)小巧，精度較高，功耗較低而且獲取數(shù)據(jù)的實(shí)時(shí)性好等優(yōu)點(diǎn)，具體見表2。

5 TOF紅外相機(jī)應(yīng)用研究

縱觀TOF紅外相機(jī)的產(chǎn)生發(fā)展歷程，其在機(jī)器人、車輛洗滌與安全、醫(yī)療領(lǐng)域和工業(yè)自動(dòng)化鄰域等發(fā)揮了顯著的作用。

5.1 機(jī)器人領(lǐng)域

Stefan May等[22]率先提出將TOF紅外相機(jī)用在室內(nèi)三維地圖構(gòu)建上。他們通過(guò)對(duì)TOF相機(jī)校準(zhǔn)，然后對(duì)獲取的深度數(shù)據(jù)進(jìn)行不同程度的過(guò)濾去噪，再采用改進(jìn)的ICP算法對(duì)不同視點(diǎn)獲取的點(diǎn)云進(jìn)行有效匹配。剩余的匹配誤差通過(guò)環(huán)路閉合和表面平滑處理。該方法保證了實(shí)驗(yàn)室地面實(shí)況的3D重構(gòu)，為較大的室內(nèi)環(huán)境簡(jiǎn)單、快速生成的立體重構(gòu)提供了理論支持，但缺乏更高測(cè)量精度和更好的魯棒性。

Alenyà G[23]使用結(jié)合TOF和RGBD相機(jī)進(jìn)行機(jī)器人三維環(huán)境感知，RGBD相機(jī)有效抵消了TOF相機(jī)分辨率低的缺陷，TOF相機(jī)也相應(yīng)抵消了RGBD相機(jī)測(cè)量深度信息誤差大的特點(diǎn)。該方法提高了機(jī)器人對(duì)目標(biāo)對(duì)象的識(shí)別能力，可迅速、精確的完成機(jī)器人路障識(shí)別和貨物抓取。

表2 獲取3D數(shù)據(jù)的設(shè)備性能對(duì)比結(jié)果

5.2 車輛洗滌與安全

Hoegg T[24]提出了一種與傳統(tǒng)方法不同的汽車清洗系統(tǒng)。能夠?qū)崟r(shí)自動(dòng)采集車輛的三維模型，優(yōu)化洗滌過(guò)程，提高了洗車系統(tǒng)的整體性能。該方法使用多相機(jī)設(shè)置，通過(guò)合并與同步不同視點(diǎn)的3臺(tái)TOF相機(jī)獲取點(diǎn)云數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)預(yù)處理、配準(zhǔn)、融合以及幾何提取，數(shù)據(jù)處理模塊主要是利用CUDA實(shí)現(xiàn)，最終得到汽車的三維模型。該方法快速、高效。但是，由于汽車各部分反光度不同，存在曝光過(guò)度誤差，該成像需要處理大量噪聲，給汽車模型重建帶來(lái)一定挑戰(zhàn)。Oggier T[25]提出將TOF相機(jī)安裝在汽車內(nèi)部，以便在緊急情況下控制安全氣囊。該動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)具有前瞻性，可有效減少車內(nèi)人員傷亡，但需優(yōu)化驗(yàn)證其安全性和可靠性。

5.3 醫(yī)療領(lǐng)域

Soutschek S[26]在醫(yī)療成像應(yīng)用中使用TOF相機(jī)進(jìn)行三維手勢(shì)姿態(tài)成像。通過(guò)內(nèi)窺鏡上多個(gè)TOF三維圖像導(dǎo)航傳感器提供的數(shù)據(jù)影像，展示給醫(yī)生一個(gè)可視化界面，避免了物理交互輸入設(shè)備對(duì)人體不必要的傷害。該系統(tǒng)提供了一種在幀頻為11 fps時(shí)識(shí)別率為94.3%，滿足了醫(yī)療成像設(shè)備必備的基本要求。

Falie D[27]提出一種新的非侵入性方法診斷睡眠呼吸暫停，用壁裝的TOF相機(jī)連接到便攜式電腦，實(shí)時(shí)記錄視頻處理結(jié)果，然后通過(guò)無(wú)線網(wǎng)絡(luò)傳輸給醫(yī)生。這種診斷方法是基于TOF相機(jī)的呼吸運(yùn)動(dòng)可視化。用TOF相機(jī)的三維視頻對(duì)病人睡覺時(shí)呼吸運(yùn)動(dòng)進(jìn)行可視化處理，然后提取特征、分析和實(shí)時(shí)顯示病人情況。該方法還可用于在運(yùn)動(dòng)醫(yī)學(xué)或瑜伽練習(xí)。這種低成本的非侵入性方法可以用于睡眠呼吸暫停的診斷評(píng)估，幫助病人和醫(yī)生為疑似臨界病例做進(jìn)一步的調(diào)查。這個(gè)新的監(jiān)測(cè)技術(shù)非常簡(jiǎn)便、高效，它可以廣泛應(yīng)用于醫(yī)院，也可以用來(lái)對(duì)司機(jī)和飛行員進(jìn)行監(jiān)測(cè)，防止出現(xiàn)事故。

5.4 工業(yè)自動(dòng)化領(lǐng)域

Ahmad R等[28]使用3D TOF傳感器生成2.5D銑削/鉆削機(jī)床的安全刀具路徑。由于多軸、銑削和鉆孔CNC機(jī)床的復(fù)雜性以及對(duì)復(fù)雜零件生產(chǎn)的高精度需求，增加了在制造期間安全和有效的刀具路徑生成的重要性。在這些機(jī)器中，在相同區(qū)域中的多工具工作可能引起碰撞，重要的是在生產(chǎn)過(guò)程中提前知道碰撞風(fēng)險(xiǎn)，以避免意外的生產(chǎn)停止和機(jī)械損壞?；?D視覺的TOF傳感器提供關(guān)于制造場(chǎng)景的深度信息，所述深度信息有TOF相機(jī)自動(dòng)檢測(cè)和避免碰撞，以便在生產(chǎn)期間實(shí)現(xiàn)安全的工具路徑。提出的概念為在CNC制造環(huán)境中的TOF攝像機(jī)的研究和應(yīng)用開辟了新的領(lǐng)域，用于工具路徑規(guī)劃。所獲得的結(jié)果是用于靜態(tài)環(huán)境中的安全刀具路徑，通過(guò)將其與STEP-NC技術(shù)集成來(lái)適應(yīng)更復(fù)雜和動(dòng)態(tài)的實(shí)際加工情況。

5.5 其他領(lǐng)域

Hansen D W[29]提出了一種基于飛行時(shí)間傳感器增強(qiáng)面部分類檢測(cè)的方法。當(dāng)使用TOF的深度和灰度圖像時(shí)，可以有效增強(qiáng)面部檢測(cè)能力,準(zhǔn)確率相對(duì)較高。但是相機(jī)自動(dòng)調(diào)整發(fā)射光時(shí),對(duì)于快速迎來(lái)的目標(biāo)可能會(huì)曝光過(guò)度，影響檢測(cè)效果。后來(lái)，Ruiz-Sarmiento J R等[30]進(jìn)行了改進(jìn)，通過(guò)使用Viola-Jones算法檢測(cè)面部，然后分析深度圖像中檢測(cè)點(diǎn)，大大提高了面部檢測(cè)能力。梁斌等[31]探討了將TOF相機(jī)應(yīng)用在空間飛行器近距離測(cè)量中。Jain和Subramanian[32]提出一個(gè)檢測(cè)及計(jì)算人體的位姿的方法。Bohme M[33]提出，如果反射特性面已知，用shading constraint模型可以將TOF相機(jī)的亮度圖像和獲取的3D數(shù)據(jù)連接起來(lái)，用這種方法可以迅速、精確的實(shí)現(xiàn)人臉三維模型匹配、檢測(cè)。韓郁翀等[34]提出了用TOF紅外相機(jī)來(lái)進(jìn)行火災(zāi)探測(cè)，實(shí)驗(yàn)中對(duì)火焰的識(shí)準(zhǔn)率大于91.5%,誤識(shí)率小于3.8%,能有效識(shí)別火焰，但目前還沒有投入到實(shí)際應(yīng)用中。

6 結(jié)論

目前，TOF紅外相機(jī)操作簡(jiǎn)單，處理速度快，可以達(dá)到幾十到100 fps，并且具有較高的精度，基本能穩(wěn)定在cm級(jí)，其優(yōu)勢(shì)還在于將逐像素的測(cè)量與常規(guī)的圖像深度信息相結(jié)合。但由于硬件發(fā)展的制約，目前市場(chǎng)上TOF相機(jī)分辨率普遍較低，易受噪聲的干擾，因此在實(shí)際應(yīng)用中有一定的限制，具體特性如表3所示。

表3 TOF紅外相機(jī)的特性

由本文分析可看出，TOF紅外相機(jī)的應(yīng)用越來(lái)越廣，結(jié)合它的特性，該相機(jī)技術(shù)改進(jìn)以及未來(lái)的發(fā)展趨勢(shì)主要在以下方面：

1) 提高TOF紅外相機(jī)的分辨率。傳統(tǒng)TOF深度相機(jī)分辨率過(guò)低，使得獲取的二維圖像不清晰，不能精確還原復(fù)雜物體，阻礙了TOF紅外相機(jī)的進(jìn)一步發(fā)展。目前世界上OI-VS-1000雖然是TOF相機(jī)中分辨率最高的，可以達(dá)到1 280×1 024，但是價(jià)格特別昂貴。

2) 延長(zhǎng)TOF紅外相機(jī)的測(cè)量距離。目前有效探測(cè)距離一般都在10 m以內(nèi)，限制了TOF相機(jī)的應(yīng)用范圍。

3) 優(yōu)化TOF紅外相機(jī)獲取數(shù)據(jù)的方法。從硬件和軟件兩個(gè)方面不斷加強(qiáng)，消除或者降低TOF相機(jī)的噪聲影響，提高數(shù)據(jù)精確度。

4) 提高TOF紅外相機(jī)獲取高分辨率RGB信息的能力。給只能獲取灰度和深度信息的TOF相機(jī)增加彩色信息，使TOF相機(jī)獲取更高品質(zhì)的3D成像效果，應(yīng)用范圍更加廣闊。

綜上所述，改進(jìn)TOF測(cè)距技術(shù)、升級(jí)TOF深度相機(jī)硬件性能、提高通過(guò)TOF紅外相機(jī)實(shí)時(shí)獲取場(chǎng)景高分辨率的2D/3D信息及其應(yīng)用拓展的能力，是當(dāng)前國(guó)內(nèi)外研究方向和熱點(diǎn)。目前TOF紅外相機(jī)存在一些制約因素，使得它的大規(guī)模應(yīng)用還比較少，但是考慮它實(shí)時(shí)性強(qiáng)、精度高、能同時(shí)獲取2D/3D信息的優(yōu)點(diǎn)，經(jīng)過(guò)不懈努力，TOF相機(jī)一定能成為新一代多用途的三維測(cè)量紅外成像設(shè)備，引領(lǐng)我國(guó)走進(jìn)全新的3D時(shí)代并助力工業(yè)4.0。

[1] OGGIER T,LEHMANN M,KAUFMANN R,et al.An All-Solid-State Optical Range Camera for 3D Real-Time Imaging with Sub-Centimeter Depth Resolution (Swiss Ranger)[C]//Optical Systems Design.International Society for Optics and Photonics,2004:534-545.

[2] 王瑩.基于相位的ToF測(cè)距方法避免了背景光影響[J].電子產(chǎn)品世界,2016,23(4):78-79.

[3] HANSEN D W,LARSEN R,LAUZE F.Improving Face Detection with TOF Cameras[C]//International Symposium on Signals,Circuits and Systems.IEEE,2007:1-4.

[4] SILVA F M,CENTENO J A,SILVA F M,et al.Modelling of Error Due to Background Lighting in Measurements Obtained from Range Camera[J].Bol.ciênc.geod,2016,22.

[5] FRANK M,PLAUE M,HAMPRECHT F A.Denoising of Continuous-Wave Time-of-Flight Depth Images Using Confidence Measures[J].Optical Engineering,2009,48(7):453-459.

[6] 丁津津.TOF三維攝像機(jī)的誤差分析及補(bǔ)償方法研究[D].合肥:合肥工業(yè)大學(xué),2011.

[7] KOSTKA P M.Faculty of Physics and Astronomy[J].Mpp mpg de,2013(5)：15-19.

[8] MAY S,WERNER B,SURMANN H,et al.3D Time-of-Flight Cameras for Mobile Robotics[C]//Ieee/rsj International Conference on Intelligent Robots and Systems.2006:790-795.

[9] FUCHS S,HIRZINGER G.Extrinsic and Depth Calibration of ToF-Cameras[C]//Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-6.

[10]KIM Y M,THEOBALT C,DIEBEL J,et al.Multi-View Image and ToF Sensor Fusion for Dense 3D Reconstruction[C]//IEEE International Conference on Computer Vision Workshops.2009:1542-1549.

[11]BELHEDI A,BOURGEOIS S,GAY-BELLILE V,et al.Non-parametric depth calibration of a TOF camera[C]//2012:549-552.

[12]陳超.基于TOF攝相機(jī)的三維點(diǎn)云地圖構(gòu)建研究[D].哈爾濱：哈爾濱工業(yè)大學(xué),2013.

[13]LICHTI D D,KIM C,JAMTSHO S.An Integrated Bundle Adjustment Approach to Range Camera Geometric Self-Calibration[J].Isprs Journal of Photogrammetry & Remote Sensing,2010,65(4):360-368.

[14]BOEHM J,PATTINSON T.Accuracy of Exterior Orientation for a Range Camera[J].International Archives of the Photogrammetry Remote Sensing & Spatial Information Sciences,2010,38(5):103-108.

[15]CRABB R,TRACEY C,PURANIK A,et al.Real-Time Foreground Segmentation Via Range and Color Imaging[J].Optional Engineering,2008(6):1-5.

[16]RINGBECK I T.A 3D Time of Flight Camera for Object Detection[J].Optional Engineering,2007(10):72-75.

[17]LINDNER M,SCHILLER I,KOLB A,et al.Time-of-Flight Sensor Calibration for Accurate Range Sensing[J].Computer Vision & Image Understanding,2010,114(12):1318-1328.

[18]HARTLEY R,ZISSERMAN A.Multiple View Geometry in Computer Vision[M].2nd edition.With foreword by Olivier Faugeras,2003.

[19]FOIX S,ALENYA G,TORRAS C.Lock-in Time-of-Flight (ToF) Cameras:A Survey[J].IEEE Sensors Journal,2011,11(9):1917-1926.

[20]高學(xué)海,梁斌,潘樂,等.非合作大目標(biāo)位姿測(cè)量的線結(jié)構(gòu)光視覺方法[J].宇航學(xué)報(bào),2012,33(6):728-735.

[21]WEINGARTEN J W,GRUENER G,SIEGWART R.A State-of-the-Art 3D Sensor for Robot Navigation[C]//Ieee/rsj International Conference on Intelligent Robots and Systems,2004(3):2155-2160.

[22]MAY S,DROESCHEL D,FUCHS S,et al.Robust 3D-Mapping with Time-of-Flight Cameras[J].Proceedings,2009(10):1673 - 1678.

[23]ALENY G,FOIX S,TORRAS C.Using ToF and RGBD Cameras for 3D Robot Perception and Manipulation in Human Environments[J].Intelligent Service Robotics,2014,7(4):211-220.

[24]HOEGG T,LEFLOCH D,KOLB A.Time-of-Flight Camera Based 3D Point Cloud Reconstruction of a Car[J].Computers in Industry,2013,64(9):1099-1114.

[25]OGGIER T,BUETTGEN B,ZAMOFING T.Adaptive Neighborhood Filtering (ANF) System and Method for 3D Time of Flight Cameras: EP,US8223215[P].2012.

[26]SOUTSCHEK S,PENNE J,HORNEGGER J,et al.3-D Gesture-Based Scene Navigation in Medical Imaging Applications Using Time-of-Flight Cameras[J].Workshop on Time of Flight Camera Based Computer Vision,2008(10):1-6.

[27]FALIE D,ICHIM M,DAVID L.Respiratory Motion Visualization and the Sleep Apnea Diagnosis with the Time of Flight (ToF) Camera[C]//Wseas International Conference on Visualization,Imaging and Simulation.2008:179-184.

[28]AHMAD R,PLAPPER P.Generation of Safe Tool-Path for 2.5D Milling/drilling Machine-Tool Using 3D ToF Sensor[J].Cirp Journal of Manufacturing Science & Technology,2015(10):84-91.

[29]HANSEN D W,LARSEN R,LAUZE F.Improving Face Detection with TOF Cameras[J].International Symposium on Signals,Circuits and Systems,IEEE,2007(7):1-4.

[30]RUIZ-SARMIENTO J R,GALINDO C,GONZALEZ J.Improving Human Face Detection through TOF Cameras for Ambient Intelligence Applications[M].Ambient Intelligence - Software and Applications.Springer Berlin Heidelberg,2011:125-132.

[31]梁斌,何英,鄒瑜,等.ToF相機(jī)在空間非合作目標(biāo)近距離測(cè)量中的應(yīng)用[J].宇航學(xué)報(bào),2016,37(9).

[32]JAIN H P,SUBRAMANIAN A,DAS S,et al.Real-Time Upper-Body Human Pose Estimation Using a Depth Camera[C]// Computer Vision/computer Graphics Collaboration Techniques -,International Conference,Mirage 2011,Rocquencourt,France,October 10-11,2011.Proceedings,2011:227-238.

[33]BOHME M,HAKER M,MARTINETZ T,et al.A Facial Feature Tracker for Human-Computer Interaction Based on 3D Time-Of-Flight Cameras[J].International Journal of Intelligent Systems Technologies & Applications,2008,5(3/4):264-273.

[34]韓郁翀,秦俊,馬興鳴,等.基于飛行時(shí)間深度圖像變化率的火焰識(shí)別方法[J].紅外與激光工程,2014,43(1):338-344.

(責(zé)任編輯 楊繼森)

Research Overview of Infrared Camera Based on Time of Flight

GUO Ning-bo, CHEN Xiang-ning, XUE Jun-shi

(Equipment Academy of PLA, Beijing 101416，China)

Infrared camera based on Time-of-Flight (TOF) method is a new kind of stereo imaging device with compact structure and three-dimensional data acquisition. It can capture the depth information and gray-level information of motion or static targets in real time and has become a hot research field in the field of measurement imaging. The development of TOF system was expatiated, and the imaging principle, image calibration and measurement error of the depth camera were analyzed. Finally, the advantages and disadvantages of TOF infrared camera and the application were summarized, and the development of TOF infrared camera was discussed.

infrared pulse; time flight method; depth camera; 3D reconstruction; ICP

2016-11-01；

2016-11-29 基金項(xiàng)目：國(guó)家863計(jì)劃項(xiàng)目(2014AAxxx1072E)

郭寧博(1992—)，男，碩士，主要從事機(jī)器視覺研究。

陳向?qū)?1962—)，男，教授，博士生導(dǎo)師，主要從事信息處理研究。

10.11809/scbgxb2017.03.035

郭寧博，陳向?qū)?，薛俊?shī).基于飛行時(shí)間法的紅外相機(jī)研究綜述[J].兵器裝備工程學(xué)報(bào)，2017(3):152-159.

format:GUO Ning-bo, CHEN Xiang-ning, XUE Jun-shi.Research Overview of Infrared Camera Based on Time of Flight[J].Journal of Ordnance Equipment Engineering,2017(3):152-159.

TH745

A

2096-2304(2017)03-0152-08