樓永堅 黃晗騁 林斌

摘要：結(jié)合結(jié)構(gòu)光投影三維掃描的原理，設(shè)計了數(shù)字微鏡器件（DMD）作為結(jié)構(gòu)光的發(fā)生裝置，主控芯片為FPGA，實現(xiàn)了高速的DMD的控制和相機的同步采集。搭建了一個嵌入式三維掃描光學(xué)平臺，并應(yīng)用四步相移法完成實驗。首先指定不同方向和周期的正弦條紋結(jié)構(gòu)光，同步采集圖像；然后通過軟件設(shè)計完成對采集圖像的預(yù)處理、相位的解調(diào)、相位的展開、相位 高度映射還原得到三維的深度信息并建模；最終獲得最高464.8幀/s不同方向和周期的正弦條紋結(jié)構(gòu)光顯示，達(dá)到194幀/s的相機觸發(fā)采集，三維掃描效果圖清晰，還原和重建效果理想。

關(guān)鍵詞：三維掃描； 數(shù)字微鏡器件（DMD）； PWM調(diào)制； 四步相移法

中圖分類號： TN 247 文獻(xiàn)標(biāo)志碼： A doi： 10.3969/j.issn.1005 5630.2018.03.012

Abstract： According to the principle of the 3D scanning structured light projection，we design the DMD（digital micromirror device） as a generator of the structured light and use FPGA as the master chip of the device to achieve high speed DMD camera control and synchronization acquisition.We build an embedded 3D scanning optical platform and apply the four step phase shift method to complete the experiments.First，we project different directions and periods of the sinusoidal fringe structure light and acquire image synchronously.Then，we design a software to complete the pre processing of the captured images，phase demodulation，expansion of the phase，and phase height mapping to give a 3D depth information and modeling.Finally we obtain 464 . 8 frames per second in the different directions and periods of the sinusoidal fringe structure light and realize the camera trigger acquisition with 194 frames per second.The 3D scanning image is clear and the restored and reconstructed images are good.

Keywords：

3D scanning； digital micromirror device（DMD）； PWM modulation； four steps phase shift method

引 言

光學(xué)三維掃描技術(shù)是以計算機為基礎(chǔ)，融合現(xiàn)代光學(xué)、計算機圖形學(xué)、電子學(xué)、信號處理學(xué)等多學(xué)科的專業(yè)技術(shù)，通常包含圖像投影設(shè)備和圖像采集設(shè)備。隨著國內(nèi)外學(xué)者對光學(xué)三維掃描技術(shù)的研究不斷深入，基于各種測量原理提出了多種測量方法，其中投影結(jié)構(gòu)光法具有結(jié)構(gòu)簡單、分辨率高、精度高、速度快和價格便宜等優(yōu)點，20世紀(jì)90年代后期該方法與數(shù)字投影技術(shù)、數(shù)碼相機技術(shù)和計算機技術(shù)相結(jié)合，使相位編碼、結(jié)構(gòu)光投影到圖像記錄、信息處理與顯示等完全數(shù)字化處理，因此在三維輪廓測量領(lǐng)域的應(yīng)用越來越廣泛[1]。

在結(jié)構(gòu)光三維掃描系統(tǒng)中，商用投影儀的傳輸和顯示速度慢，會引入Gamma誤差，同時物理光柵響應(yīng)速度慢，控制結(jié)構(gòu)復(fù)雜，成本高，局限性大，這些因素直接影響了三維掃描效果。所以通過提升結(jié)構(gòu)光投影的速度和質(zhì)量，就能提升三維掃描系統(tǒng)的性能。數(shù)字光處理（digital light processing，DLP）技術(shù)具有質(zhì)量高、高速和高穩(wěn)定性等特點，由美國德州儀器公司（TI）壟斷的數(shù)字微鏡器件（DMD）芯片是DLP技術(shù)的核心。DMD光能利用率高，亮度、對比度都很好，所有微鏡同步，調(diào)制的線性度高，并且響應(yīng)速度快，每秒可達(dá)到上萬次的翻轉(zhuǎn)。而現(xiàn)場可編程門陣列（field programmable gate array，F(xiàn)PGA）的開發(fā)技術(shù)的發(fā)展使三維掃描系統(tǒng)進(jìn)一步達(dá)到了高質(zhì)量、低成本，小體積和便攜性[2 4]。

本文結(jié)合數(shù)字投影結(jié)構(gòu)光三維測量的原理，設(shè)計了一種嵌入式結(jié)構(gòu)光三維掃描系統(tǒng)，利用DLP快速和高分辨率、FPGA超強的并行操作特性和高速相機的同步采集觸發(fā)能力，達(dá)到快速三維掃描，顯示和重建效果好。

1 系統(tǒng)設(shè)計原理

1.1 結(jié)構(gòu)光三維掃描的原理

結(jié)構(gòu)光三維掃描基本原理：通過光柵發(fā)生器向被測物體表面投射系列光柵條紋，這些條紋分別被被測物體表面的形狀所調(diào)制；利用攝像機攝取這些被調(diào)制的光柵圖像，根據(jù)各圖像的灰度特征，計算其各像點的相位值，然后根據(jù)左、右相機對應(yīng)像點的相位值相等的特性，再結(jié)合外極線理論，確定彼此的立體匹配點；最后通過整個系統(tǒng)模型的定標(biāo)演算得到被測物體的實際三維信息。

式中：d為結(jié)構(gòu)光投射點與攝像機采集點之間的距離；L0為測試點相對于參考平面的高度。

這樣，物體的深度信息就可通過相位差分布來求得，從而進(jìn)一步獲得物體的三維分布。

1.2 結(jié)構(gòu)光三維掃描的流程

結(jié)構(gòu)光三維掃描的一般流程如圖2所示。

1.3 DMD的工作原理及灰度調(diào)制顯示[5]

目前所有投影機產(chǎn)品中的核心部分是美國TI公司（德州儀器）研發(fā)的DMD芯片，DMD器件是DLP的基礎(chǔ)和核心，它相當(dāng)于一個半導(dǎo)體光開關(guān)，有50～130萬個微鏡片聚集在CMOS硅基片上。一片微鏡片表示一個象素，這種微小鏡片的構(gòu)造的動態(tài)圖像切換速度非常快（是一般Si TFT的1 000倍），而且這種特殊的單板式構(gòu)造相對成本較低。

DMD的工作原理：借助微鏡裝置反射需要的光，同時通過光吸收器吸收不需要的光來實現(xiàn)影像的投影，而其光照方向則是借助靜電作用，通過控制微鏡片角度來實現(xiàn)的；通過數(shù)據(jù)加載、塊操作、塊清零、塊的分階段等操作來完成DMD的工作。

DMD微鏡器件的快速開關(guān)功能與雙脈沖寬度調(diào)制的一種精確的圖像顏色和灰度復(fù)制技術(shù)相結(jié)合，使圖像可以隨著窗口的刷新而更加清晰，通過增強對比度，達(dá)到最佳邊界線。系統(tǒng)設(shè)計中采用了一種改進(jìn)的PWM（plus width modulation）的調(diào)制方法用于灰度復(fù)制，使8位灰度圖的幀率可以達(dá)到464.8 Hz，相比于傳統(tǒng)的PWM的調(diào)制方法實現(xiàn)了高幀率高分辨的投影。

2 三維掃描系統(tǒng)的設(shè)計

基于DLP的嵌入式三維掃描的硬件系統(tǒng)，主要包括由DLP芯片組搭建的結(jié)構(gòu)光投射平臺、FPGA最小系統(tǒng)模塊和圖像采集處理模塊。硬件系統(tǒng)的總體設(shè)計框架如圖3所示。

2.1 結(jié)構(gòu)光發(fā)生器的設(shè)計[6]

如圖3所示，虛線框內(nèi)是TI公司的DLP Discovery 4100套件（包括0.7XGA 2x LVDS A類DMD、Xilinx公司Virtex系列XC5VLX50的FPGA、DMD微鏡驅(qū)動器（DLPA200）、DMD控制器（DLPC410）、DLP配置PROM DLPR410，以及一些常用接口如DDR2 SODIMM DRAM接口、USB 2.0接口、多用途I/O等），作為結(jié)構(gòu)光發(fā)生器，結(jié)構(gòu)光正弦條紋的生成和投影實現(xiàn)過程如下：由控制功能選擇開關(guān)來設(shè)置條紋的方向、周期以及一些DMD的控制參數(shù)；FPGA讀取單口ROM內(nèi)的LUT列表，產(chǎn)生所需的結(jié)構(gòu)光PWM灰度調(diào)制的數(shù)據(jù)，存入DDR2中；讀取DDR2數(shù)據(jù)，控制DLPC410，對DMD加載數(shù)據(jù)，同時控制其脈沖復(fù)位信號。

DMD在PWM調(diào)制下的灰度顯示可以達(dá)到464.8 Hz，為了配合相機200 Hz的采集速度，重新選擇PWM的調(diào)制基數(shù)為20 μs，這樣加載一幀8位灰度圖的時間是5 145 μs，刷新幀率就為194 Hz，符合設(shè)計要求。

2.2 圖像采集模塊設(shè)計[7]

圖像采集模塊的主要功能是實時地采集和處理被測物體的圖像數(shù)據(jù)，采用黑白CCD高速相機（JAI的RM 6740CL），分辨率為640×480，逐行掃描，配有CameraLink接口、8 mm的定焦鏡頭、DALSA的Xcelera CL LXl和相應(yīng)的Software Development Kit軟件開發(fā)工具包。

相機的同步觸發(fā)是高速采集過程中的關(guān)鍵因素，相機的曝光時間、“頻閃”現(xiàn)象和灰度圖像投影的時間不匹配等都是相機實現(xiàn)同步觸發(fā)的主要問題，我們采取對GPIO口信號的放大實現(xiàn)了穩(wěn)定的相機同步觸發(fā)和采集。實驗證明，電壓放大前后的脈沖觸發(fā)信號周期和寬度并沒有改變，實際測得的觸發(fā)信號頻率為194.20 Hz，理論計算值為194.36 Hz，誤差僅為0.082%，達(dá)到了觸發(fā)信號實時同步的要求。

采集模塊的流程圖如圖4所示。

在采集、保存條紋圖像以及圖像預(yù)處理后，進(jìn)行四步相移，通過實現(xiàn)相位解調(diào)算法、空域的相位展開算法，由相位 高度映射關(guān)系還原出三維信息，最后對三維數(shù)據(jù)進(jìn)行分析和儲存。系統(tǒng)結(jié)合相機的SDK，采用C/C+ +語言，并用OpenCV庫輔助顯示和預(yù)處理圖像。

2.3 三維掃描系統(tǒng)的軟件系統(tǒng)設(shè)計

系統(tǒng)的軟件流程圖如圖5所示。上位機主要在FPGA內(nèi)實現(xiàn)，按2.1描述實現(xiàn)結(jié)構(gòu)光正弦條紋的生成和投影。下位機按2.2描述實現(xiàn)圖像采集與處理。

對上位機FPGA進(jìn)行設(shè)計，實現(xiàn)結(jié)構(gòu)光投射模塊的功能，并進(jìn)行信號仿真。對下位機調(diào)用OpenCV庫進(jìn)行相機設(shè)計與圖像預(yù)處理，用C/C+ +語言編寫三維數(shù)據(jù)處理等算法。最后用MATLAB進(jìn)行數(shù)據(jù)分析以及輪廓圖顯示。

3 實驗結(jié)果與分析

根據(jù)圖3的系統(tǒng)框架和設(shè)計思路，搭建了基于DLP的嵌入式結(jié)構(gòu)光三維掃描光學(xué)平臺，CCD相機和DLP投影儀由FPGA控制，PC上位機對采集的圖像進(jìn)行處理，并根據(jù)圖5完成了軟件系統(tǒng)的開發(fā)。實測時采用四步相移法，保證目標(biāo)物體位于CCD相機的正前方中心位置，設(shè)置不同條紋周期、不同條紋方向的結(jié)構(gòu)光進(jìn)行三維掃描實驗。實驗結(jié)果顯示，各周期、各方向的實驗結(jié)果均有所不同，但總體效果較好，下面選取兩個具有代表性的實驗結(jié)果進(jìn)行討論。

如圖6所示的結(jié)構(gòu)光為正弦橫條紋，64行條紋為一個周期。

如圖7所示的結(jié)構(gòu)光為正弦豎條紋，16個像素為一個條紋周期。

圖6和圖7中（a）～（d）分別為四步相移中四個相差π/2相位的條紋圖疊加在目標(biāo)物體上的效果圖，圖像已經(jīng)過3×3的高斯模糊去噪，（e）為相位解調(diào)后得到的包裹相位圖，（f）為解包裹相位得到真實連續(xù)相位的分布，（g）為相位 高度映射的還原圖。無論豎條紋和橫條紋，三維掃描的結(jié)果都清晰，細(xì)節(jié)完整。

實驗結(jié)果表明：

（1） 如果適當(dāng)提高采集速度，或者采用三步相移以及其他單幀或少幀的實驗方案，掃描速度可以進(jìn)一步提升；

（2） 采用豎條紋比橫條紋會得到更好的三維掃描效果，因為實驗效果圖顯示豎條紋相比于橫條紋要更密集一點；

（3） 為取得更好效果的包裹相位圖，在圖像采集后，光用3×3的高斯模糊去噪再進(jìn)行相位解調(diào)，能獲得更精確的三維深度信息。

4 結(jié) 論

本文分析和研究了結(jié)構(gòu)光三維掃描技術(shù)，利用DLP的快速和高分辨率、FPGA超強的并行操作特性和高速相機的同步采集觸發(fā)能力，實現(xiàn)了基于DMD的結(jié)構(gòu)光發(fā)生器的研制和控制系統(tǒng)軟件的設(shè)計。在基于DLP的嵌入式三維掃描光學(xué)平臺上完成了四步相移法三維結(jié)構(gòu)光掃描。

所設(shè)計的三維掃描系統(tǒng)根據(jù)需求指定不同方向和周期的正弦條紋結(jié)構(gòu)光，同步采集圖像，然后通過軟件完成對采集圖像的預(yù)處理、相位的解調(diào)、相位的展開、相位 高度映射關(guān)系還原，最終獲得三維深度信息并建模。該系統(tǒng)獲得最高464.8幀/s不同方向和周期的正弦條紋結(jié)構(gòu)光顯示，達(dá)到194幀/s的相機觸發(fā)采集，三維掃描效果圖清晰，還原和建模效果好。

參考文獻(xiàn)：

[1] SALVI J，PAGES J，BATLLE J.Pattern codification strategies in structured light systems[J].Pattern Recognition，2004，37（4）：827 849.

[2] 李如斌.高速光柵投影實時三維測量系統(tǒng)硬件設(shè)計與研究[D].南京：南京理工大學(xué)，2014.

[3] 許琦欣，侯文玫，盛世杰，等.基于數(shù)字微鏡器件的三維輪廓測量及其性能分析[J].儀器儀表學(xué)報，2011，32（5）：1138 1144.

[4] 陳坦，賴建軍，趙悅.DMD芯片在光柵投影三維輪廓測量技術(shù)中的應(yīng)用[J].紅外，2006，27（9）：24 28.

[5] 田文超，賈建援.DMD及DLP顯示技術(shù)[J].儀器儀表學(xué)報，2005，26（z2）：358 359.

[6] 楊盛亞，謝捷如，崔海華.基于FPGA的存儲空間可擴展的高速微型投射器研究[J].機械設(shè)計與制造工程，2016，45（2）：27 32.

[7] 曹健，焦海，王源，等.基于FPGA與DLP的體三維顯示系統(tǒng)設(shè)計方法與研究[J].北京大學(xué)學(xué)報（自然科學(xué)版），2014，50（4）：605 610.

（編輯：劉鐵英）