張建民 龍佳樂(lè) 許志輝 羅順祺 范智暉 陳富健

摘 要： 利用工業(yè)相機(jī)、工業(yè)投影機(jī)和計(jì)算機(jī)開(kāi)發(fā)一套基于數(shù)字條紋投影的快速三維形貌測(cè)量系統(tǒng)。通過(guò)自編軟件實(shí)現(xiàn)對(duì)工業(yè)相機(jī)、工業(yè)投影機(jī)的自動(dòng)控制和同步，通過(guò)標(biāo)定、投影并拍攝條紋、條紋分析、相位展開(kāi)和重構(gòu)獲取了物體表面的三維點(diǎn)云數(shù)據(jù)。經(jīng)實(shí)驗(yàn)論證，該系統(tǒng)能快速自動(dòng)獲取待測(cè)物體表面三維數(shù)據(jù)，進(jìn)行準(zhǔn)確的三維重構(gòu)。

關(guān)鍵詞： 三維形貌測(cè)量； 標(biāo)定； 條紋投影； 同步； 重構(gòu)； 數(shù)字條紋

中圖分類(lèi)號(hào)： TN98?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）15?0119?05

Development of fast 3D measurement system based on digital fringe projection

ZHANG Jianmin1， LONG Jiale1， XU Zhihui1， LUO Shunqi1， FAN Zhihui2， CHEN Fujian1

（1. College of Information Engineering， Wuyi University， Jiangmen 529020， China；

2. MStar Software Development Inc.， Shenzhen 518057， China）

Abstract： A set of fast 3D shape measurement system based on digital fringe projection was developed by means of industrial camera， industrial projector and computer. The automatic control and synchronization of the industrial camera and industrial projector are realized with the self?made software. The calibration， projection， fringe photographing， fringe analysis， phase unwrapping and reconstruction are used to obtain the 3D point cloud data of the object surface. The experimental result confirms that the system can get the 3D data of the measuring object surface quickly and automatically， and perform the 3D reconstruction accurately.

Keywords： three?dimensional shape measurement； calibration； fringe projection； synchronization； reconstruction； digital fringe

0 引 言

隨著科學(xué)技術(shù)的發(fā)展和人們生產(chǎn)生活水平的不斷提高，僅僅得到三維世界中物體的二維信息已遠(yuǎn)遠(yuǎn)不能滿(mǎn)足需求，作為非接觸式三維測(cè)量技術(shù)的典型代表，基于數(shù)字條紋投影的三維形貌測(cè)量越來(lái)越受到關(guān)注[1?8]。該類(lèi)系統(tǒng)由一個(gè)投影機(jī)、一個(gè)照相機(jī)和一個(gè)參考平面構(gòu)成，先設(shè)計(jì)一組數(shù)字條紋圖像通過(guò)投影機(jī)先后投射到參考平面和待測(cè)物體表面，并用照相機(jī)拍攝下來(lái)。由于參考平面表面形貌沒(méi)有任何起伏，所以相機(jī)拍攝到的經(jīng)參考平面直接反射的是沒(méi)有任何形變的條紋，稱(chēng)為參考條紋。但經(jīng)待測(cè)物體表面反射的條紋發(fā)生了形變，顯然這種變形條紋攜帶了物體表面形貌的三維信息，基于數(shù)字條紋投影的三維形貌測(cè)量就是通過(guò)對(duì)這種變形條紋和參考條紋的對(duì)比分析提取出物體表面的三維形貌信息的。

上述傳統(tǒng)的三維形貌測(cè)量系統(tǒng)存在可操作性差，對(duì)硬件設(shè)備的位置約束過(guò)強(qiáng)，且需要應(yīng)用參考平面等問(wèn)題，于是文獻(xiàn)[9]提出一種新的系統(tǒng)模型，利用該模型通過(guò)標(biāo)定、投影條紋圖的設(shè)計(jì)與投影，相位計(jì)算、相位展開(kāi)四步，最終結(jié)合標(biāo)定參數(shù)即可求得待測(cè)物體表面每個(gè)像素點(diǎn)的三維坐標(biāo)，實(shí)現(xiàn)立體重構(gòu)[10?12]。其中快速三維形貌測(cè)量系統(tǒng)開(kāi)發(fā)的關(guān)鍵是如何控制相機(jī)和投影機(jī)采集待測(cè)物體的三維數(shù)據(jù)以及實(shí)現(xiàn)兩者信號(hào)采集的同步。

1 理論模型

從二維圖像獲取三維物體信息，需要根據(jù)計(jì)算機(jī)視覺(jué)原理建立二維圖像與三維世界之間的關(guān)系。二維圖像的單位為像素，而三維世界的物體長(zhǎng)度為模擬量，因此，首先需要確定二維數(shù)字圖像與二維物理圖像之間的關(guān)系，然后確定二維物理圖像與三維世界的關(guān)系。

以相機(jī)為例，二維數(shù)字圖像與二維物理圖像之間的關(guān)系[13]如圖1所示。

圖1中，[O1?uc?vc]為圖像坐標(biāo)系，以圖像的左上角第一個(gè)像素點(diǎn)為坐標(biāo)原點(diǎn)，圖像的上邊沿為[uc]軸，左邊沿為[vc]軸。[O1c?xc?yc]為圖像的物理坐標(biāo)系，[O1c（uo，vo）]為光心點(diǎn)，設(shè)1個(gè)像素[uc]方向?qū)?yīng)的物理長(zhǎng)度為[dx]，[vc]方向?qū)?yīng)的物理長(zhǎng)度為[dy]，則像素坐標(biāo)系與圖像物理坐標(biāo)系存在式（1）所示關(guān)系。

然后需要確定二維物理圖像與三維世界的關(guān)系，如圖2所示。圖2中，坐標(biāo)[Oc?Xc?Yc?Zc]為相機(jī)坐標(biāo)系，坐標(biāo)[O1c?xc?yc]為圖像的物理坐標(biāo)系，是一個(gè)三維的坐標(biāo)系。透鏡光心[Oc]到圖像中心點(diǎn)[O1c]的距離為相機(jī)的焦距，設(shè)為f。有三個(gè)維度的相機(jī)坐標(biāo)系中的點(diǎn)[P（Xc，Yc，Zc） ]在只有兩個(gè)維度的圖像物理坐標(biāo)系中成像，形成點(diǎn)[PO（xc，yc）]。由成像原理可得[△OcLP]與[△OcO1cPo]相似，則有[XcZc=-xcf，YcZc=-ycf]，結(jié)合式（1）得到式（2）：

式中：[λc]=[Zc]，[αc=-fdx]，[βc=-fdy]，[uoc]=[uo]，[voc]=[vo]。式（2）確定了圖像坐標(biāo)系與相機(jī)坐標(biāo)系之間的關(guān)系，即二維數(shù)字圖像與三維世界的關(guān)系[14]。對(duì)于投影機(jī)也有投影機(jī)圖像坐標(biāo)系與投影機(jī)坐標(biāo)系，并存在類(lèi)似式（2）的關(guān)系。

在三維形貌測(cè)量中，待測(cè)物體表面的點(diǎn)可以用相機(jī)坐標(biāo)系的坐標(biāo)表示，也可以用投影機(jī)坐標(biāo)系的坐標(biāo)表示。為了實(shí)現(xiàn)坐標(biāo)系的統(tǒng)一，需要選定一個(gè)世界坐標(biāo)系，并用其坐標(biāo)表示待測(cè)物體表面的點(diǎn)。相機(jī)坐標(biāo)系、投影機(jī)坐標(biāo)系和世界坐標(biāo)系都是三維坐標(biāo)系，如圖3所示，它們存在旋轉(zhuǎn)和平移的關(guān)系[15?17]。

圖3中，坐標(biāo)系[O1?uc?vc]為CCD矩陣坐標(biāo)系，即相機(jī)的圖像坐標(biāo)系。坐標(biāo)系[O2?up?vp]為DMD矩陣坐標(biāo)系，即投影的圖像坐標(biāo)系。坐標(biāo)系[Oc?Xc?Yc?Zc]為相機(jī)坐標(biāo)系，該坐標(biāo)系以相機(jī)鏡頭光學(xué)中心為原點(diǎn)，平行相機(jī)CCD矩陣左邊沿過(guò)點(diǎn)[Oc]所在直線為[Xc]軸，平行相機(jī)CCD矩陣上邊沿過(guò)點(diǎn)[Oc]所在直線為[Yc]軸，相機(jī)鏡頭法線所在直線為[Zc]軸。同理，坐標(biāo)系[Op?Xp?Yp?Zp]為投影機(jī)坐標(biāo)系，該坐標(biāo)系以投影機(jī)鏡頭光學(xué)中心為原點(diǎn)，平行投影機(jī)矩陣左邊沿過(guò)點(diǎn)[Op]所在直線為[Xp]軸，平行投影機(jī)DMD矩陣左邊沿過(guò)點(diǎn)[Op]所在直線為[Yp]軸，相機(jī)鏡頭法線所在直線為[Zp]軸。[P（Xw，Yw，Zw）]是待測(cè)物體所在世界坐標(biāo)系坐標(biāo)。由式（2）和相機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系可得：

在式（3）中，等式右邊的第一個(gè)矩陣為相機(jī)的內(nèi)參數(shù)矩陣，等式右邊的第二個(gè)矩陣為世界坐標(biāo)系到相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移矩陣，即外參數(shù)矩陣。同理，投影機(jī)也存在與工業(yè)相機(jī)一樣的坐標(biāo)關(guān)系：

式（3）中的相機(jī)內(nèi)外參數(shù)矩陣和式（4）中的投影機(jī)的內(nèi)外參數(shù)矩陣可通過(guò)系統(tǒng)標(biāo)定來(lái)確定。首先設(shè)計(jì)紅藍(lán)棋盤(pán)格的標(biāo)定板，通過(guò)分別投影單色光和黑白圖片并拍攝，然后利用相機(jī)Matlab工具箱進(jìn)行相機(jī)標(biāo)定，接著將相機(jī)拍攝到的圖片轉(zhuǎn)換為投影機(jī)“拍攝”的圖片，進(jìn)行投影機(jī)的標(biāo)定，最終確定相機(jī)的內(nèi)外參數(shù)矩陣和投影機(jī)的內(nèi)外參數(shù)矩陣[18]。

式（3）和式（4）中等式的左邊[uc]和[vc]表示圖像坐標(biāo)上的點(diǎn)，[up]表示投影平面上的某一橫向直線，[up]可通過(guò)條紋分析技術(shù)和相位展開(kāi)技術(shù)從變形條紋中解得，因此由式（3）和式（4）即可求出待測(cè)物體表面的三維坐標(biāo)[（Xw，Yw，Zw）]，從而完成重構(gòu)，實(shí)現(xiàn)三維測(cè)量。

2 系統(tǒng)設(shè)計(jì)

根據(jù)上述數(shù)學(xué)模型，進(jìn)行測(cè)量系統(tǒng)的硬件設(shè)計(jì)和軟件設(shè)計(jì)。在硬件設(shè)計(jì)上，通過(guò)控制工業(yè)投影機(jī)投影和工業(yè)相機(jī)拍照實(shí)現(xiàn)三維數(shù)據(jù)的采集；在軟件設(shè)計(jì)上，通過(guò)對(duì)硬件設(shè)備的自動(dòng)控制和調(diào)用相關(guān)的三維重構(gòu)算法實(shí)現(xiàn)重構(gòu)。

2.1 硬件設(shè)計(jì)

本系統(tǒng)的硬件模型即工業(yè)相機(jī)，工業(yè)投影機(jī)和計(jì)算機(jī)之間的相互連接如圖4所示，計(jì)算機(jī)通過(guò)網(wǎng)線與工業(yè)相機(jī)連接，通過(guò)USB線和視頻傳輸線與工業(yè)投影機(jī)連接。工業(yè)投影機(jī)與工業(yè)相機(jī)通過(guò)外部觸發(fā)雙絞線連接，能實(shí)現(xiàn)兩者的通信，即工業(yè)投影機(jī)每投影出一幅圖片輸出一個(gè)外部觸發(fā)信號(hào)，觸發(fā)工業(yè)相機(jī)采集。圖5為本系統(tǒng)的實(shí)物圖，其中右側(cè)為工業(yè)相機(jī)，左側(cè)為工業(yè)投影機(jī)。

本系統(tǒng)采用的工業(yè)相機(jī)型號(hào)為Basler acA1280?60gc，其擁有GigE接口和外部觸發(fā)接口，1 280×1 024像素（60 f/s），支持外部觸發(fā)采集和內(nèi)部觸發(fā)采集。該相機(jī)內(nèi)部包括以太網(wǎng)控制器、微控制器、FPGA、圖像緩沖器、I/O寄存器和圖像傳感器等，結(jié)構(gòu)示意圖如圖6所示。當(dāng)工業(yè)相機(jī)從Pin2接收到單幀采集的控制信號(hào)時(shí)，F(xiàn)PGA根據(jù)由微控制器預(yù)先設(shè)定的曝光時(shí)間控制傳感器進(jìn)行曝光，傳感器采集到的圖像數(shù)據(jù)先保存到圖像緩沖器中，再經(jīng)過(guò)以太網(wǎng)控制器傳輸?shù)接?jì)算機(jī)，這樣就實(shí)現(xiàn)了圖像數(shù)據(jù)的獲得與傳輸。其中對(duì)工業(yè)相機(jī)曝光時(shí)間、圖像增益等參數(shù)設(shè)置也通過(guò)以太網(wǎng)和微控制器實(shí)現(xiàn)。

本系統(tǒng)采用的工業(yè)投影機(jī)型號(hào)為DLP LightCrafter4500，其內(nèi)部結(jié)構(gòu)如圖7所示。該投影機(jī)擁有許多外部接口，常常用于三維形貌測(cè)量系統(tǒng)中，而本系統(tǒng)主要應(yīng)用的接口是USB接口和外部觸發(fā)接口。在圖7中，計(jì)算機(jī)通過(guò)UART接口發(fā)送控制數(shù)據(jù)，發(fā)送圖像投影信號(hào)，設(shè)置投影機(jī)的投影模式等。投影圖像數(shù)據(jù)傳輸過(guò)程是將預(yù)先設(shè)計(jì)好的條紋圖通過(guò)投影機(jī)的UART接口經(jīng)DLPC350保存到FLASH中。在投影圖像時(shí)，首先DLPC350從FLASH中加載所需要投影的圖像到其內(nèi)存中，微鏡陣列模塊根據(jù)接收到圖像數(shù)據(jù)，控制每個(gè)像素所對(duì)應(yīng)微鏡的開(kāi)關(guān)頻率。投影原理是DLPC350通過(guò)控制LED驅(qū)動(dòng)紅綠藍(lán)燈的電流實(shí)現(xiàn)LED亮度的控制，LED燈光透過(guò)微鏡陣列投影成像。

投影與拍攝能實(shí)現(xiàn)同步是因?yàn)橥队皺C(jī)每投影一幅圖像的同時(shí)，DLPC350使觸發(fā)器TRIG1_OUT_CON輸出一個(gè)信號(hào)1，該信號(hào)通過(guò)外部觸發(fā)雙絞線送給工業(yè)相機(jī)的Pin2，Pin2引腳接收到該上升沿時(shí)觸發(fā)相機(jī)采集一幅圖片。正是由于投影和拍攝的同步使得該系統(tǒng)的測(cè)量速度較傳統(tǒng)的通過(guò)估算投影時(shí)間設(shè)置相機(jī)曝光時(shí)間的系統(tǒng)加快不少。

2.2 軟件設(shè)計(jì)

軟件設(shè)計(jì)的目的是實(shí)現(xiàn)工業(yè)相機(jī)、投影機(jī)的自動(dòng)控制和相關(guān)重構(gòu)算法的調(diào)用。其中工業(yè)投影機(jī)的控制可通過(guò)官方提供的LightCrafter4500_v1.2.exe軟件實(shí)現(xiàn)投影的曝光時(shí)間和投影外部觸發(fā)信號(hào)的輸出，控制界面如圖8所示。

工業(yè)相機(jī)的控制可通過(guò)調(diào)用圖9所示的SDK庫(kù)實(shí)現(xiàn)初始化，觸發(fā)模式控制和拍攝與保存等功能。為了方便用戶(hù)進(jìn)行系統(tǒng)標(biāo)定和三維重構(gòu)，需要使用MFC編程，編寫(xiě)系統(tǒng)標(biāo)定界面和點(diǎn)云數(shù)據(jù)采集界面以實(shí)現(xiàn)投影和拍照（即采集）的自動(dòng)化。交互界面如圖10和圖11所示。

在圖11中，點(diǎn)擊“投影條紋”或“外部觸發(fā)采集”按鈕后實(shí)現(xiàn)投影條紋圖和采集變形條紋圖，投影和采集完成后通過(guò)點(diǎn)擊“重構(gòu)立體數(shù)據(jù)”按鈕后，系統(tǒng)軟件調(diào)用條紋分析算法和相位展開(kāi)算法結(jié)合標(biāo)定參數(shù)計(jì)算出待測(cè)物體三維數(shù)據(jù)，最終會(huì)在系統(tǒng)目錄下生成“result.txt”文件，該文件包含每個(gè)像素點(diǎn)的三維坐標(biāo)，可利用第三方Geomagic Studio軟件打開(kāi)后直觀地看到三維重構(gòu)的立體視圖，并獲取待測(cè)物體表面的三維數(shù)據(jù)。

3 實(shí)驗(yàn)與分析

首先設(shè)計(jì)兩組波長(zhǎng)為23和47的光強(qiáng)在垂直方向（y方向上）呈正弦規(guī)律變化的條紋圖片，投影到一個(gè)玩具模型表面，通過(guò)照相機(jī)采集到的變形條紋如圖12a）和圖12b）所示。對(duì)變形條紋用六步相移的條紋分析技術(shù)處理得到的包裹相位圖如圖12c），圖12d）所示。根據(jù)首次提出的基于波長(zhǎng)選擇的雙波長(zhǎng)條紋相位展開(kāi)算法可從包裹相位中正確地恢復(fù)出絕對(duì)相位，如圖12e）和圖12f）所示。

結(jié)合系統(tǒng)的標(biāo)定參數(shù)可求得待測(cè)物體表面每個(gè)像素點(diǎn)的三維坐標(biāo)，利用Geomagic Studio對(duì)測(cè)量結(jié)果進(jìn)行顯示，最終得到的三維重構(gòu)立體視圖如圖13所示。其中圖13a）是待測(cè)物體的實(shí)物圖，圖13b）～圖13e）分別為該物體重構(gòu)后不同角度的三維視圖。結(jié)果顯示該玩具模型得到了準(zhǔn)確重構(gòu)，證明了該系統(tǒng)的有效性。

4 結(jié) 論

本文完成了一套基于數(shù)字條紋投影的三維相貌測(cè)量系統(tǒng)的開(kāi)發(fā)，利用工業(yè)相機(jī)和工業(yè)投影機(jī)搭建三維測(cè)量系統(tǒng)，利用軟件編程實(shí)現(xiàn)工業(yè)相機(jī)和投影機(jī)的控制，并實(shí)現(xiàn)了投影和拍攝的同步，達(dá)到了快速測(cè)量的目的。該三維形貌測(cè)量系統(tǒng)的算法核心是條紋分析技術(shù)和相位展開(kāi)技術(shù)，本系統(tǒng)所采用的條紋分析技術(shù)是通用的相移形貌測(cè)量法[18]，采用的相位展開(kāi)技術(shù)是自主提出的基于波長(zhǎng)選擇的多波長(zhǎng)相位展開(kāi)算法[19?20]。該快速測(cè)量系統(tǒng)的開(kāi)發(fā)，將推動(dòng)三維形貌測(cè)量在生產(chǎn)生活中的應(yīng)用。目前正在進(jìn)一步研究多面重構(gòu)結(jié)果的拼合，以達(dá)到更好的立體重構(gòu)效果。

注：本文通訊作者為龍佳樂(lè)。

參考文獻(xiàn)

[1] 李中偉.基于數(shù)字光柵投影的結(jié)構(gòu)光三維測(cè)量技術(shù)與系統(tǒng)研究[D].武漢：華中科技大學(xué)，2009.

LI Z W. Research on structured light 3D measurement technology and system based on digital fringe grating projection [D]. Wuhan： Huazhong University of Science and Technology， 2009.

[2] CHEN K， XI J， YU Y， et al. Three?dimensional measurement of object surfaces with complex shape and color distribution based on projection of color fringe patterns [J]. Applied optics， 2013， 52（30）： 7360?7366.

[3] DU G， ZHANG C， ZHOU C， et al. Iterative two?step temporal phase?unwrapping applied to high sensitivity three?dimensional profilometry [J]. Optics and lasers in engineering， 2016， 79： 22?28.

[4] GUAN G， HASSEBROOK LG， LAU D L. Composite structured light pattern for three?dimensional video [J]. Optics express， 2003， 11（5）： 406?416.

[5] FENG S， CHEN Q， ZUO C. Graphics processing unitassisted real?time three?dimensional measurement using speckle?embedded fringe [J]. Applied optics， 2015， 54（22）： 6865?6873.

[6] JIANG C， JIA S， DONG J， et al. Multi?frequency color?marked fringe projection profilometry for fast 3D shape measurement of complex objects [J]. Optics express， 2015， 23（19）： 24152?24162.

[7] XU Y， JIA S， LUO X， et al. Multi?frequency projected fringe profilometry for measuring objects with large depth discontinuities [J]. Optics communications， 2013， 288： 27?30.

[8] GARCIA?ISAIS C A， OCHOA N A. One shot profilometry using phase partitions [J]. Optics and lasers in engineering， 2015， 68： 111?120.

[9] ZHANG S， HUANG P. Novel method for structured light system calibration [J]. Optics engineering， 2006， 45（8）： 8360?8368.

[10] 龍佳樂(lè)，張建民，范智暉.雙波長(zhǎng)條紋投影三維形貌測(cè)量的實(shí)現(xiàn)[J].光電子技術(shù)，2015，35（4）：258?262.

LONG J L， ZHANG J M， FAN Z H. Implement of three dimensional topography measurement with double wavelength fringe projection [J]. Optoelectronic technology， 2015， 35（4）： 258?262.

[11] SERVIN M， PADILLA M， GARNICA G， et al. Profilometry of three?dimensional discontinuous solids by combining two?steps temporal phase unwrapping， co?phased profilometry and phase?shifting interferometry [J]. Optics and lasers in enginee?ring， 2016， 87： 75?82.

[12] 劉星明，蔡鐵，王輝靜，等.基于相位恢復(fù)的三維可視化應(yīng)用研究[J].計(jì)算機(jī)科學(xué)，2016， 43（z2）：256?258.

LIU X M， CAI T， WANG H J， et al. Research on application of 3D visualization based on phase recovery [J]. Computer science， 2016， 43（S2）： 256?258.

[13] 錢(qián)垚，童立靖，劉晶晶，等.一種基于工業(yè)相機(jī)的距離測(cè)量系統(tǒng)[J].計(jì)算機(jī)時(shí)代，2011（11）：28?31.

QIAN Y， TONG L J， LIU J J， et al. An industrial camera?based distance measuring system [J]. Computer era， 2011（11）： 28?31.

[14] 張成艷.基于雙目視覺(jué)的織物三維數(shù)字化技術(shù)研究[D].西安：陜西科技大學(xué)，2014.

ZHANG C Y. Research on 3D digital technology of fabric based on binocular vision [D]. Xian： Shaanxi University of Science and Technology， 2014.

[15] ZHANG Z Y. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.

[16] ZHANG W， CHEN Z， ZHANG R， et al. An absolute phase to world coordinates method for the defocusing structured light shape measurement system [J]. Optik?international journal for light and electron optics， 2014， 125（22）： 6819?6825.

[17] GAO W， WANG L， HU Z. Flexible method for structured light system calibration [J]. Optical engineering， 2008， 47（8）： 602?612

[18] ZHANG S. Digital multiple wavelength phase shifting algorithm [J]. Proceedings of SPIE， 2009， 7432： 1?11.

[19] LONG J L， XI J T， ZHU M， et al. Absolute phase map reco?very of two fringe patterns with flexible selection of fringe wavelengths [J]. Applied opticts， 2014， 53（9）： 1794?1801.

[20] LONG J L， XI J T， ZHANG J M， et al. Recovery of absolute phases for the fringe patterns of three selected wavelengths with improved anti?error capability [J]. Journal of modern optics， 2016， 63（17）： 1695?1705.