杜雨馨，張建化，梁 良，宋 彬

（徐州工程學(xué)院電氣與控制工程學(xué)院 江蘇 徐州 221018）

“傳感器與檢測(cè)技術(shù)”是電器類、自動(dòng)化類、機(jī)械類等專業(yè)的必修課程，通過實(shí)驗(yàn)教學(xué)可以幫助學(xué)生掌握傳感器的工作原理、測(cè)量電路、數(shù)據(jù)處理方法等，培養(yǎng)學(xué)生的邏輯思維和解決工程實(shí)際問題的能力。將虛擬仿真實(shí)驗(yàn)系統(tǒng)應(yīng)用于傳感器與檢測(cè)技術(shù)課程的實(shí)驗(yàn)教學(xué)，能夠避免真實(shí)實(shí)驗(yàn)或操作帶來的危險(xiǎn)、彌補(bǔ)現(xiàn)有教學(xué)條件或經(jīng)費(fèi)的不足、有效提高學(xué)生的學(xué)習(xí)興趣與創(chuàng)造力。

LabVIEW 編程使用圖形化的語言構(gòu)建系統(tǒng)結(jié)構(gòu)圖，以向用戶提供有效的學(xué)習(xí)環(huán)境[1]。本文設(shè)計(jì)了基于LabVIEW的深度視覺傳感器虛擬仿真實(shí)驗(yàn)系統(tǒng)，可以同時(shí)展現(xiàn)同一場(chǎng)景的彩色圖像、深度圖像與三維點(diǎn)云，經(jīng)數(shù)值運(yùn)算后結(jié)合設(shè)定好的障礙物檢測(cè)規(guī)則，可實(shí)現(xiàn)障礙物檢測(cè)及預(yù)警功能。

1 深度傳感器基本原理

Kinect 傳感器屬于深度視覺傳感器的一種，它通過獲取三維空間的深度信息，無須控制器或標(biāo)記即可識(shí)別用戶手部和身體等動(dòng)作[2]，在機(jī)器人技術(shù)、醫(yī)學(xué)、科研等領(lǐng)域都得到了廣泛應(yīng)用。

Kinect 包含三個(gè)重要部件：彩色VGA 視頻攝像頭、深度傳感器和多陣列麥克風(fēng)。它們協(xié)同工作以檢測(cè)用戶的動(dòng)作并在屏幕上創(chuàng)建人、物或環(huán)境的三維深度圖像。攝像頭檢測(cè)紅、綠、藍(lán)成分及體型和面部特征。深度傳感器包含一個(gè)單色CMOS傳感器和紅外投影儀，還通過傳輸不可見的近紅外光，測(cè)量“飛行時(shí)間（TOF）”獲取深度信息。麥克風(fēng)為四個(gè)麥克風(fēng)組成的陣列，可以在去噪的同時(shí)讓用戶獲取附加控制功能。

Kinect v2 工作原理如圖1 所示（p40），紅外（Infrared,IR）發(fā)射器將預(yù)定義好的紅外光圖像投影至被拍攝物體上，反射光被深度傳感器采集后，利用三角測(cè)量法分析調(diào)制前后的圖像相位差，可計(jì)算出被測(cè)點(diǎn)的垂直距離，即像素的深度信息。

圖1 Kinect v2 使用飛行時(shí)間（TOF）法獲取深度信息

另一個(gè)巧妙設(shè)計(jì)是，IR 發(fā)射器會(huì)周期性地打開和關(guān)閉。當(dāng)開燈時(shí)輸出為A，關(guān)燈時(shí)輸出為B。A 包含來自發(fā)射的IR 光和環(huán)境光，而B 只包含環(huán)境光。因此，從A 中減去B 得到的信息僅包含來自IR 發(fā)射器的反射調(diào)制光，從而可以準(zhǔn)確地計(jì)算深度，這種設(shè)計(jì)使Kinect v2 可以產(chǎn)生質(zhì)量更高的紅外圖像和深度圖像。

將Kinect 應(yīng)用于虛擬仿真實(shí)驗(yàn)教學(xué)，有利于提高本科生教育教學(xué)質(zhì)量。作為一種學(xué)習(xí)工具，Kinect 有能力創(chuàng)造愉快、有趣的交互類型，提高學(xué)生的積極性，加深學(xué)生對(duì)于深度傳感器工作原理與應(yīng)用場(chǎng)景的理解，并通過利用多媒體和多感官能力促進(jìn)學(xué)習(xí)。

2 實(shí)驗(yàn)基本原理

在移動(dòng)機(jī)器人技術(shù)中，障礙物的檢測(cè)對(duì)于機(jī)器人完成任務(wù)非常重要。常見的可用于障礙物檢測(cè)的傳感器有：紅外、激光、超聲波、視覺測(cè)距傳感器等。Kinect 作為主動(dòng)視覺傳感器的一種，獲取信息豐富，可實(shí)現(xiàn)較高精度、實(shí)時(shí)、非接觸式的測(cè)量。若將Kinect 傳感器用于實(shí)時(shí)障礙物檢測(cè)，需事先完成相機(jī)標(biāo)定、圖像配準(zhǔn)與障礙物檢測(cè)規(guī)則設(shè)定等工作。

2.1 Kinect 標(biāo)定

使用Kinect 進(jìn)行深度測(cè)量之前，必須先進(jìn)行標(biāo)定。重要固有參數(shù)包括：焦距（fx，fy）和離光軸的距離（cx，cy）。這里我們假設(shè)鏡頭畸變非常小，可以忽略不計(jì)。使用Kinect傳感器拍攝一組棋盤圖像，通過張正友標(biāo)定法完成深度相機(jī)的標(biāo)定[3]。

此外，Kinect 返回的原始深度圖像數(shù)值在0 到2047 之間，可經(jīng)下式轉(zhuǎn)換為深度信息depth。

之后將固有參數(shù)輸入方程（2），便可由初始深度信息（x，y，z）得到真實(shí)世界坐標(biāo)（X，Y，Z）。

2.2 深度圖像與彩色圖像配準(zhǔn)

由Kinect 實(shí)物圖可以看出，深度相機(jī)與彩色相機(jī)的位置有一定距離，故拍攝到的原始圖像不能完全配對(duì)，故在障礙物檢測(cè)之前，需對(duì)同一場(chǎng)景下的兩幅圖像進(jìn)行配準(zhǔn)。深度相機(jī)坐標(biāo)系與彩色相機(jī)坐標(biāo)系間的空間關(guān)系，可使用旋轉(zhuǎn)平移變換表示。

其中，

帶入后，有：

旋轉(zhuǎn)矩陣R 與位移矩陣T 為深度相機(jī)與彩色相機(jī)坐標(biāo)系間的變換矩陣，即兩圖像間的配準(zhǔn)矩陣。

2.3 障礙物檢測(cè)規(guī)則設(shè)定

對(duì)于移動(dòng)機(jī)器人而言，正前方的物體對(duì)于行走路徑的影響較大，而左右兩側(cè)的物體不會(huì)干擾到機(jī)器人的正常行走。依據(jù)Kinect 獲取深度信息的原理與安裝高度，2m 范圍以內(nèi)的物體檢測(cè)精度較高，大于2m時(shí)，檢測(cè)精度會(huì)降低。故，設(shè)定如下檢測(cè)規(guī)則：①每間隔0.1s采樣一次；②獲取到的點(diǎn)云數(shù)據(jù)中min（Y）<30cm，或min（|X|）<30cm 時(shí)，認(rèn)為檢測(cè)到障礙物，發(fā)出警報(bào)。

3 虛擬仿真系統(tǒng)

2012 年，利茲大學(xué)為Kinect 開發(fā)了運(yùn)動(dòng)感覺工具包（Kinesthesia Toolkit）[4]，幫助NI LabVIEW編程人員快速驅(qū)動(dòng)Kinect 的主要功能，如：RGB 視頻、深度相機(jī)、骨骼跟蹤等。除Kinesthesia Toolkit 外，主機(jī)還需安裝配準(zhǔn)好Microsoft Kinect SDK 1.5 等。

圖2（p41）給出了數(shù)據(jù)采集程序界面，圖3（p41）為對(duì)應(yīng)的可視化前面板。其中，中間窗口用于顯示彩色圖像，右側(cè)窗口顯示深度圖像，左側(cè)窗口顯示三維點(diǎn)云。用戶界面允許操作人員執(zhí)行“啟動(dòng)”“終止”“暫停”“測(cè)量”“保存數(shù)據(jù)”等操作。在窗口中啟動(dòng)應(yīng)用程序后，彩色圖像與深度圖像經(jīng)Kinect 顯示，三維點(diǎn)云經(jīng)運(yùn)算后在窗口中顯示。計(jì)算得到的三維點(diǎn)云信息，依據(jù)設(shè)定好的障礙物檢測(cè)規(guī)則，給出判斷結(jié)果并發(fā)出警報(bào)。實(shí)驗(yàn)數(shù)據(jù)如表1 所示。

表1 障礙物檢測(cè)結(jié)果

圖2 LabVIEW 程序界面

圖3 LabVIEW 可視化前面板

由實(shí)驗(yàn)結(jié)果可以看出，實(shí)驗(yàn)結(jié)果符合設(shè)定的檢測(cè)規(guī)則，本系統(tǒng)可以滿足移動(dòng)機(jī)器人行走過程中對(duì)障礙物檢測(cè)的需求。

4 結(jié)語

本文研究了基于LabVIEW 的深度視覺傳感器虛擬仿真實(shí)驗(yàn)系統(tǒng)。首先使用張正友法獲取深度相機(jī)與彩色相機(jī)的內(nèi)外參數(shù)。之后，依據(jù)標(biāo)定結(jié)果對(duì)同一場(chǎng)景下的兩幅圖像進(jìn)行配準(zhǔn)，得到像素點(diǎn)三維空間坐標(biāo)。利用LabVIEW虛擬仿真軟件構(gòu)建移動(dòng)機(jī)器人障礙物檢測(cè)實(shí)驗(yàn)平臺(tái)，能夠?qū)崟r(shí)顯示彩色圖像、深度圖像與三維點(diǎn)云信息，可實(shí)現(xiàn)障礙物檢測(cè)功能，達(dá)到了預(yù)期效果。除了進(jìn)行障礙物檢測(cè)外，還可讓學(xué)生在平臺(tái)上通過自主編程，完成人體姿態(tài)識(shí)別、手勢(shì)識(shí)別、空間三維重建等實(shí)驗(yàn)應(yīng)用，對(duì)同類實(shí)驗(yàn)課程的設(shè)計(jì)具有一定參考價(jià)值。