何明霞，寧福星，李 萌

(天津大學(xué)精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072)

受主流顯示設(shè)備和應(yīng)用軟件的限制，傳統(tǒng)的人機(jī)交互方式是一種限于二維平面內(nèi)的操作．隨著立體視覺(jué)、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)的出現(xiàn)，用戶喜歡以更自然的方式，在更富于想象力的虛擬環(huán)境中，與操作對(duì)象進(jìn)行交互作用與相互影響，從而產(chǎn)生“沉浸”于等同真實(shí)環(huán)境中的感受和體驗(yàn)[1]．?dāng)?shù)據(jù)手套是一種能夠跟蹤使用者靈活多變的手勢(shì)及其空間方位，使操作者自然而然地將自己的意識(shí)傳遞給計(jì)算機(jī)[2]．國(guó)內(nèi)外對(duì)數(shù)據(jù)手套技術(shù)的研究不斷得到發(fā)展，已有一些數(shù)據(jù)手套產(chǎn)品出現(xiàn)在軍事、制造業(yè)和教育等領(lǐng)域．

需要佩戴在手部使用的數(shù)據(jù)手套本體材料多為價(jià)格昂貴的彈性纖維．采用精密傳感器實(shí)現(xiàn)數(shù)據(jù)測(cè)量，所用傳感器決定測(cè)量精度和最大采樣頻率這2項(xiàng)技術(shù)指標(biāo)．?dāng)?shù)據(jù)手套操作與計(jì)算機(jī)之間采用通信線連接，通訊接口多為 RS232．目前，數(shù)據(jù)手套產(chǎn)品因價(jià)格昂貴而多用于科研[3]．

針對(duì)上述數(shù)據(jù)手套的不足，筆者開(kāi)發(fā)了一種采用普通視頻攝像頭作為傳感器，在操作者手背部和指端粘貼特定標(biāo)記，實(shí)現(xiàn)非接觸式獲取手部三維信息的新型人機(jī)交互技術(shù)．?dāng)[脫了手套與通信線的束縛，提高了操作者手部的舒適度和自由度．整個(gè)系統(tǒng)簡(jiǎn)單、成本低，適合民用商業(yè)化．

1 手部標(biāo)記點(diǎn)捕捉原理

根據(jù)針孔成像模型，建立標(biāo)記坐標(biāo)系 Omxmymzm、攝像機(jī)坐標(biāo)系 Oc-xcyczc和攝像機(jī)理想屏幕坐標(biāo)系Ou-xuyu，坐標(biāo)系之間的相互關(guān)系如圖1所示．手部標(biāo)記點(diǎn)在標(biāo)記坐標(biāo)系和攝像機(jī)坐標(biāo)系中的坐標(biāo)分別為(xm，ym，zm)和(xc，yc，zc)．標(biāo)記坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的變換關(guān)系[4]為

圖1 標(biāo)記坐標(biāo)系和攝像機(jī)坐標(biāo)系間的關(guān)系Fig.1 Model of coordinate system

式中：V3×3為正交單位旋轉(zhuǎn)矩陣；W為平移向量；Tcm為轉(zhuǎn)換矩陣．由圖 1及透視投影基本原理可知，標(biāo)記坐標(biāo)系中某點(diǎn)(xm，ym，zm)與其在理想屏幕坐標(biāo)系中的投影(xu，yu)之間的關(guān)系為

其中λ為比例因子，透視投影矩陣 C為攝像頭內(nèi)部參數(shù)，通過(guò)攝像機(jī)標(biāo)定獲得．矩陣 Tcm為三維待求變換矩陣，包含3個(gè)旋轉(zhuǎn)分量和1個(gè)平移分量．當(dāng)尺寸已知的黑色正方形標(biāo)記投影成像之后，可以得到標(biāo)記的一組平行邊在屏幕坐標(biāo)系中投影方程為

利用關(guān)系式(2)，將式(3)中的 xu和 yu分別用 xc和 yc代替，可以得到

方程組(4)中 2個(gè)投影方程的單位矢量分別用n1和 n2表示，則正方形邊框的一組平行邊的方向矢量可表示為二者的外積n1×n2．假設(shè)正方形2組平行邊的方向矢量分別為u1和u2，理論上u1和u2應(yīng)相互垂直．由于成像畸變的影響，u1和 u2并非絕對(duì)垂直．為了消除不垂直帶來(lái)的影響，采用 v1和 v2代替u1和 u2．垂直于 v1和 v2的單位方向矢量記做 v3，轉(zhuǎn)換矩陣Tcm中的旋轉(zhuǎn)矩陣表示為[v1，v2，v3]．由正交單位旋轉(zhuǎn)矩陣 V3×3，利用針孔成像模型和透視投影模型所建立的式(1)和式(2)，標(biāo)記4個(gè)頂點(diǎn)的屏幕坐標(biāo)為(xc,i，yc,i，1)，標(biāo)記坐標(biāo)系中的坐標(biāo)為(xm,i，ym,i，zm,i)(i＝1，2，3，4)．從而列出包含 Wx、Wy、Wz的 8 個(gè)等式并求得平移矩陣和轉(zhuǎn)換矩陣Tcm．

2 系統(tǒng)構(gòu)成

2.1 系統(tǒng)硬件

表1列出了幾種典型數(shù)據(jù)手套本體材料、傳感器以及技術(shù)指標(biāo)．圖 2所示為該系統(tǒng)組成，由一個(gè)普通視頻攝像頭、固定支架、圖像數(shù)據(jù)傳輸線和計(jì)算機(jī) 4部分組成，采用普通數(shù)據(jù)傳輸線連接攝像頭與計(jì)算機(jī)．與市場(chǎng)現(xiàn)有數(shù)據(jù)手套產(chǎn)品相比，該系統(tǒng)硬件少、組裝簡(jiǎn)便．

表1 幾種典型數(shù)據(jù)手套產(chǎn)品主要技術(shù)指標(biāo)對(duì)比Tab.1 Comparison of performance indexes of datagloves

圖2 系統(tǒng)裝置示意Fig.2 Image of installation of system

2.2 軟件部分

ARToolKit軟件是由美國(guó)華盛頓人機(jī)接口實(shí)驗(yàn)室的 HirokazoKato博士，用 C語(yǔ)言編寫(xiě)設(shè)計(jì)開(kāi)發(fā)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的二次開(kāi)發(fā)包．它具有實(shí)時(shí)、精確的三維注冊(cè)功能，支持基于視覺(jué)或視頻的增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)，使用方便、快捷．為了縮短研發(fā)周期，本研究利用ARToolKit所提供的標(biāo)記跟蹤算法，計(jì)算攝像機(jī)和標(biāo)記之間的相對(duì)空間位置，獲得標(biāo)記在標(biāo)記坐標(biāo)系中的三維坐標(biāo)．本系統(tǒng)所采用的是大小一定的黑色正方形邊框類標(biāo)記，并以標(biāo)記符中心圖案的不同來(lái)區(qū)分．

特征標(biāo)記符的探測(cè)程序，即標(biāo)記跟蹤算法主要實(shí)現(xiàn)2個(gè)功能．探測(cè)圖像中具有所選用標(biāo)記符特征的區(qū)域，并對(duì)其進(jìn)行識(shí)別．另一功能是計(jì)算標(biāo)記與相機(jī)之間的空間關(guān)系，求取標(biāo)記點(diǎn)的坐標(biāo)．探測(cè)程序的流程[5]如圖3所示．

圖3 標(biāo)記符探測(cè)程序流程Fig.3 Flow chart of marker detection

1)初始化的功能

包括初始化視頻配置參數(shù)，讀取標(biāo)記樣本參數(shù)和攝像頭特征參數(shù)．初始化視頻配置包括攝像機(jī)拍攝圖像的尺寸、采樣幀頻和顏色空間．標(biāo)記樣本參數(shù)包括標(biāo)記的邊長(zhǎng)尺寸和中心圖案的幾何特征；攝像頭特征參數(shù)為通過(guò)相機(jī)標(biāo)定獲取并存儲(chǔ)的數(shù)據(jù)文件．

2)主循環(huán)的功能

主循環(huán)的目的為探測(cè)并識(shí)別出特征標(biāo)記，計(jì)算各標(biāo)記中心點(diǎn)的三維坐標(biāo)．具體執(zhí)行包括 3步：獲取視頻圖像，探測(cè)并識(shí)別視頻輸入圖像幀中的特征標(biāo)記和標(biāo)記位置信息的計(jì)算．探測(cè)和識(shí)別特征標(biāo)記的處理過(guò)程如下．

(1)利用單攝像頭獲取包含全部標(biāo)記的圖像輸入到系統(tǒng)中，采用合理閾值將采集到的彩色圖像轉(zhuǎn)換成二值圖像．

(2)對(duì)該二值圖像作連通域分析，搜索并識(shí)別所有具有矩形邊緣特征的圖像區(qū)域．通過(guò)對(duì)二值圖像進(jìn)行連通域分析標(biāo)記、特征提取(區(qū)域，位置)、輪廓提取和對(duì)正方形區(qū)域4條直線的匹配，找出匹配誤差小于設(shè)定閾值的區(qū)域，即認(rèn)探測(cè)到正方形區(qū)域．

(3)利用模板匹配算法，將提取出的圖像區(qū)域與標(biāo)記樣本庫(kù)中的標(biāo)記進(jìn)行比對(duì)，找出匹配度高于設(shè)定參數(shù)的區(qū)域即認(rèn)定為識(shí)別出系統(tǒng)所用標(biāo)記(歸一化)．

(4)通過(guò)計(jì)算，求得被探測(cè)到的標(biāo)記三維坐標(biāo)．通過(guò)系統(tǒng)建立的針孔成像模型、標(biāo)記中心點(diǎn)的理想屏幕坐標(biāo)(xu，yu)調(diào)用相機(jī)內(nèi)部參數(shù)和轉(zhuǎn)換矩陣 Tcm，解算出不同標(biāo)記中心點(diǎn)在標(biāo)記坐標(biāo)系中的三維坐標(biāo)(xm，ym，zm)．

3)關(guān)閉的功能

程序結(jié)束，關(guān)閉視頻采集和視頻的輸出顯示，停止對(duì)圖像的處理．

標(biāo)記跟蹤算法的有效性取決于矩形區(qū)域探測(cè)和模板匹配．矩形區(qū)域提取采用連通域分析和 4條直線匹配來(lái)實(shí)現(xiàn)，方法簡(jiǎn)單，運(yùn)行速度較快．模板匹配包括歸一化、模板匹配 2步．由于需要分辨率轉(zhuǎn)換，導(dǎo)致識(shí)別的精度和速度與標(biāo)記尺寸關(guān)系密切，標(biāo)記尺寸越大，其識(shí)別精度越高，但處理較復(fù)雜，速度較慢．相反，標(biāo)記尺寸越小，其識(shí)別精度越低，處理速度越快．

本研究中采用2個(gè)標(biāo)記實(shí)現(xiàn)了鼠標(biāo)的基本功能．基于手部行為捕捉的三維虛擬鼠標(biāo)的構(gòu)建示意圖如圖4所示．將標(biāo)記A和B分別貼于操作者的手背和指端，按習(xí)慣通常貼在食指端．根據(jù)標(biāo)記A在標(biāo)記坐標(biāo)系中 xm軸和 ym軸方向的坐標(biāo)變化量，調(diào)用Windows API函數(shù)庫(kù)中的 SetCursorPos(xvalue，yvalue)函數(shù)，控制鼠標(biāo)在當(dāng)前位置的基礎(chǔ)上的移動(dòng)方向和移動(dòng)像素點(diǎn)數(shù)．利用標(biāo)記B在標(biāo)記坐標(biāo)系中zm軸方向和xm-ym平面上的坐標(biāo)變化量，調(diào)用Windows API函數(shù)庫(kù)中的 mouse_event函數(shù)，控制鼠標(biāo)產(chǎn)生各按鍵操作．操作者只需挪動(dòng)相應(yīng)標(biāo)記就能實(shí)現(xiàn)鼠標(biāo)的操作功能，完成對(duì)計(jì)算機(jī)的常規(guī)操作，如文件操作、瀏覽網(wǎng)頁(yè)等．

圖4 基于手部行為捕捉的人機(jī)交互方式示意Fig.4 Sketch map of man-machine interactive mode based on capture of hand’s behavior

3 手部標(biāo)記點(diǎn)捕捉交互實(shí)驗(yàn)

3.1 標(biāo)記跟蹤算法有效性實(shí)驗(yàn)

本人機(jī)交互方式對(duì)手部標(biāo)記點(diǎn)的捕捉能力，即是標(biāo)記跟蹤算法的有效性，與標(biāo)記尺寸的大小關(guān)系緊密．通過(guò)實(shí)驗(yàn)獲得了標(biāo)記尺寸參數(shù)大小與循跡有效范圍(即可以捕獲標(biāo)記情況下攝像機(jī)與標(biāo)記所在平面的最大距離)之間的關(guān)系．采用邊長(zhǎng)為 1,cm、2,cm、3,cm、4,cm、5,cm、6,cm 和 7,cm 7種不同尺寸的正方形標(biāo)記，分別獲得其有效范圍和二者間的關(guān)系，如圖5所示．

圖5 循跡有效范圍與標(biāo)記尺寸關(guān)系Fig.5 Relationship between tracking range and marker Fig.草 size

通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)：標(biāo)記尺寸越大，循跡有效范圍越大，二者呈近似線性變化．實(shí)驗(yàn)結(jié)果與前述標(biāo)記跟蹤算法有效性的理論分析相符合．

根據(jù)標(biāo)記跟蹤算法有效性的理論與實(shí)驗(yàn)研究結(jié)果，以及一般操作者手部大小，標(biāo)記符 A尺寸選為5,cm×5,cm，指端 B 標(biāo)記 1.5,cm×1.5,cm，二者均可在25,cm的循跡范圍內(nèi)有效地被捕獲．由此確定固定支架的高度為 30,cm，攝像頭距標(biāo)記所在平面距離為25,cm．

3.2 性能指標(biāo)測(cè)量實(shí)驗(yàn)

基于手部行為捕捉的人機(jī)交互方式已實(shí)現(xiàn)了鼠標(biāo)的基本功能，為了量化這實(shí)際操作的效果，通過(guò)實(shí)驗(yàn)測(cè)量其主要技術(shù)參數(shù)，包括最大采樣頻率、光標(biāo)的控制精度和按鍵控制的準(zhǔn)確性．

通過(guò)測(cè)試 1,min內(nèi)該人機(jī)交互方式的有效數(shù)據(jù)輸出個(gè)數(shù)，計(jì)算得到采樣頻率為15.6,Hz．?dāng)z像頭的最高采樣幀率為 30幀/s，理論上本技術(shù)的采樣頻率不高于 30,Hz，由于程序運(yùn)行耗費(fèi)一定時(shí)間，實(shí)際運(yùn)行的采樣頻率比理論值偏低．?dāng)z像頭所獲取圖像的大小為 640×480像素，由標(biāo)記中心點(diǎn)的理想屏幕坐標(biāo)(xc，yc)求取其在標(biāo)記坐標(biāo)系中的坐標(biāo)(xm，ym，zm)．本研究采用手部標(biāo)記 A的 xm-ym平面移動(dòng)來(lái)實(shí)現(xiàn)光標(biāo)在普通視頻顯示設(shè)備(1,024×768像素)的位置控制．采用相對(duì)坐標(biāo)控制方式，測(cè)試在人手指平動(dòng)靈敏度 2.2,mm 時(shí)的光標(biāo)移動(dòng)量，獲得該操作方式在觀測(cè)屏幕坐標(biāo)系中xd和yd軸方向的光標(biāo)控制精度分別為2個(gè)像素和 1.6個(gè)像素．在人機(jī)交互方式性能評(píng)測(cè)中，出錯(cuò)率常被用于衡量按鍵控制準(zhǔn)確度．出錯(cuò)率定義為每100次按鍵操作中，未識(shí)別和誤識(shí)別按鍵操作發(fā)生的次數(shù)．通過(guò)實(shí)驗(yàn)測(cè)試了單擊、雙擊和右擊操作，得到采用這種人機(jī)交互方式代替實(shí)現(xiàn)鼠標(biāo)基本操作的平均出錯(cuò)率為4%，即按鍵功能識(shí)別率為96%．

4 結(jié) 語(yǔ)

所研究開(kāi)發(fā)的這種基于手部行為捕捉的人機(jī)交互方式，采用ARToolKit軟件平臺(tái)提供的標(biāo)記跟蹤算法，只需利用一個(gè)攝像頭和手部2個(gè)標(biāo)記點(diǎn)，獲得攝像頭和標(biāo)記之間的相對(duì)空間位置，以及手部標(biāo)記 A和標(biāo)記B在標(biāo)記坐標(biāo)系中的三維坐標(biāo)(xm，ym，zm)，實(shí)現(xiàn)傳統(tǒng)鼠標(biāo)的基本功能—— 光標(biāo)的移動(dòng)和按鍵功能．實(shí)驗(yàn)測(cè)試了這種人機(jī)交互方式的最高采樣頻率為15.6,Hz，光標(biāo)移動(dòng)的控制精度可以達(dá)到 2個(gè)像素，按鍵控制的識(shí)別率為96%．不同于傳統(tǒng)人機(jī)交互方式，采用了三維信息實(shí)現(xiàn)交互操作．與精密數(shù)據(jù)手套相比，組成設(shè)備簡(jiǎn)單、成本低．采用非接觸測(cè)量，擺脫手套與通訊線的束縛，操作者手部自由舒適．這種人機(jī)交互與控制模式技術(shù)，可以用于立體視覺(jué)、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)系統(tǒng)[6]中，適合作為民用級(jí)產(chǎn)品的開(kāi)發(fā)．

［1］韓曉玲. 虛擬現(xiàn)實(shí)技術(shù)發(fā)展趨向淺析[J]. 多媒體技術(shù)及其應(yīng)用，2007，2(10)：549-550.

Han Xiaoling. Present situation and development about VR[J].Multimedia Technology and Application，2007，2(10)：549-550(in Chinese).

［2］張文龍，賀 申. 虛擬現(xiàn)實(shí)與數(shù)據(jù)手套的研究[J]. 常州工學(xué)院學(xué)報(bào)，2005，18(5)：26-31.

Zhang Wenlong，He Shen. Research on virtual reality and data glove[J]. Journal of Changzhou Institute of Tech-nology，2005，18(5)：26-31(in Chinese).

［3］Dipietro L，Sabatini A M，Dario P. A survey of glovebased systems and their applications [J].IEEE Transactions on Systems，Man，and Cybernetics(Part C)：Applications and Reviews，2008，38(4)：461-482.

［4］Kato Hirokazu，Billinghurst Mark. Marker tracking and HMD calibration for a video-based augmented reality conferencing system[C]//Proceedings of the 2nd International Workshop on Augmented Reality(IWAR 99). San Francisco，USA，1999：85-94.

［5］管 濤，李利軍，王 乘. 利用單應(yīng)性矩陣改進(jìn)ARTOOLKIT三維注冊(cè)性能[J]. 微電子學(xué)與計(jì)算機(jī)，2007，24(1)：82-84.

Guan Tao，Li Lijun，Wang Cheng. Using homography to improve the registration performance of ARTOOLKIT[J].Microelectronics and Computer，2007，24(1)：82-84(in Chinese).

［6］蘇建明，張續(xù)紅，胡慶夕. 展望虛擬現(xiàn)實(shí)技術(shù)[J]. 計(jì)算機(jī)仿真，2004，21(1)：18- 21.

Su Jianming，Zhang Xuhong，Hu Qingxi. The prospect of virtual reality[J].Computer Simulation，2004，21(1)：18-21(in Chinese).

［7］Lepetit V，Plier J，F(xiàn)ua P. Point matching as a classification problem for fast and robust object pose estimation[C]// Proceedings of the 2004IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Lausam1e，Switzerland，2004：244-250.

［8］Placidi G. A smart virtual glove for the hand telerehabilitation[J].Computers in Biology and Medicine，2007，37(8)：1100-1107.

［9］ARToolKit [EB/OL]. http：//www.hitl.washington.edu/artoolkit/，2003-02.

［10］Inside ARToolKit[EB/OL]. http：//at.in.turn.de/twiki/pub/，Hiroshiima City University，2001.