潘 浩，田 豐，朱柯燁，王思純，趙慈航，沈秋萍

（上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院，上海 200072）

真三維顯示器上立體空間鼠標的實現(xiàn)及優(yōu)化

潘 浩，田 豐，朱柯燁，王思純，趙慈航，沈秋萍

（上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院，上海 200072）

通過介紹基于視覺的空間定位方法，解釋了真三維立體鼠標的實現(xiàn)原理，搭建了真三維立體鼠標系統(tǒng)。針對真三維立體鼠標的空間靜態(tài)與動態(tài)抖動問題，研究了真三維立體鼠標的去抖方法。為了實現(xiàn)兩點觸控，提出了鬼點去除方法，實現(xiàn)了兩個指尖的位置識別。實驗證明，在不需要佩戴任何標記和傳感器的條件下，基于視覺的立體鼠標能夠在真三維顯示器上準確繪制圖形且不受室內(nèi)環(huán)境光干擾。

真三維顯示；立體鼠標；動態(tài)抖動；鬼點

人們?yōu)榱四苷鎸嵉卦佻F(xiàn)客觀世界，對于立體顯示技術(shù)的研究從未間斷[1-4]?；隗w掃描的真三維顯示是目前最新的立體顯示技術(shù)之一，它無需佩戴任何類型的立體眼鏡，立體圖像就能呈現(xiàn)出來[5-7]。真三維顯示中所顯示的是真實三維空間中真實存在的，提供了幾乎所有的視覺深度信息、全角度立體畫面，與人們觀察世界的真實感受相一致，同時也符合所有生理和心理的深度暗示。真三維顯示技術(shù)被一致認為在教育、科研、醫(yī)療、國防等領(lǐng)域?qū)⒂辛己玫膽?yīng)用前景和重大的戰(zhàn)略價值，同時也將成為改變?nèi)藗內(nèi)粘９ぷ?、學(xué)習(xí)和生活方式的新一代顯示媒體之一。

目前，課題組已有可用于演示的真三維顯示器，且真三維圖像的處理能力也達到了實時人機互動的要求。傳統(tǒng)鼠標和觸摸面板只能實現(xiàn)在一個平面內(nèi)的精確書寫，當它用于真三維顯示器時，不能實現(xiàn)物理空間的三維指示，限制了真三維顯示器的交互功能和應(yīng)用范圍。文獻[8]對真三維顯示的用戶界面進行了方案研究，提出了幾種可行的人機交互方式，文獻[9]提出了基于手勢識別的真三維顯示交互方法和系統(tǒng)，實現(xiàn)了立體影像的操控。但基于手勢的交互方法不能實現(xiàn)立體鼠標的精確定位和空間繪圖；與用戶習(xí)慣的觸控手勢不同的專用手勢需要學(xué)習(xí)；為了識別準確的手勢，手指需要佩戴標記；只實現(xiàn)3個自由度的旋轉(zhuǎn)、平移、縮放等操作，未能實現(xiàn)更豐富的交互操控?，F(xiàn)有基于腦電波、眼動、數(shù)據(jù)手套等新型人機交互界面大部分必須佩戴傳感器，它們與深度傳感器類似，目前都不能在手的運動范圍內(nèi)實現(xiàn)小于1 mm的三維空間精確定位[10-13]；無法完成三維空間的繪圖與書寫功能。

為此，本文提出了一種用于真三維顯示器的低成本立體鼠標實現(xiàn)方法，并且對該立體鼠標的繪制效果進行了優(yōu)化。實驗表明，本文提出的立體鼠標系統(tǒng)在不佩戴標記的條件下實現(xiàn)了精確三維空間交互，完成了三維空間書寫功能，能在室內(nèi)環(huán)境下正常使用，同時也擴展了真三維顯示器的應(yīng)用領(lǐng)域。

1 真三維立體鼠標的實現(xiàn)原理

經(jīng)過數(shù)個立體顯示課題的研究，課題組已獲得數(shù)套可用于演示的真三維顯示器。

真三維顯示器可在空間呈現(xiàn)預(yù)先生成的靜態(tài)和動態(tài)立體影像，但由于缺乏交互方法，影像不能由用戶任意控制且不能實現(xiàn)準確的空間書寫與繪圖。

通常使用普通鼠標、觸摸板可實現(xiàn)二維平面內(nèi)的精確定位，而這些常用的方式并不能滿足三維空間定位要求。為了實現(xiàn)真三維顯示中的精確書寫、繪圖和影像互動等功能，本文提出一套基于光學(xué)反射的立體鼠標系統(tǒng)。在用戶指尖上不安裝任何輔助裝置的條件下，實現(xiàn)真三維顯示的精確繪圖和互動功能。

如圖1所示，基于紅外光反射感應(yīng)的真三維立體鼠標由固定于體空間支架上的紅外發(fā)光二極管、CMOS傳感器和環(huán)繞體空間的紅外定向反射材料組成。兩顆額定電流60 mA的紅外發(fā)光二極管、經(jīng)結(jié)構(gòu)集成后的一片850 nm紅外濾鏡與CMOS傳感器組成光傳感器。左傳感器和右傳感器這兩個光傳感器共同完成空間定位。三組定向反射帶分別位于外框底部、左側(cè)、右側(cè)，它們共同組成紅外反射面。紅外光由紅外發(fā)光二極管發(fā)出，射到反射面后沿原路返回，被CMOS傳感器接收。上述原理如圖1所示。紅外光場會在指尖進入時被遮擋，導(dǎo)致部分光線不能正常反射，從而手和指尖的陰影和形狀出現(xiàn)在CMOS獲得的圖像上。左右兩個傳感器的探測過程類似，左傳感器探測通過底部和右側(cè)反光獲得回歸光線，右傳感器探測通過左側(cè)和底部反光獲得回歸光線。紅外光接收傳感器獲取指尖的遮擋信息，再利用三角定位算法對遮擋點進行定位，從而確定指尖的位置。

圖1 真三維立體鼠標的光學(xué)原理及最終結(jié)構(gòu)圖

圖1中展示的真三維立體鼠標系統(tǒng)的最終立體結(jié)構(gòu)圖。它對反射帶作了簡化，僅在桌面上鋪滿紅外回歸反射帶，在桌面兩側(cè)安裝攝像傳感器。

2 真三維立體鼠標的實現(xiàn)方法

CMOS圖像傳感器能夠靈敏地獲取紅外光線。實用的真三維立體鼠標應(yīng)達到普通光電鼠標的60 f/s（幀/秒）響應(yīng)速度且同時具有較高的圖像分辨率。OV7725CMOS芯片能夠達到上述技術(shù)指標，故以它作為整個立體鼠標系統(tǒng)的圖像傳感器。視頻圖像獲取與處理模塊包含ARM處理器、圖像存儲器、電源與通信單元，如圖2所示。兩組視頻圖像獲取與處理模塊同時獲取指尖的圖像投影坐標。

圖2 立體鼠標系統(tǒng)模塊接連圖

配制OV7725（A級）的工作模式為：VGA 640×480視頻格式，以YUV8∶4∶4數(shù)據(jù)格式輸出，ARM處理器只存儲并處理Y分量信號，舍棄UV信號，視頻速率設(shè)置為60 f/s，最后設(shè)定OV7725為固定曝光模式。指令通過ARM的I2C總線配制CMOS傳感器。CMOS產(chǎn)生的信號包括像素時鐘、行同步、場同步和像素值，為了讓ARM處理器實時獲得VGA中的有效畫面，在CMOS和ARM處理器中添加一個異步FIFO。FIFO用來緩沖數(shù)據(jù)、隔離時鐘并保存CMOS輸出的部分圖像。2個ARM處理器各自分析有效圖像中指尖的圖像投影坐標，通過RS-232串口把投影坐標發(fā)送給計算機。計算機依據(jù)標定板合成計算指尖的實際物理空間坐標。根據(jù)連續(xù)位置的識別，計算機下達真三維顯示的繪制指令或控制指令。圖3為第一代立體鼠標實物系統(tǒng)。

圖3 第一代立體鼠標實物系統(tǒng)

3 真三維立體鼠標的優(yōu)化

3.1 靜態(tài)抖動的去除

手指舉在空中總是不斷在晃動，即使指尖相對空間靜止，其采樣的坐標也會微小變化，即出現(xiàn)靜態(tài)抖動現(xiàn)象。

方差用來度量隨機變量和其數(shù)學(xué)期望（即均值）之間的偏離程度。被記錄的一組點坐標值方差過大時，說明這一組點坐標變化范圍較大，即點在快速運動，反之一組點的坐標值方差較小時，說明此組點的坐標值在小范圍內(nèi)波動，一定范圍內(nèi)的波動可認為出現(xiàn)了靜止狀態(tài)下的抖動。首先計算一組點坐標的平均值

計算一組點的xyz坐標值的方差均在方差閾值L以內(nèi)，即

最后分別用其均值Pˉ代替每個點的xyz坐標值，則可以去除靜態(tài)抖動，即

圖4為靜態(tài)去抖的流程圖。

圖4 靜態(tài)去抖流程圖

3.2 動態(tài)抖動的去除

當指尖慢速畫線時會出現(xiàn)鋸齒狀抖動，即出現(xiàn)動態(tài)抖動現(xiàn)象。如式（4）和圖5所示，P4，P3，P2，P1為依次得到的4個連續(xù)指尖位置。當前點為P1，它與上一點P2的距離大于閾值R時，認為P1是相對于P2的突變點，將P1與P2的中點坐標值作為當前指尖位置的坐標，即M1的坐標

圖5 一次慢畫動態(tài)去抖的基本原理

在實驗過程中，指尖慢速畫線會存在大量點在小范圍內(nèi)變化。如圖5中P3與P3'，此時當前點P3'與點P3的距離小于閾值R，即在一個半徑為R的球內(nèi)，如果仍按上式計算將出現(xiàn)鋸齒點，為避免這種情況的發(fā)生，應(yīng)丟棄P3'點坐標。當大于閾值R的P2點出現(xiàn)時，將P2作為當前點計算，其計算方法為

圖6為一次慢畫動態(tài)去抖的算法流程圖。

圖6 一次慢畫動態(tài)去抖流程圖

圖7為一次慢畫動態(tài)去抖算法在二維平面上測試結(jié)果，即46 in（1 in=2.54 cm）屏幕上的觸控效果。動態(tài)去抖動的目的是讓慢畫的筆跡更平滑，鋸齒線為去抖動前的原始立體鼠標的運動路徑，平滑線為一次動態(tài)修正后的繪制路徑。

圖7 動態(tài)去抖算法在二維平面上投影效果

一次慢畫動態(tài)去抖能有效減弱繪圖時的抖動情況，但仍不能滿足用戶書寫的流暢體驗。故在一次慢畫動態(tài)去抖的基礎(chǔ)上再做二次去抖算法。二次去抖算法以求和平均為基礎(chǔ)，判定指尖運動速度，分區(qū)間設(shè)定求和平均總數(shù)，即運動距離D越小，求和平均數(shù)量I越多。

按運動距離D分為A，B，C共3個區(qū)域，對應(yīng)3個求和平均數(shù)量I，I∈{a,b,c}，當運動距離判定從A進入B時，I的值從a直接變?yōu)閎，但運動速度在臨界區(qū)域中來回變化，出現(xiàn)書寫跳筆。為解決區(qū)域劃分帶來的跳筆，本文提出求和平均變速算法。當運動距離判定從A進入B時，I的值從a漸變?yōu)閎，當運動距離判定在A和B之間不斷變化時，I的值在a和b之間漸變。圖8為各級去抖算法的平面顯示器繪制結(jié)果。

圖8 各級去抖算法的平面顯示器繪制結(jié)果

3.3 快畫插值

CMOS傳感器的數(shù)據(jù)頻率為60 Hz，即計算機每秒接收60個觸控點的數(shù)據(jù)，因此當快速畫線尤其畫曲線時，數(shù)據(jù)量不足而導(dǎo)致畫出的曲線出現(xiàn)較長直線段現(xiàn)象，從而使得曲線不夠圓滑，鼠標快速繪制也出現(xiàn)類似現(xiàn)象。雖然無法做到絕對的圓滑，但本文采用三次樣條插值的方法對原始數(shù)據(jù)進行補點，通過增加發(fā)送點的數(shù)量縮短點與點之間線段的長度，從而改善快畫時不夠圓滑的問題。插值算法流程如圖9所示。

圖9 動態(tài)去抖算法在二維平面上投影效果

3.4 兩點鬼點去除

為了實現(xiàn)立體影像的縮放、旋轉(zhuǎn)，立體鼠標系統(tǒng)需支持兩點的輸入。如圖10所示，兩個手指進入反射區(qū)域可實現(xiàn)兩點輸入。按單點檢測法可獲得兩個指尖的圖像坐標，但僅根據(jù)兩個攝像機拍攝的畫面無法判斷兩個指尖的物理位置。

如圖11所示，指尖的坐標根據(jù)左右傳感器拍攝到的手指的陰影來計算得到，當圖中的黑色圈或者灰色圈分別為兩個指尖的位置時，兩個傳感器同時看到的指尖影子位置是相同的，即探測結(jié)果相同，無法判斷兩個指尖的空間位置，出現(xiàn)了鬼點現(xiàn)象。

圖11 鬼點現(xiàn)象

指尖在圖像中的投影包含指尖的圖像坐標和指尖的寬度信息。利用指尖在兩個傳感器上的圖像坐標來計算指尖的空間位置，同時可以用指尖的寬度信息來排除鬼點。寬度信息代表了指尖與傳感器的距離，但寬度信息并不能準確估計距離，只能提供一個距離的大致范圍。本文提出兩點寬度疊加比較的方法，能夠基本解決鬼點問題。W1L為左側(cè)傳感器獲得的1號手指寬度，W2L為左側(cè)傳感器獲得的2號手指寬度，W1R為右側(cè)傳感器獲得的1號手指寬度，W2R為右側(cè)傳感器獲得的2號手指寬度，滿足式（7），可判定兩個手指在a、c區(qū)域內(nèi)。

滿足式（8），可判定兩個手指在b、d區(qū)域內(nèi)。

4 結(jié)果和討論

原型設(shè)計驗證了基于光學(xué)的立體鼠標系統(tǒng)的有效性。圖12展示了作者用手在空間書寫并在真三維顯示器上顯示軌跡。當手指在空中保持相對靜止時，立體鼠標不產(chǎn)生抖動，當手指在空中慢速繪圖時，動態(tài)的鋸齒也被去除，當手指快速書寫時，補充的插值點使得曲線更光滑。在室內(nèi)光環(huán)境下能從各個角度清晰地觀察到繪制的三維影像。

圖12 三角形與掃描面的匹配分類（截圖）

由于成像空間在一個有限的范圍內(nèi)，手指不能直接伸入顯示空間，缺少書寫的驗證反饋信息，故需要用戶的練習(xí)才能完成空間繪制；系統(tǒng)目前沒有加入手勢識別功能，手指進入光學(xué)反射面范圍就開始連續(xù)繪制，不能斷筆，書寫連筆字與真正意義上的文字書寫比較還有距離，需要加入簡單的手勢識別方法來完成類似鼠標按鍵的功能；兩個手指的遮擋會帶來坐標計算的誤差，這是由于遮擋后，不能區(qū)分兩個手指實際的中心位置，通過對遮擋后手指陰影的梯度分析可能提取出部分位置信息；CMOS傳感器目前沒有配置電子快門速度，手指快速移動產(chǎn)生拖影，這使得在空間上方快畫豎線時產(chǎn)生變形，通過同步場中斷和紅外LED閃光可能使得拖影減少；兩顆紅外LED的光強較弱，固定曝光值設(shè)定較高，從圖10可知畫面的暗噪聲較大，當具有大量紅外光的陽光照進室內(nèi)，用戶或觀眾遮擋陽光時，由于系統(tǒng)驗測到大于門限的陰影，故容易出現(xiàn)誤觸發(fā)，即鼠標隨機啟動繪制，根據(jù)傳感器特性，通過配置更多的大功率紅外LED并降低CMOS的曝光值能有效降低陽光的影響并可大大降低暗噪聲。上述問題將仍有待探討和深入研究，新的系統(tǒng)正在設(shè)計中。

5 結(jié)論

本文提出了一種用于真三維立體顯示的光學(xué)空間立體鼠標實現(xiàn)方法，實現(xiàn)了對空間范圍內(nèi)任意位置的精確指向，且不受室內(nèi)環(huán)境光變化的影響。在此基礎(chǔ)上，提出了立體鼠標靜態(tài)、動態(tài)去抖和快畫插值方法，實現(xiàn)了三維空間的平滑書寫與繪圖。為了實現(xiàn)兩點觸控，提高人機交互功能，提出了兩點鬼點的去除方法，實現(xiàn)了兩個指尖的區(qū)域位置識別，為真三維影像的交互旋轉(zhuǎn)、縮放奠定基礎(chǔ)。隨著空間交互技術(shù)的不斷改進，它們將帶來全新的信息表達方式，并大大擴展真三維顯示的應(yīng)用價值，同時也可能成為未來三維交互的一種嶄新途徑。目前，正繼續(xù)探索真三維顯示及其相關(guān)互動技術(shù)，積極爭取真三維顯示的產(chǎn)業(yè)化。

[1] 田豐，王曉明，劉錦高.自由立體顯示中的實景立體影像獲取方法[J].電視技術(shù)，2010，34（11）：23-26

[2]Sony.「デジタルコンテンツEXPO2009」出展のご案內(nèi)[EB/OL]. [2013-08-05].http://www.sony.co.jp/SonyInfo/News/Press/200910/ 09-123.

[3]楊倩，林志賢，杜世遠，等.基于雙面光柵的LED三維立體顯示系統(tǒng)的研制[J].電視技術(shù)，2012，36（23）：69-72.

[4]LANMAN D，WETZSTEIN G,HIRSCH M.Polarization fields:dy?namic light field display using multi-layer LCDs[J].ACM Trans. Graphics，2011，30（6）：1-9.

[5] 楊忠，李莉，鄂龍慧，等.基于數(shù)字微鏡的旋轉(zhuǎn)體掃描3維顯示系統(tǒng)[J].中國圖象圖形學(xué)報，2010，15（1）:149-154.

[6] 岳鍵，樊瓊劍，沈春林.體掃描顯示系統(tǒng)中螺旋旋轉(zhuǎn)屏及螺旋切片生成算法[J].中國圖象圖形學(xué)報，2011，16（8）:1466-1473.

[7]陸海霞，鄭文庭，陳為.彩色體三維顯示系統(tǒng)上基于GPU的實時均勻體素化算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2010，22（3）: 373-381.

[8]BALAKRISHNAN R，F(xiàn)IZMAURICE G W，KURTENBACH G. User interfacesfor volumetric displays[J].Computer，2001（5）: 37-45.

[9]GROSSMAN T，WIGDOR D，BALAKRISHNAN R.Multi-finger gestural interaction with 3D volumetric displays[J].ACM Trans. Graphics，2004，6（2）:61-70.

[10]BANG JW，LEE E，PARK K R.New computer interface com?bining gaze trackingand brainwave measurements[J].IEEE Trans. Consumer Electronics，2011，57（4）:1646-1651.

[11]NAWAZ T，MIAN M S，HABIB H A.Infotainment devices con?trol by eye gaze and gesture recognition fusion[J].IEEE Trans. Consumer Electronics，2008，54（2）：277-282.

[12]HEO H，LEE E C，PARK K R，et al.A realistic game system using multi-modal user interfaces[J].IEEE Trans.Consumer Electronics，2010，56（3）:1364-1372.

[13] HAN Y.A low-cost visualmotion data glove as an input device tointerpret human hand gestures[J].IEEE Trans.Consumer Elec?tronics，2010，56（2）:501-509.

Imp lementation and Optim ization of 3D M ouse for Volumetric Three-Dimensional Display

PAN Hao,TIAN Feng,ZHU Keye,WANG Sichun,ZHAO Cihang,SHEN Qiuping
（Institute of Film&TV Arts and Technology,Shanghai University,Shanghai 200072,China）

Through the introdction of vision based spatial positioning method,the principle of volumetric 3D mouse is explained and its system is built.Jitter revomal method is proposed to solve the problem of spatial static and dynamic jitter.In order to achieve two touch,ghost point removal method is proposed，the position identification of two fingertips is achieved.Demonstrated in the experiments,the vision based 3D mouse can draw graphics accurately on the volumetric three-dimensional display without any marks or sensors interference from ambient light.

volumetric three-dimensional display;volumetric 3D mouse;dynamic jitter;ghost point

TN87；TN919.82

A

?? 盈

2013-09-22

【本文獻信息】潘浩，田豐，朱柯燁，等.真三維顯示器上立體空間鼠標的實現(xiàn)及優(yōu)化[J].電視技術(shù)，2014，38（8）.

上海市教育委員會科研創(chuàng)新項目（12YZ008）；國家大學(xué)生創(chuàng)新項目（sdcx2012045）