摘 要：在實(shí)際應(yīng)用中，有一種通過(guò)紅外發(fā)光筆與大尺寸屏幕相結(jié)合的人機(jī)交互技術(shù)，利用紅外發(fā)光筆觸摸屏幕時(shí)發(fā)出紅光，光斑圖像被攝像頭拍攝，通過(guò)圖像求重心的方法確定書(shū)寫(xiě)筆的位置坐標(biāo)。分析了該算法的不足，并提出了一種新的紅外發(fā)光筆定位改進(jìn)算法，新算法可以克服現(xiàn)有算法所帶來(lái)的紅外發(fā)光筆定位不準(zhǔn)確的缺陷，同時(shí)又不影響觸摸裝置交互的實(shí)時(shí)性，實(shí)際應(yīng)用中驗(yàn)證了新算法的有效性。



關(guān)鍵詞：觸摸定位； DLP觸摸裝置； 圖像處理； 曲率

中圖分類(lèi)號(hào)：TN911.8-34

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004-373X(2012)01-0178-03

An efficient approach to capture touch point on the large touch screen based on curvature



SHU Gui-qing1， GUO Guang-ming1， XIAO Ping2

(Computer System and Communication Laboratory， Beijing University of Chemical Technology， Beijing 100029， China)



Abstract： A human-machine interaction technology combined IR-pen(pen with IR) and large screen is introduced in practical application. It is inaccurate to detect the touch point during the pen is not vertical with the touch screen. In the paper， an efficient approach to detect the touch point about the touch apparatus is proposed， which can be used to solve the problem， no matter the pen is vertical with the screen or not. The new method does not influenced feasibility of the touch response. The experimental results show a good capability of detection and localization.



Keywords： touch localization; DLP touch apparatus; image processing; curvature





收稿日期：2011-08-21

基金項(xiàng)目:廣東省自然科學(xué)基金項(xiàng)目(10151064007000016)

0 引 言

大尺寸屏幕交互式觸摸產(chǎn)品越來(lái)越受到眾多用戶(hù)地喜愛(ài)，在教學(xué)多媒體等領(lǐng)域有著廣泛地應(yīng)用前景。目前有一種大尺寸屏幕觸摸產(chǎn)品以光學(xué)和攝像頭相結(jié)合的定位技術(shù)[1-2]，包括攝像頭表面定位(用于平板定位裝置)和攝像頭后定位(用于DLP定位裝置)兩種方式。這兩種方式，有的是通過(guò)輔助紅外激光源，采用手指或無(wú)源筆(被動(dòng)式發(fā)光筆)書(shū)寫(xiě)；另一種沒(méi)有輔助紅外激光源，直接采用有源筆(主動(dòng)式發(fā)光筆)書(shū)寫(xiě)，有源筆在接觸屏幕時(shí)受擠壓，發(fā)射紅光，光斑圖像被攝像頭傳感器捕捉到，傳送到圖像采集卡處理，通過(guò)圖像處理識(shí)別技術(shù)，確定書(shū)寫(xiě)筆的起筆位置。

由于產(chǎn)品實(shí)際應(yīng)用中的實(shí)時(shí)性要求，因此確定有源筆的書(shū)寫(xiě)位置算法要簡(jiǎn)單而有效。目前確定有源筆起筆位置的方法是通過(guò)采集有源筆的圖像，計(jì)算圖像的重心坐標(biāo)，把圖像的重心作為起筆的位置。這種方法雖簡(jiǎn)單實(shí)用，但常常判斷不準(zhǔn)確。當(dāng)手握筆與觸摸表面垂直時(shí)，如圖1所示，有源筆發(fā)光四周比較均勻，采集的光斑圖像邊緣比較圓滑，二值化圖像近似一個(gè)圓，起筆的位置與圖像重心坐標(biāo)重合。當(dāng)手握筆與觸摸表面不垂直而傾斜時(shí)，如圖2所示，有源筆的發(fā)光部分被遮擋，采集的光斑圖像邊緣彎曲度變化范圍較大，二值化圖像類(lèi)似扇形，這樣求出的圖像的重心坐標(biāo)就不是起筆位置，起筆位置在圖形邊緣比較尖的部位，這樣就出現(xiàn)落筆位置和書(shū)寫(xiě)顯示位置不一樣，書(shū)寫(xiě)效果顯得很不自然，尤其在用直尺畫(huà)線(xiàn)時(shí)，握筆一般是傾斜于觸摸表面，顯示效果就更不理想。

圖1 有源筆與屏幕垂直時(shí)落筆位置與

重心坐標(biāo)重合

圖2 有源筆與屏幕垂直時(shí)落筆位置與

重心坐標(biāo)不重合

1 曲率計(jì)算

由于曲率大小可以反映曲線(xiàn)邊緣的彎曲程度，文獻(xiàn)[4]給出了一種工程上比較簡(jiǎn)便實(shí)用的計(jì)算曲率的方法，其算法簡(jiǎn)要敘述如下:

如圖3所示，計(jì)算曲線(xiàn)邊緣點(diǎn)的曲率。

曲率計(jì)算以輪廓點(diǎn)p(i)為中心、半徑為R的區(qū)域S(i)，所述區(qū)域S(i)滿(mǎn)足：

S(i)={p(i)=(x(j)，y(j))｜j=i-R， 

i-R+1，…，i，…，i+R-1，i+R}

式中:x(j)為輪廓點(diǎn)p(j)的x軸坐標(biāo)值;y(j)為輪廓點(diǎn)p(j)的y軸坐標(biāo)值;R為所述區(qū)域S(i)的半徑值；輪廓點(diǎn)p(i)將所述區(qū)域S(i)分成前后兩個(gè)區(qū)域，曲率計(jì)算模塊計(jì)算前后兩個(gè)區(qū)域各點(diǎn)的幾何中心點(diǎn)分別為a(i)，b(i)。a(i)，b(i)分別滿(mǎn)足：

a(i)=(x(a)，y(a))=(∑ij=i－Rx(j)/

R，∑ij=i－Ry(j)/R)

式中:x(a)為點(diǎn)a(i)的x軸坐標(biāo)值;y(a)為點(diǎn)a(i)的y軸坐標(biāo)值。

b(i)=(x(b)，y(b))=(∑i+Rj=i+1x(j)/R，∑i+Rj=i+1y(j)/R)

式中:x(b)為點(diǎn)b(i)的x軸坐標(biāo)值;y(b)為點(diǎn)b(i)的y軸坐標(biāo)值。

圖3 曲率計(jì)算值示意圖

計(jì)算所得的幾何中心點(diǎn)a(i)與輪廓點(diǎn)p(i)的向量方向角θa(i)滿(mǎn)足：

θa(i)=arctan［(y(i)－y(a))/(x(i)－x(a))］

式中:x(i)為輪廓點(diǎn)p(i)的x軸坐標(biāo)值;y(i)為輪廓點(diǎn)p(i)的y軸坐標(biāo)值;x(a)為點(diǎn)a(i)的x軸坐標(biāo)值;y(a) 為點(diǎn)a(i)的y軸坐標(biāo)值；

計(jì)算所得的幾何中心點(diǎn)b(i)與輪廓點(diǎn)p(i)的向量方向角θb(i)滿(mǎn)足：

θb(i)=arctan［y(b)－y(i))/(x(b)－x(i))］

式中:x(i)為輪廓點(diǎn)p(i)的x軸坐標(biāo)值;y(i)為輪廓點(diǎn)p(i)的y軸坐標(biāo)值;x(b)為點(diǎn)b(i)的x軸坐標(biāo)值;y(b)) 為點(diǎn)b(i)的y軸坐標(biāo)值；

輪廓點(diǎn)p(i)的曲率θ(i)滿(mǎn)足:

θ(i)=θb(i)－θa(i)

(1)

式中:θa(i)為幾何中心點(diǎn)a(i)與輪廓點(diǎn)p(i)的向量方向角;θb(i)為幾何中心點(diǎn)b(i)與輪廓點(diǎn)p(i)的向量方向角。

2 一種改進(jìn)的有源筆書(shū)寫(xiě)位置算法及其處理流程

本文提出如下的一種改進(jìn)方案，計(jì)算流程如圖4所示。圖4中各框圖描述如下:

(1) 當(dāng)有源筆觸摸屏幕時(shí)，攝像頭將拍攝并采集有源筆觸摸屏幕的圖像；

(2) 利用圖像的顏色飽和度或RGB色彩亮度[5]對(duì)圖像進(jìn)行二值化處理的，并獲取相關(guān)坐標(biāo)；

(3) 利用拉普拉斯高斯[6]圖像邊緣提取算法提取二值化圖像的邊緣輪廓；

圖4 有源筆觸摸定位處理流程圖

(4) 按照公式(1)計(jì)算圖像邊緣輪廓各點(diǎn)的曲率；

(5) 比較邊緣輪廓各點(diǎn)的曲率大小，若圖像邊緣輪廓上任意兩點(diǎn)的曲率差值大小小于設(shè)定閾值，則計(jì)算下式：

p0=(x0，y0)=(∑i∈Sx(i)/#S，∑i∈Sy(i)/#S)

式中:S表示所有邊緣輪廓點(diǎn)的集合;#S表示邊緣點(diǎn)像素個(gè)數(shù)，x0為重心p0的x軸坐標(biāo)值，y0為重心p0的y軸坐標(biāo)值;x(i)為邊緣輪廓點(diǎn)i的x軸坐標(biāo)值;y(i)為邊緣輪廓點(diǎn)i的y軸坐標(biāo)值。

否則，計(jì)算下式：

p0=(x0，y0)=(∑j∈S(i)x(j)/(2R)，∑j∈S(i)y(j)/(2R))

式中:R為由以最大曲率的邊緣輪廓點(diǎn)為中心和其附近的左右若干個(gè)邊緣輪廓點(diǎn)構(gòu)成的區(qū)域的半徑值;x(j)為輪廓點(diǎn)的x軸坐標(biāo)值;y(j)為輪廓點(diǎn)的y軸坐標(biāo)值。

p0即為所求的書(shū)寫(xiě)坐標(biāo)。

(6) 計(jì)算所得的坐標(biāo)并通過(guò)控制電腦的顯示裝置進(jìn)行顯示。

3 實(shí)驗(yàn)效果

實(shí)驗(yàn)中采用DLP觸摸裝置，如圖5所示。屏幕大小為50英寸，觸摸定位裝置如圖5所示。觸摸筆是一種內(nèi)嵌紅外光源的有源筆。CMOS攝像頭或CCD攝像頭安裝在觸摸屏幕的后面，采集速率為63 f/s， 通過(guò)USB接口將采集圖像直接輸出到圖像處理系統(tǒng)，圖像處理系統(tǒng)進(jìn)行有源筆書(shū)寫(xiě)位置坐標(biāo)計(jì)算。圖像處理系統(tǒng)由承擔(dān)圖像二值化的FPGA芯片以及承擔(dān)二值化圖像邊緣提取和曲率計(jì)算的主控芯片ARM組成，有源筆的書(shū)寫(xiě)位置坐標(biāo)由圖像處理板的USB接口輸出給外接控制電腦，本觸摸裝置觸摸精度達(dá)到3 mm。

圖5 基于紅外發(fā)光筆的DLP屏幕書(shū)寫(xiě)定位裝置

圖6和圖7是采集的有源筆觸摸屏幕的光斑圖像，采用顏色飽和度對(duì)他們進(jìn)行二值化圖像處理，得到圖像見(jiàn)圖1和圖2，本文利用拉普拉斯高斯邊緣輪廓提取方法得到圖像如圖7和圖8所示，最后計(jì)算邊緣點(diǎn)的曲率。

圖6 有源筆垂直屏幕表面光斑圖像

圖7 有源筆不垂直屏幕表面光斑圖像

圖8 圖1的邊緣提取圖像

在實(shí)驗(yàn)中，曲率閾值取為0.6，#S=7(曲率點(diǎn)左右區(qū)域各取7個(gè)點(diǎn))。通過(guò)曲率比較，得到觸摸點(diǎn)坐標(biāo)就是如圖1和圖2的起筆位置，實(shí)驗(yàn)效果表明，該算法不論書(shū)寫(xiě)的有源筆與屏幕垂直與否，都能準(zhǔn)確地得到書(shū)寫(xiě)筆觸摸屏幕時(shí)真實(shí)的位置。實(shí)驗(yàn)表明了本算法定位效果的有效性。另外，由于算法簡(jiǎn)單，觸摸響應(yīng)時(shí)間延時(shí)為16 ms，相當(dāng)于延時(shí)一幀圖像，實(shí)際應(yīng)用中可在ＦPGA中先緩存一幀圖像，這樣可帶來(lái)更好的實(shí)時(shí)效果。實(shí)驗(yàn)表明該算法的有效性和實(shí)時(shí)性。

圖9 圖2的邊緣提取圖像

4 結(jié) 語(yǔ)

與現(xiàn)有技術(shù)相比，本文方法具有如下優(yōu)點(diǎn)：

(1) 本文在求取有源筆的起筆位置時(shí)，通過(guò)判斷各點(diǎn)間的曲率差值大小來(lái)選擇不同的求重心方法，可獲得精確的起筆的位置，不論使用者握筆與書(shū)寫(xiě)平面垂直與否，都可自動(dòng)校正顯示的位置為落筆的位置，具有定位精度高等優(yōu)點(diǎn)。

(2) 本文提出的算法簡(jiǎn)單，能滿(mǎn)足工程中實(shí)時(shí)性的要求，具有實(shí)時(shí)性高等優(yōu)點(diǎn)。

參 考 文 獻(xiàn)

［1］盧如西，張軍，楊月.一種基于CMOS數(shù)字圖像傳感器定位裝置及定位方法:中國(guó)，200610122739［P/OL］.［2007-03-21].http://www.qianyan.biz/Patent-Display/200610122739.html.



［2］張軍，楊月.一種基于圖像感應(yīng)器的拼接墻定位系統(tǒng)及定位方法:中國(guó)，200810029067［P/OL］.［2010-06-09］.http://zhuanli.baidu.com/pages/sipo/20081002/90/ea4d52e6c009 a9006d38de8e26d1125e_0.html.



［3］張文景，許曉鳴.一種基于曲率提取輪廓特征點(diǎn)的方法［J］.上海交通大學(xué)學(xué)報(bào)，1999，33(5):592-595.



［4］章毓晉.圖像處理與分析教程［M］.北京：人民郵電出版社，2009.



［5］求是科技.Matlab 7.0從入門(mén)到精通［M］.北京：人民郵電出版社，2006.



［6］鄧中亮，楊子明，陳杰.一種自適應(yīng)電阻式觸摸屏控制器的設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2011，34（2）:123-126.



［7］張燕妮.基于LPC2478與ADS7843的工業(yè)觸摸屏設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2010，33（14）:173-174.