凌財(cái)進(jìn)，　曾　婷，　黑霞麗，　張　超

(1.河源職業(yè)技術(shù)學(xué)院 電子與信息工程學(xué)院,廣東 河源　517000；2.特拉華州立大學(xué) 工程學(xué)院，美國(guó)特拉華　19901)

?

壓力觸控下虛擬現(xiàn)實(shí)應(yīng)用框架的探索與研究

凌財(cái)進(jìn)1，2，曾婷1，黑霞麗2，張超2

(1.河源職業(yè)技術(shù)學(xué)院 電子與信息工程學(xué)院,廣東 河源517000；2.特拉華州立大學(xué) 工程學(xué)院，美國(guó)特拉華19901)

摘要:針對(duì)虛擬現(xiàn)實(shí)技術(shù)傳統(tǒng)項(xiàng)目中互動(dòng)不足問(wèn)題，提出應(yīng)用目前移動(dòng)終端最新的交互技術(shù)-壓力觸控技術(shù)和觸覺(jué)反饋技術(shù)，提升虛擬現(xiàn)實(shí)應(yīng)用項(xiàng)目在觸覺(jué)交互方面的性能.通過(guò)對(duì)壓力觸控技術(shù)的研究，提出一種基于壓力觸控的虛擬現(xiàn)實(shí)應(yīng)用開(kāi)發(fā)的技術(shù)框架，實(shí)現(xiàn)了壓力觸控技術(shù)API交互接口統(tǒng)一封裝和虛擬現(xiàn)實(shí)應(yīng)用開(kāi)發(fā)接口的統(tǒng)一管理.在此平臺(tái)上開(kāi)發(fā)了兩個(gè)虛擬現(xiàn)實(shí)應(yīng)用項(xiàng)目，證明了技術(shù)框架的可行性，以及壓力觸控技術(shù)對(duì)虛擬現(xiàn)實(shí)系統(tǒng)的交互性能的提升.

關(guān)鍵詞:壓力觸控;壓力傳感;觸覺(jué)反饋;虛擬現(xiàn)實(shí);游戲開(kāi)發(fā)

壓力觸控(Force touch)又稱為3D壓力觸控感應(yīng)技術(shù)，是在觸摸(touch)技術(shù)基礎(chǔ)上再創(chuàng)新和改進(jìn)，在二維基礎(chǔ)上增加了“深度”維度的一種技術(shù)，是一種具有時(shí)代意義的技術(shù)變革，被公認(rèn)為“一次革命性的交互創(chuàng)新”.原來(lái)的手機(jī)屏幕只可以進(jìn)行二維的觸摸，但增加這種壓力觸控技術(shù)后手機(jī)屏幕具有了“深度”的三維觸摸屏.因此，使得這種壓力觸控屏不僅具備偵測(cè)按壓技術(shù)，還提供了豐富的人機(jī)接口，可以通過(guò)軟件設(shè)計(jì)實(shí)現(xiàn)各種控制鍵、捷徑和觸覺(jué)反饋的功能.

本文以虛擬現(xiàn)實(shí)應(yīng)用App和游戲開(kāi)發(fā)為載體，以應(yīng)用壓力觸控為目標(biāo)，結(jié)合虛擬現(xiàn)實(shí)技術(shù)與壓力觸控進(jìn)行研究與探索.

1相關(guān)研究

壓力觸控技術(shù)的應(yīng)用開(kāi)始改變?nèi)藗兪褂檬謾C(jī)和電腦的方式，改變?nèi)藗儗?duì)虛擬現(xiàn)實(shí)和游戲的操作方式.這一技術(shù)的推廣與運(yùn)用將提高游戲和虛擬現(xiàn)實(shí)應(yīng)用水平，提升用戶的終端體驗(yàn).

從發(fā)布的專利資料看，最早從事這一技術(shù)研究的是一家位于美國(guó)加州叫Elo Touchsystems的公司，該公司于1971年成立，最早從事圖像處理和各種傳感器研究與生產(chǎn)，也是最早生產(chǎn)觸摸屏的公司之一.文獻(xiàn)[1]顯示Elo Touchsystems公司于1999年有關(guān)壓力觸控方面的專利，是最早提出壓力觸控技術(shù)并設(shè)計(jì)出一種基于電容實(shí)現(xiàn)的雙傳感器壓力觸摸屏.同樣位于加州的Synaptics公司是生產(chǎn)和研究各種觸控板的OEM商，是較早從事壓力觸控技術(shù)研究的公司之一，在2009年提出一種基于多傳感器的壓力測(cè)量方法并申請(qǐng)了專利[2].同年9月，蘋(píng)果公司提出一種具有壓力觸控和動(dòng)力反饋的觸摸板的專利，專利采用隔層設(shè)計(jì)和內(nèi)部光學(xué)膠(OCA)的膠材間隙變化原理，將壓力感測(cè)元件安裝在不同層基板上，當(dāng)表面承受按壓力道時(shí)，得知按壓力量大小及位置[3]，這是蘋(píng)果公司在關(guān)于壓力觸控方面的最早的專利.三星公司作為全球最大的手機(jī)生產(chǎn)商對(duì)壓力觸控技術(shù)也投入了大量精力研發(fā)，2014年申請(qǐng)了名稱“一種新型的觸摸輸入設(shè)備和電子設(shè)備”的專利，重點(diǎn)強(qiáng)調(diào)該技術(shù)可以解決屏幕小的問(wèn)題，新技術(shù)可以快速訪問(wèn)圖標(biāo)，瞬間傳達(dá)更多信息，提高交互效率[4]；文獻(xiàn)[7]中，三星公司還就壓力和電壓的形成及壓力位置形成申請(qǐng)了專利.2014年底，蘋(píng)果公司在文獻(xiàn)[3]的基礎(chǔ)上提出一種基于用戶自主選擇壓力觸控接口的設(shè)備和接口的實(shí)現(xiàn)方法[5,6]，進(jìn)一步把壓力觸控技術(shù)實(shí)用化，并于2015年9月中旬正式推出具有壓力觸控功能的iphone 6S/6S plus手機(jī).Senton公司針對(duì)壓力觸控技術(shù)的應(yīng)用提出了基于壓力觸控的虛擬鍵盤(pán)接口方面的專利，讓壓力觸控技術(shù)在應(yīng)用層面更進(jìn)一層.2015年9月初，華為公司在柏林展會(huì)上推出Mate S手機(jī).該款手機(jī)集成了壓力觸控技術(shù)，率先于蘋(píng)果公司的iphone 6s/6s plus發(fā)布，引起全球關(guān)注.從技術(shù)資料上看，華為最新的Mate S手機(jī)采用的是Synaptics公司的Synaptics 3700系列壓力觸控技術(shù).此外，國(guó)內(nèi)的中興通訊公司也推出了基于壓力觸控的axon型號(hào)手機(jī).三星公司宣稱將在2016年新推出的 Galaxy S7手機(jī)上增加壓力觸控技術(shù).雖然從專利技術(shù)看，較早就有壓力觸控這項(xiàng)技術(shù)了，由于生產(chǎn)技術(shù)和集成技術(shù)的限制，壓力觸控技術(shù)不能微型化，直到2015年關(guān)于壓力觸控的微型化的相關(guān)專利出現(xiàn).文獻(xiàn)[8]中，Li等人提出生產(chǎn)一種無(wú)色透明的薄膜狀的壓力觸控層可以應(yīng)用在塑料、金屬板等材料上，并通過(guò)簡(jiǎn)單的接口與外部通訊，若能成功，壓力觸控不再是幾個(gè)頂級(jí)手機(jī)商的游戲.觸控技術(shù)的出現(xiàn)使得人機(jī)交互提升到新的階段，將改變虛擬現(xiàn)實(shí)技術(shù)及基于虛擬現(xiàn)實(shí)技術(shù)的游戲操作方式.

虛擬現(xiàn)實(shí)技術(shù)是2015年信息技術(shù)的“關(guān)鍵詞”之一，GOOGLE、微軟及蘋(píng)果公司都整合或收購(gòu)虛擬現(xiàn)實(shí)技術(shù)的公司和專利，為虛擬現(xiàn)實(shí)的進(jìn)一步發(fā)展蓄力.壓力觸控技術(shù)作為一個(gè)全新的實(shí)用技術(shù)使得屏幕從平面走向“深度”，不僅使得虛擬現(xiàn)實(shí)應(yīng)用在交互接口方面具有良好的人機(jī)交互和視窗效果，而且在虛擬現(xiàn)實(shí)的“沉浸”體驗(yàn)方面將會(huì)有革命性的變化.目前，國(guó)內(nèi)外一些游戲公司在嘗試做基于虛擬現(xiàn)實(shí)的游戲和應(yīng)用，但由于要通過(guò)各種穿戴裝備、3D眼鏡、3D手套等來(lái)實(shí)現(xiàn)，在推廣方面并不順利.因此，壓力觸控技術(shù)下的虛擬現(xiàn)實(shí)應(yīng)用開(kāi)發(fā)面臨巨大的機(jī)遇，本文將從壓力觸控技術(shù)與虛擬現(xiàn)實(shí)技術(shù)的融合與應(yīng)用的角度進(jìn)行探索研究.

2原理分析

2.1原理機(jī)制

最新推出的壓力觸控屏，結(jié)構(gòu)如圖1所示，由屏幕保護(hù)層、壓力傳感層和顯示器層構(gòu)成，在壓力傳感層四個(gè)角安裝了壓力傳感器，用來(lái)接收屏幕上的觸控的壓力[2]，如圖1所示.在壓力觸控技術(shù)出現(xiàn)前，手機(jī)屏結(jié)構(gòu)，只是普通的觸摸屏幕，由屏幕保護(hù)層和顯示器層兩層結(jié)構(gòu)構(gòu)成，只能在x,y軸上進(jìn)行左右拖動(dòng)，放大縮小等平面操作.

圖1　壓力觸控屏結(jié)構(gòu)圖　　　　　　　　　　　　　　圖2　觸控屏在觸控下的變化模擬圖

由于壓力傳感層的存在，使得新型的壓力觸控型屏幕除了左右上下操作的x,y軸外，還有了深度的操作的Z軸.反應(yīng)極其靈敏的壓力傳感器能感受到屏幕不同部位不同力度的觸控，屏幕會(huì)隨著力度產(chǎn)生微小的彎曲變化，如圖2所示，(a)圖為觸壓前的模擬圖，(b)圖為觸壓時(shí)的模擬變化圖.

圖3　觸壓鍵的壓力和電壓級(jí)別

不同廠家會(huì)根據(jù)需要設(shè)置相應(yīng)的壓力級(jí)別，例如：三星的壓力觸控分成五個(gè)不同級(jí)別，分別對(duì)應(yīng)3V/2.5V/2V/1.5V/1V 五個(gè)級(jí)別的電壓[4,7]，如圖3所示.當(dāng)用戶按壓觸摸板的表面，壓力傳感器可拾取四個(gè)相應(yīng)的壓力信號(hào).壓力信號(hào)可以被壓力的信號(hào)處理電路進(jìn)行處理，通過(guò)閾值響應(yīng)對(duì)應(yīng)事件.

2.2觸壓計(jì)算

實(shí)際應(yīng)用生產(chǎn)中，為降低屏幕的厚度和生產(chǎn)成本，通常采用四個(gè)壓力傳感器的布局方式.由于壓力傳感器不是在屏幕的正下方，因此每一次觸壓需要通過(guò)四個(gè)壓力傳感器計(jì)算接觸點(diǎn)的真實(shí)力度F和坐標(biāo)位置(x,y). 我們使用基于壓力位置信息檢測(cè)的多元化的疊加測(cè)量壓力，具體實(shí)現(xiàn)方法是通過(guò)逆矩陣迭加計(jì)算的方法.

設(shè)四個(gè)壓力測(cè)量?jī)x器分別為FTL,FFR,FBL,FBR，通過(guò)觸壓位置與壓力傳感器的位置關(guān)系計(jì)算.設(shè)觸壓位置變化的起始和終點(diǎn)分別為A(x1,y1),B(x2,y2).設(shè)屏幕是一個(gè)尺寸為WH的矩形，通過(guò)線性模型可以得到(FTL,FFR,FBL,FBR與F1,F2及壓力檔次之間的關(guān)系[2]，如公式1所示.

(1)

公式(1)中只有F1,F2是未知數(shù).此外，根據(jù)合力關(guān)系可得：

F1+F2=FTL+FTR+FBL+FBR

(2)

為更好理解和計(jì)算，公式(1)可寫(xiě)成：AX=B

(3)

其中X是一個(gè)包含F(xiàn)1,F2的矩陣.利用偽逆矩陣關(guān)系，可得：X=(ATA)-1AB

(4)

因此，可以求得A(x1，y1),B(x2,y2)對(duì)應(yīng)的觸壓力.

2.3觸覺(jué)反饋原理

圖4　觸覺(jué)反饋原理圖

觸覺(jué)反饋是通過(guò)專門(mén)的觸覺(jué)引擎來(lái)完成.引擎的基本原理是根據(jù)輸出電壓和頻率變化產(chǎn)生脈沖振感.根據(jù)不同的定義產(chǎn)生相應(yīng)的振感，還可結(jié)合聲音變化來(lái)實(shí)現(xiàn).假設(shè)當(dāng)頻率在一定范圍內(nèi)從小到大變化，人的手指會(huì)感覺(jué)由疏松向致密的脈沖振感，如圖4觸覺(jué)反饋原理圖所示.

在虛擬現(xiàn)實(shí)應(yīng)用中，觸覺(jué)反饋非常重要.一直以來(lái)研究人員都是通過(guò)外置穿戴設(shè)備來(lái)實(shí)現(xiàn)，費(fèi)用高且不能很好地推廣應(yīng)用.因此，類似手機(jī)這樣小型的應(yīng)用平臺(tái)兼有壓力觸控和觸覺(jué)反饋系統(tǒng)的裝置是虛擬現(xiàn)實(shí)應(yīng)用的理想平臺(tái).

2.4硬軟件要求

操作系統(tǒng)定義了對(duì)應(yīng)的壓力傳感器接口，一方面接受來(lái)自壓力傳感器的變化，另一方面給App開(kāi)發(fā)者提供有關(guān)封裝接口.因此，基于壓力觸控技術(shù)的應(yīng)用除了在硬件方面有要求，在操作系統(tǒng)上和傳統(tǒng)手機(jī)也是不一樣的.根據(jù)蘋(píng)果公司實(shí)驗(yàn)室開(kāi)發(fā)文檔提示，壓力觸控技術(shù)須在IPhone 6s/6s plus以上硬件環(huán)境，并且是iOS9.0版本以上操作系統(tǒng).同理，壓力觸控技術(shù)在Android類手機(jī)上的應(yīng)用也需有對(duì)應(yīng)的硬件和軟件環(huán)境要求.

3開(kāi)發(fā)技術(shù)框架

此框架在壓力觸控理論的基礎(chǔ)上，通過(guò)API再封裝的形式主要整合了蘋(píng)果開(kāi)發(fā)者社區(qū)SceneKit等五個(gè)優(yōu)勢(shì)模塊，以3D虛擬現(xiàn)實(shí)技術(shù)應(yīng)用為重點(diǎn)，結(jié)合壓力觸控新技術(shù)和虛擬現(xiàn)實(shí)開(kāi)發(fā)API進(jìn)行整合和封裝，以適用壓力觸控的需要和快速開(kāi)發(fā)的需要.

3.1框架開(kāi)發(fā)環(huán)境

目前，由于技術(shù)條件等原因，壓力觸控技術(shù)的開(kāi)發(fā)和應(yīng)用條件相對(duì)嚴(yán)格，只有蘋(píng)果公司公開(kāi)了其API，框架具體環(huán)境參數(shù)如表1所示.

表1　框架開(kāi)發(fā)環(huán)境

3.2框架介紹

本框架基于蘋(píng)果開(kāi)發(fā)環(huán)境，整合了SceneKit, SpriteKit, Metalt等工具模塊，由XCode負(fù)責(zé)資源打包管理、實(shí)時(shí)編輯，以swift為主要語(yǔ)言并根據(jù)開(kāi)發(fā)需求進(jìn)行定制的一個(gè)實(shí)用框架.其中，SpriteKit是一個(gè)實(shí)用的2D游戲框架，負(fù)責(zé)3D操作之外的大部分交互；SceneKit是基于虛擬現(xiàn)實(shí)的一個(gè)3D游戲框架，主要支持粒子系統(tǒng)和物理模型；Metalt 是蘋(píng)果公司對(duì)圖形渲染開(kāi)發(fā)的API集，效率比OpenGL高10倍以上，可以實(shí)現(xiàn)基于GPU去考慮多線程渲染；GamePlayKit主要提供游戲?qū)嶓w組件系統(tǒng)和一些通用模式，同時(shí)它還提供了包路算法、模糊邏輯和規(guī)則系統(tǒng)算法在內(nèi)的各種游戲算法；Model I/O模塊主要負(fù)責(zé)快速加載和導(dǎo)出3D資源文件，以及物理的材質(zhì)和光照的處理.開(kāi)發(fā)框架構(gòu)成圖如圖5所示.

蘋(píng)果公司在iOS9上提供了三個(gè)壓力觸控的API，分別是主屏幕上快速鏈接API，程序預(yù)覽推送及自定義接口.在應(yīng)用開(kāi)發(fā)中，前兩個(gè)API是蘋(píng)果公司預(yù)置的功能，主要用來(lái)快速、輕松訪問(wèn)，主要用在菜單交互和功能預(yù)覽等方面.真正能提升應(yīng)用水準(zhǔn)的就落在第三個(gè)API的自定義上.

EngineAPI,UTAPI,ForceTouchAPI,VR/ARAPI……

SceneKit SpriteKit MetaltUIKit GameplayKit ModelI/O

SOFTWARELEVEL:iOS9.0+,XCode7.0+,Swift

HARDWARELEVEL:OS+IPhone6S/6SPlus

圖5技術(shù)框架構(gòu)成圖

3.3壓力觸控相關(guān)類和應(yīng)用

主要體現(xiàn)在三個(gè)API上.一是快速鏈接應(yīng)用，包括通過(guò)數(shù)組直接配置實(shí)現(xiàn)的靜態(tài)快速鏈接和動(dòng)態(tài)快速鏈接功能，動(dòng)態(tài)鏈接功能通過(guò)WK Web View UI Application Shortcut Item, UI Mutable Application Shortcut Item,UI Application Shortcut Icon 三個(gè)類實(shí)現(xiàn)，都是iOS9為了壓力觸控應(yīng)用增加的類和方法；二是為了實(shí)現(xiàn)程序 Peek 和 Pop功能，iOS9在 UI View Controller 類增加了UI Preview Action，UI Preview Action Group類和UI Preview Action Item協(xié)議及通過(guò)WK Web View類即可實(shí)現(xiàn)WEB類的應(yīng)用實(shí)現(xiàn)Peek 和 Pop功能；第三是自定義接口，主要是通過(guò)UI Touch類、force類和maximum Possible Force類來(lái)實(shí)現(xiàn).UI Touch類增加了壓力觸控可用性檢測(cè)屬性UI Force Touch Capability，觸摸屬性estimated Properties，觸摸對(duì)象更新屬性u(píng)pdated Properties等，新增 Precise Location In View，Precise Previous Location In View等獲取X/Y坐標(biāo)時(shí)的精度等API.壓力靈敏度屬性 Pressure Sensitivity，可以和繪畫(huà)類及其它創(chuàng)作型軟件結(jié)合使用，實(shí)現(xiàn)根據(jù)壓力的大小來(lái)改變筆觸/畫(huà)線的粗細(xì)值等應(yīng)用.

3.4基本開(kāi)發(fā)流程及說(shuō)明

使用本框架開(kāi)發(fā)基于壓力觸控類的應(yīng)用,只需按照封裝好API文檔進(jìn)行調(diào)用即可，不需要了解底層的實(shí)現(xiàn).基本開(kāi)發(fā)流程如圖6所示.下面對(duì)模型對(duì)象、虛擬互動(dòng)和虛擬渲染操作進(jìn)行簡(jiǎn)要說(shuō)明.

利用框架快速實(shí)現(xiàn)幾何模型對(duì)象建立.Scene Kit 中內(nèi)建了幾種簡(jiǎn)單的幾何模型，如盒子、球體、平面、圓錐體等，另外根據(jù)開(kāi)發(fā)需要可以加載自定義3D模型.通過(guò)制定文件名來(lái)導(dǎo)入COLLADA 格式的模型文件，方法如下：let chessPieces=SCNScene(named: “chess pieces”) ，當(dāng)文件里加載的場(chǎng)景完畢，將其設(shè)置成 SCNView 的 scene 即可；也可以選擇性加載一部分對(duì)象要顯示在屏幕上時(shí)，通過(guò)對(duì)象名設(shè)定而手動(dòng)加載到 view 上，代碼實(shí)現(xiàn)如下：

↓

↓

圖6　開(kāi)發(fā)流程圖

if let knight =

chessPieces.rootNode.childNodeWithName(“Knight”, recursively:true) {ceneView.scene?.rootNode.addChildNode(knight) }

虛擬互動(dòng)屬于業(yè)務(wù)邏輯環(huán)節(jié)，主要通過(guò)SceneKit 機(jī)制來(lái)處理用戶輸入，如鍵盤(pán)事件、鼠標(biāo)事件、觸摸事件和手勢(shì)識(shí)別.由于SceneKit 中只有一個(gè)視圖 (sceneview) ，因此處理鍵盤(pán)事件或如捏取、滑動(dòng)、旋轉(zhuǎn)、深壓等互動(dòng)，需要通過(guò)事件捕捉及位置計(jì)算來(lái)實(shí)現(xiàn)，通過(guò)-hitTest(_: options:) 來(lái)做點(diǎn)測(cè)試并返回一個(gè)SceneKit 數(shù)組，里面存有每個(gè)相交的模型對(duì)象以及從攝像機(jī)投向這個(gè)測(cè)試點(diǎn)的射線，包括交點(diǎn)坐標(biāo)、交點(diǎn)表面法線，交點(diǎn)的紋理坐標(biāo)點(diǎn).偽代碼實(shí)現(xiàn)如下：

if let firstHit = sceneView.hitTest(tapLocation, options: nil)?.first as? SCNHitTestResult {

let hitNode = firstHit.node

// do something with the node that was done...

}

虛擬渲染是模擬現(xiàn)實(shí)中的重要環(huán)節(jié)，在本框架中SceneKit是通過(guò)插入 shader代碼 (GLSL) 來(lái)改變默認(rèn)渲染，此外還提供了對(duì)旋轉(zhuǎn)矩陣、模型數(shù)據(jù)、樣本貼圖及渲染后輸出色值的訪問(wèn)，實(shí)現(xiàn)用于完全自定制地進(jìn)行材質(zhì)渲染及光照和材質(zhì)的配置等.SceneKit 使用 SCNTechnique 類來(lái)實(shí)現(xiàn)延時(shí)著色，使用字典創(chuàng)建并定義了繪圖步驟、輸入輸出、shader 文件、符號(hào)等，通過(guò)計(jì)算色值輸出場(chǎng)景的顏色和景深.通過(guò)獲取景深，獲取法線和邊界檢測(cè)等操作從而實(shí)現(xiàn)輪廓.

4實(shí)驗(yàn)

實(shí)驗(yàn)?zāi)繕?biāo)：應(yīng)用技術(shù)框架開(kāi)發(fā)一個(gè)壓力觸控(正向)應(yīng)用和觸覺(jué)反饋(反向)應(yīng)用，以測(cè)試基于壓力觸控的虛擬現(xiàn)實(shí)應(yīng)用開(kāi)發(fā)框架效果.

圖7　守門(mén)訓(xùn)練反饋實(shí)驗(yàn)圖

實(shí)驗(yàn)原理：結(jié)合壓力觸控和觸覺(jué)反饋開(kāi)發(fā)虛擬現(xiàn)實(shí)應(yīng)用，一方面通過(guò)手指壓力給虛擬物體不同的壓力以產(chǎn)生不同的效果，另一方面通過(guò)“觸覺(jué)引擎”實(shí)現(xiàn)屏幕控制器的聲音和不同頻率的震動(dòng)與不同強(qiáng)度的漣漪震動(dòng)等反饋，增強(qiáng)沉浸感，加強(qiáng)虛擬現(xiàn)實(shí)體驗(yàn).

4.1實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)采集

我們以技術(shù)框架為基礎(chǔ)，開(kāi)發(fā)了拳擊比賽和守門(mén)訓(xùn)練兩個(gè)實(shí)驗(yàn)項(xiàng)目.實(shí)驗(yàn)測(cè)試環(huán)境是iPhone 6s plus.通過(guò)兩個(gè)實(shí)驗(yàn)項(xiàng)目了解壓力觸控、觸覺(jué)反饋與虛擬角色的關(guān)系，以及了解技術(shù)框架的效果.

圖8　壓力與電壓的關(guān)系

我們采取雙人拳擊游戲的模式，通過(guò)拳擊對(duì)抗實(shí)現(xiàn)壓力觸控的檢測(cè)，使用程序記錄游戲者觸壓力、電壓、游戲道具變化等數(shù)據(jù).其中，觸壓(force)并不能直接測(cè)出，需根據(jù)公式(4)計(jì)算；另一方面，通過(guò)足球(如圖7所示)和拳擊兩個(gè)簡(jiǎn)單游戲來(lái)檢測(cè)觸覺(jué)反饋效應(yīng)，通過(guò)游戲者一方操作人員在不同解壓下，使用程序記錄對(duì)抗方在觸覺(jué)和聽(tīng)覺(jué)的脈沖與時(shí)間等數(shù)據(jù).

4.2實(shí)驗(yàn)數(shù)據(jù)分析

(a) 觸壓與電壓的關(guān)系.

當(dāng)壓力在0-110g持續(xù)變化時(shí)，對(duì)應(yīng)電壓相應(yīng)地變化，如圖8.

從圖8可知，隨著觸壓變大時(shí)，對(duì)應(yīng)的電壓變大，并無(wú)限接近于4伏特.這變化趨勢(shì)與文獻(xiàn)[4,7]相反，電壓的上限也不一樣，這一變化與壓電式效應(yīng)接近.

(b) 脈沖與持續(xù)時(shí)間的關(guān)系.

圖9　持續(xù)觸壓時(shí)脈沖電壓的變化　　　　　　　　　　　　　　　　　圖10　游戲?qū)怪心芰肯呐c觸壓的關(guān)系

游戲攻擊方的持續(xù)攻擊(持續(xù)增加觸壓)，在游戲?qū)狗疆a(chǎn)生強(qiáng)烈的觸覺(jué)反饋，反饋參數(shù)中脈沖(pulse)與持續(xù)時(shí)間(time)存在以下關(guān)系，如圖9所示.

(c) 觸壓與虛擬角色的關(guān)系.

實(shí)驗(yàn)中，我們關(guān)聯(lián)虛擬角色活動(dòng)與電壓，使觸控的壓力與虛擬現(xiàn)實(shí)角色的性質(zhì)成對(duì)應(yīng)關(guān)系，圖10顯示了虛擬現(xiàn)實(shí)中攻防雙方能量消耗與觸壓的關(guān)系.

從圖10可知，相同壓力下攻擊方消耗的能量比對(duì)抗方要小，符合游戲原理和現(xiàn)實(shí)生活.

5結(jié)束語(yǔ)

本文通過(guò)壓力觸控技術(shù)原理的研究，提出一種應(yīng)用壓力觸控技術(shù)與虛擬現(xiàn)實(shí)應(yīng)用相結(jié)合的開(kāi)發(fā)思路，并通過(guò)API重封裝的方式整合蘋(píng)果多個(gè)不同性質(zhì)的技術(shù)框架和壓力觸控的新API，形成一個(gè)實(shí)用的虛擬現(xiàn)實(shí)應(yīng)用開(kāi)發(fā)框架.利用此框架可以快速開(kāi)發(fā)基于壓力觸控技術(shù)的虛擬現(xiàn)實(shí)應(yīng)用及游戲產(chǎn)品.通過(guò)簡(jiǎn)單的應(yīng)用開(kāi)發(fā)實(shí)踐，證明了觸壓、電壓、觸覺(jué)和虛擬現(xiàn)實(shí)的關(guān)系；實(shí)驗(yàn)證明了技術(shù)框架的可行性.

壓力觸控技術(shù)的應(yīng)用，使得虛擬現(xiàn)實(shí)應(yīng)用更加豐富.壓力觸控技術(shù)還可以應(yīng)用在精確測(cè)量脈搏和血壓等智慧健康領(lǐng)域.從虛擬現(xiàn)實(shí)、現(xiàn)實(shí)增強(qiáng)和壓力觸控技術(shù)的發(fā)展趨勢(shì)看，蘋(píng)果公司很快將推出自家的一體化虛擬現(xiàn)實(shí)開(kāi)發(fā)平臺(tái)和硬件設(shè)備，基于壓力觸控技術(shù)的虛擬現(xiàn)實(shí)應(yīng)用與游戲?qū)?huì)有更好的前景.

參考文獻(xiàn):

[1]ELO TouchSystems Inc. Dual sensor touchscreen utilizing projective-capacitive and force touch sensors[P]. US：6492979，2002-12-10. http://www.google.com/patents/US6492979.

[2]Synaptics Inc. System and method for measuring individual force in multi-object sensing[P]. US：8570297，2013-10-29. http://www.google.com/patents/US8570297.

[3]Apple Inc. Touch pad with force sensors and actuator feedback[P]. US：8633916，2014-1-21. http://www.google.com/patents/US8633916.

[4]Samsung Inc. The touch input device and an electronic device having the same of the invention[P]. KR：1020140042488， 2015-10-19. http://www.pvsm.ru/news/101349/print/.

[5]Apple Inc. Device, Method, and Graphical User Interface for Selecting User Interface Objects[P]. US：20150067602， 2015-03-5. http://www.google.com/patents/US20150067602.

[6]Apple Inc. Force sensor interface for touch controller[P]. US：8988384， 2015-3-24. http://www.google.com/patents/US8988384 http://www.google.com/patents/US20150268785.

[7]Samsung Inc. Touch display apparatus sensing touch force[P]. US：20150324052，2015-11-12. http://www.google.com/patents/US20150324052.

[8]LI H, MANIAR P. Force-sensing touch screens[C]. SID Symposium Digest， 2015,46(1):1088-1090.

DOI：10.14182/J.cnki.1001-2443.2016.04.008

收稿日期：2016-02-18

基金項(xiàng)目：廣東省教育科學(xué)“十二五”規(guī)劃教育信息課題(13JXN035)；廣東省教育教學(xué)改革項(xiàng)目(201401232)；廣東省高校校長(zhǎng)聯(lián)席會(huì)議課題(GDXLHYB037).

作者簡(jiǎn)介：凌財(cái)進(jìn)(1983-)，男，廣東河源和平人，碩士，主要研究方向?yàn)樘摂M現(xiàn)實(shí)、物聯(lián)網(wǎng)安全、機(jī)器學(xué)習(xí)等.

中圖分類號(hào):TP311.1

文獻(xiàn)標(biāo)志碼:A

文章編號(hào)：1001-2443(2016)04-0349-06

The Exploration and Research on the Use of Force Touch in Virtual Reality Applications

LING Cai-jin1,2,ZENG Ting1,HEI Xia-li2,ZHANG Chao2

(1.School of Electronic Information Engineering, Heyuan Polytechnic, Heyuan 517000, China； 2.College of Engineering, Delaware State University,Dover Delaware 19901, U.S.A)

Abstract:Due to the fact that traditional user interaction in virtual reality application is not rich enough, we propose to supplement the current user interaction mechanism by including the latest technology on mobile device, namely: force-touch technology and tactile feedback technology. Our goal is to research and develop a unifying API suitable for developing applications integrating force-touch into virtual reality framework. We developed two applications to demonstrate the feasibility and the effectiveness of the API in enhancing the user interactivity in the realm of virtual reality.

Key words:force touch; force sensing; tactile feedback; virtual reality; game development

引用格式：凌財(cái)進(jìn)，曾婷，黑霞麗，等.壓力觸控下虛擬現(xiàn)實(shí)應(yīng)用框架的探索與研究[J].安徽師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，39(3)：349-354.