近日，索尼研究人員研發(fā)出一款VR手柄，可以較精準地跟蹤玩家手指的動作，這一技術(shù)或?qū)⒂糜谒髂嵯乱淮鶳S游戲機。

VR提供一種沉浸式體驗，手勢的自然交互對于用戶的體驗十分重要，但現(xiàn)有的VR手柄在這一點上存在缺陷，能夠感知到的手部動作較少。索尼研發(fā)的VR手柄克服了這一局限性，可以較精準地再現(xiàn)用戶每個手指的動作。

索尼研究人員設(shè)想，可以結(jié)合電容式傳感器和神經(jīng)網(wǎng)絡(luò)來實現(xiàn)更精準的手勢追蹤，用手柄上的電容式傳感器檢測出用戶手勢變化，用神經(jīng)網(wǎng)絡(luò)模型預(yù)測出用戶手指在三維空間的運動情況。基于上述設(shè)想，索尼研究人員設(shè)計出VR手柄原型。

首先，研究人員在手柄握把部分安裝62個電容式接近傳感器，使傳感器盡可能多地覆蓋手柄曲面和頂面。然后，他們又為神經(jīng)網(wǎng)絡(luò)模型建立訓(xùn)練集。選擇12位手形不同的人（男性8人，女性4人）作為參與者，用動作捕捉系統(tǒng)OptiTrack以60幀率捕捉參與者動作。每個參與者用右手做出11套不同手勢。每個動作重復(fù)4次，前3次用于訓(xùn)練，第四次用于驗證。據(jù)介紹，準備好的訓(xùn)練集包含344015幀圖像，驗證集包含111165幀圖像。

研究人員基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）ResNet-18構(gòu)建直接回歸網(wǎng)絡(luò)（Direct Regression Network），基于2.5D熱圖回歸架構(gòu)（2.5D heatmap regression architecture）構(gòu)建熱圖檢測網(wǎng)絡(luò)（Heatmap Detection Network）。最終，他們用驗證數(shù)據(jù)集評估了兩個神經(jīng)網(wǎng)絡(luò)模型的性能。結(jié)果顯示，直接回歸神經(jīng)網(wǎng)絡(luò)模型更精確地預(yù)測了手部動作。