楊麗

關(guān)鍵詞：導(dǎo)覽系統(tǒng) RealSense 手勢識別 顏色空間 點云構(gòu)建

引言

景區(qū)導(dǎo)覽裝置是幫助游客獲取景點詳細信息最重要的手段之一，對游客起著重要的導(dǎo)向作用，然而目前大部分景區(qū)的導(dǎo)覽系統(tǒng)都是基于平面導(dǎo)視圖或通過智能手機端進行景點信息推送的形式，由于景點信息復(fù)雜多變，大部分景區(qū)的導(dǎo)覽系統(tǒng)缺乏創(chuàng)新性、導(dǎo)覽裝置缺乏局限性和精確性，導(dǎo)致游客體驗感欠佳的問題。文章通過閱讀相關(guān)文獻后發(fā)現(xiàn)，并總結(jié)出國外的景區(qū)智能導(dǎo)覽裝置主要分為定位類型和講解類型。講解類型主要運用在語音系統(tǒng)軟件上的交互設(shè)計應(yīng)用，游客通過系統(tǒng)的講解來獲取景點的各項信息;定位類型主要為游客在景區(qū)提供定位服務(wù)，給出合理的規(guī)劃路線，通過定位服務(wù)給游客提供更多的信息指示。國內(nèi)的景區(qū)智能導(dǎo)覽裝置主要采用數(shù)字化技術(shù)進行導(dǎo)覽，其中包括多媒體影視技術(shù)、全息投影技術(shù)、增強現(xiàn)實技術(shù)（AR）、虛擬現(xiàn)實技術(shù)（VR）以及多點觸技術(shù)，其均可以結(jié)合智能手機運用。

經(jīng)過系統(tǒng)性的文獻調(diào)研后發(fā)現(xiàn)，目前將智能手勢識別技術(shù)應(yīng)用到景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計研究中極少。文章提出將RealSense深度相機手勢識別技術(shù)運用在景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計中，以YCbCr顏色空間膚色算法將獲取手勢圖像后進行邊緣修復(fù)，通過實驗得出該技術(shù)具有可行性的結(jié)論后，再結(jié)合空間三維環(huán)境點云系統(tǒng)的單目攝像機以及采集端信息傳感技術(shù)，掃描并重構(gòu)景區(qū)中某景點的圖像，同時匹配景區(qū)數(shù)據(jù)信息管理平臺上的數(shù)據(jù)，在導(dǎo)覽裝置屏幕上輸出景點的各類信息和最終圖像結(jié)果，完成一套智能手勢識別技術(shù)下的景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計方案。

一、景區(qū)智能導(dǎo)覽裝置

（一）景區(qū)智能導(dǎo)覽裝置簡單介紹

景區(qū)的導(dǎo)視系統(tǒng)最主要的功能是向游客提供各景點的相關(guān)信息，新型的交互技術(shù)使得導(dǎo)覽裝置向智能化方向發(fā)展，從單一的導(dǎo)覽圖文和人工講解，到逐漸興起的智能數(shù)字化導(dǎo)覽裝置，其中主要的智能化體現(xiàn)在以APP為主的線上入口、語音識別、增強現(xiàn)實技術(shù)（AR）、虛擬現(xiàn)實技術(shù)（VR）、多點觸摸、3D識別、人體捕捉等技術(shù)。如今導(dǎo)視系統(tǒng)的設(shè)計形式也越來越豐富和多元化，技術(shù)上的突破性進展不僅為游客帶來了更多優(yōu)質(zhì)的交互體驗，也逐漸改變了人機交互的方式。

（二）基于手勢識別技術(shù)的導(dǎo)覽裝置

手勢與語言一樣都屬于人類最自然的交流方式，手勢最重要的作用在于能夠?qū)⑷说奈锢韯幼髅枋龀蔁o聲的語言交流，尤其是與語言不通或者是聾啞人群交流時，手勢就成為了他們最重要的交流方式，因此手勢識別技術(shù)不僅使普通人能輕松操作各類科技設(shè)備，還能給殘疾人、老年人等特殊群體帶來更多使用上的便利。隨著傳感器技術(shù)的發(fā)展，越來越多的場景選擇通過手勢識別的方法來獲取人們的動作數(shù)據(jù)，從而達到人機交互的目的。

手勢識別技術(shù)一般應(yīng)用于人體的臉部及手部的運動，是計算機對人體手部運動進行的解釋，其利用感知的計算方式，通過傳感器和某種編程算法讓人們通過手勢識別對控制設(shè)備執(zhí)行命令。文章提出將手勢識別技術(shù)運用在景區(qū)導(dǎo)覽系統(tǒng)的設(shè)計方案中，游客在景區(qū)中使用手部動作與導(dǎo)覽裝置設(shè)備進行人機交互行為，從而達到快速識別景區(qū)中各地點的精準(zhǔn)信息的目的。

二、基于RealSense的手勢識別技術(shù)的運用

目前智能手勢識別技術(shù)在導(dǎo)覽裝置中的應(yīng)用主要分為三種類別，分別為：二維手型識別技術(shù)、二維手勢識別技術(shù)、三維手勢識別技術(shù)。其中前兩種是基于二維平面的等級，主要應(yīng)用于識別靜態(tài)手勢技術(shù)中，在應(yīng)用過程中只需要使用單個攝像頭便能捕捉到圖像，通過計算機最終輸出結(jié)果來實現(xiàn)手勢識別過程，輸出的結(jié)果就如平時拍照所得的照片一樣。而三維手勢識別技術(shù)能捕捉到動態(tài)手勢，具有手勢跟蹤的技術(shù)，能捕捉到手勢的紋理、位置、運動軌跡等深度的信息，普遍應(yīng)用于復(fù)雜的人機交互設(shè)計中，例如增強現(xiàn)實技術(shù)（AR）、虛擬現(xiàn)實技術(shù)（VR）等智能交互設(shè)計，給使用者帶來豐富的體驗，如表1。

1. RealSense的手勢識別技術(shù)

RealSense是Intel開發(fā)的一種3D實感技術(shù)，專門用于人和機器進行“溝通”的技術(shù)，它是一種為硬件設(shè)備添加和人類相似的感官系統(tǒng)進行的創(chuàng)新技術(shù)[1] 。作為一款采集環(huán)境深度信息的體感外設(shè)的3D攝像機，其具有與Kinect一樣的三維手勢識別技術(shù)。RealSense3D實感攝像頭是全球首款結(jié)合2D鏡頭模塊和3D深度的設(shè)備。文章使用的RealSense D415/D435的3D攝像頭組件主要包括左紅外相機、紅外點陣投射器、右紅外相機、RGB相機，如表2。

文章應(yīng)用RealSense深度相機的傳感器技術(shù)獲取環(huán)境中人手部的深度圖像信息跟蹤人體骨骼，通過YCbCr的顏色空間過濾皮膚閾值的算法，提取景區(qū)中感應(yīng)到的游客的手部信息并加以修復(fù)形成模型，再將采集的手勢圖像形態(tài)以及傳達的手勢信號進行特征分類，最后傳至景區(qū)導(dǎo)覽系統(tǒng)中。以無接觸、即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等便捷的功能進行手勢識別達到人機交互的效果。

2.基于視覺感知的手勢識別導(dǎo)覽裝置

視覺是人們獲取外界信息最重要的感官之一，在導(dǎo)覽裝置中，視覺感知的程度直接影響游客使用導(dǎo)覽裝置的滿意度。因此文章提出利用手勢識別技術(shù)的導(dǎo)覽系統(tǒng)設(shè)計必須符合人體工程學(xué)的尺寸，還需充分考慮人眼可識別的導(dǎo)覽裝置和手勢識別設(shè)備的范圍與距離。并且在針對于視障、兒童、乘坐輪椅等特殊人群時，需考慮其視線范圍與正常站立的人群的距離之分。文章應(yīng)用RealSense Depth CameraD415/D435設(shè)備的手勢識別技術(shù)提取游客的手勢圖像工作是由于其具有全局快門感應(yīng)器，能同時采集到多人動態(tài)圖像。RealSense系列的攝像機能捕捉的最遠距離可達10m，并且在戶外的陽光下也可以利用，均支持輸出1280×720分辨率的深度畫面，視頻傳輸方面也可達90fps，還能識別X、Y、Z三軸中任意旋轉(zhuǎn)、偏移、滾動等動作。因此RealSense系列的攝像機在景區(qū)中能精準(zhǔn)地識別人體的手部深度圖像信息。