吳余川 陳元
1. 重慶市公安局江北區(qū)分局 2. 重慶子元科技有限公司
隨著經(jīng)濟(jì)的發(fā)展和科技的進(jìn)步,意識(shí)形態(tài)與文化的沖突不斷升級(jí),全球性風(fēng)險(xiǎn)的急劇擴(kuò)散,同時(shí)恐怖主義和分裂主義思想也有日益泛濫的不良趨勢(shì),這導(dǎo)致國(guó)內(nèi)社會(huì)治安形勢(shì)變得異常嚴(yán)峻和復(fù)雜。據(jù)國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì),2018年全國(guó)受理和查處各類治安案件共972萬(wàn)起,各類刑事案件共506萬(wàn)起,然而僅2018年就有301名公安民警、141名警務(wù)輔助人員在執(zhí)勤過(guò)程中因公犧牲,1.2萬(wàn)余名公安民警和警務(wù)輔助人員因公負(fù)傷。因此,在處理復(fù)雜公共治安突發(fā)事件時(shí),如何安全、高效地完成警務(wù)任務(wù),是當(dāng)前公安機(jī)關(guān)面臨的重要問(wèn)題。其中,提高日常警務(wù)訓(xùn)練的成效是提高公安警務(wù)人員執(zhí)勤效果的有效途徑之一。傳統(tǒng)的警務(wù)及射擊訓(xùn)練模式存在訓(xùn)練場(chǎng)景單一、安全性差、耗時(shí)長(zhǎng)、成果反饋不及時(shí)等缺點(diǎn),并且難以復(fù)現(xiàn)公共突發(fā)事件的復(fù)雜警情。亟需引進(jìn)新的科學(xué)技術(shù)以改進(jìn)現(xiàn)有的訓(xùn)練體系,從而適應(yīng)當(dāng)前警務(wù)需求,提高應(yīng)對(duì)公共突發(fā)事件的作業(yè)能力。使用VR仿真訓(xùn)練儀(平臺(tái))的融合多源傳感數(shù)據(jù)進(jìn)行動(dòng)作姿態(tài)識(shí)別與動(dòng)作實(shí)時(shí)捕捉,使參訓(xùn)人員能夠“身臨其境”的在虛擬場(chǎng)景中實(shí)現(xiàn)高沉浸度模擬實(shí)戰(zhàn)演練,滿足當(dāng)前智慧警務(wù)訓(xùn)練的需求,提高應(yīng)對(duì)公共突發(fā)事件的作業(yè)能力。
我國(guó)大部分公安民警日常工作繁重,很難在工作中抽出固定時(shí)間進(jìn)行實(shí)戰(zhàn)化訓(xùn)練?;鶎庸裁窬荒曛挥幸坏絻纱螀⑴c的機(jī)會(huì),這對(duì)長(zhǎng)期處在預(yù)防犯罪一線的公安民警是完全不夠的。因而保障日常警訓(xùn)順利開展至關(guān)重要。
1. 受訓(xùn)人員全身動(dòng)作的實(shí)時(shí)精準(zhǔn)捕捉
當(dāng)警員進(jìn)行演練及考核時(shí),課程中動(dòng)作的標(biāo)準(zhǔn)程度是一個(gè)重要的考核指標(biāo)。動(dòng)作捕捉系統(tǒng)應(yīng)當(dāng)精確的采集受訓(xùn)警員的操作動(dòng)作,映射進(jìn)演練系統(tǒng),才能對(duì)警員戰(zhàn)術(shù)動(dòng)作進(jìn)行評(píng)分及糾正。因此,動(dòng)作捕捉數(shù)據(jù)的全面性及精確性對(duì)于演練效果至關(guān)重要。如何實(shí)現(xiàn)受訓(xùn)人員在演練過(guò)程中全身運(yùn)動(dòng)數(shù)據(jù)的實(shí)時(shí)精準(zhǔn)捕捉,是擬解決的關(guān)鍵技術(shù)問(wèn)題之一。
2. 低延時(shí)數(shù)據(jù)傳輸系統(tǒng)的開發(fā)及應(yīng)用
為實(shí)現(xiàn)受訓(xùn)人與虛擬演練環(huán)境之間的交互,受訓(xùn)人的實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)需及時(shí)傳輸至上位機(jī)中,再通過(guò)系統(tǒng)處理并映射到虛擬環(huán)境。若數(shù)據(jù)傳輸?shù)难訒r(shí)大于30ms,人類的眼睛就會(huì)感覺到看到的動(dòng)作與實(shí)際動(dòng)作有“慢一拍”的差距,在VR頭戴設(shè)備中會(huì)產(chǎn)生暈眩的感覺。因此為避免受訓(xùn)人產(chǎn)生暈動(dòng)癥,同時(shí)提高虛擬演練系統(tǒng)的沉浸感,研發(fā)低延時(shí)數(shù)據(jù)傳輸系統(tǒng),是擬解決的關(guān)鍵科學(xué)問(wèn)題之一。
3. 超高演練坪效的實(shí)現(xiàn)
現(xiàn)有的警務(wù)虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)均存在移動(dòng)空間受場(chǎng)地限制的不足,若要進(jìn)行大場(chǎng)地虛擬空間的警務(wù)訓(xùn)練,則需要在真實(shí)環(huán)境中按1:1的比例配備響應(yīng)的訓(xùn)練場(chǎng)地。然而基層警務(wù)機(jī)構(gòu)往往存在訓(xùn)練場(chǎng)地缺乏的情況,這使得現(xiàn)有警務(wù)虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)難以在警務(wù)系統(tǒng)中進(jìn)行廣泛的推廣應(yīng)用。因此,如何減小虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)的占地面積并實(shí)現(xiàn)超高演練坪效,是擬解決的關(guān)鍵技術(shù)問(wèn)題之一。
4. 結(jié)合地域特色及實(shí)戰(zhàn)警情的演練場(chǎng)景搭建
警務(wù)虛擬演練系統(tǒng)的目的是提高受訓(xùn)人面對(duì)突發(fā)警情時(shí)的應(yīng)急處置能力,讓受訓(xùn)人在應(yīng)對(duì)實(shí)際突發(fā)公共事件時(shí),可以正確合理地使用戰(zhàn)術(shù)技能,從而安全有效地完成出警任務(wù)。因此用于演練的虛擬環(huán)境需嚴(yán)格反映真實(shí)突發(fā)警情,才能達(dá)到期望的訓(xùn)練效果?,F(xiàn)有的警務(wù)虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)往往采用平面街區(qū)式的應(yīng)用場(chǎng)景,然而重慶地區(qū)由于地理環(huán)境特殊,城市街道呈三維立體分布,與現(xiàn)有虛擬現(xiàn)實(shí)訓(xùn)練系統(tǒng)中的應(yīng)用場(chǎng)景差別較大。因此為提高演練真實(shí)性,搭建具有地域特色并貼近實(shí)戰(zhàn)警情的演練場(chǎng)景,也是擬解決的關(guān)鍵問(wèn)題之一。
針對(duì)目前存在的問(wèn)題,如果能夠進(jìn)行警務(wù)培訓(xùn)人員動(dòng)作姿態(tài)識(shí)別與動(dòng)作實(shí)時(shí)捕捉,滿足全沉浸式的需求,并能有面向大型城市隨機(jī)犯罪事件和公共突發(fā)事件演練場(chǎng)景的定制演練,就能改善受環(huán)境和場(chǎng)景所影響的警務(wù)訓(xùn)練。VR仿真訓(xùn)練儀(平臺(tái))能夠有效的解決上述問(wèn)題。
在VR仿真訓(xùn)練儀(平臺(tái))自主研發(fā)的萬(wàn)向行動(dòng)平臺(tái)中,用于動(dòng)作捕捉的慣性測(cè)量單元姿態(tài)測(cè)量范圍實(shí)現(xiàn)三軸360°,加速度量程±8g,角速度量程±2000dps,靜態(tài)精度達(dá)到翻滾角小于1°、俯仰角小于1°、偏航角小于2°,從而實(shí)現(xiàn)了用戶在保障安全的情況下任意行走奔跑;動(dòng)態(tài)捕捉數(shù)據(jù)輸出速率不小于80Hz,數(shù)據(jù)傳輸延時(shí)小超過(guò)30ms,滿足了通過(guò)傳感器實(shí)現(xiàn)用戶在虛擬環(huán)境中的實(shí)時(shí)定位。
針對(duì)實(shí)際警務(wù)演練要求,結(jié)合地域特色,降低演練系統(tǒng)占地面積,VR仿真訓(xùn)練儀(平臺(tái))能保證單人虛擬演練系統(tǒng)占地不超過(guò)3m2,并完成2到5個(gè)典型虛擬演練場(chǎng)景的搭建。該項(xiàng)技術(shù)目前已獲得國(guó)家級(jí)技術(shù)創(chuàng)新重點(diǎn)項(xiàng)目鑒定證書,并入選2020年度公安部科技成果推廣目錄。
因?yàn)殡S機(jī)犯罪事件和公共突發(fā)事件演練系統(tǒng)的3D虛擬現(xiàn)實(shí)場(chǎng)景中,往往需要多人協(xié)同配合完成任務(wù),所以構(gòu)造全沉浸式共享空間的虛擬現(xiàn)實(shí)環(huán)境非常重要。在真實(shí)場(chǎng)景中警務(wù)培訓(xùn)人員經(jīng)由動(dòng)捕傳感器識(shí)別其動(dòng)作姿態(tài),并將對(duì)應(yīng)人員的動(dòng)作姿態(tài)渲染到虛擬場(chǎng)景中去,完成人物虛擬空間的映射。
1. 慣性測(cè)量單元傳感器數(shù)據(jù)融合算法
由于單獨(dú)使用一個(gè)傳感器的數(shù)據(jù)會(huì)造成慣性測(cè)量單元的測(cè)量出現(xiàn)誤差,這種誤差反應(yīng)在動(dòng)作映射上,會(huì)造成人體動(dòng)作映射的變形和走樣,同時(shí)單一傳感器也很難完成捕捉全身動(dòng)作姿態(tài)的任務(wù),因此必須采用多傳感器融合感知的方法,才能夠擴(kuò)展人體感知覆蓋率,增強(qiáng)數(shù)據(jù)的可信度,提高精度。VR仿真訓(xùn)練儀(平臺(tái))采用的是慣性動(dòng)捕,在人體的重要節(jié)點(diǎn)都佩戴慣性測(cè)量單元,慣性測(cè)量單元捕捉目標(biāo)物體的運(yùn)動(dòng)數(shù)據(jù),包括身體部位的姿態(tài)、方位等信息,然而多個(gè)慣性測(cè)量單元信息之間可能存在冗余和矛盾,需要對(duì)多傳感器數(shù)據(jù)進(jìn)行融合,獲得被測(cè)對(duì)象的一致性解釋與描述。
VR仿真訓(xùn)練儀(平臺(tái))采用的慣性測(cè)量單元核心器件為MEMS九軸傳感器,在芯片上集成有一個(gè)三軸加速度計(jì)、一個(gè)三軸陀螺儀和一個(gè)三軸磁力計(jì)。為了獲得更精準(zhǔn)的姿態(tài),需要將加速度計(jì)和磁力計(jì)的數(shù)據(jù)與陀螺儀輸出的角速度數(shù)據(jù)融合。而最常用的非線性姿態(tài)估計(jì)方法所使用的技術(shù)就是互補(bǔ)濾波和擴(kuò)展卡爾曼濾波。互補(bǔ)濾波方法中的互補(bǔ)濾波系數(shù)在動(dòng)態(tài)系統(tǒng)中需要實(shí)時(shí)修正,但是如何修正并沒有具體的模型方程,常使用的方法是采用自適應(yīng)調(diào)參,但是不同的傳感器的使用會(huì)導(dǎo)致自適應(yīng)調(diào)參的方法不同,參數(shù)值的不穩(wěn)定會(huì)在實(shí)際過(guò)程中造成很大的麻煩,甚至導(dǎo)致姿態(tài)估計(jì)不精確。因此采用一種基于四元數(shù)的擴(kuò)展卡爾曼濾波算法完成人體重要關(guān)節(jié)上九軸傳感慣性測(cè)量單元的數(shù)據(jù)融合。采用卡爾曼濾波器算法對(duì)加速度計(jì)、陀螺儀和磁力計(jì)的輸出信號(hào)進(jìn)行融合,具體融合方法如圖1所示。
融合步驟具體如下:(1)搭建姿態(tài)估計(jì)系統(tǒng),獲取載體固定參考系坐標(biāo)系下多軸傳感器數(shù)據(jù),陀螺儀采集的三軸角速度數(shù)據(jù),加速度計(jì)采集的三軸加速度數(shù)據(jù),磁力計(jì)采集的三軸磁感應(yīng)強(qiáng)度數(shù)據(jù);(2)由于MEMS器件制造的特性,在芯片工作時(shí)會(huì)引入噪聲,對(duì)數(shù)據(jù)的測(cè)量造成影響,根據(jù)MEMS噪聲白噪聲呈現(xiàn)高斯分布的特性。VR仿真訓(xùn)練儀(平臺(tái))擬采用互補(bǔ)濾波算法對(duì)傳感器的原始數(shù)據(jù)進(jìn)行濾波,并對(duì)這兩個(gè)傳感器采集的數(shù)據(jù)做歸一化處理;(3)根據(jù)四元數(shù)微分方程和姿態(tài)矩陣構(gòu)建載體系統(tǒng)的狀態(tài)方程,并得到系統(tǒng)的過(guò)程噪聲方差矩陣;(4)利用快速高斯-牛頓法構(gòu)建系統(tǒng)的觀測(cè)模型,并得到系統(tǒng)的測(cè)量噪聲方差矩陣;(5)根據(jù)建立的系統(tǒng)狀態(tài)方程和觀測(cè)模型建立擴(kuò)展卡爾曼濾波遞推方程;(6)利用每次遞推得到的最佳四元數(shù)解算載體的三個(gè)姿態(tài)角:航向角、俯仰角、橫滾角,最終得到數(shù)據(jù)融合后各個(gè)關(guān)節(jié)位置慣性測(cè)量單元所測(cè)量的姿態(tài)。
2. 警務(wù)培訓(xùn)人員虛擬空間動(dòng)作姿態(tài)三維映射
基于慣性傳感器數(shù)據(jù)融合的人體運(yùn)動(dòng)姿態(tài)獲取方法就是利用慣性傳感器采集到的人體動(dòng)作數(shù)據(jù)驅(qū)動(dòng)已經(jīng)構(gòu)建好的人體骨模型,重構(gòu)人體動(dòng)作中的各個(gè)姿態(tài)。所以構(gòu)建符合人體基本運(yùn)動(dòng)特征的人體骨模型是進(jìn)行人體運(yùn)動(dòng)姿態(tài)三維重構(gòu)的首要前提。
根據(jù)設(shè)計(jì)的人體骨骼組成的人體骨骼樹形結(jié)構(gòu),在全身各個(gè)肢體部位綁定多個(gè)慣性傳感器,分別采集人體的頭部、大臂、小臂、腰、胸、大腿和小腿的運(yùn)動(dòng)姿態(tài)數(shù)據(jù)。
大型城市隨機(jī)犯罪事件和公共突發(fā)事件演練場(chǎng)景需要讓警務(wù)培訓(xùn)人員具有在大型虛擬場(chǎng)景中通過(guò)行走和奔跑的方式實(shí)現(xiàn)場(chǎng)景漫游,在執(zhí)行出警任務(wù)時(shí),需要通過(guò)全身反饋,將警務(wù)人員在虛擬世界中遭遇的碰撞、爆炸、沖擊、中彈等感覺進(jìn)行模擬,從而進(jìn)一步還原培訓(xùn)人員的現(xiàn)實(shí)感覺。為此,VR仿真訓(xùn)練儀(平臺(tái))擬開發(fā)面向大型城市隨機(jī)犯罪事件和公共突發(fā)事件演練場(chǎng)景的感知交互系統(tǒng),實(shí)現(xiàn)培訓(xùn)人員具有全身模擬觸感的同時(shí),能夠進(jìn)行大場(chǎng)景的無(wú)限運(yùn)動(dòng)。
1. 萬(wàn)向行動(dòng)平臺(tái)
萬(wàn)向行動(dòng)平臺(tái)通過(guò)中心軸連接在下支架上方的上支架以及背部方柱支架,所述背部支架底部朝向中心軸側(cè)彎折且可圍繞中心軸轉(zhuǎn)動(dòng)的連接在中心軸上,從而實(shí)現(xiàn)培訓(xùn)人員在一定范圍內(nèi)的行走、跑動(dòng)、起跳、彎腰、下蹲以及左右橫移等動(dòng)作;萬(wàn)向行動(dòng)平臺(tái)將采用新型設(shè)計(jì),結(jié)構(gòu)簡(jiǎn)單,基礎(chǔ)用料少,成本低;中心軸背部支架轉(zhuǎn)動(dòng)形式,轉(zhuǎn)動(dòng)靈敏,使用過(guò)程中轉(zhuǎn)動(dòng)流暢,大幅度提升了培訓(xùn)人員體驗(yàn);POM剎車柱設(shè)計(jì),結(jié)合弧面行走底盤及橡膠止滑結(jié)構(gòu),能夠有效提供安全保護(hù)。
2. 智能穿戴背心
智能穿戴背心是能夠搭載全身動(dòng)作捕捉系統(tǒng)的穿戴背心,能夠結(jié)合慣性動(dòng)作捕捉系統(tǒng)及模擬反饋系統(tǒng),使警務(wù)培訓(xùn)人員的運(yùn)動(dòng)姿態(tài)同步映射到虛擬世界,達(dá)到深度沉浸的大型城市隨機(jī)犯罪事件和公共突發(fā)事件演練體驗(yàn)。穿戴背心通過(guò)萬(wàn)向行動(dòng)平臺(tái)上的背部支架進(jìn)行固定,對(duì)培訓(xùn)人員提供背心式的保護(hù),能夠在培訓(xùn)人員在有摔倒傾向時(shí)提供及時(shí)有效的保護(hù),安全性高。背包式的骨架設(shè)計(jì),能夠單人獨(dú)立完成穿戴,方便快捷。
力反饋系統(tǒng)設(shè)備主體由背心和與背心相連的反饋單元構(gòu)成,如圖4所示,在人體軀干的正面分布有6個(gè)反饋單元,依次分布在腰部、肋骨以及胸部(每個(gè)部位對(duì)稱分布兩個(gè)單元),背部分布2個(gè)單元,后腰部分布有2個(gè)單元,四肢分布8個(gè)單元,頭部分布2個(gè)單元。通過(guò)混合輸入不同的脈沖信號(hào),可以實(shí)現(xiàn)復(fù)雜的振動(dòng)表現(xiàn)。
利用多個(gè)力反饋點(diǎn)之間的組合震動(dòng),模擬反饋點(diǎn)以外的身體力反饋,從而模擬覆蓋軀干85%以上的感受面積。例如當(dāng)培訓(xùn)人員在虛擬場(chǎng)景中被子彈擊中的位置不在反饋點(diǎn)上時(shí),系統(tǒng)會(huì)通過(guò)中槍位置周圍的幾個(gè)反饋點(diǎn)的震動(dòng)來(lái)虛擬實(shí)際中槍位置的震動(dòng),從而大大增強(qiáng)培訓(xùn)人員的沉浸感。
1. 動(dòng)捕傳感器多頻點(diǎn)多終端跳頻無(wú)線傳輸技術(shù)
為將分布于全身的動(dòng)作捕捉傳感器的數(shù)據(jù)上傳到上位機(jī),開發(fā)了一套多頻點(diǎn)多終端跳頻無(wú)線傳輸技術(shù),頻道數(shù)達(dá)125個(gè),系統(tǒng)工作在2.4GHz全球免申請(qǐng)ISM工作頻段,能夠自動(dòng)調(diào)頻、自動(dòng)應(yīng)答及自動(dòng)重發(fā),內(nèi)置地址及CRC數(shù)據(jù)校驗(yàn)?zāi)9δ?,可以將每一個(gè)傳感器采集到的數(shù)據(jù)快速準(zhǔn)確的傳輸?shù)缴衔粰C(jī)。
2. 動(dòng)捕傳感器及力反饋單元無(wú)損數(shù)據(jù)編碼壓縮技術(shù)
數(shù)據(jù)壓縮是指在不丟失有用信息的前提下,縮減數(shù)據(jù)量以減少存儲(chǔ)空間,提高其傳輸、存儲(chǔ)和處理效率,或按照一定的算法對(duì)數(shù)據(jù)進(jìn)行重新組織,這是減少數(shù)據(jù)冗余和存儲(chǔ)空間的一種技術(shù)方法。動(dòng)作捕捉系統(tǒng)分布于全身的傳感器多達(dá)數(shù)十個(gè),力反饋單元多達(dá)近二十個(gè),每個(gè)傳感器和單元的數(shù)據(jù)量隨時(shí)間會(huì)變得非常龐大,需要開發(fā)無(wú)損數(shù)據(jù)編碼壓縮技術(shù),在不影響數(shù)據(jù)準(zhǔn)確度的情況下,將需要傳輸?shù)臄?shù)據(jù)進(jìn)行編碼和重構(gòu),壓縮40%的字節(jié)數(shù),使通訊的效率大幅提升,并降低數(shù)據(jù)傳輸?shù)难訒r(shí)。
3. 融合視-聽-觸多感覺反饋的沉浸式隨機(jī)犯罪事件和公共突發(fā)事件演練系統(tǒng)平臺(tái)搭建及應(yīng)用
現(xiàn)有的虛擬現(xiàn)實(shí)交互系統(tǒng)通常使用顯示器、頭盔、立體聲耳機(jī)等設(shè)備來(lái)實(shí)現(xiàn)逼真的視覺和聽覺體驗(yàn),但用戶在交互過(guò)程中能夠獲得的觸覺體驗(yàn)極為貧乏。而針對(duì)公共突發(fā)事件演練的虛擬現(xiàn)實(shí)系統(tǒng),如果只能通過(guò)自身的想象力在腦海中構(gòu)造相應(yīng)的碰撞、槍擊、中彈等交互場(chǎng)景,將會(huì)極大地降低交互的真實(shí)感和培訓(xùn)人員的沉浸感,影響培訓(xùn)效果。
研究通過(guò)將多元觸覺和沉浸式視覺以及聽覺相融合的方式,能夠顯著增強(qiáng)用戶的交互沉浸感。融合視-聽-觸多感覺反饋的沉浸式平臺(tái),如圖5所示,實(shí)現(xiàn)虛擬場(chǎng)景中,由人體骨架模型建立的人物虛擬化身與場(chǎng)景中的虛擬物體進(jìn)行交互,實(shí)現(xiàn)視覺、聽覺和觸覺的實(shí)時(shí)反饋,可用于進(jìn)行隨機(jī)犯罪事件和公共突發(fā)事件演練場(chǎng)景的培訓(xùn)。
融合視-聽-觸多感覺反饋的沉浸式隨機(jī)犯罪事件和公共突發(fā)事件演練系統(tǒng)是一個(gè)多平臺(tái)集成的復(fù)雜系統(tǒng),需要兼顧各個(gè)子系統(tǒng)的接口兼容性問(wèn)題,還需考慮整個(gè)系統(tǒng)的公共突發(fā)事件演練應(yīng)用場(chǎng)景以及培訓(xùn)人員的需求。
支持視-聽-觸多感覺反饋的虛擬現(xiàn)實(shí)交互系統(tǒng)需要通過(guò)安裝在關(guān)鍵部位的動(dòng)作捕捉傳感器和無(wú)限運(yùn)動(dòng)平臺(tái),采集用戶的空間位置和各關(guān)節(jié)姿態(tài),將原始數(shù)據(jù)進(jìn)行壓縮編碼后通過(guò)多頻多終端跳頻無(wú)限傳輸技術(shù)傳輸給數(shù)據(jù)采集上位機(jī)。上位機(jī)將數(shù)據(jù)傳入三維引擎,三維引擎主要用于虛擬模型的構(gòu)建,模型的貼圖渲染,整個(gè)場(chǎng)景的光照烘焙,從而將虛擬場(chǎng)景的整個(gè)視覺渲染輸出給用戶。上位機(jī)的輸入數(shù)據(jù)用于驅(qū)動(dòng)用戶骨架模型運(yùn)動(dòng),定位用戶在整個(gè)場(chǎng)景中的空間位置,從而實(shí)現(xiàn)用戶動(dòng)作和操作在虛擬空間的映射,配合三維引擎中對(duì)各個(gè)虛擬模型的規(guī)則定義,碰撞檢測(cè),力/觸覺計(jì)算和聲音模擬,實(shí)現(xiàn)用戶動(dòng)作行為所對(duì)應(yīng)的觸覺反饋數(shù)據(jù)和聲音反饋數(shù)據(jù)。最終通過(guò)觸覺反饋設(shè)備、便攜式聽覺設(shè)備和虛擬現(xiàn)實(shí)顯示設(shè)備,將觸覺、聽覺和視覺信息反饋給用戶,實(shí)現(xiàn)高沉浸感的虛擬現(xiàn)實(shí)交互。
1. 數(shù)據(jù)融合算法
慣性測(cè)量單元測(cè)得的數(shù)據(jù)容易受到高頻噪聲和時(shí)變的偏置的影響,所以傳感器數(shù)據(jù)融合算法中需要進(jìn)行平滑處理以及無(wú)偏置估計(jì)。為了獲得精準(zhǔn)的姿態(tài),需要將加速度計(jì)和磁力計(jì)的數(shù)據(jù)與陀螺儀輸出的角速度數(shù)據(jù)進(jìn)行融合,但采用傳統(tǒng)歐拉角作為系統(tǒng)狀態(tài)變量的姿態(tài)解算模型中,在關(guān)節(jié)運(yùn)動(dòng)到奇點(diǎn)的時(shí)刻,姿態(tài)角將無(wú)法正確計(jì)算。因此提出一種基于四元數(shù)的擴(kuò)展卡爾曼濾波算法的姿態(tài)解算方法,采用四元數(shù)來(lái)代替歐拉角(俯仰角、翻滾角、偏航角)作為系統(tǒng)狀態(tài)量,從而避免奇點(diǎn)的姿態(tài)角計(jì)算問(wèn)題。
2. 模擬力反饋
相較于傳統(tǒng)力反饋通過(guò)在身體多個(gè)點(diǎn)上安裝反饋裝置,在碰撞、爆照、中彈等虛擬場(chǎng)景交互時(shí)只能在孤立的幾個(gè)點(diǎn)上進(jìn)行力反饋,不能給培訓(xùn)人員逼真的感受。采用多點(diǎn)模擬力反饋的方式,對(duì)即使在沒有反饋裝置的部位發(fā)生碰撞、中彈等虛擬交互,也通過(guò)調(diào)整多點(diǎn)震動(dòng)頻率,模擬該點(diǎn)的震動(dòng),從而提高場(chǎng)景的沉浸感。
其中所采用的反饋單元構(gòu)成,在人體軀干的正面分布有6個(gè)反饋單元,依次分布在腰部、肋骨以及胸部(每個(gè)部位對(duì)稱分布兩個(gè)單元),背部分布2個(gè)單元,后腰部分布有2個(gè)單元,四肢分布8個(gè)單元,頭部分布2個(gè)單元。反饋單元由世界領(lǐng)先的HAPTICTMReactor Hybrid Tough Type振動(dòng)器構(gòu)成,此振動(dòng)器啟動(dòng)和停止迅速,可以實(shí)現(xiàn)高頻率振動(dòng),以及多種頻率振動(dòng)合成的效果,通過(guò)混合輸入不同的脈沖信號(hào),就可以實(shí)現(xiàn)全覆蓋的復(fù)雜振動(dòng)表現(xiàn)。
3. 融合視-聽-觸多感覺反饋的虛擬現(xiàn)實(shí)系統(tǒng)
虛擬現(xiàn)實(shí)技術(shù)的飛速發(fā)展促進(jìn)了虛擬現(xiàn)實(shí)應(yīng)用對(duì)沉浸式技術(shù)的需求,具體體現(xiàn)在對(duì)多元觸覺、沉浸式視覺、聽覺以及視-聽-觸覺融合反饋的時(shí)空一致性匹配的迫切需求。
相較于傳統(tǒng)單一視覺反饋的虛擬現(xiàn)實(shí)系統(tǒng),在融合視-聽-觸多感覺反饋的虛擬現(xiàn)實(shí)交互系統(tǒng)中,多元傳感裝置實(shí)時(shí)獲取用戶位置、姿勢(shì)等信息為計(jì)算機(jī)提供輸入信號(hào),三維引擎軟件對(duì)從傳感裝置獲取的輸入信號(hào)進(jìn)行解析,隨后對(duì)虛擬環(huán)境作相應(yīng)的更新,三維可視化及其他反饋(如聲音和反饋力等)信息通過(guò)相應(yīng)的輸出設(shè)備反饋給用戶,使其獲得多種感官上的體驗(yàn)效果。多元反饋能夠?yàn)榫瘎?wù)培訓(xùn)人員提供大型公共安全演練虛擬場(chǎng)景觀感、射擊碰撞、中彈的震動(dòng)、模擬環(huán)境及自我動(dòng)作發(fā)出的聲音等多種類型的感受體驗(yàn),聽覺、多元觸覺與沉浸式視覺的融合反饋需要實(shí)現(xiàn)三者在時(shí)間與空間上的同步,以提升交互體驗(yàn)。
公安民警VR仿真訓(xùn)練儀(平臺(tái))與其他類似裝備在技術(shù)和功能上具有一定的差異性,主要體現(xiàn)在動(dòng)態(tài)捕捉技術(shù)、運(yùn)動(dòng)空間的實(shí)現(xiàn)、應(yīng)用場(chǎng)景的搭建等方面。這使得VR仿真訓(xùn)練儀(平臺(tái))具有一定的獨(dú)特性,間接地提高了競(jìng)爭(zhēng)優(yōu)勢(shì)。同時(shí),在應(yīng)用過(guò)程中,可針對(duì)不同用戶需求,提供不同的應(yīng)用方案。例如,針對(duì)轄區(qū)派出所,以推廣單一訓(xùn)練設(shè)備為主,而針對(duì)市區(qū)直屬公安機(jī)關(guān),則以推廣建設(shè)多人協(xié)同訓(xùn)練的VR警務(wù)實(shí)戰(zhàn)訓(xùn)練中心為主(如圖6所示)。同時(shí)針對(duì)不同轄區(qū)的實(shí)際需求,調(diào)整虛擬現(xiàn)實(shí)訓(xùn)練場(chǎng)景的建設(shè)以及虛擬設(shè)備的搭建。
以某公安戰(zhàn)訓(xùn)基地實(shí)施方案為例,VR警務(wù)實(shí)戰(zhàn)訓(xùn)練系統(tǒng)可以分為:VR訓(xùn)練模塊、指揮中心系統(tǒng)、APP管理平臺(tái)、Web端管理系統(tǒng)、指揮官系統(tǒng)。 從警務(wù)訓(xùn)練到日常學(xué)習(xí),都可以使用整套系統(tǒng)。
場(chǎng)景1:訓(xùn) 練者借助VR訓(xùn)練設(shè)備完成兩種練習(xí)。
(1)VR虛擬打靶訓(xùn)練
受各種條件制約,對(duì)于基層民警來(lái)說(shuō),每年實(shí)彈訓(xùn)練次數(shù)有限。而靶場(chǎng)的訓(xùn)練又比較特殊,有的民警常常會(huì)忘記靶場(chǎng)訓(xùn)練的流程和規(guī)范,部分民警還對(duì)持槍有心理抗拒,這使得靶場(chǎng)訓(xùn)練的效率和效果極低。VR虛擬打靶訓(xùn)練的建立本身就是依托于虛擬現(xiàn)實(shí)基礎(chǔ)打造完整的靶場(chǎng)訓(xùn)練流程,讓基層民警可以在任何時(shí)間、任何地點(diǎn)進(jìn)行靶場(chǎng)的訓(xùn)練。
利用VR警務(wù)實(shí)戰(zhàn)訓(xùn)練系統(tǒng)能夠自由行走的特性,結(jié)合VR視覺技術(shù),使整個(gè)射擊流程重現(xiàn),鞏固民警對(duì)訓(xùn)練流程的認(rèn)知,解放訓(xùn)練時(shí)教官的人力,降低民警持槍的心理障礙,是高效、安全、低成本的訓(xùn)練方式。
(2)VR街道巡邏緊急事件處理訓(xùn)練
實(shí)景訓(xùn)練在目前的訓(xùn)練體系中是幾乎沒有的,實(shí)景巡邏訓(xùn)練社會(huì)影響大,配合單位多,而往往基層民警無(wú)法參與,這就導(dǎo)致了基層民警在巡邏時(shí),如果遇到了一些訓(xùn)練中沒有的突發(fā)情況,往往無(wú)法即時(shí)、正確的應(yīng)對(duì)事件。VR街道巡邏緊急事件處理訓(xùn)練,本身就是依托于現(xiàn)實(shí)場(chǎng)景打造虛擬環(huán)境,讓民警可以在不需要其他部門支持的情況下,還原實(shí)景巡邏的感覺,并且遭遇各種突發(fā)的治安事件,根據(jù)規(guī)范流程進(jìn)行事件處理。
利用VR警務(wù)實(shí)戰(zhàn)訓(xùn)練系統(tǒng)能夠自由行走的特性,結(jié)合VR視覺技術(shù),使街景數(shù)字化重現(xiàn),讓使用民警身臨其境般的進(jìn)行巡邏演練,既簡(jiǎn)單,又方便,還能彌補(bǔ)當(dāng)前訓(xùn)練沒有的實(shí)戰(zhàn)訓(xùn)練環(huán)節(jié)。
場(chǎng)景2:通過(guò)訓(xùn)練系統(tǒng)平臺(tái)實(shí)現(xiàn)與現(xiàn)有VR訓(xùn)練系統(tǒng)之間的信息互通,為警員、智能訓(xùn)練的業(yè)務(wù)、VR訓(xùn)練的業(yè)務(wù)和訓(xùn)練數(shù)據(jù)管理提供準(zhǔn)確的信息資源,幫助警員訓(xùn)練優(yōu)化流程、實(shí)現(xiàn)閉環(huán)管理,提高訓(xùn)練質(zhì)量和訓(xùn)練管理效率。將傳統(tǒng)的訓(xùn)練系統(tǒng)管理和現(xiàn)有的智能訓(xùn)練管理整合到新型的移動(dòng)互聯(lián)網(wǎng)系統(tǒng)中。
場(chǎng)景3:指揮官系統(tǒng)的應(yīng)用。首創(chuàng)VR+AR模式指揮官系統(tǒng),指揮官可以隨時(shí)隨地使用AR系統(tǒng)對(duì)VR訓(xùn)練者進(jìn)行指令,減少延誤時(shí)間,增加作戰(zhàn)效率。同時(shí)增加自定義模塊化訓(xùn)練系統(tǒng)充分發(fā)揮訓(xùn)練者的應(yīng)變能力,自由組合訓(xùn)練場(chǎng)景,突破傳統(tǒng)的日常警務(wù)訓(xùn)練依托于場(chǎng)地、器材、教授人員水平等的限制,難以實(shí)現(xiàn)訓(xùn)練標(biāo)準(zhǔn)統(tǒng)一化。
訓(xùn)練系統(tǒng)創(chuàng)新了一種警務(wù)訓(xùn)練應(yīng)用。得益于不斷累積的訓(xùn)練數(shù)據(jù),可以優(yōu)化訓(xùn)練流程,提升訓(xùn)練效果。通過(guò)在實(shí)際應(yīng)用中優(yōu)化升級(jí),滿足更加復(fù)雜的針對(duì)性訓(xùn)練需求。這套系統(tǒng)現(xiàn)成功應(yīng)用于重慶市公安局江北區(qū)分局,在一年的使用過(guò)程中,江北分局先后有500余名民警使用了此套系統(tǒng),充分利用民警的碎片化時(shí)間,取得了良好的訓(xùn)練成果。后臺(tái)數(shù)據(jù)顯示,規(guī)范執(zhí)法流程的錯(cuò)誤率從原來(lái)的10%降低至3%。同時(shí)通過(guò)系統(tǒng)采集到的訓(xùn)練數(shù)據(jù),教官可以更好的分析每個(gè)訓(xùn)練者的情況進(jìn)行針對(duì)性的訓(xùn)練。這套系統(tǒng)的應(yīng)用顯著減少了訓(xùn)練成本,提高了訓(xùn)練效率,起到了良好的示范效應(yīng)。
新技術(shù)的應(yīng)用讓受訓(xùn)者在訓(xùn)練時(shí)更有代入感、沉浸感;定制的訓(xùn)練內(nèi)容幫助基層民警提高對(duì)槍械的敏感性和熟悉程度,緩解實(shí)際使用中因緊張產(chǎn)生的壓力,采取正確的執(zhí)法流程。VR仿真訓(xùn)練儀(平臺(tái))榮獲了2019年重慶市公安改革創(chuàng)新大賽一等獎(jiǎng),并已入選公安部科技成果推廣目錄。
近年來(lái),動(dòng)作捕捉系統(tǒng)的發(fā)展與應(yīng)用,為精確三維動(dòng)態(tài)建模及全身動(dòng)態(tài)數(shù)據(jù)采集提供了有力支撐。公安民警VR仿真訓(xùn)練儀(平臺(tái))在現(xiàn)有的無(wú)限運(yùn)動(dòng)平臺(tái)及動(dòng)映力反饋系統(tǒng)的基礎(chǔ)上,引入慣性動(dòng)作捕捉系統(tǒng),以提高系統(tǒng)的沉浸感、臨在感與交互性。該系統(tǒng)為提高警務(wù)訓(xùn)練效率提供了一種新的選擇,在訓(xùn)練領(lǐng)域具有廣闊的應(yīng)用前景。