唐明鈺
摘? ?要:隨著信息化時代的發(fā)展,定位技術的實際落地能力一直被人們所關注。室外定位通常借助于GPS或北斗衛(wèi)星等,其發(fā)展已十分成熟,定位準確且應用也較為豐富。室內定位的發(fā)展則相對較為緩慢,隨著社會活動越來越多的發(fā)生在室內,如何提高室內定位的用戶體驗,成為很有意義地研究課題。基于5G邊緣云與計算機視覺的AR室內定位解決方案,吸納了計算機視覺定位的部署便利、精度高以及5G邊緣云時延低、算力強等特點,用以提升用戶體驗。
關鍵詞:5G邊緣云;計算機視覺;室內定位
目前常見的用于室內定位的技術手段有射頻識別、超寬帶、藍牙、紅外線、超聲波、WiFi,ZigBee等。其中,多數(shù)定位技術方案所使用的傳感器感知信息量有限,魯棒性差,如紅外線、藍牙等;或者部署成本大、場地改造性價比低,如UWB;又或者定位能力受限于終端類型,如WiFi。同時,室內定位對定位精度的要求也相對較高,往往需要達到分米級(甚至厘米級)定位精度。因此,如何快速部署準確度高的室內定位技術,也是業(yè)界較為關注的問題,基于5G邊緣云與計算機視覺的增強現(xiàn)實(Augmented Reality,AR)其室內定位解決方案應運而生。
1? ? 基于5G邊緣云與計算機視覺的AR室內定位解決方案
1.1? 5G邊緣云
5G作為新型基礎設施建設之首,可以與人工智能、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術相結合,快速賦能垂直行業(yè)。其最為顯著的特點是大帶寬、低時延以及海量連接,與之相應的應用場景有:高清4K/8K直播、AR/VR/全息實時業(yè)務播放與互動,無人機、車聯(lián)網(wǎng)等對時延敏感的業(yè)務,智能家居、智慧工廠等海量物聯(lián)網(wǎng)場景中物與物、人與物以及人與人之間的連接。
5G邊緣云,相對于傳統(tǒng)的2G,3G,4G網(wǎng)絡,在5G核心網(wǎng)用戶面下沉的基礎上,又在網(wǎng)絡邊緣部署MEC邊緣計算設備,使得業(yè)務部署更加靈活。各類邊緣用戶的終端數(shù)據(jù)處理直接在本地進行即可,不必一一通過核心網(wǎng),再度降低了網(wǎng)絡對用戶響應的時延,也減少了網(wǎng)絡擁塞的風險。各類創(chuàng)新業(yè)務應用可直接部署上云,充分利用5G邊緣云技術的特點,從而滿足垂直行業(yè)的不同業(yè)務需求。
1.2? 增強現(xiàn)實及視覺SLAM
在計算機視覺中,機器人用攝像機代替眼睛,收集外部世界的圖像;用算法代替神經(jīng),對輸入的圖像視頻流進行運算;用處理器(CPU或者GPU)代替大腦,進行信息的存儲和運算。隨著人工智能的發(fā)展,計算機視覺領域還在不斷深入研究,各分支的研究與應用也在不斷突破,AR就是基于計算機視覺的人工智能的重要分支之一。
AR是指通過對外部世界信息的捕捉,疊加相應的視覺特效技術,把虛擬影像疊加在現(xiàn)實場景中并呈現(xiàn)于屏幕上。相對于一般的平面圖像而言,它更加立體形象,并配以聲音(未來甚至可配以味覺和嗅覺的感官體驗),讓人身臨其境。
真正意義上的AR不僅能呈現(xiàn)簡單的圖像渲染及特效,還可以對環(huán)境進行深度檢測,這種情況下,往往會應用到視覺定位與地圖構建(Simultaneous Localization and Mapping,SLAM)技術。SLAM是指在一個未知的環(huán)境里,放入一個機器人(或是帶有傳感裝置的設備),讓其自主估計自身的位置并建立環(huán)境地圖,從而可以實現(xiàn)自動尋路等功能。在整個過程中,SLAM技術主要解決的是定位與周圍環(huán)境模型的構建,如果傳感設備使用的是攝像機,那么就稱之為視覺SLAM。
1.3? 室內定位解決方案
1.3.1? 讓AR上5G云是基礎
近年來雖然增強現(xiàn)實的應用很受追捧,各行各業(yè)都紛紛投入開發(fā)并使用相關應用,但縱觀其普及度,尚未能實現(xiàn)大眾化,其依然面臨許多挑戰(zhàn)。在項目前期調研過程中,研究團隊發(fā)現(xiàn)許多痛點,例如在智能手機上運行增強現(xiàn)實軟件時,手機電量消耗過快;AR渲染效果要想較好呈現(xiàn),需要下載APP,多數(shù)用戶不愿意;在進行相關互動時,由于網(wǎng)絡擁塞或時延,會讓人有暈眩感或產(chǎn)生定位延遲等。因此,要想讓AR定位方案得以普及,解決上述問題成了方案應用的基礎。
讓AR上5G云,則可以有效緩解上述問題。據(jù)相關對比研究測試顯示,AR上5G云之后,其性能和成本等多方面都得到了明顯改善。舉個例子,在進行AR互動時,如果是本地AR,雖然無需考慮時延問題,但每一個本地AR都像一個“孤島”,無法實現(xiàn)與外界的連接,并且對每一個本地AR的硬件要求較高,硬件設備也無法共享。通過4G網(wǎng)絡,在云端部署AR應用,計算機視覺的計算和渲染在云端進行,終端需要處理的內容少了,那么對終端的配置要求也就降低了,但其代價就是增加了網(wǎng)絡時延。雖然4G網(wǎng)絡已是扁平化結構,但仍無法滿足對AR互動的時延要求,在很多項目的實地考察中發(fā)現(xiàn),用戶在連網(wǎng)使用互動類AR應用時很容易出現(xiàn)暈眩。而5G的適時出現(xiàn),正好彌補了這一缺陷,5G空口時延再度降低,配以云端高性能硬件設備,其端到端時延相對于4G網(wǎng)絡得到了明顯降低,讓用戶互動不再產(chǎn)生暈眩。
1.3.2? 提高室內定位精度
基于視覺SLAM的室內定位解決方案是純視覺的,不依賴于其他技術手段,也就是僅通過攝像機來捕獲外界信息。在項目測試中,其定位精度不夠準確,應用于導航項目里會有導航偏差,尤其對于較為空曠的區(qū)域,往往出現(xiàn)識別出錯的情況,體驗效果不佳,讓項目順利交付難度較大。
為提高定位精度,增加采用以下技術手段。
(1)慣性導航IMU。智能手機一般都配有慣性測量單元(Inertial Measurement Unit,IMU)模塊,IMU能夠測量自身傳感器的加速度和角速度,從而快速正確地估計物體的運動狀態(tài),也正好解決了攝像機在快速運動的狀態(tài)下圖像模糊導致定位不準確的問題,這些都是攝像機固有的缺陷。IMU的缺點是隨著時間的累積會出現(xiàn)明顯的數(shù)據(jù)漂移,而這又正好是攝像機的優(yōu)勢,可通過攝像機數(shù)據(jù)來修正。因此,將兩者融合,使得視覺定位系統(tǒng)對位姿的估計更加準確,讓定位系統(tǒng)更加完善。
(2)5G邊緣云部署。除了與IMU模塊結合以外,為提高定位精度,還可以通過無線基站給出初始定位范圍(目前5G用戶普及度不如4G,且單純依靠通信來進行高精度室內定位的能力目前尚不成熟),部署5G MEC邊緣云,整個定位流程可大致簡化,如圖1所示。
①無線基站可對該區(qū)域范圍內的用戶進行粗略定位,將相關信息傳送至移動邊緣計算(Mobile Edge Computing,MEC)。與此同時,終端用戶也會將攝像機獲取的周圍環(huán)境關鍵信息上傳至MEC。
②在5G MEC邊緣云上,首先,根據(jù)基站對用戶進行定位的信息來縮小搜尋范圍,無需在整個場景中進行圖像比對,極大地減弱了計算量;其次,再用攝像機上傳信息,在之前縮小的范圍內進行定位,找出用戶的初始位置;最后,結合用戶需求,進行相應的圖形渲染。
③將關鍵信息傳給用戶,在用戶端呈現(xiàn)AR定位效果。在整個流程中,除攝像機獲取信息之外,圖像渲染、計算機視覺算法以及與無線基站信息的融合,都是在5G邊緣云設備MEC上進行的,MEC擁有比普通服務器高的計算能力。終端用戶僅需上傳關鍵環(huán)境信息即可,極大地降低了對終端的要求,降低了用戶的使用門檻。經(jīng)測試,終端耗電量也得到了很大程度的減弱。對企業(yè)用戶來說降低了終端成本,對個人用戶來說無需另外下載APP,這更加有利于AR的普及,輕松實現(xiàn)AR室內定位應用。
基于5G邊緣云,定位精度可達厘米級。這主要是有兩方面原因。(1)由于數(shù)據(jù)僅在邊緣處理,網(wǎng)絡時延進一步降低。(2)環(huán)境信息的及時更新。
由于5G邊緣云是獨立于5G網(wǎng)絡的其他部分,整個數(shù)據(jù)的處理都在局域網(wǎng)內進行,從整個網(wǎng)絡鏈路上來說,期鏈路短、節(jié)點少,時延自然降低。在實際項目中,現(xiàn)實環(huán)境或多或少會有變化,比如物品的擺放、室內局部環(huán)境的調整等,這時候就需要對環(huán)境地圖進行更新。以前的做法是不定期對環(huán)境進行信息重新采集來更新環(huán)境地圖,但這樣往往會導致信息更新不及時,還增加了運營成本。部署5G邊緣云之后,會在用戶使用的同時進行信息收集,及時在MEC上更新環(huán)境信息,避免造成網(wǎng)絡擁塞。
此外,5G MEC邊緣云讓5G網(wǎng)絡更加解耦,讓更多的內容服務提供商可便利地加入到生態(tài)圈中,更加專心于自身業(yè)務、加速應用創(chuàng)新。
定位長期以來一直是個敏感話題,涉及用戶隱私,運營商一般不會輕易給出用戶位置信息。而通過5G的網(wǎng)絡切片、MEC邊緣云的部署,將用戶分類、讓數(shù)據(jù)不出局域網(wǎng),讓企業(yè)獲取部分用戶的應用管理權,在充分尊重用戶隱私的基礎上,實現(xiàn)室內精準定位。
2? ? 應用舉例
某展會部署5G MEC邊緣云,在5G邊緣云上完成地圖構建、AI場景理解、沉浸式渲染等,實時為用戶提供定位導航服務。用戶打開手機攝像頭,掃一圈周邊環(huán)境即可輕松知道自己的實時位置,輸入目的地,就可以生成路線,同時,還能疊加用戶需要的增值服務(如智能講解、選擇自己喜歡的導航員形象等)。
3? ? 結語
文章根據(jù)當前室內定位的挑戰(zhàn),提出基于5G邊緣云與計算機視覺的AR室內定位解決方案,希望可以通過“5G+AI”的賦能,盡可能地減少環(huán)境改造、降低硬件投入成本,以達到高精度的室內定位要求,提升用戶體驗。也希望有更多的同行加入到該領域的研究中,共同推進行業(yè)應用與發(fā)展。
[參考文獻]
[1]高翔,張濤.視覺SLAM十四講:從理論到實踐[M].北京:電子工業(yè)出版社,2019.
[2]深圳中科呼圖信息技術有限公司.計算機視覺增強現(xiàn)實應用概論[M].北京:機械工業(yè)出版社,2017.