陶 杰, 朱熙豪, 鄭于海
(浙江省機電設計研究院有限公司, 浙江 杭州 310000)
隨著我國公路領域的迅速發(fā)展,隧道機電系統(tǒng)也朝著智能化方向發(fā)展。隧道機電系統(tǒng)是隧道運營管理的主要依托工具,主要包括監(jiān)控通信設施、照明設施、通風設施、消防設施及配電設施。為保障隧道實現(xiàn)安全、高速、暢通、舒適等功能,對隧道機電系統(tǒng)的日常養(yǎng)護與監(jiān)測十分必要。在當前的隧道機電設備巡檢中,普遍以人工巡檢為主,并配合一定的信息化手段,例如自動化程度較高的專用移動巡檢機器人,但當前的技術(shù)難以完全替代人工巡檢;還有通過固定攝像機,采用人工智能技術(shù)對機電設備進行監(jiān)測,但這種模式難以對所有設備進行全覆蓋。
雖然人工智能、物聯(lián)網(wǎng)等前沿技術(shù)的進步為隧道機電設備提供了智能檢測的技術(shù)基礎,但是人工巡檢仍是當前不可或缺的巡檢方式,利用現(xiàn)有技術(shù)去輔助人工巡檢而不是取代人工巡檢或具備更好的可行性。為規(guī)范隧道的養(yǎng)護管理工作,2015年交通部修訂發(fā)布了JTG H12—2015《公路隧道養(yǎng)護技術(shù)規(guī)范》,明確提出了“預防為主、防治結(jié)合”的隧道養(yǎng)護工作原則,修訂了隧道機電設施的養(yǎng)護規(guī)定,要求強化隧道巡檢等預防性養(yǎng)護措施。為提高隧道巡檢的科學化水平及效率,新規(guī)范明確要求公路隧道鼓勵運用信息化手段,實現(xiàn)高效、科學的養(yǎng)護管理。隨著新一代機電系統(tǒng)開始大規(guī)模應用于隧道內(nèi),機電設備種類型號、新舊程度等的差異增加了設備巡檢工作的難度,加之巡檢人員業(yè)務能力已難以支撐當前高度智能化、集成化的機電設備的巡檢任務,直接導致了巡檢時耗大、誤檢率及漏檢率高,如何實現(xiàn)高質(zhì)量、高效率的巡檢已迫在眉睫。因此,本文提出基于AR的人工巡檢輔助系統(tǒng),通過AR技術(shù)提高人工巡檢的效率與準確率。
增強現(xiàn)實(augmented reality,AR)是一種全新的人機交互技術(shù),是通過圖像處理和可視化技術(shù)產(chǎn)生虛擬對象,使用傳感技術(shù)將虛擬對象準確放置到現(xiàn)實中,可以實現(xiàn)現(xiàn)場與虛擬場景的疊加,讓真實世界和虛擬物體共存[1]?;贏R系統(tǒng)的研究主要包括真實環(huán)境與虛擬對象的融合、精確定位、追蹤技術(shù)以及人機交互等方面,最終通過手機等終端安裝AR軟件,將虛擬與真實完美疊加。
自20世紀90年代提出AR技術(shù)以來,國內(nèi)外高校、研究所和大型企業(yè)在基于AR技術(shù)的巡檢與運維領域取得了一定的研究成果。Lorenz等[2]將AR眼鏡和智能巡檢機器人連接起來,實現(xiàn)可靠、安全的遠程維護;Perla等[3]提出了基于AR的巡檢框架,用于工業(yè)檢測領域中的維護和維修輔助等;Jayaweera等[4]在物聯(lián)網(wǎng)系統(tǒng)中啟用AR穿戴設備,增強了機械操作工和修理工的巡檢能力;Ribeiro等[5]提出了以虛擬現(xiàn)實技術(shù)為基礎的沉浸式變電站操作人員培訓系統(tǒng),通過頭戴式頭盔對虛擬變電站環(huán)境進行操作,達到培訓員工準確地完成維護和緊急操作的目的;Hamidane等[6]設計了基于增強現(xiàn)實的預防性維護系統(tǒng),使用3D模型、圖像及文本,實時虛擬幫助技術(shù)人員維護和檢查設備,該系統(tǒng)不僅可以降低預防性維護的成本,還可以監(jiān)控預測故障。郝騰飛等[7]從三維建模、虛擬場景搭建、可視化交互及網(wǎng)絡連接等方面詳細闡述了AR巡檢系統(tǒng)設計時所需關鍵技術(shù);肖東裕等[8]開發(fā)的基于AR技術(shù)的變電站設備運維輔助系統(tǒng),降低了設備現(xiàn)場維修的難度并提高了運維效率、質(zhì)量,同時增加了相關設備運維技能培訓的AR渲染效果。
綜上所述,國內(nèi)外專家對AR技術(shù)進行了深度的研究和驗證,且在機電設備維護巡檢方面已有成熟的應用。但AR技術(shù)在隧道巡檢領域的相關研究較少,缺乏結(jié)合實際的應用驗證。本文通過分析隧道巡檢的技術(shù)現(xiàn)狀和存在的問題,結(jié)合未來智慧隧道發(fā)展的方向,研究并驗證隧道AR人工巡檢輔助系統(tǒng)。
本文利用AR渲染、移動互聯(lián)網(wǎng)等技術(shù)與設備運行信息、典型問題處置方法等經(jīng)驗,構(gòu)建了一套隧道AR虛擬巡檢遠程協(xié)助系統(tǒng)。該系統(tǒng)工作原理如圖1所示。
圖1 系統(tǒng)工作原理
本系統(tǒng)利用AR終端來獲取真實隧道設備的信息與數(shù)據(jù),并結(jié)合3D交互與AR渲染,從而將設備的信息與實時數(shù)據(jù)、巡檢任務單、智能解決方案和虛擬設備手冊等數(shù)據(jù)信息與現(xiàn)實疊加。
使本系統(tǒng)正常工作的基礎包括終端設備、數(shù)據(jù)源和服務器等物理設施,以及一個相通的網(wǎng)絡系統(tǒng)。系統(tǒng)物理與通信架構(gòu)如圖2所示。
AR終端在隧道內(nèi)利用4G/5G從廣域網(wǎng)通過安全接入平臺接入隧道運營方內(nèi)網(wǎng)[9],實現(xiàn)了隧道運營數(shù)據(jù)的獲取與傳輸,有效維護了隧道運營方內(nèi)網(wǎng)的安全。數(shù)據(jù)源與服務器構(gòu)建一個獨立的局域網(wǎng),該局域網(wǎng)通過防火墻與安全內(nèi)網(wǎng)相連,這樣可以保證應用網(wǎng)絡的相對獨立性,以充分保證網(wǎng)絡的安全性。
基于AR的隧道機電設備巡檢系統(tǒng)工作流程如圖3所示。
1)在平臺上設定好每個巡檢人員的巡檢方案,填寫任務名稱、任務完成時間、任務責任人等基本信息,明確本次待巡檢的作業(yè)流程和作業(yè)內(nèi)容。
2)巡檢人員利用AR終端接收任務,根據(jù)任務流程進行作業(yè),使用基于計算機視覺的精準室內(nèi)定位技術(shù),實現(xiàn)巡檢員在巡檢時的實時定位。通過在地面上放置虛擬的指引箭頭,實現(xiàn)虛擬巡檢指引[10]。
3)通過AR終端將實時畫面?zhèn)鬏斨疗脚_,平臺對畫面進行識別,將識別信息和關鍵數(shù)據(jù)傳輸回AR終端,輔助巡檢人員對設備是否異常作出精準判斷。
4)AR終端快速識別出需要巡檢的機電設備信息,后臺將該設備實時數(shù)據(jù)迅速傳遞至AR終端,并通過疊加標記數(shù)據(jù)異常的機電設備,可以全方位720°對機電設備進行查看并分解,查看內(nèi)部結(jié)構(gòu)與運作情況。
5)巡檢人員通過AR終端所顯示的機電設備實時數(shù)據(jù)及后臺算法所提供的設備健康值判定設備異常故障后,平臺同時使用算法自動推薦合適的解決方案。若巡檢人員無法解決,現(xiàn)場巡檢人員可以通過AR遠程指導獲得專家的幫助,專家通過實時看到現(xiàn)場巡檢人員的操作內(nèi)容并聽到清晰的語音,從而進行指導。
6)遠程專家可通過移動端或PC端實時連接現(xiàn)場巡檢人員的AR終端,查看現(xiàn)場視頻。遠程專家具備操作系統(tǒng),可以在視頻畫面上標注信息或傳輸處理方案信息等。專家也可以抓取靜態(tài)圖像并放大檢查細節(jié),對實時視頻或靜態(tài)圖像進行批注講解,幫助缺乏經(jīng)驗的巡檢人員增長經(jīng)驗,減少停機時間、降低差旅成本。
7)自動記錄巡檢電子記錄單,并將其收錄檢修知識庫,包括故障原因分析和故障排查、故障處理步驟、設備使用手冊和配置說明、故障的影響及影響范圍,為下次巡檢提供更多的數(shù)據(jù)源,以利于AI智能解決方案的學習。
8)完成巡檢任務。
圖3 AR巡檢工作流程圖
本系統(tǒng)的實現(xiàn)是針對各個機電設備的不同特征進行提取,構(gòu)建好所有機電設備的特征樣本數(shù)據(jù)庫,利用AR終端獲取圖像并進行識別與匹配。在識別與匹配算法研究上,針對隧道場景的特點,對SURF算法進行優(yōu)化[11],提高了識別性能。對于檢測到的機電設備,返還識別結(jié)果和位置信息進行AR渲染。AR渲染建立了現(xiàn)實世界與屏幕之間的映射關系,使想要展示的信息、數(shù)據(jù)或三維模型疊加在實物上并可以在屏幕上看到。巡檢人員使用AR終端就可以看到機電設備的信息與實時數(shù)據(jù)、巡檢任務單、智能解決方案和虛擬設備手冊等。
識別匹配算法本質(zhì)上是要在AR終端的攝像機畫面內(nèi)識別出所有樣本數(shù)據(jù)庫中存在的機電設備并與之匹配。當AR終端的攝像頭開始獲取圖像畫面后,提取畫面內(nèi)特征點并與樣本特征點進行比較,如果匹配數(shù)量超過閾值,即可認為捕獲到該樣本。
常用來進行物體辨識和圖像匹配的算法是SIFT和SURF算法,且都能較好地解決尺度不變的問題。尺度不變性如圖4所示。
圖4 尺度不變性示意圖
SIFT算法特征穩(wěn)定,但實時性不高,對隧道內(nèi)有些邊緣不明顯設備的特征點提取能力弱。SURF算法步驟與SIFT算法大致相同,但是改進了特征的提取和描述方式,具備更強的特征值點提取能力和實時性[12]。
2.1.1 構(gòu)建Hessian矩陣與尺度空間
SURF算法的核心為Hessian矩陣(見式(1)),是一個多元函數(shù)的二階偏導數(shù)構(gòu)成的矩陣[13],可以生成圖像穩(wěn)定的邊緣點,為下文的特征提取做好基礎。
(1)
式中x,y為像素點坐標。
Hessian矩陣的判別式為:
(2)
判別式取得局部極大值時像素點的坐標即為關鍵點的位置。在SURF算法中,圖像像素I(x,y)取代函數(shù)值f(x,y)[14],并使用二階標準高斯函數(shù)對其進行高斯濾波,使特征點具備尺度無關性:
L(x,t)=G(t)·I(x,t)。
(3)
通過特定核間的卷積計算二階偏導數(shù),計算出3個矩陣元素Lxx,Lxy,Lyy,從而得到矩陣:
(4)
SURF算法從9×9的箱式高斯濾波器開始,如圖5所示。為了保持尺度空間的連續(xù)性,SURF算法尺度空間相鄰組中有部分層重疊。改變?yōu)V波窗口大小來獲得不同尺度的圖像,構(gòu)成了尺度空間。
(a) x方向 (b) y方向 (c) xy方向
2.1.2 特征點主方向分配并生成描述子
將經(jīng)過Hessian矩陣處理的每個極值點與二維圖像空間和尺度空間鄰域內(nèi)的像素點作比較,并篩選出最終穩(wěn)定的特征點。
當?shù)玫筋I域內(nèi)所有點的矢量后,需要確定該特征值點的主方向。將領域以每60°為一個區(qū)間,逐一統(tǒng)計每個區(qū)間內(nèi)所有點加權(quán)矢量和,然后遍歷整個領域內(nèi)的所有特征點。該特征點的主方向由值最大的區(qū)間的方向確定,如圖6所示。
圖6 特征點主方向
以圖6中3個區(qū)間領域為例,可認為該特征點主方向由15°~75°區(qū)間領域梯度方向確定。
沿著特征點的主方向選定一個矩形區(qū)域塊,如圖7所示。
(a) 領域梯度方向 (b) 關鍵點特征向量
以主方向為基準,建立X軸和Y軸,每個子區(qū)域統(tǒng)計X和Y方向的哈爾小波特征[15]。該哈爾小波特征為水平方向值代數(shù)和、垂直方向值代數(shù)和、水平方向絕對值之和以及垂直方向絕對值之和[16]。把這4個值作為每個子塊區(qū)域的特征向量,共有4×4×4=64維向量作為SURF算法特征的描述子。最終將向量歸一化,得到SURF算法一個特征點的描述子[17]。
2.1.3 Lowe’s算法優(yōu)化篩選特征點匹配
特征點匹配常用的辦法是對2個圖像中的特征點進行提取,然后以一個最佳的閾值來判斷特征點是否匹配。SURF算法也是采用類似的原理,其通過計算2個特征點間的歐式距離來確定匹配度,也就是最鄰近匹配算法(見式(5))[18]。歐氏距離越短,代表匹配度越高?;赟URF算法的特征點匹配如圖8和圖9所示。
(5)
圖8 SURF算法特征點匹配
圖9 有干擾下的特征點匹配
由圖9可知,在有干擾下的特征點匹配效果欠佳,存在些錯誤匹配,所以需要進一步篩選匹配點,來獲取最優(yōu)的特征點匹配。
本文選用Lowe’s算法來優(yōu)化匹配點。即先取其中一圖中的一個關鍵點X,并找出其與另一圖中歐式距離最近的2個關鍵點Y和Z[19]。如果最近的距離除以次近的距離得到的比率R不大于閾值T[20],則接受這一對匹配點,即:
(6)
本文對大量隧道內(nèi)的圖片進行了匹配。經(jīng)過試驗發(fā)現(xiàn): 閾值T在0.5附近匹配效果最好; 當閾值T<0.5,則匹配點會大大減少;當閾值T>0.5,則匹配點存在較多錯誤匹配。運用Lowe’s算法后排除了大量因為遮擋和背景混亂而產(chǎn)生的無匹配關系的關鍵點,大大減少了計算量。優(yōu)化后的特征點匹配如圖10所示,取得了較好的效果。
圖10 優(yōu)化后的特征點匹配
2.1.4 PSO融合優(yōu)化識別匹配
隧道內(nèi)同類型機電設備眾多,對于相同型號的設備難以實現(xiàn)精準匹配。利用機電設備的固定性,對每個設備新增其地理位置或特定標簽等唯一屬性。由于隧道內(nèi)GPS/北斗定位信號弱,可以通過隧道內(nèi)5G室內(nèi)高精定位獲取用戶的地理位置和后臺數(shù)據(jù)庫里該位置附近物體的POI信息,再通過AR智能終端里的電子指南針和加速度傳感器獲取方向和角度,從而建立基于目標物體唯一屬性的識別匹配。當利用唯一屬性完成識別匹配后,需要將唯一屬性識別匹配與SURF算法識別匹配的結(jié)果進行融合。因為識別匹配算法的本質(zhì)是將現(xiàn)實中的目標與后臺數(shù)據(jù)庫里的目標進行關聯(lián),利用定位獲取用戶地理位置,與后臺數(shù)據(jù)庫里該位置附近物體的POI信息進行關聯(lián)后,相較于整個隧道的物體數(shù)量而言,匹配的難度大大降低,有助于識別匹配的準確性。
PSO算法具備較強的信息融合優(yōu)化能力。首先在可解空間中初始化一群粒子,每個粒子都代表極值優(yōu)化問題的一個潛在最優(yōu)解[21],用位置、速度和適應度值表示該粒子特征,速度決定其飛翔的方向和距離,適應度值由適應度函數(shù)計算得到,其值的好壞表示粒子的優(yōu)劣。利用PSO算法尋找目標物體在后臺數(shù)據(jù)庫關聯(lián)度最優(yōu)的一個解,用戶地理位置附近的一些物體則抽象成一群粒子,每個粒子都代表目標物體關聯(lián)問題的一個潛在最優(yōu)解,再通過關聯(lián)度來抉擇粒子是否為最優(yōu)匹配對象。
本系統(tǒng)選擇PSO信息優(yōu)化算法對SURF算法識別匹配的結(jié)果和唯一屬性識別匹配的結(jié)果進行優(yōu)化關聯(lián)融合,有助于識別匹配的準確性。其融合流程如圖11所示。
圖11 PSO信息優(yōu)化算法
將用戶地理位置附近范圍內(nèi)的物體集合作為一個D維的搜索空間,由n個代表物體的粒子組成一個種群X=(X1,X2,…,Xn),其中向量Xi=(Xi1,Xi2,…,XiD)T代表第i個粒子在D維的搜索空間中的位置,也代表一個潛在解[22]。
根據(jù)匹配關聯(lián)度即可計算出每個粒子位置對應的適應度值。
第i個粒子的速度為:
Vi=(Vi1,Vi2,…,ViD)T。
(7)
其個體極值為:
Pi=(Pi1,Pi2,…,PiD)T。
(8)
種群的全局極值為:
Pg=(Pg1,Pg2,…,PgD)T。
(9)
粒子每更新一次位置,就計算一次適應度值,并通過比較新粒子個體極值的適應度值和群體極值的適應度值來更新自己。個體極值就是粒子本身所找到的最優(yōu)解,群體極值是整個種群找到的最優(yōu)解。更新公式如下:
(10)
(11)
式(10)—(11)中:ω為慣性權(quán)重,體現(xiàn)的是粒子當前速度多大程度上繼承先前的速度;d=1,2,…,D;i=1,2,…,n;k為當前迭代次數(shù);Vid為粒子的速度;c1和c2為非負常數(shù),稱為加速度因子;r1和r2為分布在[0,1]的隨機數(shù)。
為防止粒子的盲目搜索,本系統(tǒng)將其位置和速度限制在[-Xmax,Xmax]、[-Vmax,Vmax]。
為了平衡算法的全局與局部搜索能力,本文經(jīng)過實際場景的運用,選用線性遞減慣性權(quán)重LDIW,即
ω(k)=ωstart-(ωstart-ωend)·k/Tmax。
(12)
式中:ωstart為慣性權(quán)重;ωend為迭代至最大次數(shù)時的慣性權(quán)重;k為當前迭代代數(shù);Tmax為最大迭代代數(shù)。
ωstart=0.86、ωend=0.35時算法性能最好。
當完成機電設備的匹配識別后,需要將AR渲染效果加載到匹配識別的機電設備上,也就是跟蹤注冊技術(shù)。跟蹤注冊技術(shù)需要計算出機電設備所在的三維空間內(nèi)的位置,從而可以確定AR渲染效果在真實場景中的位置。因此,計算出機電設備在三維空間中的一系列坐標轉(zhuǎn)換關系是首要任務。
(13)
式中: 矩陣C為攝像機內(nèi)參矩陣,只與內(nèi)部幾何構(gòu)造有關; 外參矩陣Tm為攝像頭在真實世界坐標系下的姿態(tài),需要根據(jù)屏幕坐標(xc,yc)和事先定義好的坐標系以及內(nèi)參矩陣來估計Tm[23]。
經(jīng)過計算機視覺處理算法,即可實現(xiàn)現(xiàn)實場景中標識上的[XmYmZm1]T到二維成像平面對應點[xcyc1]T的計算[24]。由于內(nèi)參矩陣為C定值,確定了外參矩陣Tm即可完成攝像機標定。當計算出標識在各坐標系轉(zhuǎn)換之間的關系后,就能實時跟蹤標識在三維空間中的變化位置并完成虛擬模型疊加,實現(xiàn)跟蹤注冊的目的[25]。本文以甬臺溫復線漁寮隧道為實施對象,隧道內(nèi)AR渲染效果如圖12所示。
(a) 渲染前隧道實景
(b) 實時渲染效果
(c) 選定設備下的渲染效果
圖12(a)為隧道內(nèi)未渲染的實景。如圖12(b)所示,通過AR終端在有效范圍內(nèi)可以看到實時渲染效果;針對不同類設備以不同顏色進行區(qū)分,路面呈現(xiàn)根據(jù)巡檢任務自動規(guī)劃的巡檢指引線路;右上方具備巡檢小地圖功能,左上方具備菜單欄、任務欄、重置、路線、自動等功能。如圖12(c)所示,通過AR交互技術(shù)選擇特定的某一設備即可獲取其實時運行數(shù)據(jù)及狀態(tài),并可以查看其3D結(jié)構(gòu)、手冊詳情、設備檢查、遠程協(xié)助等功能。
圖13(a)為未渲染的機電設備實景。如圖13(b)所示,AR終端在巡檢模式中除了圖12(c)中的功能外,還可以查看到設備的詳細數(shù)據(jù)及歷史數(shù)據(jù)等。將基于大數(shù)據(jù)的設備全生命周期分析和綜合展示進行虛擬疊加,為巡檢決策提供依據(jù)。
(a) 渲染前機電設備實景
(b) 實時渲染效果
當完成識別匹配和虛擬效果渲染后,巡檢人員需要對AR虛擬效果進行交互。
手機與AR眼鏡哪種作為AR終端更符合隧道運營方也是一個需要考慮的問題。手機作為AR終端的基礎工具,性價比高,只需要開發(fā)手機端程序即可使用,但是其性能遠低于AR眼鏡;而AR眼鏡較重,并不適合長時間佩戴,用戶體驗效果不佳。因此,本文擬將AR眼鏡與安全頭盔進行結(jié)合,有效提升設備性能與集成化,并進行現(xiàn)場應用,如圖14所示。
(a)(b)(c)
如圖14(a)所示,AR終端將電源內(nèi)置于安全頭盔處,能有效降低AR眼鏡的質(zhì)量,使巡檢人員的負荷更加合理。該AR終端的鏡片透光率高,不會影響巡檢人員觀察路況的視線。圖14(b)與圖14(c)則示出巡檢人員處于巡檢狀態(tài),如隧道傳統(tǒng)日常巡檢一樣,在巡檢過程中不中斷交通,采用步行方式,配備AR終端進行巡檢。
對于AR終端,比較方便的交互方式是手勢、語音和遙控器。遙控器操控是一種傳統(tǒng)的交互方式,唯一的優(yōu)點就是能保證交互的準確與高效,但是不利于巡檢人員解放雙手;手勢操控只在一定程度上解放了雙手,仍需要頻繁地用手進行操作;語音操控則可以全面解放巡檢人員的雙手,但其智能程度也遠遠達不到AR交互需求,只能作為輔助操作工具。
在實際使用中將結(jié)合眼控交互。眼睛的運動分為注視和掃視[26-27],如在一個虛擬界面中,眼睛的掃視運動軌跡能夠反映在虛擬界面中,達到虛擬界面的上下拉動,以注視的時長作為觸發(fā)閾值,從而實現(xiàn)某虛擬物體的放大和縮小。也可以將眼控交互作為選擇性的操控,使某選項處于待激活狀態(tài)[28],再搭配語音交互或者通過某個特定手勢交互進行激活,例如通過人體手指的運動進行界面操作,將實現(xiàn)最基本的點選、拖拽操作,這種多重交互協(xié)作方式將會有效避免誤觸發(fā)。
為驗證AR隧道虛擬巡檢系統(tǒng)的有效性和可用性,本文將從匹配性能和AR渲染性能2方面對AR隧道虛擬巡檢系統(tǒng)的性能進行測試,并結(jié)合實際運行效果與傳統(tǒng)人工巡檢效果做出對比評估。
本文將從識別匹配時耗和識別匹配準確度來評估匹配性能。其中,測試環(huán)境依托近年新建的甬臺溫高速公路復線溫州瑞安至蒼南段漁寮隧道,其長度為5.86 km,內(nèi)部光照條件良好且機電設備齊全。本試驗選取了隧道內(nèi)常有的機電設備,包括消防水泵、射流風機、攝像機、控制箱、照度儀、車道指示器、環(huán)境檢測器、可變標志作為測試類別,每類測試類別分別挑選10個外形不一的測試設備,每個測試設備在720°全方位下以間隔7.2°為截圖點截取100張,即每類機電設備獲得了1 000張測試集。最終以不同車流量為環(huán)境參數(shù)變量驗證本系統(tǒng)在實際環(huán)境下的實用性。
3.1.1 識別匹配耗時測試
將測試集數(shù)據(jù)通過SURF算法、Lowe’s算法優(yōu)化后的SURF和PSO融合優(yōu)化后的識別匹配算法分別測試識別匹配的效率,統(tǒng)計各機電設備類型1 000個測試案例的平均耗時來作為評判依據(jù),見表1。
表1 識別匹配耗時
可以發(fā)現(xiàn),Lowe’s算法優(yōu)化后的SURF大大降低了識別匹配時耗,而PSO融合優(yōu)化后的識別匹配算法雖然在優(yōu)化后的SURF算法上融合了獨有特征的識別,但對比于優(yōu)化后的SURF算法只略微增加了識別匹配的時耗,仍然具備超過傳統(tǒng)SURF算法的效率。
3.1.2 識別匹配準確度測試
識別匹配的準確度是匹配性能的核心,將測試集數(shù)據(jù)通過SURF算法、Lowe’s算法優(yōu)化后的SURF和PSO融合優(yōu)化后的識別匹配算法分別測試識別匹配的準確度,并采用人工驗證統(tǒng)計各機電設備類型1 000個測試案例的平均匹配準確度,見表2??梢园l(fā)現(xiàn),Lowe’s算法優(yōu)化后的SURF算法與傳統(tǒng)SURF算法的識別匹配準確度相似,并無多大提升,且對于消防水泵和控制箱等所處周邊環(huán)境比較復雜的情況下識別匹配準確率不高。而PSO信息優(yōu)化算法對SURF算法識別匹配的結(jié)果和獨有屬性識別匹配的結(jié)果進行優(yōu)化關聯(lián)融合,極大地提升了識別的匹配準確率,各類機電設備的匹配準確率均高于95%,雖然在實施過程中增加了一定工作量,但保證了識別匹配的準確率。
表2 識別匹配準確度
然而,測試案例并不能完全體現(xiàn)隧道內(nèi)實際情況,因此需要對不同環(huán)境參數(shù)下的識別匹配準確度進行測試。由于車輛的車燈照明及尾氣會對隧道環(huán)境參數(shù)造成較大影響,本文以車流量的變化來量化環(huán)境參數(shù)的改變,從而測試本系統(tǒng)在不同環(huán)境下的識別匹配準確率。由于測試時難以保證每次車流量的完全一致,通過按范圍來劃分并分別進行10次實地測試,最后采用人工驗證統(tǒng)計各車流量區(qū)間下的平均匹配準確度,見表3。
表3 不同環(huán)境參數(shù)下的識別匹配準確度
由表3可知,隨著車流量的增大,隧道內(nèi)的環(huán)境會發(fā)生很大的改變,汽車燈光與尾氣等均會對識別匹配產(chǎn)生嚴重的干擾。由于照度儀、車道指示器和可變標志直接處于隧道中間,所受的影響也是最大,其識別匹配準確率下降較大;攝像機與環(huán)境檢測器雖然處于隧道兩壁,但是其識別匹配準確率也有下降;消防水泵與控制箱則處于隱蔽處未受影響。
本文將從渲染耗時和渲染有效性來測試評估匹配性能。
3.2.1 渲染耗時測試
當視頻幀數(shù)達30幀以上即具備流暢性,因而需要保證每一幀渲染時耗小于33 ms。本文挑選15個不同機電設備作為測試場景進行AR渲染耗時測試,如圖15所示。
圖15 渲染耗時統(tǒng)計圖
由圖15可知,15個案例的平均渲染時耗都維持在25 ms/幀以下,且運行時無明顯卡頓,由此可以判斷本系統(tǒng)的三維模型渲染能夠滿足實時性的要求。
3.2.2 渲染有效性測試
在進行渲染有效性評估時,由于不便量化,本文以在不同距離下的渲染是否成功來衡量渲染的有效性,并統(tǒng)計到表中。其中,√表示渲染成功,×表示無渲染,-表示時有時無。以20 cm為視距間隔對所有機電設備進行渲染有效性測試,只要當前視距間隔內(nèi)有一類設備渲染不成功均視為該視距無渲染,見表4。
表4 渲染有效性統(tǒng)計
由表4可知,當機電設備在距離AR終端視距小于20 cm時,由于機電設備在攝像機視覺內(nèi)過大,攝像機只能獲取部分特征點,無法完成識別;當視距大于200 cm時,由于像素點過少,攝像機獲取的特征點較少,也一樣而無法識別;當機電設備在距離AR終端視距40~220 cm的情況下均能完成渲染?;旧现恍枰东@300個有效像素就可以進行精準識別,滿足現(xiàn)有場景下的隧道巡檢,后期可以通過提升AR終端的像素來改進識別的距離,但是同樣會增加識別匹配和渲染的時耗,這是后期改進的方向。
為驗證AR輔助巡檢系統(tǒng)的實際運用效果,對比傳統(tǒng)人工巡檢檢測內(nèi)容,從巡檢耗時與巡檢準確率2方面進行驗證。
通過選取正常巡檢的時間點,在傳統(tǒng)人工巡檢的基礎上新增1名巡檢人員,采用AR輔助巡檢方式持續(xù)1個月每日按時進行巡檢,最后由復核人員核定巡檢耗時、誤檢率、漏檢率及準確率并取平均值,對比結(jié)果見表5。
表5 實際運用效果對比
可以發(fā)現(xiàn),AR輔助巡檢系統(tǒng)相對于人工巡檢有明顯優(yōu)勢,總體準確率約為94%,平均耗時縮減為傳統(tǒng)人工巡檢的54%,且未發(fā)生漏檢情況。人工巡檢效率低、誤判率高且存在漏檢的情況,利用AR輔助巡檢系統(tǒng)能通過系統(tǒng)規(guī)劃的巡檢路線有效避免漏檢的情況,且系統(tǒng)所展示的設備實時數(shù)據(jù)及輔助決策功能大大降低了巡檢時間,有效減少了誤檢率。
本文研究和設計了基于AR的隧道虛擬巡檢系統(tǒng),在一定程度上能提高設備巡檢效率和質(zhì)量,實現(xiàn)AR可視化指導、智能識別、輔助巡檢。具體研究成果如下:
1)選擇Lowe’s算法優(yōu)化SURF的匹配點,排除了大量因為遮擋和背景混亂而產(chǎn)生的無匹配關系的關鍵點,減少了計算量,有效地提升了本系統(tǒng)AR渲染效果的實時性。
2)提出PSO信息優(yōu)化算法對SURF算法識別匹配和唯一屬性識別匹配的結(jié)果進行優(yōu)化關聯(lián)融合,提升了識別匹配的準確性。
3)計算出機電設備所在的三維空間內(nèi)的位置,從而確定AR渲染效果在真實場景中的位置。通過對各坐標系轉(zhuǎn)換后,完成實時虛擬模型疊加,實現(xiàn)跟蹤注冊。最終系統(tǒng)通過匹配性能和AR渲染性能及實際運行效果測試評估,總體準確率接近94%,平均耗時縮減為傳統(tǒng)人工巡檢的54%,且未發(fā)生漏檢情況。
通過對基于AR技術(shù)的隧道人工巡檢輔助系統(tǒng)進行深度的研究與實踐,在實際應用中取得了較好的效果。但未來仍需對以下幾個方向的技術(shù)問題深入研究:
1)本系統(tǒng)的AR渲染效果在隧道環(huán)境復雜情況下匹配準確度有較大下降,尤其在大尺度場景中,誤差漂移嚴重,因此,本系統(tǒng)AR渲染效果的精確性需要進一步優(yōu)化。
2)對于本系統(tǒng)的人機交互邏輯、AR終端的集成化和觸覺反饋硬件提升也是未來研究的方向。
3)未來將做到對機電設備虛擬模型的拆分,這樣更有利于巡檢人員發(fā)現(xiàn)問題和解決問題,其中的精準模型構(gòu)建將是深入研究的方向。