王 陳 哲,陳 宇 佳*,陶 詩(shī) 量,李 明,胡 博,賈 軍 輝,陳 浩 男

(1.國(guó)家基礎(chǔ)地理信息中心,北京 100830;2.百度(中國(guó))有限公司,北京 100193;3.自然資源部第三航測(cè)遙感院,四川 成都 610100;4.國(guó)網(wǎng)思極位置服務(wù)有限公司,北京 102209)

0 引言

近年來(lái),隨著智慧城市概念的全面普及,基于位置的服務(wù)得到廣泛關(guān)注并促進(jìn)定位技術(shù)迅猛發(fā)展。由于全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)定位技術(shù)無(wú)法解決室內(nèi)場(chǎng)景下的定位問(wèn)題[1],室內(nèi)定位技術(shù)應(yīng)運(yùn)而生,其應(yīng)用場(chǎng)景更貼近日常衣食住行,涵蓋各類博覽會(huì)、機(jī)場(chǎng)、火車站、大型商場(chǎng)、地下礦井、商場(chǎng)地下車庫(kù)等諸多場(chǎng)景[2]。目前室內(nèi)定位的主要手段有WiFi、藍(lán)牙beacon、行人航位推算(PDR)、地磁、紅外、超寬帶等。其中,WiFi主要采用指紋比對(duì)算法,需提前布置設(shè)備并采集大量指紋信息[3],國(guó)外多采用眾包信源并增加位置語(yǔ)義注釋的方式減少前期的指紋采集工作,但受限于眾包位置的不平均,仍無(wú)法解決所有位置的精度問(wèn)題[4];藍(lán)牙采用指紋匹配或類似基站信號(hào)軌跡匹配方式[5],精度更高,但仍需布置設(shè)備且需定期檢修[6];PDR算法雖無(wú)需提前布置設(shè)備,但因累計(jì)誤差無(wú)法消除,仍需結(jié)合藍(lán)牙或WiFi進(jìn)行絕對(duì)位置糾正,如融合自適應(yīng)擴(kuò)展卡爾曼濾波的低功耗藍(lán)牙PDR方案[7]、基于PDR和地理網(wǎng)格的方案等[8];基于語(yǔ)義結(jié)構(gòu)的室內(nèi)定位等算法也存在精度不高或成本較高等缺陷[9],尤其對(duì)于無(wú)法布設(shè)額外設(shè)備的受控環(huán)境,多數(shù)常用定位手段均無(wú)法使用。

隨著智能手機(jī)的發(fā)展,基于圖像的室內(nèi)定位成本低,無(wú)須額外安裝較多設(shè)備,相比傳統(tǒng)方案準(zhǔn)確性更高[10],且對(duì)于傳統(tǒng)硬件設(shè)備(WiFi等)限制安裝區(qū)域的適用性較高。但當(dāng)前基于圖像的室內(nèi)定位技術(shù)也存在特定缺陷[11],例如:基于Simultaneous Localization and Mapping(SLAM),融合視覺(jué)里程與PDR的室內(nèi)定位算法復(fù)雜度較高,導(dǎo)致效率較低,無(wú)法滿足實(shí)時(shí)性要求[12];基于目標(biāo)跟蹤檢測(cè)并投影還原位置的被動(dòng)視覺(jué)方案仍需提前布設(shè)硬件設(shè)備且精度不能保證[13];基于深度學(xué)習(xí)網(wǎng)絡(luò)目標(biāo)特征識(shí)別的方案雖無(wú)額外硬件依賴,但無(wú)法準(zhǔn)確估計(jì)位置[14];基于雙目視覺(jué)深度估計(jì)的定位方案依賴的視覺(jué)攝像頭較多,無(wú)法適用于日常生活[15]。隨著人工智能與計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法在圖像識(shí)別領(lǐng)域成果斐然[16]。因此,為解決已有室內(nèi)定位技術(shù)的缺陷,本文結(jié)合特征點(diǎn)識(shí)別與深度學(xué)習(xí)算法,提出一種基于圖像的室內(nèi)定位技術(shù),該技術(shù)只需通過(guò)移動(dòng)終端拍攝的視頻流圖像,即可獲得實(shí)時(shí)室內(nèi)位置。

1 基于圖像的室內(nèi)定位技術(shù)

本文基于圖像的室內(nèi)定位技術(shù)實(shí)現(xiàn)流程(圖1)為:①在室內(nèi)選定密度足夠且分布均勻的具有標(biāo)志特征的區(qū)域,并對(duì)每個(gè)標(biāo)志特征區(qū)域拍攝大量不同角度、不同大小的圖像,通過(guò)灰度、濾波、旋轉(zhuǎn)、仿射等變換膨脹圖片集,得到標(biāo)志物訓(xùn)練數(shù)據(jù)集,然后基于標(biāo)志物訓(xùn)練數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,得到標(biāo)志物識(shí)別器;同時(shí),對(duì)每個(gè)標(biāo)志特征區(qū)域拍攝一張清晰的模板圖像,并量取相對(duì)距離獲得模板圖像的位置信息(移動(dòng)設(shè)備終端相對(duì)于模板圖像的距離和角度),對(duì)每張模板圖像進(jìn)行特征點(diǎn)識(shí)別與描述,形成環(huán)境特征信息庫(kù)。②基于手機(jī)視頻流,將室內(nèi)定位分為概略定位和精細(xì)定位兩個(gè)階段:在概略定位階段,將視頻流中的每幀圖像輸入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)標(biāo)志物識(shí)別器,獲得該幀圖像的粗略位置及其對(duì)應(yīng)的模板圖像;在精細(xì)定位階段,將視頻流中的每幀圖像進(jìn)行特征點(diǎn)識(shí)別與描述,并與其模板圖像在環(huán)境特征信息庫(kù)中對(duì)應(yīng)的特征點(diǎn)進(jìn)行匹配,在剔除誤匹配后,通過(guò)仿射變換和分解單應(yīng)矩陣得到精確的位置信息。

圖1 基于深度學(xué)習(xí)和特征點(diǎn)識(shí)別的室內(nèi)定位系統(tǒng)工作流程Fig.1 Workflow of indoor positioning system based on deep learning and feature point recognition

圖2 RANSAC算法流程Fig.2 Flow chart of RANSAC algorithm

1.1 卷積神經(jīng)網(wǎng)絡(luò)標(biāo)志物識(shí)別器構(gòu)建

1.1.1 MobileNet V3網(wǎng)絡(luò)結(jié)構(gòu) MobileNet V3[17,18]憑借網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化,在更少的參數(shù)和計(jì)算量下,精度和計(jì)算速度均優(yōu)于多數(shù)大型神經(jīng)網(wǎng)絡(luò)[19],本文系統(tǒng)主要部署于移動(dòng)端設(shè)備,對(duì)性能及計(jì)算速度要求較高,故選取MobileNet V3-Small作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。MobileNet V3-Small共有12個(gè)特有的bneck層[20]、1個(gè)標(biāo)準(zhǔn)卷積層和2個(gè)逐點(diǎn)卷積層,且具備以下特性:①具有MobileNet V1的深度可分離卷積。深度可分離卷積[21]由1層深度卷積與1層逐點(diǎn)卷積組合而成,每層卷積后均緊跟著批規(guī)范化和ReLU激活函數(shù),在精度基本不變的情況下,參數(shù)與計(jì)算量均低于標(biāo)準(zhǔn)卷積。②具有MobileNet V2的線性瓶頸逆殘差結(jié)構(gòu)[22]。該結(jié)構(gòu)相比標(biāo)準(zhǔn)卷積能減少參數(shù)量和卷積計(jì)算量,從空間和時(shí)間上優(yōu)化網(wǎng)絡(luò)。③加入輕量級(jí)的注意力模型(Squeeze-and-Excitation模塊)[23]。該模型可使網(wǎng)絡(luò)輸入特征的有效權(quán)重更大,無(wú)效或效果小的權(quán)重更小。④使用h-swish激活函數(shù)。研究表明,使用該激活函數(shù)在Google AI的實(shí)驗(yàn)中會(huì)提高約15%的效率[20,24]。

1.1.2 網(wǎng)絡(luò)參數(shù)求解 本文將MobileNet V3在ImageNet數(shù)據(jù)集上訓(xùn)練好的權(quán)重參數(shù)進(jìn)行遷移,獲得預(yù)訓(xùn)練模型參數(shù);通過(guò)訓(xùn)練特定層、凍結(jié)其他層的方式對(duì)預(yù)訓(xùn)練模型參數(shù)進(jìn)行微調(diào)[25],最終得到研究所需的標(biāo)志物識(shí)別器。

1.1.3 標(biāo)志物識(shí)別器在移動(dòng)設(shè)備端的部署 通過(guò)TensorFlow生成模型部署至Android設(shè)備所需的.so、.pb文件及jar包,將上述文件放入Android工程的相關(guān)資源路徑中并配置gradle;在Android工程中寫(xiě)入模型部署所需的類并調(diào)用,即可實(shí)現(xiàn)在移動(dòng)Android端標(biāo)志物識(shí)別器的部署。

1.2 環(huán)境特征信息庫(kù)構(gòu)建

1.2.1 非線性空間構(gòu)造 在對(duì)模板圖像進(jìn)行特征點(diǎn)識(shí)別時(shí),需對(duì)每個(gè)模板圖像進(jìn)行空間特征構(gòu)建。相比SIFT、SURF等常用的線性濾波空間特征構(gòu)建算法,AKAZE的非線性擴(kuò)散濾波對(duì)模板圖像進(jìn)行選擇性模糊(平緩區(qū)域模糊程度高,陡峭區(qū)域模糊程度低),有效保持了原有模板圖像的特征信息。因此,本文采用AKAZE算法[26]對(duì)模板圖像構(gòu)建非線性濾波空間特征[27]:首先,利用式(1)對(duì)模板圖像進(jìn)行金字塔分層,并利用式(2)將像素尺度因子轉(zhuǎn)換為時(shí)間尺度因子,這種映射僅用于獲取一組進(jìn)化時(shí)間值,并通過(guò)這些時(shí)間值構(gòu)建非線性空間特征;最后,利用非線性偏微分方程求解(式(3))構(gòu)建模板圖像的所有非線性空間特征。

(1)

(2)

(3)

式中:σi(o,s)為尺度因子,O和S分別為金字塔分層的層數(shù)和組數(shù),σ0為尺度基準(zhǔn)值,N為金字塔分層中所有尺度因子數(shù)量,ti為進(jìn)化時(shí)間,L為模板圖像的空間特征值,A為圖像隨整體緯度變化所變換的傳導(dǎo)矩陣,m為循環(huán)周期。

1.2.2 特征點(diǎn)識(shí)別 對(duì)模板圖像進(jìn)行非線性空間特征構(gòu)建后,通過(guò)在特征圖像中尋找不同尺度歸一化后的Hessian局部極大值點(diǎn),以實(shí)現(xiàn)特征點(diǎn)的識(shí)別(式(4)),在金字塔分層中,當(dāng)空間特征的某像素點(diǎn)大于其圖像域和尺度域的所有相鄰點(diǎn)時(shí),該點(diǎn)為極大值點(diǎn);在找到特征點(diǎn)在空間特征中的位置后,根據(jù)Taylor展開(kāi)式求解特征點(diǎn)在模板圖像中的位置,得到模板圖像中特征點(diǎn)的坐標(biāo)。

(4)

式中:σ為尺度因子σi的整數(shù)值,x和y分別為空間特征點(diǎn)的坐標(biāo)。

1.2.3 特征點(diǎn)描述 識(shí)別出模板圖像的特征點(diǎn)后,需對(duì)所有模板圖像特征點(diǎn)的點(diǎn)位信息和主方向信息進(jìn)行描述,并構(gòu)建特征描述向量,通過(guò)特征描述向量集合構(gòu)建環(huán)境特征信息庫(kù)。其中,點(diǎn)位信息可在特征點(diǎn)識(shí)別過(guò)程中求解,特征點(diǎn)主方向的求解和特征描述向量的構(gòu)建流程如下:①特征點(diǎn)主方向求解。在模板圖像中確定特征點(diǎn)的搜索圈,并對(duì)搜索圈內(nèi)所有像素點(diǎn)非線性空間特征值的一階微分值Lx和Ly進(jìn)行高斯加權(quán),將加權(quán)后微分值視作向量空間中的點(diǎn)集,在角度為60°的扇形滑動(dòng)窗口內(nèi)對(duì)點(diǎn)集進(jìn)行向量疊加,遍歷整個(gè)圓形區(qū)域,獲得最長(zhǎng)向量的角度即為主方向。②特征描述向量構(gòu)建。為提升效率,本文采用BRISK特征描述方法進(jìn)行特征描述并構(gòu)建特征描述向量,選取512個(gè)短距離點(diǎn)對(duì),故描述子位數(shù)為512。

1.3 室內(nèi)坐標(biāo)解算

在概略定位階段,通過(guò)構(gòu)建的標(biāo)志物識(shí)別器確定視頻流中每幀圖像的粗略位置,從而獲得圖像對(duì)應(yīng)的模板圖像;在精細(xì)定位階段,需先對(duì)視頻流中每幀圖像進(jìn)行特征點(diǎn)識(shí)別與描述,再與其所屬模板圖像在環(huán)境特征信息庫(kù)中對(duì)應(yīng)的特征點(diǎn)進(jìn)行匹配,然后剔除誤匹配,最后解算出精確位置。

1.3.1 特征點(diǎn)匹配 由于本文采用BRISK特征描述方法,故選擇Hamming距離進(jìn)行匹配。兩個(gè)二進(jìn)制字符串的Hamming距離指在各自對(duì)應(yīng)的位數(shù)上數(shù)值是否一致,若一致,記為0,否則記為1。當(dāng)對(duì)比過(guò)所有位數(shù)后,得到的1的數(shù)量即為Hamming距離。

1.3.2 誤匹配點(diǎn)剔除 基于特征點(diǎn)的圖像匹配不可避免地會(huì)產(chǎn)生錯(cuò)誤匹配對(duì),本文采用RANSAC算法剔除誤匹配點(diǎn)[28](圖 2)。在循環(huán)迭代過(guò)程中(最大迭代次數(shù)由式(5)計(jì)算),若找到滿足判定為內(nèi)點(diǎn)的誤差門限及內(nèi)點(diǎn)數(shù)閾值的單應(yīng)矩陣數(shù)據(jù)組,則采用該組單應(yīng)矩陣對(duì)全部特征點(diǎn)數(shù)據(jù)進(jìn)行計(jì)算,最終得到剔除誤匹配后的特征點(diǎn)對(duì)。

(5)

式中:wa為第a個(gè)特征點(diǎn)均為正確匹配點(diǎn)對(duì)的概率,p為抽取到的 4組匹配點(diǎn)數(shù)據(jù)全部來(lái)自內(nèi)點(diǎn)集的概率。

1.3.3 精確位置解算 從匹配點(diǎn)對(duì)中篩選出主方向強(qiáng)烈的穩(wěn)定特征點(diǎn)對(duì),計(jì)算兩者的單應(yīng)矩陣H(式(6)),因匹配的特征點(diǎn)對(duì)肯定大于4對(duì),因此通過(guò)SVD分解求得旋轉(zhuǎn)矩陣和平移矩陣,進(jìn)而得到相機(jī)姿態(tài)角θ;對(duì)穩(wěn)定特征點(diǎn)集隨機(jī)跳躍求差,根據(jù)差值大小進(jìn)行反向賦權(quán),求取模板圖像與視頻流圖像的特征點(diǎn)位距離差加權(quán)平均值δ;再通過(guò)已知的相機(jī)焦距f、相機(jī)姿態(tài)角θ、模板圖像的位置坐標(biāo)P0及模板圖像拍攝距離z0計(jì)算得到手機(jī)與當(dāng)前模板圖像的距離,進(jìn)而得出精確位置P(式(7))。

(6)

式中:K為相機(jī)內(nèi)參數(shù),d為中心距離,N為相機(jī)平面法向量,R為相機(jī)外參旋轉(zhuǎn)矩陣,T為相機(jī)外參平移向量。

P=P0+[(δf+z0)sinθ(δf+z0)cosθ]T

(7)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)采集

實(shí)驗(yàn)采用的軟硬件平臺(tái)信息為:①定位終端硬件平臺(tái)(Android手機(jī)):Samsung Galaxy Z Flip3;②模型訓(xùn)練硬件平臺(tái)(PC):MacBook Pro 2020;③模型訓(xùn)練軟件平臺(tái):Tensorflow 2.10;在Tensorflow平臺(tái)訓(xùn)練得到模型后,保存得到.pb文件,并通過(guò)Bazel軟件生成得到在Android端調(diào)用模型所需的.so文件和jar包,最后將.pb文件、.so文件和jar包分別導(dǎo)入Android工程的app/src/main/assets、app/src/main/jniLibs和app/libs路徑下,即可調(diào)用模型。實(shí)驗(yàn)場(chǎng)地位于國(guó)家基礎(chǔ)地理信息中心(國(guó)家測(cè)繪檔案資料館),因涉及重要密級(jí)資料,無(wú)法進(jìn)一步部署額外的電子設(shè)備,故不適合采用WiFi等室內(nèi)定位手段,通過(guò)基于圖像識(shí)別的室內(nèi)定位系統(tǒng)進(jìn)行定位是最合適且有效的。

在實(shí)驗(yàn)場(chǎng)地進(jìn)行標(biāo)志物訓(xùn)練數(shù)據(jù)集采集,共獲取25個(gè)標(biāo)志物,進(jìn)行一定范圍內(nèi)的增強(qiáng)變換(灰度、對(duì)比度、濾波、平移、旋轉(zhuǎn)、仿射、銳度等變換)后,得到足夠多的訓(xùn)練集供標(biāo)志物識(shí)別器訓(xùn)練(每個(gè)標(biāo)志物圖片約1 000張)(圖3),最終得到標(biāo)志物識(shí)別器;選取模板圖像進(jìn)行AKAZE特征點(diǎn)提取與描述,得到所有模板圖像的環(huán)境特征信息庫(kù)。

2.2 實(shí)驗(yàn)結(jié)果分析

采用基于本文方法的硬件設(shè)備在實(shí)驗(yàn)場(chǎng)地進(jìn)行實(shí)時(shí)定位試驗(yàn),對(duì)相同路線試驗(yàn)20次,以減少偶然性,最終獲得實(shí)驗(yàn)路線平均定位軌跡(圖4)。與真實(shí)軌跡進(jìn)行比對(duì)可知,本文方法定位精度較高,90%以上的路線平均誤差控制在0.2 m以內(nèi)。

圖4 真實(shí)軌跡與試驗(yàn)軌跡對(duì)比Fig.4 Comparison between real track and test track

3 結(jié)語(yǔ)

本文提出一種基于深度學(xué)習(xí)算法和特征點(diǎn)識(shí)別的室內(nèi)定位方法,利用手機(jī)等移動(dòng)設(shè)備終端獲得實(shí)時(shí)視頻流,通過(guò)基于卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)志物識(shí)別器對(duì)視頻流中的每幀圖像進(jìn)行標(biāo)志物識(shí)別,從而獲得其粗略位置,完成概略定位;接著對(duì)視頻流中每幀圖像進(jìn)行特征點(diǎn)識(shí)別,并與構(gòu)建的環(huán)境特征信息庫(kù)中帶有位置信息的特征點(diǎn)進(jìn)行匹配,計(jì)算其精確位置,完成精細(xì)定位。在有針對(duì)性的受控區(qū)域內(nèi)對(duì)該方法的定位精度及穩(wěn)定性進(jìn)行有效驗(yàn)證,定位誤差基本保持在0.2 m以內(nèi)。由于本文方法通過(guò)選取穩(wěn)定匹配點(diǎn)對(duì)計(jì)算單應(yīng)性矩陣,只需拍攝到標(biāo)志物的一部分即能獲取足夠數(shù)量的特征點(diǎn)對(duì),故整體定位精度較高。

為使本文方法將來(lái)能應(yīng)用在性能相對(duì)不佳的移動(dòng)端設(shè)備上,如何在保持精度的基礎(chǔ)上優(yōu)化算法效率需要深入研究;本文實(shí)驗(yàn)室內(nèi)場(chǎng)景中標(biāo)志物的數(shù)量規(guī)模較小,可能會(huì)影響部分位置的定位精度,也需進(jìn)一步研究。