孫 健，于 浩，辛喜福，羅博文，閆 婷

(1.吉林吉大通信設計院股份有限公司 鐵塔分院,吉林 長春 130012;2.吉林吉大通信設計院股份有限公司 政企分院,吉林 長春 130012;3. 中國電信股份有限公司長春分公司 智慧家庭運營中心,吉林 長春 130000)

室內(nèi)定位作為一種定位技術(shù)的發(fā)展方向，主要針對室內(nèi)場景提供定位服務，如室內(nèi)定位系統(tǒng)可以部署應用于商場、會議中心或其他由于衛(wèi)星信號受到遮擋導致衛(wèi)星定位系統(tǒng)無法正常工作的環(huán)境中。該系統(tǒng)能夠彌補衛(wèi)星定位方法覆蓋受限導致室內(nèi)應用不足的問題。因此，近年來，室內(nèi)定位方法已逐漸成為定位領(lǐng)域內(nèi)研究的熱點。

在目前研究的室內(nèi)定位實現(xiàn)方法中，文獻[1-3]將慣性導航系統(tǒng)(Inertial Navigation System，INS)和無線傳感器網(wǎng)絡(Wireless Sensors Network,WSN)相互結(jié)合，通過傳感器間的數(shù)據(jù)融合算法提高導航系統(tǒng)的室內(nèi)定位精度。同時，定位和映射(Simultaneous Localization and Mapping,SLAM)算法[4-5]是一種與室內(nèi)慣導系統(tǒng)原理完全不同的室內(nèi)定位方法，其利用激光雷達掃描周圍區(qū)域建立基于距離與角度的極坐標測量數(shù)據(jù)庫，并以此為基礎(chǔ)構(gòu)造實時更新的“室內(nèi)地圖”。除此以外，Wi-Fi[6]、超寬帶(Ultra Wide Band，UWB)脈沖信號[7]和藍牙[8]也是較為常見的室內(nèi)定位解決方案。但是，上述室內(nèi)定位方法一般需要放置特殊的輔助設備，或在系統(tǒng)布置完成前的量測工作量過大，因此，一般僅能應用于工業(yè)廠區(qū)或尚停留于實驗室測試階段。

近年來，隨著深度學習技術(shù)的突破，人工智能領(lǐng)域加速崛起，計算機視覺技術(shù)發(fā)展迅速。受到視覺識別算法的啟發(fā)，文獻[9-10]提出了一種新型的基于視覺物體識別的室內(nèi)定位算法，該算法利用深度學習方法檢測、識別拍攝圖像中物體，并通過與數(shù)字地圖匹配計算大致位置，最后利用非線性解算方法計算準確定位結(jié)果?？紤]定位算法中的物體識別算法對物體識別的正確率不足，且對物體的輪廓識別精度差，因此影響了最終的定位精度。為了進一步提高基于圖像物體識別算法的室內(nèi)定位精度和成功率，文獻[11-12]提出了將模板匹配與區(qū)域卷積神經(jīng)網(wǎng)絡(Regional-Convolutional Neural Network,R-CNN)算法相結(jié)合的物體識算法，即區(qū)域卷積網(wǎng)絡-模板匹配聯(lián)合檢測(Parallel R-CNN Detection and Template Matching Refinement,PDTR)算法，該算法在一定程度上優(yōu)化了圖像中目標識別的成功率，即減少了誤差識別，但模板匹配的引入也導致對物體識別的過程中需要對模板庫中的所有樣本進行依次匹配，算法的復雜度有較大提升。

為了改善上述研究中由于物體識別不準確導致定位準確度差的問題，擬提出一種改進的并行全卷積神經(jīng)網(wǎng)絡(Parallel-Fully Convolutional Neural Network，P-FCN )物體識別算法。該改進的P-FCN網(wǎng)絡對圖像中的物體進行檢測與標記，將傳統(tǒng)的全卷積神經(jīng)網(wǎng)絡(Fully Convolutional Neural Network，F(xiàn)CN )并行化，利用FCN網(wǎng)絡中的上采樣層和下采樣層，從多個維度對圖像中的每個像素進行獨立分類，在有效提高物體識別率的同時，提高物體的輪廓識別精度，并在此基礎(chǔ)上進一步在P-FCN網(wǎng)絡中增加模糊區(qū)域確定網(wǎng)絡，消除樓層模糊干擾，提高定位準確性。

1 基于物體識別的室內(nèi)定位算法

基于物體識別的室內(nèi)定位算法的工作步驟如下，具體工作過程如圖1所示。

步驟1在服務器端建立室內(nèi)電子地圖，在地圖中標記如門、窗、燈等真實物體的位置坐標，并在地圖中各個位置、以不同角度產(chǎn)生用于描述真實物體相對空間關(guān)系，如上、下、左、右的拓撲圖，即地圖拓撲圖(Map Graph,MG)。

步驟2應用智能手機拍攝周圍環(huán)境的照片，并將照片上傳服務器。

步驟3服務器端利用物體識別算法檢測圖像中的物體，并以相同的拓撲圖產(chǎn)生方式為用戶拍攝照片中檢測出的物體產(chǎn)生拓圖像拓撲圖(Image Graph,IG)。

步驟4將IG圖與生成的所有MG圖根據(jù)規(guī)則進行比較，相似度最高的MG圖的位置和方向被選取為拍攝用戶的粗定位、定向結(jié)果。受到物體檢測算法性能和物體空間關(guān)系的不唯一性的影響，粗定位結(jié)果一般精度較低，且存在多種位置解的情況。

步驟5為了優(yōu)化定位精度，在得到了粗定位結(jié)果與物體匹配結(jié)果后，進一步應用圖像中物體的尺寸信息計算出物體偽距，建立并求解定位方程，實現(xiàn)精定位。

圖1 基于目標的室內(nèi)定位系統(tǒng)的工作過程

根據(jù)上述步驟，當前基于物體的室內(nèi)定位算法能夠在室內(nèi)環(huán)境下提供米級的定位精度，但仍有較高概率發(fā)生定位失敗或定位結(jié)果模糊問題，制約上述定位算法性能的原因有：首先，在步驟4中，真實環(huán)境中常見物體的重復率很高，導致物體之間的空間關(guān)系在不同位置上也有很高重復概率，進一步導致了用戶粗定位結(jié)果的模糊性和不確定性，甚至可能直接導致定位失敗；其次，在步驟5中，算法將成功匹配的物體視為“衛(wèi)星”或“基站”，因此，可以從電子地圖上獲取成功匹配物體準確的絕對位置，利用PDTR算法輸出的物體標記框圖，計算出拍攝圖像的位置相對于物體的距離，并以此實現(xiàn)精確定位?？紤]R-CNN算法和改進后的PDTR算法輸出的標記框都無法準確覆蓋被檢測對象，并導致相對距離計算不準確，最終導致定位精度的下降。

2 并行FCN物體檢測算法

FCN網(wǎng)絡是Jonathan在文獻[13]中提出的一種新的神經(jīng)網(wǎng)絡結(jié)構(gòu)，是在傳統(tǒng)CNN網(wǎng)絡結(jié)構(gòu)的基礎(chǔ)上進一步發(fā)展而來。一般來說，傳統(tǒng)的CNN網(wǎng)絡由輸入層、卷積層、池化層和最后的完全連接層組成，如圖2所示。對于CNN網(wǎng)絡，輸入的數(shù)據(jù)在卷積層中與不同的核數(shù)據(jù)進行卷積處理，得到不同維度下的特征信息。之后，池化層通過降采樣步驟大幅降低了網(wǎng)絡中參數(shù)的數(shù)量。在經(jīng)過多個交織的卷積層和池化層后，最終的全連接層將特征信息映射為一個固定長度的向量，其中每一個值代表輸入?yún)?shù)屬于某種類的概率。CNN網(wǎng)絡在處理圖像數(shù)據(jù)時，圖像中像素間的空間關(guān)系被舍棄，因此在圖像識別的應用中，CNN網(wǎng)絡一般只適用于整張圖像級的分類和回歸任務。如在文獻[14]中，經(jīng)典的Alexnet是一個典型的圖像級識別網(wǎng)絡，最終的結(jié)果是一個1 000維的向量，表示屬于每個種類的可能性，可能性最高的一個被認為是輸入圖像的類型。

圖2 傳統(tǒng)CNN網(wǎng)絡結(jié)構(gòu)

為了實現(xiàn)在同一張圖像中檢測多種物體并對其進行分類的目的，Jonathan提出了FCN網(wǎng)絡，F(xiàn)CN的網(wǎng)絡結(jié)構(gòu)如圖3所示。FCN在保證CNN網(wǎng)絡架構(gòu)的基礎(chǔ)上，增加了反卷積和反池化層，通過這兩個網(wǎng)絡層可以將降采樣后的數(shù)據(jù)重新插值回原數(shù)據(jù)尺寸，同時，CNN網(wǎng)絡中最后的全連接層被替換為卷積層，該卷積層尺寸一般為m×n，其中m為數(shù)據(jù)層數(shù)，n為類別個數(shù)。因此，當一幅H×W的圖像被輸入到FCN網(wǎng)絡后，F(xiàn)CN網(wǎng)絡最終的輸出為H×W×n維的數(shù)組，而每個像素點對應的n維向量中數(shù)值最大的元素所對應的索引，即是對該像素的分類結(jié)果。FCN在對數(shù)據(jù)的處理過程中保留了像素間的空間信息，因此帶來了像素級分類的效果。但一方面，用于像素點分類的特征值個數(shù)的減少，與CNN算法相比，F(xiàn)CN算法對每個像素分類精度將在一定程度上降低，尤其是對目標邊緣像素點的敏感性；另一方面，用于訓練的數(shù)據(jù)集中各種物體出現(xiàn)的頻次不同，如門和窗戶在室內(nèi)場景更為常見，而垃圾桶和飲水機等則較少出現(xiàn)，這種訓練數(shù)據(jù)的不平衡將會引起網(wǎng)絡對罕見物體的特征信息收斂較差，從而進一步影響訓練效果。上述原因也導致在同樣的訓練條件下，F(xiàn)CN對于目標特征的收斂性能不如基于CNN的Faster R-CNN、YOLO(You Only Look Once)[15]等識別網(wǎng)絡。

圖3 FCN網(wǎng)絡結(jié)構(gòu)

針對上述情況，為了進一步提高FCN算法的識別精度，特別是為了提高物體邊緣像素點的分類精度，提出一種P-FCN網(wǎng)絡架構(gòu)，其采用獨立訓練的FCN網(wǎng)絡識別不同的物體，并在融合器中將各個子網(wǎng)絡輸出的識別結(jié)果進行匯總和融合，從而提高目標識別的準確率和成功率。所提出的P-FCN網(wǎng)絡的架構(gòu)如圖4所示，其中每個子網(wǎng)絡僅負責檢測一類對象，最后由融合器將每個子網(wǎng)絡的輸出結(jié)果進行整合并輸出圖像的最終檢測結(jié)果。在此網(wǎng)絡中，每個子FCN網(wǎng)絡只需將像素分為兩類，即確定像素是屬于待檢測對象還是背景。另外，當不同的子網(wǎng)絡將同一像素點識別為不同的物體類別時，取可能性分數(shù)高的輸出結(jié)果作為最終的分類結(jié)果。

圖4 并行FCN網(wǎng)絡結(jié)構(gòu)

3 基于CNN的模糊區(qū)域確定算法

粗定位結(jié)果的模糊性和不確定性是制約基于物體的室內(nèi)定位算法可用性的主要因素。產(chǎn)生模糊定位結(jié)果的場景如圖5所示。如圖5(a)和圖5(b)屬于兩個不同樓層但位置幾乎相同的圖像，可以看出，不同樓層中的物體分布具有很大的近似性。如果直接應用文獻[9-10]中的粗定位算法，將很難區(qū)分用戶的樓層結(jié)果。在求解精確定位的非線性方程組時，錯誤的粗定位結(jié)果很可能導致收斂失敗，最終導致定位失敗。如圖5(c)和圖5(d)為兩個不同位置，但卻具有相似的物體分布，在這種情況下即便在同一樓層，粗定位模糊的問題同樣有很大概率發(fā)生。

圖5 產(chǎn)生模糊定位結(jié)果的場景

雖然圖5(a)和圖5(b)、圖5(c)和圖5(d)在檢測到的物體分布上具有相似性，但是從圖5中可以觀察到，在不同區(qū)域下，不同圖像中的背景相差較大，這些差異主要來源于不同室內(nèi)場景的裝修、墻面涂刷和布局等因素，而這些因素可以用來判斷拍攝圖像的大致位置。因此，提出在上一節(jié)中并行FCN網(wǎng)絡的基礎(chǔ)上再增加一個CNN子網(wǎng)絡用于對輸入的圖片進行區(qū)域分類，該子網(wǎng)絡稱為模糊區(qū)域確定網(wǎng)絡(Ambiguous Zone Determination-CNN,AZD-CNN)。

根據(jù)P-FCN的介紹，P-FCN網(wǎng)絡的輸出為與輸入圖像大小相同的分類圖譜，并且那些未被識別為物體的像素可以被視為背景。因此，可以通過對輸入圖像進行簡單的圖像處理，以保證輸入CNN網(wǎng)絡中的數(shù)據(jù)均為背景，減少物體對結(jié)果的影響，圖像中某像素點的原始值表達式為

(1)

其中：k為像素點的索引；c(k)為P-FCN網(wǎng)絡輸出的該像素點的分類結(jié)果，當c(k)=0時，表示像素點被分類為背景。

經(jīng)過式(1)處理后的圖像僅保留原圖中的背景信息，且圖像尺寸保持不變。將圖像輸入到CNN網(wǎng)絡中，CNN網(wǎng)絡的輸出為特定位置的區(qū)域。需要說明的是，AZD-CNN的訓練輸入數(shù)據(jù)是去除目標后只包含背景的圖像，其輸出為結(jié)果所拍攝圖像的位置區(qū)域，而訓練數(shù)據(jù)集則是通過人工將物體消除后的圖像數(shù)據(jù)，與數(shù)字地圖相對應的位置區(qū)域如圖6中所示，在訓練數(shù)據(jù)集中，每個區(qū)域平均包含150張照片。

圖6 實驗場景中的區(qū)域劃分

AZD-CNN網(wǎng)絡的輸出將對粗定位結(jié)果進行修正，即當粗定位結(jié)果落入AZD-CNN輸出的相應區(qū)域時，粗定位結(jié)果被認為是正確的，并可以作為精確定位步驟中的初始位置。相反，當粗定位結(jié)果落在AZD-CNN輸出的相應區(qū)域之外時，粗定位結(jié)果被認為是不正確的，因此被舍棄。所提P-FCN網(wǎng)絡的完整結(jié)構(gòu)如圖7所示。

圖7 P-FCN網(wǎng)絡最終結(jié)構(gòu)

4 實驗介紹

為了驗證所提的P-FCN算法的性能，在室內(nèi)環(huán)境中進行了實驗測試，實驗測試的范圍分別為2.4 m×33 m、2.4 m×52 m的走廊和多間7 m×7 m的房間。在測試環(huán)境中分布著包括飲水機、垃圾桶、桌子、柜子、窗戶和燈等多種室內(nèi)物體，部分物體用不同標志標記于圖8所示的二維圖中，在實驗中共包含通過智能手機攝像頭拍攝的500張圖像，其中420張照片在通過研究人員的處理和人為標記后為網(wǎng)絡提供訓練數(shù)據(jù)。另外，80張照片作為定位算法的驗證。實驗中，對圖像中的10種物體，包括門、垃圾桶和燈等進行標記，表1中展示了訓練數(shù)據(jù)集中包含的物體類型，以及與每種物體在所有500張照片中的出現(xiàn)次數(shù)。另外，為了建立物體數(shù)字地圖庫，共記錄了94個物體及其在地圖中的位置。

圖8 部分物體在實驗場景中的分布示例

表1 訓練樣本中的物體種類和個數(shù)

5 實驗結(jié)果與分析

在實驗中，首先比較了PDTR、傳統(tǒng)FCN和P-FCN算法在目標識別和標記精度方面的性能，上述算法被分別用于檢測相同照片中的物體，原照片如圖9(a)中所示，PDTR、傳統(tǒng)FCN和P-FCN算法的檢測結(jié)果分別如圖9(b)、圖9(c)、圖9(d)。從圖9中可以看出，與傳統(tǒng)的FCN相比，PDTR和P-FCN在目標識別的成功率上具有更大的優(yōu)勢。這主要是由于傳統(tǒng)的FCN在同一個網(wǎng)絡中有許多特征信息需要收斂，因此訓練效果差。然而在PDTR和P-FCN中，每個子網(wǎng)只負責檢測一個物體，網(wǎng)絡中的參數(shù)可以更好地收斂到物體的特征。

圖9 不同算法的物體檢測結(jié)果對比

另外，訓練集中的對象數(shù)目不相等，不同識別算法的物體標記準確度比較如表2所示。FCN網(wǎng)絡對物體的收斂效果參差不齊，如在圖9(c)中很容易觀察到不同物體的檢測性能的差異，F(xiàn)CN算法對于垃圾桶有較好的識別能力，但對于門和燈均無法很好地辨識。雖然PDTR和P-FCN在目標檢測方面具有相同的性能，但在標記精度方面，P-FCN具有像素級別的分類能力，能更準確地標記目標。

表2 不同識別算法的物體標記準確度比較

表2中展示了3種算法對80張測試圖像的物體識別率和標記準確率。其中，標記精度的計算表達式為

(2)

其中：s∩表示算法計算得到的物體標記結(jié)果與研究人員手動標記框(視為真實值)的交集面積；s∪表示兩個標記結(jié)果的總面積。從表2可以看出，與另外兩種算法相比，P-FCN算法的識別率分別提高了28%和9%，對物體的平均標記準確率分別提高了9%和17%。

除了對目標檢測算法的性能進行比較外，還對定位精度進行了比較。不同算法的定位結(jié)果比較情況如表3所示。錯誤率表示輸出的定位結(jié)果與用戶真實的位置的空間差大于3 m，模糊位置率表示輸出了多個可能的用戶位置。其中包含了用戶正確的位置，成功率則表示輸出位置唯一且正確。需要說明的是，只有定位成功時才計算平均定位誤差。

表3 各算法的定位結(jié)果比較

從表3可以看出，與現(xiàn)有的基于PDTR的室內(nèi)定位算法相比，P-FCN的定位成功率提高了13%，平均定位誤差降低了1.2 m，上述定位性能顯著提高的原因不僅在于識別算法帶來了更精確的目標識別結(jié)果，還在于P-FCN中的子網(wǎng)絡AZD-CNN能夠修正多位置模糊問題。此外，從表3的結(jié)果可以看出，P-FCN算法的模糊位置率和模糊定位結(jié)果次數(shù)都有明顯的降低。

6 結(jié)語

為了改善傳統(tǒng)基于視覺物體識別的室內(nèi)定位算法中物體識別不準確導致定位精度低的問題，提出了一種改進的P-FCN物體識別算法。該改進算法利用并行FCN網(wǎng)絡對室內(nèi)物體進行檢測和標記，并結(jié)合AZD-CNN網(wǎng)絡減少了粗定位的區(qū)域模糊概率。實驗結(jié)果表明，相比于傳統(tǒng)的基于PDTR的算法，基于P-FCN的室內(nèi)視覺定位算法的定位成功率提高為85%，平均定位誤差降低為1.4 m。這一算法能夠提高圖像中物體識別的準確率、輪廓識別精度和粗定位準確性，并能提高最終的定位成功率和定位準確率。