張?zhí)旆f,史明泉,崔麗珍,秦 嶺

(內(nèi)蒙古科技大學信息工程學院,內(nèi)蒙古 包頭 014010)

在科技引領(lǐng)的新時代中,基于位置的服務早已滲透到各行各業(yè)中,并不斷地影響著人們的生活。對于室內(nèi)定位,眾多的學者和研究人員從未停止對其探索,如基于藍牙、射頻識別、超寬帶無線電、Wi-Fi等室內(nèi)定位技術(shù)[1-7]。其中,基于Wi-Fi的室內(nèi)定位技術(shù)因Wi-Fi設(shè)備覆蓋廣泛,不需要花費時間和成本建設(shè)而得到廣泛應用。

在離線階段可選擇不同的物理量作為位置指紋[8-17]。如,基于接收信號強度指標(received signal strength indicator, RSSI)、到達角、到達時間、到達時間差和信道狀態(tài)信息(channel state information, CSI)等基礎(chǔ)信號,以及基于信噪比、AP之間的信號強度差等復雜的信號。在基礎(chǔ)信號中,CSI的波動小,相對于其他信號更加穩(wěn)定,但CSI的采集需要專門的設(shè)備,不便于普及。研究表明[18],RSSI的空間分辨率更高,大部分位置指紋技術(shù)采用RSSI作為指紋。

卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)可以通過一系列的卷積運算和池化運算提取數(shù)據(jù)中的高級特征,但其不能捕捉特征之間的關(guān)系,如相對位置關(guān)系、空間關(guān)系、尺度關(guān)系等。為了更好地表征這些特征信息,Hinton提出了“膠囊”的概念,膠囊網(wǎng)絡(capsule network,CapsNet)[19]選取活動向量的長度來表示實體存在的概率,并使用它的方向來表示實例化參數(shù)。這使CapsNet可以從輸入數(shù)據(jù)中提取更多細節(jié)特征,同時也減少了特征信息的丟失,增強了室內(nèi)定位的穩(wěn)健性和準確性。

綜上所述,本文提出一種由CNN和CapsNet共同構(gòu)成的CNN-CapsNet網(wǎng)絡模型,以此對原始采集信息的特征進行充分的提取。同時,為了更好地利用采集數(shù)據(jù)中包含的信息,將采集到的RSSI數(shù)據(jù)按照一定的空間特征順序構(gòu)成二維位置指紋圖像,并使用滑動窗口對數(shù)據(jù)集進行擴展,再使用CNN-CapsNet網(wǎng)絡提取和學習特征,以期得到準確率更高的定位模型。

1 基于CNN-CapsNet網(wǎng)絡的Wi-Fi室內(nèi)定位系統(tǒng)結(jié)構(gòu)模型

系統(tǒng)模型如圖1所示,包括:離線階段和在線階段兩個階段。離線階段是首先將采集到的數(shù)據(jù)進行預處理得到訓練數(shù)據(jù)集,通過CNN提取底層信息,然后將其輸入到CapsNet中進行訓練,得到最優(yōu)結(jié)構(gòu);而在線定位階段就是通過訓練好的最優(yōu)結(jié)構(gòu)直接進行測試數(shù)據(jù)的目標區(qū)域估計。

圖1 基于CNN-CapsNet的Wi-Fi室內(nèi)定位系統(tǒng)

1.1 數(shù)據(jù)的采集

采集數(shù)據(jù)的試驗區(qū)域是內(nèi)蒙古科技大學逸夫樓一個空曠的長廊,如圖2所示。其中共有50個采集點,每兩個采集點之間間隔1.6 m。

圖2 數(shù)據(jù)采集區(qū)域平面圖

考慮人在行走站立的過程中,手持移動終端的平均高度約為1.5 m,因此,將移動終端放置高度為1.5 m的手機支架上,分別在各采集點處進行采集。移動終端約2 s可對所有檢測到的AP進行一次RSSI數(shù)據(jù)的采集,故選擇在每個采集點處采集約90 min,可得到T=2700次數(shù)據(jù)。采集到的RSSI的取值分布在-100～-35 dbm范圍內(nèi)。

1.2 特征圖像的構(gòu)建

采集到的數(shù)據(jù)結(jié)構(gòu)如圖3所示,其中T為從AP接收到RSSI的次數(shù),M為AP的數(shù)量。對于每個采集點均可以得到一個數(shù)據(jù)結(jié)構(gòu),共50個采集點。

圖3 采集點數(shù)據(jù)結(jié)構(gòu)

1.3 數(shù)據(jù)庫的構(gòu)建

在機器學習中,絕大部分圖像處理模型都需要很多數(shù)據(jù)進行訓練學習。當訓練數(shù)據(jù)不足時,會對訓練數(shù)據(jù)中的圖像做旋轉(zhuǎn)、平移、縮放、填充、左右反轉(zhuǎn)等變換。這些變化都是對同一個目標在不同角度的觀察結(jié)果,但位置指紋圖像則通過RSSI值構(gòu)成,每個像素點都有著特定的含義。若使用上述方法對特征圖進行變換,會破壞RSSI中包含的信息,因此,本文使用滑動窗口法來擴展訓練集。

如圖4(a)所示,RSSI特征圖像的總測量次數(shù)為T,當測量次數(shù)為t時對數(shù)據(jù)進行分割,得到T/t個特征圖。如圖4(b)所示,當對數(shù)據(jù)使用滑動窗口進行分割時,每隔t/2次生成一個特征圖,因此每兩個相鄰的特征圖之間會有t/2的RSSI數(shù)據(jù)重合。即允許相鄰的RSSI特征圖像在時域內(nèi)重疊,得到2(T/t)-1個特征圖,從而構(gòu)成離線數(shù)據(jù)庫。

圖4 滑動窗口分割數(shù)據(jù)對比

通過滑動窗口分割后,部分定位點的位置指紋特征圖如圖5所示。

圖5 部分位置指紋特征

1.4 模型訓練和目標定位

模型訓練是通過已得到的數(shù)據(jù)集及其對應的數(shù)據(jù)標簽,將其輸入到CNN-CapsNet網(wǎng)絡中,通過不斷提取特征、學習特征,從而尋找最優(yōu)的權(quán)重參數(shù),使得模型的準確率最大化,訓練好的模型在目標定位區(qū)域即可得到定位點。尋找最佳模型通常需要多次試驗得到最佳參數(shù),CNN-CapsNet網(wǎng)絡的訓練過程是十分耗時的,每次迭代使用所有的樣本數(shù)據(jù)會使迭代速度變慢,且對計算設(shè)備的內(nèi)存要求較高。因此,每次迭代時,僅使用一部分數(shù)據(jù)進行,以使學習訓練過程具有更強的穩(wěn)健性。

2 CNN-CapsNet模型

CNN-CapsNet網(wǎng)絡模型架構(gòu)如圖6所示。定位區(qū)域采集得到的位置指紋特征圖首先由卷積層和池化層構(gòu)成的CNN進行初級特征提取,完成定位圖像到初級特征圖的轉(zhuǎn)換。然后通過CapsNet進行更深層的特征提取,完成區(qū)域定位。

圖6 CNN-CapsNet網(wǎng)絡架構(gòu)

2.1 CNN網(wǎng)絡

CNN通常由卷積層、池化層和全連接層3部分組成,本文模型中僅使用卷積層和池化層。卷積層和池化層構(gòu)成特征提取器,卷積核相當于特征探測器,通過卷積核對其進行特征提取運算,提取結(jié)果為一個新的特征層。為了使模型擁有非線性表達能力,常將卷積后的運算結(jié)果通過激活函數(shù)(ReLU)作非線性映射,其中ReLU函數(shù)表達式為

(1)

通過卷積層處理后的數(shù)據(jù)是十分龐大的,常通過池化層減小原卷積層輸出張量的維度,降低計算量和時間復雜度。本文模型中CNN部分由兩個卷積層構(gòu)成,其結(jié)構(gòu)如圖7所示。

圖7 CNN內(nèi)部結(jié)構(gòu)

輸入的位置指紋特征圖大小為20×187,首先使用64個大小為2×7的卷積核提取底層信息,卷積層輸出特征圖大小為19×181×64;然后使用2×2最大池化過濾器,則第一個卷積層輸出特征圖為10×91×64。第二層與第一層同理,則第二層卷積層輸出特征圖大小為5×42×128。

2.2 CapsNet網(wǎng)絡

CapsNet算法是采用端到端的方式提取圖像的空間信息,將輸入標量轉(zhuǎn)換為向量。使用輸出向量的長度來表征實體存在的概率,方向表示實例化的參數(shù)或圖形屬性,從而降低特征信息的丟失,提高模型的特征提取能力。本系統(tǒng)使用的CapsNet架構(gòu)如圖8所示。

圖8 CapsNet架構(gòu)

將CNN網(wǎng)絡處理后的特征圖再使用256個大小為2×5的卷積核進行卷積,然后連接主膠囊層。在膠囊層中,神經(jīng)元是一個向量而不是標量,但卷積后的特征層為標量,因此需將卷積之后的特征層重構(gòu)成向量的形式。構(gòu)建向量神經(jīng)元的方法是將特征層的每8個通道合并成一個新的膠囊單元,而新的膠囊單元的通道數(shù)將減少為原來通道數(shù)的1/8,膠囊單元作為膠囊層的輸入。

最后一層為數(shù)字膠囊層,用于存儲高級別特征的向量,輸出50個維度為16的向量,每個向量代表一種定位點。通過向量的模長來衡量各個類別的概率,模越值大,屬于這個類的概率越大。

2.3 動態(tài)路由

圖9 CapsNet內(nèi)部結(jié)構(gòu)

(2)

(3)

cij為耦合系數(shù),由動態(tài)路由算法確定,其目的是讓輸出的神經(jīng)元自主選擇最好的路徑傳輸?shù)较乱粚由窠?jīng)元,定義公式為

(4)

(5)

(6)

動態(tài)路由算法如下。

路由算法

2:對于所有l(wèi)層的膠囊i和l+1層的膠囊j：bij→0

3:迭代r次

4: 對于所有l(wèi)層的膠囊i：cij←Softmax(bij)

6: 對于所有l(wèi)+1層的膠囊j：vj←Squash(sj)

返回vj

2.4 模型的損失函數(shù)

在模型的訓練過程中,模型的權(quán)值需要通過反向傳播算法對其進行更新或迭代,而反向傳播需要一個能度量模型輸出值與真實值之間距離的損失函數(shù)。通過損失函數(shù),在訓練時就可以通過反向傳播算法不斷更新迭代模型的權(quán)重值。本文損失函數(shù)的表達式為

(7)

3 試驗結(jié)果與分析

3.1 試驗參數(shù)

本文的試驗參數(shù)設(shè)定具體見表1。

表1 試驗參數(shù)

3.2 數(shù)據(jù)集大小

在圖像處理領(lǐng)域,數(shù)據(jù)集的大小與訓練網(wǎng)絡模型性能存在密不可分的關(guān)系,通常數(shù)據(jù)集越大,對特征的學習提取效果越好。CNN-CapsNet網(wǎng)絡中,CapsNet的主要步驟在于動態(tài)路由,使用適量的數(shù)據(jù)集有助于在一定時間、參數(shù)范圍根據(jù)空間特征訓練出合適的網(wǎng)絡,過大的數(shù)據(jù)集會加大路由時間和參數(shù)反而使得網(wǎng)絡性能降低,因此數(shù)據(jù)集大小也是網(wǎng)絡訓練中的重要參數(shù)之一。

本文試驗使用了3種數(shù)據(jù)集,分別為數(shù)據(jù)集1、數(shù)據(jù)集2和數(shù)據(jù)集3。3個數(shù)據(jù)集中都包含50個定位點,不同的是在數(shù)據(jù)集1中每個定位點包含25張位置指紋特征圖,共1250張位置指紋特征圖;數(shù)據(jù)集2中每個定位點包含50張位置指紋特征圖,共2500張位置指紋特征圖;數(shù)據(jù)集3中每個定位點包含100張位置指紋特征圖,共5000張位置指紋特征圖。

使用CNN-CapsNet定位模型分別對以上3種數(shù)據(jù)集進行訓練,結(jié)果見表2。不難看出,隨著數(shù)據(jù)集內(nèi)位置指紋圖像數(shù)量的增加,模型訓練的損失逐漸降低,測試的準確率逐漸升高,模型整體性能呈現(xiàn)變好趨勢。但隨著數(shù)據(jù)集內(nèi)數(shù)據(jù)數(shù)量的增加,所需的訓練時長也逐漸增加,數(shù)據(jù)集2與數(shù)據(jù)集3之間準確率雖有提升,但提升微弱。綜合考慮多種因素,數(shù)據(jù)集2即可表達各定位點數(shù)據(jù)特征,不需要使用更大的數(shù)據(jù)集,浪費更多的時間成本。

本文將主膠囊層及數(shù)字膠囊層的向量長度對系統(tǒng)定位精度的影響也做出了對比,見表3?？芍诮M合1至組合6中,模型的損失函數(shù)都是極低的。以至于在該數(shù)量級上,各個模型之間損失函數(shù)的差異性是可以忽略不計的。故損失函數(shù)的大小不是本文衡量模型性能最合適的指標。各模型之間存的差異是模型的收斂速度,當模型的穩(wěn)定性相同時,模型的收斂速度越快其性能就相對越好。

圖10為6種組合模型其損失函數(shù)值隨訓練位置指紋圖像張數(shù)的變化情況。當數(shù)字膠囊層向量維度固定,隨著主膠囊向量維度的增加,模型的收斂時間也越長。當主膠囊向量維度相同時,隨著數(shù)字膠囊向量維度的增加,模型的收斂速度反而越快。由圖10可知,當主膠囊層向量維度為8,數(shù)字膠囊層向量維度為16時,收斂速度最快,模型的性能最好。

圖10 損失模型函數(shù)值隨訓練圖像張數(shù)的變化

在CapsNet中,除了向量維度,路由迭代次數(shù)也是影響模型好壞的重要因素。當?shù)螖?shù)較少時,試驗結(jié)果較差,這是因為較少的路由迭代次數(shù)導致耦合系數(shù)無法得到充分學習。然而當路由迭代次數(shù)過大時,模型參數(shù)的增加導致過擬合,準確率也會隨之下降(見表4),當路由迭代次數(shù)設(shè)置為3時性能最高。

表4 路由迭代次數(shù)對定位模型性能的影響

3.3 對比試驗與分析

為估計本文模型性能,將其與以下幾個模型在構(gòu)建的數(shù)據(jù)集上進行對比試驗,各模型特點如下。

(1)模型1 CNN在圖像處理領(lǐng)域的表現(xiàn)是十分出色的,但CNN網(wǎng)絡中神經(jīng)元之間傳遞的是標量,無法體現(xiàn)空間關(guān)系,缺少方向性。

(2)模型2 CapsNet是以向量的形式表示部分與整體之間的關(guān)系的,不僅能夠以特征響應的強度來表示圖像,還能夠表征圖像特征的方向、位置等信息。

(3)模型3、4、5是將注意力機制與CapsNet相結(jié)合,注意力機制是實現(xiàn)網(wǎng)絡自適應注意的一種方式,使網(wǎng)絡去關(guān)注更需要關(guān)注的地方。其中,SE為常用的通道注意力機制,可以使模型更加關(guān)注信息量最大的通道特征,而抑制那些不重要的通道特征;CBAM是表示卷積模塊的注意力機制,是一種結(jié)合了空間和通道的注意力機制模塊;ECA也是通道注意力機制模塊,是SE的改進版。

(4)模型6為本文使用的模型,使用向量與標量相結(jié)合的方式對位置指紋特征圖進行有效的特征提取。

以上模型在構(gòu)建的數(shù)據(jù)集上進行對比試驗,其結(jié)果見表5,將CapsNet與CNN兩種模型的試驗數(shù)據(jù)結(jié)果對比,充分體現(xiàn)了使用向量代替標量表示圖像特征的優(yōu)勢。為了提升CapsNet的性能,嘗試在CapsNet中融合注意力機制,通過注意力機制使CapsNet的注意力在訓練時放在圖像特征更突出的地方。當CapsNet與CEA和SE相結(jié)合時,損失函數(shù)的損失值增加了;只有與CBAM注意力機制融合時,模型的損失函數(shù)才有所降低,但3種融合方式,都增加了網(wǎng)絡的訓練時長。換而言之,3種融合方式均增加了原網(wǎng)絡的計算復雜度。當CapsNet與CNN結(jié)合時,不僅損失值有明顯的降低,訓練所需時長也比其他融合方式短。由此可見,將標量和向量相結(jié)合的方式可對位置指紋特征圖進行有效的特征提取,并降低網(wǎng)絡的計算復雜度,節(jié)約網(wǎng)絡訓練時間。

表5 不同算法的試驗結(jié)果

4 結(jié) 語

本文提出了一種融合CNN和CapsNet的Wi-Fi室內(nèi)定位方法。針對傳統(tǒng)位置指紋數(shù)據(jù)存在單一性的問題,充分利用采集數(shù)據(jù)中包含的時間信息,構(gòu)建成二維位置指紋圖像,通過對位置指紋圖像的特征學習實現(xiàn)定位區(qū)域的識別。相比于使用傳統(tǒng)網(wǎng)絡進行室內(nèi)定位,本文將CNN和CapsNet相結(jié)合,將標量和向量相結(jié)合,增強網(wǎng)絡對特征的提取能力,降低了網(wǎng)絡的計算復雜度,節(jié)約了網(wǎng)絡訓練所需的時長。通過CapsNet的動態(tài)路由算法,不再一味地追求學習大數(shù)據(jù)集,減少了網(wǎng)絡對數(shù)據(jù)庫數(shù)量的依賴。試驗結(jié)果表明,使用CNN-CapsNet網(wǎng)絡進行室內(nèi)定位,其損失可達0.009 91,并優(yōu)于其他網(wǎng)絡模型。