徐彭娜,彭行雄

1(福州職業(yè)技術(shù)學(xué)院 阿里巴巴大數(shù)據(jù)學(xué)院,福州 350108)

2(福建師范大學(xué) 網(wǎng)絡(luò)與數(shù)據(jù)中心,福州 350117)

近年來,隨著智能手機(jī)以及攝像頭、打印機(jī)等IoT終端的快速發(fā)展,人們逐漸傾向于連接或使用IoT 終端進(jìn)行工作和學(xué)習(xí),個(gè)人的身份信息和行為信息都作為物聯(lián)網(wǎng)服務(wù)中重要的數(shù)據(jù),園區(qū)網(wǎng)絡(luò)管理機(jī)構(gòu)對各個(gè)IoT 終端進(jìn)行管理和認(rèn)證.而伴隨著5G 時(shí)代的來臨,IoT 終端的數(shù)據(jù)流量呈現(xiàn)出爆炸式增長,偽裝成IoT 終端訪問園區(qū)數(shù)據(jù)以及竊取個(gè)人隱私數(shù)據(jù)使得園區(qū)網(wǎng)絡(luò)安全面臨巨大挑戰(zhàn)[1].為了加強(qiáng)網(wǎng)絡(luò)安全,對網(wǎng)絡(luò)空間中的IoT 終端的研究是當(dāng)前的熱點(diǎn)[2].

利用異常檢測算法的IoT 終端識別技術(shù)保證大數(shù)據(jù)平臺安全性是一種有效的解決方式,但仍然存在許多困難.第一,在服務(wù)器端匯聚的IoT 終端的網(wǎng)絡(luò)流量主要是以TCP、UDP 等為主的報(bào)文數(shù)據(jù),其海量性以及時(shí)效性可能導(dǎo)致現(xiàn)有IoT 終端識別技術(shù)無法在短時(shí)間內(nèi)迅速檢測出異常;第二,由于每個(gè)終端設(shè)備在出廠后都有指紋信息以及通信行為數(shù)據(jù),在應(yīng)用層進(jìn)行的基于Web 流量中用戶行為的IoT 終端識別,主要通過用戶行為數(shù)據(jù)來反映訪問習(xí)慣,根據(jù)攻擊者與正常訪問者的行為邏輯不同來進(jìn)行識別.但對于攝像頭、打印機(jī)等啞終端發(fā)送報(bào)文數(shù)據(jù)方面的研究不多.IoT 終端中存在大量的啞終端,主要通過TCP 或UDP 報(bào)文和服務(wù)器進(jìn)行通信[3],難以直接從Web 流量角度來識別[2].第三,5G 時(shí)代使得IoT 終端不得不面臨大數(shù)據(jù)挑戰(zhàn),需要依托于大數(shù)據(jù)平臺完成IoT 終端識別算法處理,給服務(wù)器帶來性能和成本等多方面壓力.因此,如何高效快速的利用報(bào)文數(shù)據(jù)在少量內(nèi)存中識別IoT 終端具有重要意義.

針對以上問題,本文提出基于文件分時(shí)索引的IoT 終端識別算法(a real-time IoT terminal recognition algorithm for huge data based on File Time-Sharing Index,IoTFTSI)大幅度降低實(shí)時(shí)IoT 終端識別中的內(nèi)存消耗.具體方法是:首先,利用哈希桶多進(jìn)程按批次分發(fā)數(shù)據(jù),提高數(shù)據(jù)吞吐量,并建立內(nèi)存分時(shí)索引元數(shù)據(jù);其次,使用文件的分時(shí)索引來存儲構(gòu)建會話的中間數(shù)據(jù);最后,控制內(nèi)存分時(shí)索引元數(shù)據(jù)觸發(fā)從少量文件中提取特征并進(jìn)行IoT終端識別,而達(dá)到在少量磁盤消耗的代價(jià)下,將內(nèi)存消耗降低92%后并保證IoT 終端識別算法精度.

1 相關(guān)工作

隨著物聯(lián)網(wǎng)在智慧城市、智慧園區(qū)等各個(gè)領(lǐng)域的廣泛應(yīng)用,物聯(lián)網(wǎng)的安全問題也層出不窮.當(dāng)前,物聯(lián)網(wǎng)安全問題主要通過IoT 終端識別技術(shù)[2,4]來解決.IoT 終端識別的核心是通過指紋生成技術(shù),將探測到的IoT 終端數(shù)據(jù)經(jīng)過特征提取并轉(zhuǎn)換為相應(yīng)的指紋,從而根據(jù)分類模型識別IoT 終端.

一般情況下IoT 終端的數(shù)據(jù)是成對出現(xiàn)的,例如請求和響應(yīng)包.數(shù)據(jù)可來自傳輸層、網(wǎng)絡(luò)層和應(yīng)用層協(xié)議,特別是傳輸層的TCP/UDP的數(shù)據(jù)報(bào)文頭部包含了大量可用信息,例如分段時(shí)長、延時(shí)、請求字節(jié)數(shù)等豐富的可用于特征提取的數(shù)據(jù)[4].Beverly[5]使用半鏈接TCP 探測及交互時(shí)間延遲,完成全網(wǎng)拓?fù)浣Y(jié)構(gòu)識別.但僅支持IPV4 協(xié)議的網(wǎng)段.Liu 等[6]通過發(fā)送四組報(bào)文到防火墻后而得到的報(bào)文時(shí)間差異作為特征,然后通過統(tǒng)計(jì)學(xué)習(xí)方式識別IoT 終端類型.但報(bào)文特征有限,識別率不高.Shamsi 等[7]提出的Heshel 方法利用TCP 數(shù)據(jù)包發(fā)送時(shí)間與重傳時(shí)間的差異性作為特征,并使用EM 算法降低網(wǎng)絡(luò)抖動(dòng)、丟包等因素的影響.但是主要數(shù)據(jù)是設(shè)備操作系統(tǒng)信息,有效的設(shè)備行為數(shù)據(jù)包不多.

隨著5G 技術(shù)的興起,例如智能終端與服務(wù)器存在大量的交互,勢必其TCP/UDP 等數(shù)據(jù)流量大幅度增加.Bezawada 等[8]通過從網(wǎng)絡(luò)流量中提取設(shè)備行為的近似特征,用于訓(xùn)練設(shè)備類型的機(jī)器學(xué)習(xí)模型.Yang等[9]利用神經(jīng)網(wǎng)絡(luò)對監(jiān)控設(shè)備的海量數(shù)據(jù)報(bào)文進(jìn)行解析,提高了IoT 終端的識別率.賈煜璇[2]通過建立一個(gè)IoT 終端識別系統(tǒng)對海量的TCP 數(shù)據(jù)進(jìn)行提取和分類,具有較高的精確率.宋金珂[3]實(shí)現(xiàn)了大規(guī)模實(shí)時(shí)在線監(jiān)控設(shè)備的隱私檢測,但每次檢測的資源成本較大.使用大規(guī)模流量來描繪行為輪廓是當(dāng)前的研究熱點(diǎn)[2,10],引入機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的方法對網(wǎng)絡(luò)流量進(jìn)行分析,雖然能夠提高IoT 終端識別準(zhǔn)確率并提高系統(tǒng)的自動(dòng)化能力,但使得承載IoT 終端識別技術(shù)的系統(tǒng)尤其是對于實(shí)時(shí)性要求高的系統(tǒng)或服務(wù)器帶來了資源成本的大幅度提升.尹方鳴等[11]提出一種基于內(nèi)存受限的RFID 復(fù)雜事件處理優(yōu)化算法,使用文件分時(shí)索引方法進(jìn)行海量數(shù)據(jù)中的復(fù)雜事件處理,降低了資源消耗成本.因此,降低大規(guī)模流量下IoT 終端識別的資源消耗是IoT 終端識別技術(shù)中的關(guān)鍵問題.

基于以上工作,受到文獻(xiàn)[11]的啟發(fā),本文建立一個(gè)新的IoT 終端識別算法模型,該模型并不針對IoT終端識別準(zhǔn)確率的提升,而是借助于文件分時(shí)索引技術(shù),以極小的磁盤消耗代價(jià)達(dá)到大幅度降低實(shí)時(shí)IoT終端識別中的內(nèi)存消耗的目標(biāo).

2 理論基礎(chǔ)

2.1 會話約束條件

生成會話的目標(biāo)是為IoT 終端識別提供數(shù)據(jù)支持,本文使用數(shù)據(jù)特征較為豐富的TCP/UDP 數(shù)據(jù)[12],并使用FlowBroker[13]抓取報(bào)文數(shù)據(jù)Packet,最后利用機(jī)器學(xué)習(xí)算法對報(bào)文組成會話后的特征向量進(jìn)行分析.在構(gòu)建流的特征向量前,對報(bào)文生成會話的過程約束如下:

(1)構(gòu)建會話序列S:根據(jù)四元組k收集在時(shí)間Ts內(nèi)的報(bào)文數(shù)據(jù)組成會話,Ts指從第一次收集到某k的報(bào)文的時(shí)間開始計(jì)算.使用非自然時(shí)間的超時(shí)機(jī)制,對各k維護(hù)Ts時(shí)間內(nèi)的緩存并能觸發(fā)生成會話,而k相同的報(bào)文在Ts內(nèi)將構(gòu)成會話序列S.對于啞終端而言,其報(bào)文數(shù)據(jù)中的k會維持長時(shí)間不變.對于非啞終端而言,其報(bào)文數(shù)據(jù)最終符合用戶的習(xí)慣,文獻(xiàn)[14]表明網(wǎng)絡(luò)流量的訪問概率服從齊普夫分布,即非啞終端訪問服務(wù)器時(shí),其訪問次數(shù)和訪問概率成反比.因此可以使用較少的報(bào)文數(shù)量np來控制報(bào)文數(shù)量,以防止在Ts內(nèi)出現(xiàn)了熱點(diǎn)問題.

(2)提取會話流特征向量SF:收集ns條k相同的會話后,統(tǒng)計(jì)并提取會話特征SF.其中ns需要根據(jù)不同的場景調(diào)整.

2.2 文件分時(shí)索引

基于內(nèi)存的會話生成算法在接收到報(bào)文時(shí),根據(jù)k存放到集合KP中,如果該k是第一次出現(xiàn),則記錄該k的時(shí)間作為初始時(shí)間;否則,則將當(dāng)前時(shí)間和初始時(shí)間對比,超過設(shè)定的Ts則形成會話,并從KP移出,否則加入KP.由于每個(gè)k都有一個(gè)需要維護(hù)的Ts,其難點(diǎn)包括以下兩個(gè)方面:一方面,當(dāng)該時(shí)間段內(nèi)數(shù)據(jù)量巨大時(shí),內(nèi)存占用量極大,需要設(shè)計(jì)良好的反壓機(jī)制.另一方面,KP到達(dá)Ts時(shí)需要快速老化,否則會影響后續(xù)進(jìn)入系統(tǒng)的數(shù)據(jù).該問題屬于復(fù)雜事件處理范疇,文獻(xiàn)[11]表明,在內(nèi)存受限的情況下,使用B±樹分時(shí)優(yōu)化索引(BIOT)的復(fù)雜事件處理算法將數(shù)據(jù)流按時(shí)序進(jìn)行分割且用B±樹進(jìn)行區(qū)間分塊索引.受此啟發(fā),本文使用文件的分時(shí)索引來存儲構(gòu)建會話的中間數(shù)據(jù),達(dá)到減少內(nèi)存消耗的目標(biāo).圖1是使用文件的分時(shí)索引存儲會話中間數(shù)據(jù)的描述.

相似地,橫坐標(biāo)為時(shí)間線,表示在Ti到Ti+1時(shí)間內(nèi)的文件索引情況.豎直方向上,A表示哈希桶的集合,共有b個(gè)Bucket,通過對數(shù)據(jù)包p的字符串進(jìn)行哈希運(yùn)算分配到Bucket 中,其中b的值影響算法的并行性能.B表示Bucket 中IP(終端)的集合,共有n個(gè)IP,表示通過哈希運(yùn)算分配到該Bucket 中的IP 對應(yīng)的數(shù)據(jù)包p.C表示IP 對應(yīng)的KP,共有m個(gè)k.D表示k對應(yīng)的數(shù)據(jù)包p的集合P,共有z個(gè)p.在文件分時(shí)索引算法的文件存儲階段中,A和B都表示為索引的集合,C表示文件的集合,D則是文件中內(nèi)容的集合.在內(nèi)存索引階段中,使用TR集合來存儲以上A和B構(gòu)成的二級索引元數(shù)據(jù),TR在內(nèi)存中用于加速文件的索引過程,TR在算法啟動(dòng)時(shí)從數(shù)據(jù)庫中加載狀態(tài).

圖1 使用文件的分時(shí)索引存儲會話中間數(shù)據(jù)

3 IoT-FTSI 算法框架

3.1 算法描述

ks表示Bucketi中的四元組集合.IP 表示ks集合中某個(gè)k解析后的源IP 地址.TRIP表示TR中IP的集合,TRKey表示TR中k的集合.fl表示IP和k索引到的會話文件的最后更新時(shí)間和文件長度.activeIP表示IP的激活狀態(tài),當(dāng)值為true 時(shí)表示處于激活狀態(tài),允許和IP 相關(guān)的新的報(bào)文進(jìn)入,否則不允許進(jìn)入.activek表示某會話的激活狀態(tài),當(dāng)值為true 時(shí)表示處于激活狀態(tài),允許與k相關(guān)的報(bào)文進(jìn)入,否則不允許進(jìn)入.lk表示從消息隊(duì)列消費(fèi)的當(dāng)前批次中k對應(yīng)的報(bào)文數(shù)量,m表示IP 對應(yīng)的會話數(shù)量.δt表示當(dāng)前時(shí)間和的ft差值.np表示每個(gè)會話中的報(bào)文數(shù)量上限,δl表示np和當(dāng)前會話文件中報(bào)文數(shù)量的差值.ns表示每個(gè)IP 允許的會話數(shù)量上限.IoT-FTSI 算法實(shí)現(xiàn)如算法1 所示.

算法1.IoT-FTSI 1)for k in ks:2)if ip in TRIP &&activeIP:3)if key in TRk &&activek:4)if δt＜Ts>&&fl＜ np:

5)wf()6)else:even(RF_FE)7)else:8)if m ＜ns:9)if lk＜np:even(RF_FE)10)else:even(AW)11)else:even(RF_FE)12)else:even(AW)?

IoT-FTSI 算法的步驟描述如下:步驟1)遍歷ks.步驟2)判斷源自k中的IP是否存在于內(nèi)存的二級索引TR的第一級索引中,并且當(dāng)前ip處于激活狀態(tài),如果是則進(jìn)入步驟3),否則進(jìn)入步驟12).步驟3)判斷k是否存在于內(nèi)存的二級索引TR的第二級索引中,并且當(dāng)前Key 處于激活狀態(tài),如果是則進(jìn)入步驟4),否則進(jìn)入步驟7).步驟4)判斷δt是否超過了Ts,并且當(dāng)前會話文件的文件長度fl是否超過了報(bào)文最大數(shù)量np,如果是則進(jìn)入步驟5),否則進(jìn)入步驟6).步驟5)中的wf()函數(shù)功能為寫入文件,wf函數(shù)的算法描述如算法2 所示.

算法2.wf 1)del wf():2)if δl>=lk: even(MW)3)else:even(AW)4)update(ft,fl)

算法wf主要功能是判斷待寫入的報(bào)文是否超過了會話文件允許的最大報(bào)文數(shù)量上限,如果超過(包含等于)則觸發(fā)事件even(MV),即將待寫入的報(bào)文數(shù)據(jù)切割出δl長度,再將會話文件中的報(bào)文全部提取出來,進(jìn)行合并后進(jìn)行特征提取;如果未超過,則觸發(fā)事件even(AW),即將所有待寫入報(bào)文數(shù)據(jù)全部寫入文件中.這種寫入方式主要是減少和磁盤的讀寫交互.而且wf()函數(shù)采用文件的順序讀寫,對磁盤的開銷也比較小.最后在以讀寫文件為主的事件結(jié)束后,需要對會話文件的信息進(jìn)行更新,即更新ft和fl.

IoT-FTSI 算法的步驟6)觸發(fā)事件even(RF_FE),其算法描述如算法3 所示.

算法3.even(RF_FE)1)fe(ip)2)k.clean 3)remove_file(k)4)m+=15)if m>=ns:activeIP=activek=False

事件even(RF_FE)的功能前置條件是會話已經(jīng)達(dá)到了Ts并且會話文件長度已經(jīng)達(dá)到了np,那么此時(shí)不需要再將報(bào)文數(shù)據(jù)寫入會話文件,并且直接讀取IP 下的ns個(gè)會話文件,使用fe()函數(shù)對二級索引TR中IP索引下的所有k的會話文件進(jìn)行特征提取,并將activeIP設(shè)置為凍結(jié)狀態(tài).同時(shí)清空內(nèi)存中的k以及刪除該IP的所有會話文件.

3.2 算法分析

在磁盤占用方面,IP 體現(xiàn)為文件夾名,k體現(xiàn)為csv文件,文件中的每行是報(bào)文,并刪除了四元組信息,可將原有處于內(nèi)存中的JSON 格式的600 Byte的報(bào)文對象壓縮為50 Byte 以內(nèi)的字符串.實(shí)際內(nèi)存最大使用量=b×n×報(bào)文CSV 字符串字節(jié)數(shù),默認(rèn)情況下我們使用4 進(jìn)程,即b=4,每個(gè)IP 桶最大允許存放報(bào)文數(shù)量n=20 000個(gè),并且默認(rèn)設(shè)置反壓閾值(back pressure threshold,bpt)為0.8,即當(dāng)報(bào)文數(shù)量達(dá)到最大允許報(bào)文數(shù)的反壓閾值時(shí)則會進(jìn)行休眠操作.默認(rèn)值=4×20 000×50 Byte≈4 MB.另外,與磁盤的交互主要表現(xiàn)為文件追加和刪除文件的順序批量操作.經(jīng)過測試,實(shí)驗(yàn)用機(jī)械硬盤的每秒進(jìn)行讀寫操作的次數(shù)(input/output operations per second,iops)為138 MB/s,IoT-FTSI 算法最差情況為將全部數(shù)據(jù)順序?qū)懭氪疟P,iops為4 MB/s,因此對磁盤影響不大.

在時(shí)間消耗方面,IoT-FTSI 算法從消息隊(duì)列每次拉取的報(bào)文數(shù)量為batch=b×n×bpt,每個(gè)報(bào)文數(shù)據(jù)通過不同的進(jìn)程分配到不同桶中,在桶的內(nèi)部,報(bào)文數(shù)據(jù)按照k進(jìn)行分組.IoT-FTSI 算法遍歷ks中的k,最后將k拉取到的所有數(shù)據(jù)寫入磁盤.最差情況下,將np數(shù)量的報(bào)文從磁盤中讀取出來進(jìn)行特征提取.因此IoT-FTSI算法的時(shí)間消耗主要為磁盤的讀寫耗時(shí).

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)?zāi)繕?biāo)在于驗(yàn)證IoT-FTSI 算法的內(nèi)存消耗,數(shù)據(jù)來源于通過位于高校服務(wù)器上FlowBroker 兩次采集到的IoT 報(bào)文數(shù)據(jù),分別為Da和Db 兩個(gè)數(shù)據(jù)集,包含了337 個(gè)終端.采集時(shí)間為工作日的流量高峰時(shí)段,每次采集為1.5 小時(shí),數(shù)據(jù)量分別為21 305 332、22 700 220 條.Da 數(shù)據(jù)集采集時(shí)間為9:00～10:30,Db 數(shù)據(jù)集采集時(shí)間為14:00～15:30.考慮到IoT-FTSI 算法可能存在的計(jì)算延遲,需要將FlowBroker的數(shù)據(jù)緩存到消息隊(duì)列中,其結(jié)構(gòu)包含了除了四元組外的包大小、時(shí)間延遲等特征數(shù)據(jù)[2].

4.2 結(jié)果分析

根據(jù)文獻(xiàn)[10] 中提到使用特征加權(quán)聚類算法(Feature Selection algorithm based on Feature Weighted Clustering,FS-FWC)作為IoT 識別算法基礎(chǔ).實(shí)驗(yàn)采用在預(yù)測問題中常用的準(zhǔn)確率作為評測標(biāo)準(zhǔn).將FSFWC 算法和使用IoT-FTSI 算法進(jìn)行對比,在相同的準(zhǔn)確率下,比較內(nèi)存消耗量(memery used,mu)和數(shù)據(jù)處理完的時(shí)間消耗量(time used,tu).為了減少實(shí)驗(yàn)中因系統(tǒng)環(huán)境導(dǎo)致的不一致性以及模擬真實(shí)運(yùn)行環(huán)境.將實(shí)驗(yàn)部署在相同docker 虛擬出的Ubuntu 系統(tǒng)環(huán)境中,在7200 r/min的機(jī)械硬盤上限制虛擬環(huán)境最大使用4 核CPU和4GB 內(nèi)存的硬件資源.實(shí)驗(yàn)結(jié)果為在數(shù)據(jù)集Da和Db 上運(yùn)行10 次并取平均值.

首先,在Da和Db 上使用FS-FWC 算法進(jìn)行預(yù)測,為了分析準(zhǔn)確率和np的關(guān)系,觀察不斷增大np后準(zhǔn)確率的變化情況.實(shí)驗(yàn)結(jié)果如圖2所示.

圖2 增大np 后算法準(zhǔn)確率變化情況

圖2中橫坐標(biāo)代表np值,最小為1000,最大為20 000.縱坐標(biāo)代表使用系統(tǒng)FS-FWC 算法時(shí)在Da和Db的準(zhǔn)確率的平均值.每個(gè)報(bào)文占用內(nèi)存大小約為600 字節(jié).那么對于337 個(gè)終端而言,內(nèi)存使用量理論值已經(jīng)達(dá)到了3.77 GB,因此試驗(yàn)中將np最大值設(shè)定為20 000.從圖2中可以看出當(dāng)np達(dá)到10 000 時(shí),準(zhǔn)確率已經(jīng)達(dá)到0.93,隨著np的增加,準(zhǔn)確率增加非常緩慢.當(dāng)np達(dá)到18 000 時(shí),準(zhǔn)確率達(dá)到0.96,繼續(xù)增加np導(dǎo)致的準(zhǔn)確率極小,因此將np設(shè)定為18 000.那么內(nèi)存使用量理論值為3.38 GB.

其次,在docker 虛擬出的Ubuntu 系統(tǒng)中使用free命令觀察FS-FWC 算法和IoT-FTSI 算法在處理數(shù)據(jù)集時(shí)的內(nèi)存總體消耗情況與時(shí)間的關(guān)系,實(shí)驗(yàn)結(jié)果如圖3所示.在圖3和圖4中前3 分鐘為空載時(shí)間,可以看出IoT-FTSI 使用的內(nèi)存是超過FS-FWC的,這是因?yàn)镮oT-FTSI 算法的元數(shù)據(jù)消耗了部分內(nèi)存.

圖3 Da 數(shù)據(jù)集中算法內(nèi)存使用量隨時(shí)間變化情況

圖4 Db 數(shù)據(jù)集中算法內(nèi)存使用量隨時(shí)間變化情況

從第3 分鐘開始,IoT-FTSI和FS-FWC 系統(tǒng)都從消息隊(duì)列中拉取同樣的數(shù)據(jù),兩者的mu都突發(fā)性的增長,但對比發(fā)現(xiàn)FS-FWC的mu持續(xù)遞增.另外,FSFWC的mu對突發(fā)的熱點(diǎn)更加敏感,反映了IoT-FTSI更加穩(wěn)定,面臨更小的內(nèi)存耗盡風(fēng)險(xiǎn).在圖3中,IoTFTSI的mu在前55 分鐘有明顯的波動(dòng)現(xiàn)象,因?yàn)槊總€(gè)會話在Ts間隔就會觸發(fā)特征提取與預(yù)測,使得mu突然增加;而且mu較小,原因是其最大理論mu更小.IoTFTSI在55 分鐘后的mu趨于平緩且接近空載時(shí)的mu,原因是前期已處理的報(bào)文被過濾掉.反觀FS-FWC,雖然mu在25 分鐘后出現(xiàn)下降,但是由于其報(bào)文都是存放在內(nèi)存中,使得mu居高不下并且在55 分鐘時(shí)達(dá)到最高點(diǎn).在圖4中,IoT-FTSI的mu在前25 分鐘有明顯波動(dòng)現(xiàn)象,但是其波動(dòng)的mu仍然較小,雖然在前25 分鐘時(shí)數(shù)據(jù)量突發(fā)增長,但是由于最大報(bào)文數(shù)量np的限定和達(dá)到反壓閾值bpt時(shí)的反壓功能使得其具有更好的穩(wěn)定性.

最后,通過磁盤讀寫性能來對比A和B 系統(tǒng)對磁盤的影響.實(shí)驗(yàn)結(jié)果如表1所示.

表1 算法在不同數(shù)據(jù)集上的磁盤性能對比情況

在表1中可以明顯發(fā)現(xiàn)IoT-FTSI 對磁盤的影響更大,這主要是其將用于產(chǎn)生會話的臨時(shí)報(bào)文數(shù)據(jù)按批次寫,同時(shí)伴隨著到期刪除文件、特征提取時(shí)全量讀取文件內(nèi)容等讀過程.而FS-FWC 則對磁盤影響較小,原因是其產(chǎn)生會話、特征提取等都在內(nèi)存中完成,最后只有少量的預(yù)測結(jié)果寫入磁盤.故IoT-FTSI 對磁盤的影響更大,但對于順序讀寫性能達(dá)到138 MB/s的磁盤而言,其影響程度不大.

5 結(jié)論與展望

本文針對實(shí)時(shí)IoT 終端識別算法對服務(wù)器資源需求高的問題,結(jié)合文件分時(shí)索引的方法將原存儲于內(nèi)存中的用于產(chǎn)生會話的大量臨時(shí)報(bào)文數(shù)據(jù)使用文件分時(shí)索引存儲在磁盤中,提出了IoT-FTSI 算法,使用少量的磁盤讀寫代價(jià)替換了大量內(nèi)存的資源耗用,同時(shí)降低了熱點(diǎn)問題導(dǎo)致的內(nèi)存高占用風(fēng)險(xiǎn).實(shí)驗(yàn)結(jié)果表明,該算法利用文件分時(shí)索引方法生成會話,能夠更合理的使用服務(wù)器資源,降低成本,可以有效地應(yīng)用于IoT 終端識別.然而,文中提到依賴于哈希算法將報(bào)文數(shù)據(jù)負(fù)載到桶中,哈希算法的性能影響了算法的負(fù)載均衡能力.因此,如果更好地提高IoT-FTSI 算法負(fù)載均衡性能是下一步要做的工作.