亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種對周期性數(shù)據(jù)上報進行時間散列的系統(tǒng)及實現(xiàn)方法

        2020-05-07 03:15:56
        廣東通信技術(shù) 2020年4期
        關(guān)鍵詞:網(wǎng)絡帶寬周期性計數(shù)

        1 研究目標

        隨著信息技術(shù)的飛速發(fā)展,大數(shù)據(jù)時代的到來,對數(shù)據(jù)傳輸效率及處理能力的需求不斷增長。尤其是對于海量數(shù)據(jù)終端,周期性進行數(shù)據(jù)上報時,某一時點對網(wǎng)絡、I/O、內(nèi)存、計算能力等施加了巨大的壓力,而此種業(yè)務場景在物聯(lián)網(wǎng)領(lǐng)域中應用尤為常見。物聯(lián)網(wǎng)通過各種傳感器技術(shù)、各種通信手段,將任何物體與互聯(lián)網(wǎng)相連接,從而實現(xiàn)了遠程監(jiān)視、自動報警、控制、診斷和維護,幫助人們實現(xiàn)管理、控制與運營,隨著各行各業(yè)應用的發(fā)展,每秒鐘物聯(lián)網(wǎng)上都會產(chǎn)生海量的數(shù)據(jù)。因此會涉及大量數(shù)據(jù)周期性上報問題,有鑒于此,研究如何降低海量數(shù)據(jù)周期性上報對網(wǎng)絡、I/O、內(nèi)存、計算能力的要求,具有重要的意義。

        一個典型的物聯(lián)網(wǎng)架構(gòu)的分層模型基本都是:感知層、網(wǎng)絡層、服務層。

        感知層主要指分布在前端的各種傳感設備和數(shù)據(jù)采集設備、數(shù)據(jù)采集單元(Colletion Unit,簡稱CU),主要完成數(shù)據(jù)采集功能;網(wǎng)絡層主要指數(shù)據(jù)傳輸通道,用于將數(shù)據(jù)采集單元采集到的數(shù)據(jù),通過特定的數(shù)據(jù)格式,發(fā)送回中心服務單元(Service Unit,簡稱SU),做好后臺進行數(shù)據(jù)分析的準備;目前主流的傳輸通道主要有GPRS/EDGE/3G /4G/NB-IoT/LoRa/Sigfox/RPMA/Ethernet/Fiber等;服務層主要指后臺的數(shù)據(jù)分析平臺和業(yè)務分析應用;根據(jù)業(yè)務類型和要求,將回傳的數(shù)據(jù)進行整合、處理、挖掘;給出基于不同業(yè)務領(lǐng)域的各種分析報告、應用管理等,服務層有時又分為平臺服務層和應用服務層。

        典型的物聯(lián)網(wǎng)架構(gòu)的分層模型示意圖如圖1所示。

        圖1 典型的物聯(lián)網(wǎng)架構(gòu)示意

        在經(jīng)典的物聯(lián)網(wǎng)架構(gòu)下,采集單元采集數(shù)據(jù)后,需要定期向服務單元上報數(shù)據(jù),即周期性將數(shù)據(jù)進行上報。假定上報當日零時時間戳為T0,當前上報批次為n,則:

        采集單元在Tn時上報數(shù)據(jù),p為數(shù)據(jù)上報的周期(秒)。

        如若采用現(xiàn)有的技術(shù)方案,那么假定一個數(shù)據(jù)傳輸系統(tǒng)中有2 000個數(shù)據(jù)采集單元,每個采集單元有8 KB的上報數(shù)據(jù),則數(shù)據(jù)上報點對網(wǎng)絡帶寬的要求如下:

        在實際應用中,海量數(shù)據(jù)終端的采集單元可能遠高于2 000個,隨著采集單元數(shù)量的增加,帶寬要求呈線性方式增長。由此可見,采用現(xiàn)有的技術(shù)方法周期性上報數(shù)據(jù),瞬時并發(fā)的數(shù)據(jù)流帶來傳輸?shù)母叻澹瑢W(wǎng)絡帶寬、I/O帶寬、I/O讀寫等待時間、內(nèi)存、計算能力等系統(tǒng)資源有很高的要求,帶來運營成本的巨大壓力。

        本文就是說明,如何利用時間散列的方法,將高度集中的并發(fā)業(yè)務平均分布在一段時間內(nèi),從而降低周期性上報數(shù)據(jù)對網(wǎng)絡帶寬、I/O帶寬、I/O讀寫等待時間、內(nèi)存、計算能力等系統(tǒng)資源的要求。

        2 實現(xiàn)方法

        如若采用現(xiàn)有的技術(shù)方案,那么假定一個數(shù)據(jù)傳輸系統(tǒng)中有2 000個數(shù)據(jù)采集單元,每個采集單元有8 KB的上報數(shù)據(jù),則數(shù)據(jù)上報點對網(wǎng)絡帶寬的要求需要考慮如下假設 :

        (1)瞬時流量計算時,每個采集單元的數(shù)據(jù)大小為8 KB,2 000個數(shù)據(jù)采集單元同時產(chǎn)生的瞬時流量總量為:8 KB X 2 000=16 000 KB。從KB換算為MB時,我們?nèi)Q算常數(shù)為10。

        (2)而在計算瞬時帶寬要求時,由于傳送的數(shù)據(jù)不僅包括采集單元需要上報的采集數(shù)據(jù), 還需要考慮數(shù)據(jù)通訊時控制單元需要傳送的控制數(shù)據(jù)。因此,對瞬時帶寬要求計算且?guī)拞挝粡腗B換算為Mbit/s時,我們將換算常數(shù)簡單取10。

        (3)按照以上的假設,對瞬時流量和帶寬要求的計算公式如下示:

        可以看到,即使采集單元數(shù)量不算太多(2 000個),單一采集單元上傳的數(shù)據(jù)量不大(8 KB)時,對瞬時帶寬要求還是非常大的(160 Mbit/s)。

        但是當我們將這些報文平均分布在10秒內(nèi)上報時,則所需帶寬為:

        兩者的比較如圖2和圖3所示。

        圖2 1秒內(nèi)上報數(shù)據(jù)時的瞬時帶寬需求

        圖3 10秒內(nèi)上報數(shù)據(jù)時的帶寬需求

        可以看到,在將這些數(shù)據(jù)散列到一段時間內(nèi)后,數(shù)據(jù)傳送對系統(tǒng)資源(示例主要指帶寬資源)的需求將大大減少。

        報文發(fā)送時間、報文發(fā)送分布時間以及散列參數(shù)等內(nèi)容,可以根據(jù)業(yè)務場景和實際工作需要自由定義,抽象為如下情況。

        假定數(shù)據(jù)采集單元數(shù)量為l,任意一個數(shù)據(jù)采集單元的序列號為SN,

        則散列參數(shù)計算公式為:

        上述公式中HashSN為散列參數(shù),1為序列號SN的長度,j為序列號遍歷索引,0≤j

        上述公式中T0為上報當日零時時間戳;n為當前上報批次;p為上報周期;t為時間片段的時長;i為時間片段編號,,其中,p/t向下取整且t?p;x為配置項,x是二次散列參數(shù),將服務單元分配的、處于同一時間片段內(nèi)的采集單元在該時段再次進行散列分布,使負載更為平均。

        2.1 系統(tǒng)構(gòu)成

        本文所描述的對周期性數(shù)據(jù)上報進行時間散列的系統(tǒng)由數(shù)據(jù)采集單元(CU)、服務單元(SU)以及網(wǎng)絡三部分組成,具體請參考如圖4所示,通過采集單元與服務單元之間的網(wǎng)絡通信,實現(xiàn)對周期性上報數(shù)據(jù)的時間分流,以達到錯開數(shù)據(jù)傳輸高峰期的方法。

        ① 服務單元SU,主要指后臺的數(shù)據(jù)分析平臺和業(yè)務分析應用;根據(jù)業(yè)務類型和要求,將回傳的數(shù)據(jù)進行整合、處理、挖掘;給出基于不同業(yè)務領(lǐng)域的各種分析報告、應用管理等,服務層有時又分為平臺服務層和應用服務層;

        圖4 典型周期性數(shù)據(jù)上報系統(tǒng)的拓撲架構(gòu)圖

        ② 網(wǎng)絡,主要指將數(shù)據(jù)進行回傳的傳輸通道,目前主流的傳輸方式主要指:GPRS/EDGE/3G/4G/NB-IoT/LoRa/Sigfox/RPMA/Ethernet/Fiber等;

        ③ 采集單元CU,主要指分布在前端的各種傳感設備和數(shù)據(jù)采集設備、數(shù)據(jù)采集單元(Colletion Unit,簡稱CU),主要完成數(shù)據(jù)采集功能。

        2.2 系統(tǒng)的具體實現(xiàn)方法

        系統(tǒng)的具體實現(xiàn)方法如圖5所示。

        圖5 對周期性數(shù)據(jù)上報進行時間散列的系統(tǒng)實現(xiàn)方法示意

        步驟1、S101所述采集單元發(fā)起注冊請求。

        步驟2、S102所述服務單元根據(jù)所述注冊請求與所述采集單元建立連接。

        步驟3、S103所述服務單元將上報周期劃分為復數(shù)個所述時間片段,獲取各時間片段的負載狀態(tài),將負荷最小的時間片段的配置參數(shù)發(fā)送至所述采集單元。

        步驟4、S104所述采集單元根據(jù)所述配置參數(shù)計算獲得上報時間。通過所述上報時間,采集單元可以確定其上報數(shù)據(jù)的時間點,以此,通過服務單元的合理劃分采集單元上報的時間,使不同采集單元可以分批次上報數(shù)據(jù),減少多個采集單元同一時刻上報數(shù)據(jù)引起的設備壓力,極大的降低了周期性上報數(shù)據(jù)對網(wǎng)絡帶寬、I/O帶寬、I/O讀寫等待時間、內(nèi)存、計算能力等系統(tǒng)資源的要求。

        2.3 示例說明

        以下將舉例詳細描述系統(tǒng)功能及其實現(xiàn)過程。

        如圖6所示,在實際工作中,當采集單元數(shù)據(jù)上報周期設為p,服務單元則將所述上報周期p劃分為若干連續(xù)的、相同的時間片段,每個時間片段的時長為t,并為每個時間片段編號為i,,由服務單元進行動態(tài)管理和檢測。當所述對周期性數(shù)據(jù)上報進行時間散列的系統(tǒng)啟動時,各時間片段的負載可計數(shù)為0,該引用計數(shù)為服務單元設置;采集單元向服務單元發(fā)起注冊后,服務單元檢測當前時間片段的負載情況P1~PN,選出負載最小的單元 min(P1,P2,P3…,PN),例如當前P1=1,P2=3,P3=5,那么該情況下選擇P1這一個引用計數(shù)最小的一個單元,服務單元將采集單元上傳的時間點被劃入該時段P1,同時該片段計數(shù)加1,變成P1=2,當采集單元離線時,對應時段的引用計數(shù)減1,變回P1=1。以此,服務單元通過即時檢測當前時間片段的引用計數(shù),合理且快捷的獲得各時間片段的負荷狀態(tài),將采集單元上報數(shù)據(jù)的時間準確的分配至負荷較小的時間片段中,使采集單元獲得其對應的上報數(shù)據(jù)的時間段,以此,防止大量采集單元集中于同一時段上傳數(shù)據(jù)的風險。同時,值得說明的是,當采集單元獲得其上報時間后,并不用立即上報數(shù)據(jù),其在該時段內(nèi)的最終上報時點,可由采集單元具體分析后自行決定。

        圖6 數(shù)據(jù)上報周期時間片段示意

        如圖7所示,服務單元增加引用計數(shù)后,將引用計數(shù)對應的時間片段分配至采集單元;服務單元查詢到采集單元離線后,減少引用計數(shù)。首先采集單元發(fā)出注冊申請,服務單元接收到注冊申請后,審核注冊申請是否合規(guī);

        圖7 數(shù)據(jù)上報時間Tn計算邏輯機制示意

        如審核不通過,則斷開連接,采集單元繼續(xù)發(fā)起注冊申請;

        如審核通過,則服務單元與采集單元建立連接,此時,服務單元掃描當前劃分好的時間片段,根據(jù)每一時間片段的引用計數(shù)值大小判斷對應時間片段的負荷狀態(tài),當查詢到最小負荷狀態(tài)的時間片段后,即在該時間片段的引用計數(shù)上加值后(如加1),將時間片段的配置參數(shù)發(fā)送至采集單元,其中配置參數(shù)至少包含:上報周期,時間片段的時長和時間片段編號;

        每一時間片段并不一定只匹配唯一的采集單元,因此,為避免多個采集單元在同一時間片段中上傳數(shù)據(jù),造成服務器壓力等問題;采集單元在接收到配置參數(shù)后,會進行上報時間點計算,根據(jù)獲得的時間片段的配置參數(shù)與散列參數(shù)計算自身的上報時間點Tn,以此更進一步防止了海量數(shù)據(jù)上傳可能造成的擁堵壓力;

        當采集單元通過計算獲得上傳時間點Tn并在該時刻上傳數(shù)據(jù)后,依然與服務單元保持連接,等待下一批次上報時間Tn+1,并在該時刻上傳,以此循環(huán)。

        當服務單元檢測到某一采集單元離線后,則調(diào)節(jié)采集單元對應的時間片段的引用計數(shù)(如減去1)。離線后的采集單元,需重新注冊獲取新的時間片段,服務單元通過引用計數(shù)的增減,動態(tài)維護時間片段負載。

        在上述對周期性數(shù)據(jù)上報進行時間散列的系統(tǒng)中,為了使時間負載更為均衡,更加平均的分配時段t,采集單元根據(jù)散列參數(shù)(hash)自行決定具體的上報時間。其中,的參考算法如下(假定SN長度為l):

        上述公式中HashSN為散列參數(shù),l為序列號SN的長度,j為序列號遍歷索引,0≤j

        本文所提供的對周期性數(shù)據(jù)上報進行時間散列的系統(tǒng)運用在實際工作中,具有較好的使用效果,具體對比說明如下:

        假定系統(tǒng)中有2 000個數(shù)據(jù)采集單元,每個采集單元有8 KB的上報數(shù)據(jù),上報周期為180 s,劃分為10個時間片段,則每一時段18 s中,約有200個采集單元需要上報數(shù)據(jù)。假設x=10,則同一時間點并發(fā)的采集單元有20個,根據(jù)計算得出網(wǎng)絡帶寬為:

        按照30%的冗余計算,網(wǎng)絡帶寬的要求約為1 kbit/s,與現(xiàn)有技術(shù)中同等條件下計算的160 kbit/s相比,極大地降低了對網(wǎng)絡的要求。

        3 結(jié)論

        使用上述方法,通過將傳輸周期劃分為若干時段,并由服務單元動態(tài)管理時間片段,安排采集單元在負載最小的時間片段上傳數(shù)據(jù),加上時間散列機制,最大限度平均分布各個采集單元上傳數(shù)據(jù)的時間,錯開數(shù)據(jù)上報的高峰期,從而達到降低網(wǎng)絡帶寬、I/O帶寬、I/O讀寫等待時間、內(nèi)存、計算能力等系統(tǒng)資源的要求,降低系統(tǒng)運營成本。

        猜你喜歡
        網(wǎng)絡帶寬周期性計數(shù)
        古人計數(shù)
        遞歸計數(shù)的六種方式
        古代的計數(shù)方法
        數(shù)列中的周期性和模周期性
        一類整數(shù)遞推數(shù)列的周期性
        這樣“計數(shù)”不惱人
        如何提升高帶寬用戶的感知度
        科技傳播(2017年14期)2017-08-22 02:39:36
        合理配置QoS改善校園網(wǎng)絡環(huán)境
        淺析泰州電視臺超大型高清非編網(wǎng)建設
        經(jīng)典路由協(xié)議在戰(zhàn)場環(huán)境下的仿真與評測
        99re热视频这里只精品| 亚洲av综合色一区二区| 国产成人精品免费视频大全软件| 国产精品ⅴ无码大片在线看| 欧美成人小视频| 亚洲美女性生活一级片| 日本一区二区三级在线| 一女被多男玩喷潮视频| 国产乱理伦片在线观看| 激情中文丁香激情综合| 亚洲一区二区自偷自拍另类| 午夜免费电影| 九九99无码精品视频在线观看| 人妻少妇精品无码系列| 成人av资源在线播放| 人妻少妇久久久久久97人妻| 天堂а√在线最新版中文| 超碰性爱| 日韩有码在线观看视频| 无码字幕av一区二区三区| 午夜亚洲www湿好大| 亚洲精品白浆高清久久| 日本一区二区三区亚洲| 成人性生交大片免费| 98在线视频噜噜噜国产| 国产精品久久一区二区蜜桃| 中国孕妇变态孕交xxxx| 亚洲熟伦熟女新五十路熟妇| 2022精品久久久久久中文字幕| 亚洲国产精品悠悠久久琪琪| 国产成人无码精品久久二区三区| 久久免费国产精品| 色婷婷亚洲一区二区在线| 亚洲综合另类小说色区| 久久人妻少妇嫩草av蜜桃| 久久久99久久久国产自输拍| 天堂蜜桃视频在线观看| 无码人妻av免费一区二区三区| 国产系列丝袜熟女精品视频 | 亚洲精品综合中文字幕组合| 天天碰免费上传视频|