亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng)設(shè)計

        2023-08-27 09:03:12孫妍張俊超薛峪峰
        電子設(shè)計工程 2023年17期
        關(guān)鍵詞:檢測方法

        孫妍,張俊超,薛峪峰

        (國網(wǎng)青海省電力公司信息通信公司,青海西寧 810008)

        隨著當(dāng)前電網(wǎng)規(guī)模的不斷擴大,其復(fù)雜性在不斷增加。因此,以信息網(wǎng)絡(luò)為基礎(chǔ)的各種應(yīng)用也日益增多。找出造成電網(wǎng)異常問題的根源具有較大困難,且未偵測到的電網(wǎng)異常問題會進一步擴散,對電網(wǎng)信息的正常傳送造成干擾。因此,對電網(wǎng)的業(yè)務(wù)進行實時監(jiān)控與評價并及時發(fā)現(xiàn)異常狀況,對于提高電網(wǎng)的安全、穩(wěn)定起到了關(guān)鍵作用。

        文獻[1]提出的基于簇內(nèi)乘積量化的檢索方法,運用向量量化和乘積量化的方法,表征大規(guī)模高維數(shù)據(jù),通過計算候選數(shù)據(jù)集向量與查詢向量間的距離,實現(xiàn)目標(biāo)大數(shù)據(jù)的檢索;文獻[2]提出的基于倒排索引的檢索方法,通過插入關(guān)鍵字抵消服務(wù)器的關(guān)鍵字攻擊,同時,引入數(shù)據(jù)緩存區(qū),結(jié)合倒排索引加密算法對關(guān)鍵數(shù)據(jù)檢索結(jié)果進行盲計算。但是,這兩種方法容易受到未知入侵?jǐn)?shù)據(jù)的影響,出現(xiàn)檢索效果不佳的問題。

        基于以上研究成果,該文設(shè)計了新的基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng)。

        1 系統(tǒng)硬件設(shè)計

        將流量檢測技術(shù)引入到系統(tǒng)中,無疑要把查詢部分轉(zhuǎn)換成用戶程序調(diào)用界面。但是其可以獨立地產(chǎn)生索引,從而降低了用戶對系統(tǒng)的影響,使得系統(tǒng)能夠更好地集中在指標(biāo)上[3]。因此,設(shè)計了基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng)硬件結(jié)構(gòu),如圖1所示。

        圖1 檢索系統(tǒng)硬件結(jié)構(gòu)

        該系統(tǒng)主要由索引服務(wù)器與查詢接口兩個部分組成。索引服務(wù)器是一個獨立的系統(tǒng),可以讓用戶設(shè)定索引類型、索引數(shù)據(jù)和索引記錄[4]。索引伺服器會根據(jù)使用者設(shè)定的方式,對有關(guān)資料進行索引,不會影響其他使用者[5];查詢接口可以被視為一種無須改動就能直接嵌入到使用者應(yīng)用程序中的一種接口,不同的程序界面對于不同的用戶來說是不同的,使用者可以做一個索引標(biāo)志,使得用戶能夠按照索引標(biāo)志查詢語句,也可以對索引標(biāo)志進行一些小的改動,并將其嵌入到自己的系統(tǒng)中[6]。

        為了使系統(tǒng)應(yīng)用起來更加方便,系統(tǒng)直接使用XML 驅(qū)動系統(tǒng)代替數(shù)據(jù)庫。

        1.1 索引服務(wù)器

        索引服務(wù)器一般是一臺含有一種逆向索引的服務(wù)器,該服務(wù)器會建立一個即時索引,并將區(qū)塊查詢與文件ID 相對應(yīng)。

        索引服務(wù)器結(jié)構(gòu)如圖2 所示。

        圖2 索引服務(wù)器結(jié)構(gòu)

        索引服務(wù)是Windows 提供的一個支持文件索引的服務(wù),該系統(tǒng)能在不需要使用者介入的前提下,提升計算機網(wǎng)絡(luò)的檢索效率,并能自動進行索引的更新[7]。

        索引服務(wù)將一組檔案中的信息抽取出來,并將其組織起來,這樣就可以在Windows Server 2003 的搜尋功能、索引服務(wù)查詢表或網(wǎng)頁瀏覽器中迅速地擷取到相關(guān)信息[8-10]。這一信息可以包含文件中的單詞(內(nèi)容)、文件的特征和參數(shù)(屬性),比如作者的名字。在索引之后,可以對包含關(guān)鍵詞或者屬性的文檔進行索引。

        1.2 Web查詢接口

        只有通過Web 查詢界面才能訪問背景數(shù)據(jù)庫的內(nèi)容,查詢接口通常是以html 和超文字標(biāo)記來顯示的,它是一種解釋語言。

        Web 查詢接口結(jié)構(gòu)如圖3 所示。

        圖3 Web查詢接口結(jié)構(gòu)

        Web 查詢接口中的單行文本輸入框允許用戶輸入簡單的單行信息;復(fù)選框允許用戶選擇單個或多個選項;單選框是由多個選項組成,且供使用者進行單項選擇的框[11-12];下拉框是卷動的單個標(biāo)記框;多行輸入框主要用于輸入較長的文本信息;密碼輸入框用于輸入一些保密的信息;文件按鈕負責(zé)傳輸文件;隱藏控件允許Web 程序員將數(shù)值引入到html表單中,使這些數(shù)值與其他空間一起發(fā)送回Web 服務(wù)器[13]。

        1.3 XML驅(qū)動系統(tǒng)

        XML 的表現(xiàn)功能為從靜態(tài)業(yè)務(wù)對象模型(而非UML)中提供了一個良好的描述方法,首先構(gòu)建一個業(yè)務(wù)對象靜態(tài)模型,然后底層的開發(fā)者在這種模式下進行軟件的開發(fā),而業(yè)務(wù)邏輯開發(fā)者則是根據(jù)這種XML 模式和商業(yè)邏輯來編寫XML 概要[14]。這個操作被抽象成界面“批量操作”,用于執(zhí)行每一個具體的行為,并向“合作”管理器對象添加一個類的實例,在運行時遍歷XML 文檔。運行一個節(jié)點,向管理程序?qū)ο髠鬟f“合作”的節(jié)點,并將“合作”的返回值和“獲取名稱”的返回值相比較,找出相應(yīng)的操作界面,然后再由XML 節(jié)點執(zhí)行相關(guān)“操作”[15]。

        2 系統(tǒng)軟件設(shè)計

        2.1 基于流量檢測的快速分級索引構(gòu)建

        為了獲取目標(biāo)大數(shù)據(jù),需篩選出異常數(shù)據(jù),而電網(wǎng)數(shù)據(jù)的異常行為表現(xiàn)為流量的異常,所以提出了基于流量檢測的分級索引構(gòu)建方法。異常數(shù)據(jù)是通過入侵行為產(chǎn)生的數(shù)據(jù),入侵追蹤的研究重點是發(fā)現(xiàn)入侵路徑和IP 地址,實現(xiàn)對異常數(shù)據(jù)的定位。

        在電網(wǎng)穩(wěn)定運行狀態(tài)下,在t時間內(nèi)出現(xiàn)流量異常情況,對于該情況需計算流量采樣的時間間隔,及時定位異常數(shù)據(jù)位置?;诹髁繖z測方法獲取的數(shù)據(jù)緩存區(qū)大小決定了采樣間隔,該間隔時間就是索引構(gòu)建的時間[16]。

        如果設(shè)緩沖區(qū)域的長度為L,則在t時間內(nèi)緩沖區(qū)域內(nèi)數(shù)據(jù)不滿的概率可表示為:

        式中,i表示數(shù)據(jù)統(tǒng)計結(jié)果;l表示單位記錄長度,q表示用戶請求后平均到達率;n表示連接個數(shù)。

        對于整個緩沖區(qū)域的緩沖速度,可表示為:

        在該情況下,計算采樣間隔,公式為:

        依據(jù)式(3)可得到采樣間隔,即基于流量檢測的索引構(gòu)建時間。

        若將某一時期的指數(shù)進行分類,則可在查詢過程中直接獲得各個階段的資料,節(jié)約了許多查詢與評價的時間。這樣,就可以隨時有效地獲得索引信息,而不用過分?jǐn)U充索引,也就不會發(fā)生索引大小過度膨脹的現(xiàn)象。基于此,構(gòu)建了基于時間域的倒排索引,如圖4 所示。

        圖4 基于時間域的倒排索引結(jié)構(gòu)

        由圖4 可知,在對一段時間的文件進行查詢時,根據(jù)特定的檢索模式,采用常見的查詢技術(shù),獲得一份原始的文件清單。然后將兩個表合并,使第一個表的次序保留,從而獲得與該時間段內(nèi)有關(guān)的文件。

        為了縮短分級索引構(gòu)建時間,將采樣間隔劃分為m個子時間段t1,t2,…tm,動態(tài)統(tǒng)計規(guī)則應(yīng)用到所有的子時間段中,獲取m個統(tǒng)計結(jié)果,由此形成了流量的時域變化關(guān)系。對于子時間段的劃分,應(yīng)遵循:

        1)當(dāng)t1=t2=…=tm時,每個子時間段的統(tǒng)計結(jié)果是一致的。

        2)統(tǒng)計過程中存在如下公式:

        2.2 快速檢索流程設(shè)計

        索引檢索模塊對大量的題庫進行目標(biāo)大數(shù)據(jù)檢索,其操作步驟如下:

        步驟一:通過建立索引結(jié)構(gòu),檢索指標(biāo)相關(guān)信息;

        步驟二:分析用戶界面反饋的數(shù)據(jù),并確定檢索條件,傳遞檢索任務(wù);

        步驟三:使用彈性搜索分布式連接器獲取服務(wù)鏈接,并利用索引庫進行再次索引;

        步驟四:利用資料庫連接器與資料庫通信,摘取資料庫的暫存表,依使用者的要求找到批號,利用SQL 進行資料庫的查詢,最終取得文字的結(jié)果;

        步驟五:在建立大量題庫的目標(biāo)大數(shù)據(jù)索引時,每一欄的名字都要有一個索引。利用索引名進行文字檢索,可以有效地提高檢索的效率。

        3 實驗

        對文獻[1]提出的基于簇內(nèi)乘積量化的檢索方法、文獻[2]提出的基于倒排索引的檢索方法和該文設(shè)計的基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng)進行對比測試實驗,對比不同方法的檢索精準(zhǔn)。

        3.1 實驗數(shù)據(jù)集

        從國網(wǎng)青海信通公司2021 年營業(yè)管理數(shù)據(jù)庫中提取與發(fā)改委、住建廳、房產(chǎn)局進行信息交互的數(shù)據(jù),該數(shù)據(jù)集大小為15.5 GB。

        由于數(shù)據(jù)集中的每篇文檔均具有一定時間維度,因此使用的數(shù)據(jù)集不具有時間信息。為此,對文檔進行了如下處理:針對每篇文檔產(chǎn)生的隨機數(shù),將其隨機分布在一年的365 天時間范圍內(nèi),由此視為一年內(nèi)信息交互產(chǎn)生的數(shù)據(jù)量。

        3.2 實驗指標(biāo)

        1)索引構(gòu)建時間

        以檢索源IP 地址、目的IP 地址、端口、協(xié)議ID、輸入?yún)f(xié)議為指標(biāo),分析索引構(gòu)建時間。

        2)檢索速度

        對目標(biāo)大數(shù)據(jù)來說,索引數(shù)據(jù)越多,所構(gòu)建的索引數(shù)據(jù)大小與全部數(shù)據(jù)大小之比,也就是膨脹系數(shù)越大,說明檢索速度也就越快。如果沒有為所有目標(biāo)大數(shù)據(jù)創(chuàng)建索引的檢索,則膨脹系數(shù)為0;如果索引數(shù)據(jù)與全部數(shù)據(jù)量一樣大,則膨脹系數(shù)為1。

        索引膨脹系數(shù)公式,可表示為:

        式中,H表示索引數(shù)據(jù)大小;G表示全部數(shù)據(jù)大小。

        3.3 實驗結(jié)果與分析

        3.3.1 索引構(gòu)建時間

        三種方法的索引構(gòu)建時間對比結(jié)果如表1所示。

        表1 三種方法的索引構(gòu)建時間對比

        由表1 可知,使用該文基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng),各項指標(biāo)索引構(gòu)建時間最短;使用文獻[1]檢索方法,在目的IP 地址指標(biāo)下,與流量檢測方法索引構(gòu)建時間相差最大,最大為0.14 s;使用文獻[2]檢索方法,在檢索源IP 地址指標(biāo)時,與流量檢測方法索引構(gòu)建時間相差最大,最大為0.12 s。由此可知,使用基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng)具有較短的索引構(gòu)建時間。

        3.3.2 檢索速度

        三種方法檢索速度對比結(jié)果如圖5 所示。

        圖5 三種方法檢索速度對比

        由圖5 可知,使用基于簇內(nèi)乘積量化的檢索方法,檢索端口指標(biāo)的膨脹系數(shù)最大,可達到0.82,檢索源IP 地址指標(biāo)的膨脹系數(shù)最小,最小值為0.74;使用基于倒排索引的檢索方法,檢索端口指標(biāo)的膨脹系數(shù)最大,可達到0.72,檢索輸入?yún)f(xié)議指標(biāo)的膨脹系數(shù)最小,最小值為0.57;使用基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng),檢索輸入?yún)f(xié)議指標(biāo)的膨脹系數(shù)最大,可達到0.99,檢索源IP 地址指標(biāo)的膨脹系數(shù)最小,最小值為0.86,具有快速檢索效果[17]。

        4 結(jié)束語

        該文設(shè)計的基于流量檢測的目標(biāo)大數(shù)據(jù)快速檢索系統(tǒng),能夠?qū)νㄐ胚^程中大量的數(shù)據(jù)快速建立信息索引標(biāo)志,實現(xiàn)用戶輸入的快速響應(yīng)。對于未知的數(shù)據(jù)庫,用戶能夠根據(jù)開發(fā)的插件,靈活檢索相關(guān)數(shù)據(jù)。

        但是,所設(shè)計的系統(tǒng)仍存在需要進一步思考和探討的問題:在目標(biāo)大數(shù)據(jù)的分類處理領(lǐng)域,目前還沒有涉及相關(guān)的特征抽取,這表明在該領(lǐng)域中可以利用分詞技術(shù)進行改進。

        猜你喜歡
        檢測方法
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        “幾何圖形”檢測題
        “角”檢測題
        學(xué)習(xí)方法
        可能是方法不對
        小波變換在PCB缺陷檢測中的應(yīng)用
        用對方法才能瘦
        Coco薇(2016年2期)2016-03-22 02:42:52
        四大方法 教你不再“坐以待病”!
        Coco薇(2015年1期)2015-08-13 02:47:34
        亚洲字幕中文综合久久| 亚洲va欧美va人人爽夜夜嗨| 亚洲一区二区av偷偷| 中文字幕国产亚洲一区| 亚洲色成人网站www永久| 亚洲精品久久久久高潮| 久久精品韩国日本国产| 色播视频在线观看麻豆| 亚洲精品一品区二品区三品区| 日韩精品无码一区二区三区免费| 亚洲图片第二页| 国产亚洲精品一区在线| 人妻精品久久无码区| 亚洲级αv无码毛片久久精品| 久久精品综合国产二区| 91精品啪在线看国产网站| 亚洲不卡高清av在线| 午夜国产精品视频在线观看| 无码视频在线观看| 久久香蕉免费国产天天看| 高清av一区二区三区在线| 富婆猛男一区二区三区| 免费观看的a级毛片的网站| 精品国产一区二区三区AV小说| 白白色青青草视频免费观看| 婷婷精品国产亚洲av麻豆不片| 久久精品99久久香蕉国产色戒| 亚洲午夜看片无码| 性感美女脱内裤无遮挡| 少妇人妻精品一区二区三区| 亚洲欧美国产日韩字幕| 中文字幕精品乱码一二三区| 香蕉久久一区二区不卡无毒影院| 久久99久久99精品免观看| 久久免费区一区二区三波多野在| 91国语对白在线观看| 国产精品婷婷久久爽一下| 亚洲 自拍 另类小说综合图区| 精品国产AⅤ无码一区二区| 国产成人美涵人妖视频在线观看| 4hu四虎永久免费地址ww416|