朱宇
(重慶巽諾科技有限公司 重慶市 401123)
根據(jù)當前國家提出的信息化規(guī)劃建設(shè)要求,需要在現(xiàn)有大數(shù)據(jù)中心建設(shè)當中,以云管理平臺作為基礎(chǔ),實現(xiàn)對大數(shù)據(jù)技術(shù)的不斷探索,并構(gòu)建符合企業(yè)運行需要的大數(shù)據(jù)中心平臺,為企業(yè)提供更加有利的信息手段和工具以及精確的決策依據(jù)[1]。但由于網(wǎng)絡(luò)環(huán)境具有一定的公開性,因此數(shù)據(jù)的安全問題很難得到保障,基于這一問題,相關(guān)領(lǐng)域研究人員開展了大量研究,并將重點轉(zhuǎn)移到了對網(wǎng)絡(luò)安全運維管理方面?,F(xiàn)有網(wǎng)絡(luò)安全運維管理通常是利用移動網(wǎng)絡(luò)安全路徑為其安全性提供條件,但這種管理模式下,仍然存在諸多問題。例如,網(wǎng)絡(luò)數(shù)據(jù)信息共享時效性較差、數(shù)據(jù)在網(wǎng)絡(luò)環(huán)境中傳輸缺乏長效機制、無法滿足海量數(shù)據(jù)傳輸需要等[2]。因此,針對上述問題,為提高網(wǎng)絡(luò)安全運維管理效率,并達到最理想的管理效果,本文引入平臺構(gòu)建的思路,結(jié)合大數(shù)據(jù)技術(shù),開展對其網(wǎng)絡(luò)安全運維管理平臺的設(shè)計研究。
針對網(wǎng)絡(luò)數(shù)據(jù)傳輸特點,本文選擇在網(wǎng)絡(luò)安全運維管理平臺當中引入兩部分基本框架結(jié)構(gòu),分別為離線分析和在線檢測。其中離線分析模塊,主要針對網(wǎng)絡(luò)環(huán)境當中已有的海量歷史數(shù)據(jù)信息,利用大數(shù)據(jù)技術(shù)對其進行深入挖掘,并找出更多復(fù)雜網(wǎng)絡(luò)資源的應(yīng)用規(guī)律[3]。在線檢測模塊,主要針對線上采集到的日志信息,對其相應(yīng)安全問題進行實時性處理,并通過得出的處理結(jié)果,實現(xiàn)對網(wǎng)絡(luò)數(shù)據(jù)資源的合理分配。圖1為本文基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全運維管理平臺整體框架結(jié)構(gòu)示意圖。
圖1:基于大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全運維管理平臺整體框架
將上述基于大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全運維管理平臺整體框架作為基礎(chǔ),利用Spark Streaming對網(wǎng)絡(luò)環(huán)境當中產(chǎn)生的實時數(shù)據(jù)進行處理,直接從Flume模塊當中讀取從網(wǎng)絡(luò)環(huán)境當中采集到的實時數(shù)據(jù)。由于在網(wǎng)絡(luò)環(huán)境當中,數(shù)據(jù)種類較多,因此在對其進行安全運維管理的過程中,應(yīng)當及時對數(shù)據(jù)的來源進行追溯,并在獲取終端數(shù)據(jù)信息格式后,對其進行統(tǒng)一化處理,以此種方式,為數(shù)據(jù)的安全管理工作實施,提供便利條件。在此基礎(chǔ)上,應(yīng)考慮平臺的檢測功能需求,將前端輸入的日志信息進行擴充,并將擴充與后期導(dǎo)入的數(shù)據(jù)集合與原始數(shù)據(jù)進行關(guān)聯(lián),并通過NDS映射的方式,實現(xiàn)對輔助信息的增強,從而確保在網(wǎng)絡(luò)安全運維過程中對其產(chǎn)生的數(shù)據(jù)進行管理。相比實時在線檢測方法,上述提出的離線檢測行為,可以適當?shù)貙ζ洵h(huán)境條件進行放寬處理,此行為的本質(zhì)與核心在于對大量傳輸數(shù)據(jù)的規(guī)律挖掘。并結(jié)合已經(jīng)完成制定的數(shù)據(jù),定期制定離線檢測,并由平臺對檢測報告生成、傳輸和存儲。
通過合理的管理協(xié)議,為平臺管理提供一個更具指導(dǎo)性的依據(jù),根據(jù)在線檢測和離線檢測需要,選擇SNMP協(xié)議,將其作為網(wǎng)絡(luò)傳輸安全運維管理的支撐。在本文管理平臺運行過程中,每一步管理指令的提出都需要按照SNMP協(xié)議完成,以此確保平臺運行的規(guī)劃性,同時根據(jù)標準SNMP協(xié)議,為平臺提供各類網(wǎng)絡(luò)安全運維過程中產(chǎn)生的服務(wù)器、交換機等集中視圖。再選用一種由文本結(jié)構(gòu)為核心的數(shù)據(jù)傳輸協(xié)議SMTP協(xié)議作為本文管理平臺當中的數(shù)據(jù)傳輸協(xié)議。利用該傳輸協(xié)議,確保本文平臺在運行過程中能將數(shù)據(jù)傳輸服務(wù)器之間交換的數(shù)據(jù)信息完成傳輸任務(wù)。以此利用該服務(wù)器實現(xiàn)對網(wǎng)絡(luò)安全運維過程中產(chǎn)生數(shù)據(jù)的實時傳輸。
為實現(xiàn)本文平臺的網(wǎng)絡(luò)安全運維管理規(guī)范化,在其實際運行過程中,還需要結(jié)合網(wǎng)絡(luò)安全運維特點,對其業(yè)務(wù)邏輯進行制定。業(yè)務(wù)邏輯內(nèi)容主要包括數(shù)據(jù)庫備份、平臺賬戶管理以及平臺運行設(shè)備管理。其中,平臺賬戶管理又包含了針對賬戶基本信息、個性化管理、賬戶權(quán)限等內(nèi)容。在平臺的現(xiàn)實界面當中主要對設(shè)備管理信息、監(jiān)控展示信息、數(shù)據(jù)備份、警報設(shè)置等進行展示。在平臺后臺運行過程中,需要完成對網(wǎng)絡(luò)安全運維管理周期的監(jiān)測、對異常運維數(shù)據(jù)的警報以及對網(wǎng)絡(luò)安全運維計劃的備份。周期監(jiān)測是網(wǎng)絡(luò)安全運維狀況監(jiān)測的主要部分,其基本業(yè)務(wù)邏輯為:平臺在運行的過程中需要利用上述選擇的SNMP協(xié)議,對當前被監(jiān)測網(wǎng)絡(luò)安全運維行為的各項數(shù)據(jù)進行獲取,在此基礎(chǔ)上,根據(jù)平臺持久層中的數(shù)據(jù)信息內(nèi)容,將多項數(shù)據(jù)參照此種內(nèi)容統(tǒng)一格式,并存儲在對應(yīng)的數(shù)據(jù)庫中,以便于后期操作人員對信息進行針對性調(diào)度與管理。當終端獲取到多種類型的監(jiān)控信息后,需要根據(jù)數(shù)據(jù)類型,將其存儲在安全數(shù)據(jù)庫內(nèi),并結(jié)合數(shù)據(jù)的表達方式,對其進行獨立化處理,避免數(shù)據(jù)在存儲中受到其他信息調(diào)度的影響。
將每一類數(shù)據(jù)設(shè)置為不同的ID,并將ID作為對其進行識別的唯一標識,利用平臺當中添加的TimeNow作為監(jiān)測時間標準,對相同ID下的數(shù)據(jù)進行記錄。針對網(wǎng)絡(luò)安全運維數(shù)據(jù)的獲取,其業(yè)務(wù)邏輯為:根據(jù)平臺管理需要,利用SNMP協(xié)議對網(wǎng)絡(luò)安全運維Oid鍵值監(jiān)測數(shù)據(jù)進行獲取。針對網(wǎng)絡(luò)安全運維報警處理,其業(yè)務(wù)邏輯為:采用運維數(shù)據(jù)報警機制,由平臺自動獲取網(wǎng)絡(luò)安全運維過程中產(chǎn)生的各類數(shù)據(jù)信息,當獲取到的數(shù)據(jù)超出了事先設(shè)置的閾值時,則立即將報警信息以SMTP協(xié)議為傳輸標準發(fā)送到管理中心的上位機中,平臺自動從被動管理模式轉(zhuǎn)變?yōu)橹鲃涌刂颇J剑瑢W(wǎng)絡(luò)安全運維進行7×24h的監(jiān)控,同時將這一階段內(nèi)網(wǎng)絡(luò)安全運維產(chǎn)生的數(shù)據(jù)持續(xù)記錄,作為下一時刻的管理依據(jù)。
將企業(yè)原本自定義協(xié)議轉(zhuǎn)換為網(wǎng)絡(luò)安全運維管理平臺能夠識別的PQDIF協(xié)議,利用其完成對各類運維數(shù)據(jù)文件的傳輸。利用PQDIF協(xié)議從管理平臺的監(jiān)測終端位置,將相應(yīng)的運維數(shù)據(jù)文件傳輸,再通過SNMP協(xié)議在指定生成段當中將文件傳輸?shù)狡脚_的各個模塊當中。在傳輸?shù)倪^程中,可以根據(jù)不同網(wǎng)絡(luò)層次結(jié)構(gòu)的具體情況,采用分鐘統(tǒng)計間隔和一小時統(tǒng)計間隔的方式實現(xiàn)對網(wǎng)絡(luò)安全運維數(shù)據(jù)的自動傳輸。
通過上述論述,實現(xiàn)對基于大數(shù)據(jù)的網(wǎng)絡(luò)安全運維管理平臺的理論設(shè)計,為進一步驗證該平臺是否能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)安全運維的有限管理,將其與傳統(tǒng)以網(wǎng)絡(luò)態(tài)勢感知平臺為核心的管理平臺應(yīng)用到相同的網(wǎng)絡(luò)環(huán)境當中,完成對比實驗。選擇以某企業(yè)局域網(wǎng)當中的網(wǎng)絡(luò)安全運維環(huán)境作為本文實驗的實驗環(huán)境,將兩種管理平臺應(yīng)用到相同的運行環(huán)境當中。表1為本文實驗兩種管理平臺運行環(huán)境設(shè)置表。
表1:本文實驗兩種管理平臺運行環(huán)境設(shè)置表
在本文網(wǎng)絡(luò)安全運維環(huán)境當中,按照相同條件對兩種管理平臺進行部署。利用Hadoop提供的Master節(jié)點用于對各項網(wǎng)絡(luò)安全運維管理任務(wù)的執(zhí)行。設(shè)定在當前網(wǎng)絡(luò)安全運維環(huán)境當中共包含了10000個Master節(jié)點,在其中隨機引入1500個故障Master節(jié)點,分別在兩種平臺的管理下,對比恢復(fù)正常運維兩種平臺的耗時情況。
為了方便比較,將實驗設(shè)置參數(shù)及實驗中得出的實驗結(jié)果如表2所示。
表2:兩種管理平臺實驗結(jié)果對比表
根據(jù)表2得出的實驗結(jié)果,進一步證明,本文提出的基于大數(shù)據(jù)的網(wǎng)絡(luò)安全運維管理平臺在應(yīng)用到實際網(wǎng)絡(luò)環(huán)境當中時,能夠有效降低平臺恢復(fù)正常運行的耗時,提高網(wǎng)絡(luò)安全運維恢復(fù)速度和質(zhì)量,有效解決傳統(tǒng)管理平臺的管理延時性問題。傳統(tǒng)管理平臺在運行過程中,極易受到網(wǎng)絡(luò)數(shù)據(jù)節(jié)點和故障節(jié)點數(shù)量的影響,造成其管理效率逐漸降低。而本文管理平臺在發(fā)現(xiàn)故障的Master節(jié)點后,能夠結(jié)合競選機制,在眾多副本節(jié)點當中選擇一個最佳的Master節(jié)點,比如將其作為主節(jié)點,完成故障Master節(jié)點的工作任務(wù),以此保證整個網(wǎng)絡(luò)安全運維的穩(wěn)定,因此受上述兩種因素的影響較小,能夠在一定程度上保證平臺管理效率達到標準要求,具有更高的應(yīng)用價值。
為了提高網(wǎng)絡(luò)安全運維能力,促進網(wǎng)絡(luò)環(huán)境中各類數(shù)據(jù)更加穩(wěn)定地傳輸,本文結(jié)合大數(shù)據(jù)技術(shù),提出一種全新的管理平臺。將本文提出的管理平臺應(yīng)用于實際能夠在出現(xiàn)故障節(jié)點時,快速恢復(fù)其穩(wěn)定。同時,能夠有效支撐網(wǎng)絡(luò)環(huán)境中各項業(yè)務(wù)數(shù)據(jù)實時在線分析和為其決策提供輔助。在未來大數(shù)據(jù)技術(shù)的不斷優(yōu)化和創(chuàng)新下,本文管理平臺在實際應(yīng)用中也將具備實時管理、智能分析等功能,以此為進一步擴大本文管理平臺的應(yīng)用市場提供有利技術(shù)條件。