亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于自適應(yīng)智能爬蟲技術(shù)的網(wǎng)站備案安全態(tài)勢感知平臺設(shè)計

        2018-07-23 02:18:42車力軍曹華平
        互聯(lián)網(wǎng)天地 2018年5期
        關(guān)鍵詞:爬蟲域名態(tài)勢

        □ 文 車力軍 曹華平

        (作者單位:車力軍,中國電信云南公司;曹華平,通訊作者,國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心。)

        一、前言

        習(xí)近平總書記在十九大報告中指出,網(wǎng)絡(luò)安全等非傳統(tǒng)安全威脅持續(xù)蔓延,人類面臨許多共同挑戰(zhàn)。而互聯(lián)網(wǎng)網(wǎng)站是網(wǎng)絡(luò)信息非常重要的來源,如果不進行管控備案,違法違規(guī)的涉黃涉恐涉詐網(wǎng)站將對國家、社會造成極大威脅。近年來國家行業(yè)主管部門先后出臺系列管理及考核要求,如工信部《省級基礎(chǔ)電信企業(yè)網(wǎng)絡(luò)與信息安全工作考核要點與評分標(biāo)準(zhǔn)》《工業(yè)和信息化部關(guān)于進一步落實網(wǎng)站備案信息真實性核驗工作方案(試行)》《關(guān)于開展加強網(wǎng)站備案管理專項行動的通知》《互聯(lián)網(wǎng)域名管理辦法(征求意見稿)》等,“先備案,后接入;誰接入誰負責(zé),誰管理誰負責(zé)”等要求成為管理的紅線。中國電信管理著國內(nèi)超過75%的互聯(lián)網(wǎng)網(wǎng)絡(luò)資源,責(zé)任重大,而云南電信對于全省百萬級IP、數(shù)千個已備案網(wǎng)站的備案核查、信息一致性在過去缺乏有效的技術(shù)驗證手段,缺乏主動發(fā)現(xiàn)問題、防患于未然和管理前置的能力,基本上是被動等待工信部定期通報,然后對通報信息進行人工核對及處理反饋。亡羊補牢,既浪費時間、耗費大量人力,也不能確保其準(zhǔn)確率,嚴重影響工信部、通管局檢查的達標(biāo)率。

        傳統(tǒng)處置方式已不能滿足實際管理的需要,云南電信因而迫切需要構(gòu)建一套主動偵測的網(wǎng)站備案安全態(tài)勢感知系統(tǒng)來代替人工模式,提高全省備案管理工作效率和數(shù)據(jù)準(zhǔn)確率。

        二、國內(nèi)相關(guān)研究和實踐情況

        網(wǎng)站備案率及備案信息準(zhǔn)確率是國家主管部門對運營商非常關(guān)鍵的考核指標(biāo),不少省市都關(guān)注提升備案考核達標(biāo)率的措施,而在政策法規(guī)方面,胡鋼對《互聯(lián)網(wǎng)域名管理辦法》進行了解讀和研究,趙云對國內(nèi)域名服務(wù)監(jiān)管提出若干建議,王月領(lǐng)等對提升網(wǎng)站備案信息準(zhǔn)確率的方法進行了一些實踐,劉石磊研究了應(yīng)用反爬蟲機制的網(wǎng)站實施爬蟲活動的策略,林迅則分析了基于流量分析實現(xiàn)網(wǎng)站備案監(jiān)控系統(tǒng),張東等對廣播電視安全播出預(yù)警發(fā)布實踐進行了闡述;在安全態(tài)勢感知方面,畢錦雄、鞏志等對新時期建立網(wǎng)絡(luò)安全態(tài)勢感知能力的必要性和可行性提出了中肯的意見,李井泉、劉旭東、李奎等則對網(wǎng)絡(luò)安全態(tài)勢感知及主動預(yù)警的若干技術(shù)進行了研究。但是在網(wǎng)站備案管理,尤其是未備案域名發(fā)現(xiàn)和備案準(zhǔn)確率方面,其安全態(tài)勢感知預(yù)警系統(tǒng)相關(guān)的設(shè)計和研究并不多見。本文的目標(biāo),就是因形勢所需,設(shè)計構(gòu)建一種基于自適應(yīng)的,主動偵測備案安全態(tài)勢感知的平臺。

        三、未備案域名監(jiān)管安全態(tài)勢感知平臺的創(chuàng)新實踐

        2017年,經(jīng)過云南電信項目團隊近7個月調(diào)研設(shè)計與開發(fā),未備案域名監(jiān)管安全態(tài)勢感知平臺得以建設(shè)實施。

        (一)平臺的主要功能

        未備案域名態(tài)勢感知的設(shè)計思路是通過監(jiān)控流入運營商數(shù)據(jù)中心的網(wǎng)絡(luò)流量,將采集到的域名信息與工信部備案數(shù)據(jù)庫比對,實現(xiàn)未備案域名監(jiān)控。系統(tǒng)在對云南電信全省數(shù)百萬IP中是否存在未備案網(wǎng)站域名進行掃描比對,發(fā)現(xiàn)未備案域名立即自動預(yù)警輸出,對輸出數(shù)據(jù)可按州市自動分揀,分地區(qū)通報并應(yīng)變處置。

        平臺對云南電信數(shù)千已備案網(wǎng)站的主體信息準(zhǔn)確性進行實時掃描,與政府權(quán)威網(wǎng)站信息庫進行比對,發(fā)現(xiàn)不一致的輸出清單,分州市通報,督促這些網(wǎng)站客戶實施整改更正。

        系統(tǒng)平臺可設(shè)置預(yù)警通報頻度,一般與工信部未備案通報設(shè)為一個頻度,但提前預(yù)警發(fā)布。這樣全省各單位備案專管員定期用電腦或手機接收預(yù)警信息,實現(xiàn)提前隨時隨地知曉通報信息并及時處置。這使得工信部通報中云南電信未備案數(shù)量大幅降低,也將提升每季度工信部備案信息準(zhǔn)確率指標(biāo)。

        (二)項目平臺創(chuàng)新點

        1、基于智能爬蟲技術(shù)的自適應(yīng)線程優(yōu)化未備案域名分析抓取創(chuàng)新應(yīng)用

        系統(tǒng)平臺采用智能爬蟲技術(shù),通過多進多出并發(fā)自適應(yīng)線程優(yōu)化模型架構(gòu)(圖1),平臺系統(tǒng)由控制中心統(tǒng)一對多線程進行監(jiān)控,處理線程間的協(xié)作,并根據(jù)系統(tǒng)情況對多線程進行自適應(yīng)優(yōu)化。以此高效快速地對海量的百萬級IP進行未備案域名數(shù)據(jù)挖掘分析,迅速發(fā)現(xiàn)互聯(lián)網(wǎng)未備案網(wǎng)站,自動預(yù)警輸出,對輸出數(shù)據(jù)按州市自動分揀,分地區(qū)通報及時處置。

        圖1 多進多出并發(fā)自適應(yīng)線程優(yōu)化模型架構(gòu)

        2、基于數(shù)據(jù)挖掘技術(shù)、存活I(lǐng)P過濾器、反爬蟲技術(shù)、域名自查技術(shù)等全方位精準(zhǔn)識別未備案域名的探測手段集成創(chuàng)新

        存活I(lǐng)P過濾器對抓取未備案域名的IP,先通過主機發(fā)現(xiàn)技術(shù)、端口掃描技術(shù)確定該IP是否存活。主機發(fā)現(xiàn)技術(shù)在端口掃描前,確定目標(biāo)主機是否在線。主機發(fā)現(xiàn)的實現(xiàn)分兩個階段:地址解析階段、實際探測階段。地址解析主要負責(zé)從主機表達式中解析出目標(biāo)主機地址,將之存放在hostbatch中,并配置該主機所需的路由、網(wǎng)口、MAC地址、源IP等信息,對解析出來的目標(biāo)主機,進行實際探測及獲取RDNS相關(guān)信息。從主機表達式中獲取主機地址,若取得的不是IP,需要進行DNS解析,獲取域名對應(yīng)的IP。在主機發(fā)現(xiàn)過程中,利用運輸層協(xié)議的方式,發(fā)送SYN數(shù)據(jù)包、ACK數(shù)據(jù)包、UDP數(shù)據(jù)包。前兩種分別利用了TCP三次握手中的第一次及第二次握手,讓對方覺得正在試圖建立一個TCP連接,從而做出回應(yīng),根據(jù)回應(yīng)得出主機狀態(tài)。UDP則是發(fā)送一個UDP數(shù)據(jù)包,得到端口不可達、主機網(wǎng)絡(luò)不可達的回應(yīng)。

        端口掃描技術(shù),端口的概念處于運輸層,系統(tǒng)利用TCP/UDP協(xié)議,對TCP端口進行探測掃描。利用三次握手,首先client端向server某端口發(fā)送請求連接的syn包,server的該端口如果允許連接,會給client端發(fā)一個ack與syn,client端收到server的ack包后再給server端發(fā)一個ack包,TCP連接正式建立?;谶B接的建立過程,假如要掃描某一個TCP端口,可以往該端口發(fā)一個syn包,如果該端口處于打開狀態(tài),系統(tǒng)可收到一個ack,也就是說,如果收到ack,就可判斷目標(biāo)掃描出于打開狀態(tài),否則,目標(biāo)端口處于關(guān)閉狀態(tài)。

        由于爬蟲會對網(wǎng)站所有節(jié)點進行掃描,從而對網(wǎng)站運行造成負荷和影響,因此許多網(wǎng)站建立了反爬蟲機制來抵抗網(wǎng)絡(luò)爬蟲。本系統(tǒng)針對反爬蟲主要采用以下策略:(a)使用IP地址池:VPN和代理IP。(b)動態(tài)設(shè)置User-Agent(隨機切換User-Agent,模擬不同用戶的瀏覽器信息)。(c)禁用Cookies。域名自查技術(shù)則采用幾個策略:(a)自動核對域名與IP的對應(yīng)關(guān)系是否一致。(b)網(wǎng)站是否可以打開。(c)自動識別是否未備案(包括二級域名及二級以上域名的自動識別)。(d)自動完善域名信息(包括網(wǎng)站標(biāo)題、IP歸屬地)。

        3)基于Web+APP+公務(wù)郵件方式的安全預(yù)警發(fā)布能力平臺,使云南電信未備案域名監(jiān)管安全態(tài)勢感知與預(yù)警發(fā)布能滿足移動互聯(lián)網(wǎng)工作模式的需要。

        以上創(chuàng)新點經(jīng)國家科技部科技查新,在國內(nèi)尚未見公開文獻報道,查新編號:(2018)53b2000427。

        四、推廣效果

        系統(tǒng)平臺通過自適應(yīng)多線程優(yōu)化策略,大幅提升運行效率,數(shù)小時即可自動完成云南電信全省數(shù)百萬IP的未備案域名掃描核查,以及數(shù)千已備案網(wǎng)站主體信息比對。相關(guān)工作如果采用人工方式,即便每人每工作日核對1000個IP的網(wǎng)站備案情況,都需要近10年時間;而系統(tǒng)全天候自動運行,使云南電信網(wǎng)站未備案核查工作效率提升了數(shù)千倍,極大節(jié)約了人工成本。

        圖2 云南疑似未備案域名發(fā)現(xiàn)量情況

        系統(tǒng)對全域網(wǎng)站域名狀態(tài)實施檢測,從監(jiān)控、核查、考核、監(jiān)管四個維度對網(wǎng)站備案工作進行集中化管理與運維,建立一個可視、可查、可度量與可持續(xù)的安全態(tài)勢感知預(yù)警平臺,受到省通信管理局和上級單位的關(guān)注。

        平臺安全態(tài)勢預(yù)警發(fā)布可用電腦或移動終端接收并處置反饋,保證了基層單位隨時隨地發(fā)現(xiàn)問題,及時處理,充分滿足移動互聯(lián)網(wǎng)工作模式的需要,也受到備案一線管理人員的好評。

        系統(tǒng)自2017年9月投入運行以來,通過智能化的系統(tǒng)作業(yè)能力,已累計主動發(fā)現(xiàn)未備案網(wǎng)站2039次(包括部分未整改再次通報域名)、備案主體信息不準(zhǔn)確項1730個,經(jīng)核對所有數(shù)據(jù)基本無誤報,判斷準(zhǔn)確率99.9%,系統(tǒng)自動審核發(fā)現(xiàn)的未備案網(wǎng)站數(shù)量比工信部抽查通報數(shù)量多數(shù)十倍。同時,經(jīng)過提前偵測發(fā)現(xiàn)預(yù)警、提前強力整改,平臺發(fā)布的疑似未備案域名數(shù)量逐月降低(見圖2),也正因為平臺對備案安全態(tài)勢的及時預(yù)警,發(fā)布處置,云南電信轄內(nèi)工信部抽查通報未備案網(wǎng)站數(shù)逐月下降,甚至對云南電信出現(xiàn)多周零通報,目前保持月通報數(shù)在個位數(shù)字,效果顯著。

        五、思考

        在網(wǎng)站備案監(jiān)管及安全態(tài)勢感知項目創(chuàng)造性工作過程中,有以下幾點思考:

        (一)移動互聯(lián)網(wǎng)時代,新技術(shù)新態(tài)勢層出不窮,信息安全戰(zhàn)線各版塊必須與時俱進,不斷學(xué)習(xí)和創(chuàng)新,才能適應(yīng)時代的需要。

        (二)要加強運營商及企事業(yè)單位的網(wǎng)站備案法規(guī)意識和安全責(zé)任意識,對未備案即擅自開通網(wǎng)站的行為要從懂法自律和手段管控雙管齊下,各自守好自己的陣地,這樣真正別有用心的未備案行為就更容易暴露在光天化日之下。

        (三)要通過技術(shù)手段建設(shè),不斷優(yōu)化平臺維度和掃描判據(jù),加大域名監(jiān)控與網(wǎng)站一致性檢查的精準(zhǔn)度,并開展域名內(nèi)容防篡改檢查,發(fā)現(xiàn)網(wǎng)站非法篡改立即停止域名解析。

        (四)要不斷完善預(yù)警發(fā)布的方式和手段,適應(yīng)當(dāng)前移動互聯(lián)網(wǎng)深化發(fā)展時期工作的需要。

        六、結(jié)語

        云南電信通過學(xué)習(xí)網(wǎng)站備案相關(guān)管理和技術(shù)研究成果,梳理全省備案管理機制,建立了網(wǎng)站備案安全態(tài)勢感知與預(yù)警處置創(chuàng)新體系,體系平臺以備案管理合規(guī)為核心,實現(xiàn)安全態(tài)勢監(jiān)測管理與業(yè)務(wù)正常工作流程的融合。態(tài)勢感知平臺采用智能爬蟲技術(shù),通過多進多出自適應(yīng)線程優(yōu)化,大幅提升運行效率,此舉對所轄網(wǎng)絡(luò)未備案域名和備案主體信息變化做到提前感知預(yù)警,使云南電信能夠優(yōu)于工信部未備案掃描通報提前處置,更優(yōu)于工信部定期備案主體信息準(zhǔn)確率通報提前處置,做到防范于未然。云南電信將繼續(xù)加大新興技術(shù)手段和管理策略建設(shè),及時跟蹤發(fā)現(xiàn)未備案網(wǎng)站和已備案主體信息發(fā)生變化的態(tài)勢規(guī)律,應(yīng)對網(wǎng)絡(luò)安全、信息安全威脅與挑戰(zhàn),為凈化國家網(wǎng)絡(luò)空間做好保駕護航的一份力量?!?/p>

        (作者單位:車力軍,中國電信云南公司;曹華平,通訊作者,國家計算機網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心。)

        猜你喜歡
        爬蟲域名態(tài)勢
        利用網(wǎng)絡(luò)爬蟲技術(shù)驗證房地產(chǎn)灰犀牛之說
        基于Python的網(wǎng)絡(luò)爬蟲和反爬蟲技術(shù)研究
        2019年12月與11月相比汽車產(chǎn)銷延續(xù)了增長態(tài)勢
        汽車與安全(2020年1期)2020-05-14 13:27:19
        匯市延續(xù)小幅震蕩態(tài)勢
        中國外匯(2019年19期)2019-11-26 00:57:36
        我國天然氣供需呈現(xiàn)緊平衡態(tài)勢
        利用爬蟲技術(shù)的Geo-Gnutel la VANET流量采集
        電子測試(2018年1期)2018-04-18 11:53:04
        如何購買WordPress網(wǎng)站域名及綁定域名
        大數(shù)據(jù)環(huán)境下基于python的網(wǎng)絡(luò)爬蟲技術(shù)
        電子制作(2017年9期)2017-04-17 03:00:46
        縣鄉(xiāng)一體化探索呈加速態(tài)勢
        騰訊八百萬美元收購域名
        国产精品99久久精品女同| 欧美日韩亚洲国内综合网| 福利片福利一区二区三区| 青草青草久热精品视频国产4| 小黄片免费在线播放观看| 五月天亚洲av优女天堂| 校园春色日韩高清一区二区| 人妻仑乱a级毛片免费看| 国产又黄又大又粗视频| 亚洲成AV人片无码不卡| 加勒比久久综合久久伊人爱| 久久精品国产自在天天线| 久热在线播放中文字幕| 国产美女精品AⅤ在线老女人| 成人大片在线观看视频| 强开少妇嫩苞又嫩又紧九色| 亚洲依依成人亚洲社区| 亚洲国产剧情在线精品视| 国产毛片精品av一区二区| 狠狠躁18三区二区一区| 丰满爆乳一区二区三区| 狠狠亚洲婷婷综合久久久| 日本美女在线一区二区| 色综合色狠狠天天综合色| 午夜国产在线| 日本在线视频二区一区| 97精品人妻一区二区三区蜜桃| 特级做a爰片毛片免费看108| 亚洲精品成AV无在线观看| 无码AV大香线蕉伊人久久| 国语对白精品在线观看| 亚洲中字慕日产2020| 国产三级在线观看播放视频| 欧美在线a| 亚洲一区二区三区高清视频| 亚洲av成人片色在线观看| 青草国产精品久久久久久| 99久久精品国产片| 亚洲sm另类一区二区三区| 国产成人亚洲综合色婷婷| 久久99国产亚洲高清|