胡棟梁,秦曉軍,王曉鋒

(1.江南大學 物聯網工程學院,江蘇 無錫 214122; 2.江南計算技術研究所,江蘇 無錫 214083)

0 概述

網絡安全不僅是國家安全的重要組成部分,還關系到人民群眾的財產和信息安全。網絡掃描作為研究網絡安全的第一步,其通過對網絡主機進行掃描,使得運維人員了解到網絡主機的安全配置和運行服務,從而發(fā)現并處理存在的安全威脅,同時對網絡風險等級進行評估[1]。傳統(tǒng)的網絡掃描一般采用單點主動掃描,適用于層次簡單、規(guī)模較小的局域網。由于應用性能需求導致網絡規(guī)模不斷擴大,也促使網絡構成日益復雜。在實際應用中,運維人員通常將具有一定規(guī)模的計算機網絡劃分為若干個子網,通過設置VPN和防火墻實現私有網絡的安全性。上述技術的應用雖然可提高網絡的可用性,但是降低了網絡的可管理性,同時還限制傳統(tǒng)單點掃描技術對較大規(guī)模網絡實施網絡掃描的能力。

為進一步提高網絡掃描的實時性和準確性[2],本文提出一種分布式網絡掃描架構和任務調度算法。其中，分布式網絡掃描架構采用三層架構，且主控節(jié)點可調度感知節(jié)點，而感知節(jié)點可跨區(qū)域部署，因此感知過程可以不受地域限制。任務調度算法則通過分析歷史感知時間，找到最優(yōu)感知節(jié)點進行調度。

1 相關工作

1.1 單點掃描

在單點掃描方面,經典性的掃描軟件主要包括Nmap[3]與Zmap[4],由于軟件設計的局限性,兩者都不具備分布式掃描的特點,無法進行大規(guī)模、跨內部網的網絡掃描。文獻[5]針對現有網絡掃描技術中存在掃描靜態(tài)性功能、分析評估功能等不足,在對現有掃描技術基本原理綜合分析的基礎上,對網絡掃描技術智能化策略進行分析探討,并構建一種符合智能化策略的網絡掃描系統(tǒng)概念模型。文獻[6]提出分塊二分算法,合理設置2次提取IPID序列號間等待的基本延時,以提高IPID隱蔽網絡掃描效率。文獻[7]提出一種限制RST速率的空閑掃描方法,以逃避傳統(tǒng)空閑掃描檢測方法的檢測。以上研究提出的掃描方案均是針對單點掃描方法以及逃避掃描檢測機制進行改進,并未提出采用分布式掃描方案[8]來解決大規(guī)模網絡掃描效率較低的問題。

1.2 分布式任務調度算法

在分布式任務調度算法方面,文獻[9]結合網格計算環(huán)境構建一種描述網格體系結構的完全分布式模型,該模型著重于分布式負載平衡算法的建模和描述。利用模型檢驗對研究協議的不同性質進行形式化驗證,并給出一組性能分析結果。文獻[10]針對當前任務調度算法的資源利用率低、負載嚴重失衡等難題,提出基于負載均衡的任務調度優(yōu)化算法,以提高分布式系統(tǒng)性能。該算法根據節(jié)點的性能實現任務的重新分配和調度,使得節(jié)點負載盡可能均衡合理。文獻[11]提出一種基于納什均衡聯合調度策略的分布式強化學習算法,相比于靜態(tài)調度算法,該算法利用更少的系統(tǒng)知識,即可使得調度器去主動學習任務到達和執(zhí)行的相關先驗知識,以適應相鄰調度器的分配策略,促使調度器的策略趨向納什均衡。文獻[12]提出對異構分布式計算系統(tǒng)的形式化描述,并建立靜態(tài)任務調度問題的理論體系。通過分析總結最長動態(tài)關鍵路徑(Longest Dynamic Critical Path,LDCP)算法的核心思想及存在的不足,提出一種運用節(jié)點信息流量減少CPU空閑時間碎片的并行任務調度優(yōu)化算法。

上述調度策略都是根據任務的權重或者負載進行任務分配和調度,并未考慮通信子網的通信時間,因此不能直接運用到網絡掃描中?；谝陨戏治?本文將重點研究消息中間件[13]技術的分布式掃描框架，并尋找最優(yōu)感知節(jié)點的分布式調度算法。

2 分布式網絡掃描架構與通信流程

2.1 分布式網絡掃描架構

本文采用一種三層模型[14]的分布式端口掃描架構,具體如圖1所示。

圖1 分布式網絡掃描三層模型Fig.1 Three layer model of distributed network scanning

由圖1可知,三層模型架構分別為控制層、中間件層與感知層,其主要特征是利用中間件層將控制層和感知層完全解耦,提升掃描系統(tǒng)的可擴展性與并發(fā)性。該架構的主要優(yōu)勢是將傳統(tǒng)的單節(jié)點掃描擴展為多節(jié)點共同掃描,且多節(jié)點可處于跨區(qū)域不同的通信子網中。動態(tài)增加掃描節(jié)點數即可提升整個系統(tǒng)的掃描效率。此外,由于采用多節(jié)點機制,可利用分布式任務調度算法將給出的一系列掃描目標動態(tài)分發(fā)到距離最近的掃描節(jié)點,從而提高掃描目標節(jié)點的效率,降低掃描時間。目標集合是掃描的目標節(jié)點集合,其是大規(guī)模網絡中運行TCP/IP協議的網絡設備集合,主要包括主機、路由器、服務器與防火墻等網絡設備,且該層不屬于三層架構模型。三層架構的功能為:

1)控制層處于最上層,也是三層架構的核心,它控制著掃描任務的分配、定義、注冊、調度與下發(fā)。相比傳統(tǒng)的二層掃描架構[15],控制層并不直接將掃描任務發(fā)送給指定的感知層掃描節(jié)點,而是將所有的控制信息均經過中間件層間接地與感知層交互,其工作流程如圖2所示,且具體步驟為:

(1)任務分配模塊根據任務分配算法將用戶定義的掃描任務分配到子任務中。

(2)任務定義模塊將一個子任務以一個task對象來實現,task是調度的基本單元。

(3)任務注冊模塊將會分配task一個全局唯一的task ID,并將其持久化寫入數據庫。

(4)任務調度模塊根據調度算法從數據庫中取出子任務task ID并轉交給任務下發(fā)模塊。

(5)任務下發(fā)模塊將消息隊列中的任務消息經過消息中間件發(fā)布出去。

圖2 分布式網絡掃描控制層工作流程Fig.2 Workflow of distributed network scanning control layer

2)中間件層[16]使用一種分布式應用間互相通信的消息隊列技術,該技術可工作在磁盤或內存上[17],其中存儲的任務消息可被控制層和感知層消費。通過使用消息中間件,可降低感知層掃描程序和控制層控制程序的耦合度,且感知層與控制層可相互獨立工作。

圖3中的消息中間件使用交換模塊將任務下發(fā)模塊下發(fā)的任務消息根據設定的routing key轉發(fā)到不同的隊列中,HostX將消費其中的任務消息。隊列的技術模型采用點對點P2P模型，具體如圖4所示。該模型表示通過生產者Client調用API生產的消息Message1發(fā)送到Queue中，且只能被唯一消費者Client消費。因此，圖3中隊列QueueX消息只能被唯一指定的HostX消費，當一個任務消息經過交換模塊進入QueueX中時，該任務消息將會排在隊列末尾，當且僅當其前面的消息被掃描節(jié)點Woker執(zhí)行后，該任務消息才會被執(zhí)行。

圖3 消息中間件流程Fig.3 Procedure of message middleware

圖4 點對點模型Fig.4 Point to point model

3)感知層是三層架構中的最底層,其主要負責掃描任務的執(zhí)行。感知層應用程序消費來自中間件層傳遞的控制消息,并根據消息獲取掃描目標和掃描策略,并進行相應的掃描行為。分布式網絡掃描感知層流程如圖5所示,具體步驟為:

(1)接收任務消息模塊獲取中間層的任務消息,并且回傳一個確認消息給中間層。

(2)分析模塊根據task ID從注冊管理器中獲取掃描目標和掃描策略,且將分析信息發(fā)送至掃描器。

(3)根據掃描策略啟動掃描器,掃描器的掃描技術分為使用icmp協議掃描、tcp協議掃描以及udp協議掃描等,根據掃描策略使用掃描協議。掃描目標是目標主機的集合,即IP地址的集合,IP地址有2種表示方法,具體如表1所示。

圖5 分布式網絡掃描感知層工作流程Fig.5 Workflow of distributed network scanningawareness layer

表1 IP地址表示方法Table 1 IP address representation

相比傳統(tǒng)的控制層和感知層的兩層架構,本文設計的三層架構具有以下特點:1)可跨平臺、跨操作系統(tǒng)操作;2)具有良好的開放性和易擴充性;3)系統(tǒng)管理簡單,具有較高的可用性;4)支持異種數據庫和數據持久化。

2.2 分布式網絡掃描通信流程

分布式掃描通信流程如圖6所示,該流程主要包括描述各層包含的模塊、各層之間信息流以及模塊之間的信息流。它整體描述了掃描任務在該分布式系統(tǒng)中,從主控節(jié)點信息配置、任務定義注冊、任務下發(fā)到任務執(zhí)行的整套通信流程,具體步驟為:

步驟1主控節(jié)點信息配置,包括配置broker_url用于信息交換的消息隊列Message Queue,以及存儲掃描結果的數據庫DataBase與result_serializer設置傳輸數據格式。

步驟2主控節(jié)點對掃描任務定義與注冊,掃描任務定義中使用任務分配算法將任務集劃分成若干個互相獨立的任務,并計算得到執(zhí)行該任務耗時最少的掃描節(jié)點地址。然后將任務向注冊管理器注冊,注冊管理器記錄所有主控節(jié)點定義的任務ID和任務描述,并回復注冊成功信息。

步驟3通過掃描任務的調度與下發(fā),獲取注冊的任務ID,主控節(jié)點利用任務ID和執(zhí)行該任務的掃描節(jié)點地址構造任務消息,并調用下發(fā)管理器下發(fā)任務。

步驟4任務消息下發(fā)至消息中間件后,消息中間件根據任務消息中包含的掃描地址,通過路由功能將任務消息轉發(fā)至相應的掃描節(jié)點。

步驟5相應掃描節(jié)點獲取從消息中間件中傳遞的任務消息,并從中解析獲取任務ID,掃描節(jié)點根據任務ID從注冊管理器中獲取具體的任務描述。

步驟6掃描節(jié)點通過獲取到的任務描述,啟動一個掃描線程執(zhí)行該任務。當有多個任務到達時,則開啟多個線程并發(fā)執(zhí)行。

步驟7當掃描任務執(zhí)行完成,獲取掃描結果并將其存入掃描結果數據庫,將任務完成信息回傳至消息中間件并通知主控節(jié)點。

步驟8主控節(jié)點接收到任務完成信息后,從掃描結果數據庫中提取結果信息。

圖6 分布式掃描通信流程Fig.6 Communication procedure of distributed scanning

3 分布式掃描任務調度算法

基于上述分布式掃描框架,為進一步提高掃描效率,本文對面向掃描任務的分布式調度算法進行研究。

3.1 相關定義

定義1目標主機是網絡掃描的目標。A={a1,a2,…,am}表示掃描目標地址集合,其中,m為掃描目標的數量。

定義2掃描策略是用戶指定的掃描類型的不同組合,P={p1,p2,…,pn}表示需進行的掃描策略,其中,n表示掃描類型的數量。掃描類型根據協議的類型不同可分為icmp協議掃描、tcp協議掃描等,其掃描原理為:掃描節(jié)點Client使用不同的掃描類型向目標主機Server發(fā)送不同類型的報文,并根據返回的報文分析得出結果。掃描策略通過使用不同組合的掃描類型,分析獲得目標主機的詳細信息。

定義3掃描任務[18]主要包括目標主機和掃描策略2個部分。掃描任務H=(A,P)是由掃描目標和掃描策略組成,在一個掃描任務中,不同的掃描節(jié)點對不同的目標主機進行網絡掃描時,它們之間是彼此獨立的,相互之間不需要消息通信,因此,不同目標的掃描可以調度到多個掃描節(jié)點中并行執(zhí)行。本文將掃描目標作為任務劃分的標準,并將一個掃描任務分解為多個獨立子任務,且每個子任務就是對掃描目標進行指定掃描策略的網絡掃描。因此,掃描任務集變換為H={h1,h1,…,hm},其中,hi,i∈[1,m]。

定義4掃描節(jié)點。單點主動掃描節(jié)點可根據用戶指定的目標主機和掃描策略進行主機發(fā)現、端口掃描、服務發(fā)現和操作系統(tǒng)探測等網絡掃描。在模型設計中假設掃描節(jié)點運行于硬件配置相同的機器中,因而可以假設各掃描節(jié)點的處理能力是相同的,掃描節(jié)點集合W={w1,w2,…,wr},其中,r為掃描節(jié)點的數量。

定義5掃描任務調度。采用任務調度算法將掃描任務調度到各個掃描節(jié)點中,該算法的目的是在最短時間內獲取最準確的結果。

3.2 任務調度模型分析

圖2控制層結構描述了調度模塊的功能,下文通過圖7的形式化語言詳細描述調度模型。

圖7 調度模型示意圖Fig.7 Schematic diagram of scheduling model

與傳統(tǒng)的單點掃描加入控制器模塊相比,圖7提出的調度模型將對掃描任務的控制管理與調度進行解耦,解決了由于掃描任務過多而造成程序阻塞、掃描效率降低的問題,且添加的就緒、等待隊列使網絡掃描從同步掃描轉化成異步掃描,提升了程序調度子任務的性能。

掃描任務集合H和掃描節(jié)點集合W可以構造一個r×m的通信矩陣Z,用來表示掃描節(jié)點和掃描目標之間的通信時間。

其中,zij,i∈[1,r],j∈[1,m]表示第i個掃描節(jié)點與第j個掃描目標之間的通信時間。需要特別說明的是:當掃描節(jié)點i與掃描目標j屬于同一通信子網時,zij為0;當掃描節(jié)點i與掃描目標j不能建立連接或j不響應任何探測報文時,zij為∞。

當掃描大規(guī)模網絡時,進行一種掃描類型所需的時間為:

t(pi)=ui+cit,i∈[1,n]

(1)

其中,ui表示執(zhí)行某種掃描類型需要的CPU處理時間,ci表示探測數據包在掃描節(jié)點和目標主機間的傳輸次數,t表示探測數據包在目標主機和掃描節(jié)點之間的傳輸時間。掃描策略是多種掃描類型的組合,因此完整的執(zhí)行時間為其包含的所有掃描類型的執(zhí)行時間之和,表示方法如下:

(2)

將通信矩陣Z代入式(2),可得:

cl>0,i∈[1,r],j∈[1,m]

(3)

tij(P)=α1+zijα2>0,i∈[1,r],j∈[1,m]

(4)

假設各個掃描節(jié)點CPU處理能力和傳輸次數是相同的,則分配給各節(jié)點的掃描子任務數量成為負載指標的主要考慮因子。本文使用L集合表示某時刻t各掃描節(jié)點的負載情況,L(t)={l1,l2,…,lr},Li(t),i∈[1,r]表示t時刻分配給第i個掃描節(jié)點的掃描子任務數量,0≤li≤m。使用矩陣Qm×r表示掃描任務集調度方案,Qpi=j表示在第i個掃描節(jié)點上的第p位,將執(zhí)行第j個子任務,其中i∈[1,r],p、j∈[1,m]。任務調度矩陣的列向量Qi則為分配給第i個掃描節(jié)點的子任務集。

掃描任務完成時間取決于各個掃描節(jié)點執(zhí)行完主控節(jié)點分配的子任務而花費的最長時間,因此可給定一個該掃描任務調度目標,即尋找掃描任務集H在掃描節(jié)點集W上執(zhí)行時間最短的任務調度矩陣Qbest,使得花費時間最大的掃描節(jié)點的完成時間最小。

Y(Q)=min(maxYi),i∈[1,r]

(5)

其中,Yi,i∈[1,r]表示第i個掃描節(jié)點執(zhí)行完分配的子任務集需要的時間。

對于任意的掃描子任務hj,在理想情況下,應當將其分配到執(zhí)行該掃描子任務最快的掃描節(jié)點上,而子任務hj在掃描節(jié)點wi,i∈[1,r]上的完成時間包含2個部分:一部分是完成子任務hj分配給wi的任務集Qj的執(zhí)行時間,另一部分是hj在wi上的完成時間。

(6)

由式(6)推出最快的完成時間為:

(7)

因此,式(7)即為將掃描子任務分配給掃描節(jié)點的判斷標準。根據該標準,最優(yōu)任務調度矩陣Qm×r需要滿足以下約束條件:

1)主控節(jié)點必須將掃描目標分配至與其在同一通信子網的掃描節(jié)點中,即在通信矩陣Z中zij=0的掃描目標和掃描節(jié)點。

3.3 基于歷史掃描時間任務調度Dscan算法

根據上述分析,Dscan算法將子任務分配給任務數量最少的掃描節(jié)點,能夠保證以最快的時間完成掃描任務。相對于傳統(tǒng)的單點掃描,該算法優(yōu)化了掃描節(jié)點對目標主機的選擇。

Dscan算法描述如下:

步驟1fori=1 tomdo

在通信矩陣Z中,表明目標主機或其所在網絡不可達的此類任務跳過,不對其執(zhí)行,并將其從掃描任務集中刪除。若存在唯一掃描節(jié)點與掃描目標在同一網絡中,則直接將該掃描子任務分配給該掃描節(jié)點wi,并在任務調度矩陣Q中的第j列添加hi的任務號。判斷所有子任務是否已經分配完畢,若已分配完畢則轉至步驟4;否則未分配子任務為m′并轉至步驟2。

步驟2fori=1 tom′ do

1)尋找與所探測目標主機hi處于相同子網的掃描節(jié)點wj,并將wj加入到掃描節(jié)點子集合w′中。

2)如果m′為空,則跳出該循環(huán)體,否則繼續(xù)執(zhí)行下一步驟。

3)由于在w′中各個掃描節(jié)點與所探測目標主機hi通信時間相同,則選擇已分配任務數最少的掃描節(jié)點wj,j∈[1,r],并將hi分配給wj執(zhí)行,即在任務調度矩陣Q中的第j列添加hi的任務號。

4)將相應掃描節(jié)點wj的已分配數增加1,并判斷所有掃描子任務是否已經分配完畢,若已經分配完畢則轉至步驟4;否則未分配子任務為m″并轉至步驟2。

步驟3fori=1 tom″ do

1)計算掃描子任務hi在各個掃描節(jié)點的完成時間y(wj),j∈[1,r]。

2)找出能夠使得min(y(wj)),j∈[1,r]最小的掃描節(jié)點wbest,best∈[1,r],將掃描子任務hi分配到wbest中,并將該子任務號添加至任務調度矩陣Q中。

步驟4確定任務調度矩陣Q,并完成子任務的分配。

4 實驗驗證與評估

4.1 實驗環(huán)境

實驗場景搭建在Openstack[19]Queue版本云計算管理平臺上,各虛擬主機[20]使用的操作系統(tǒng)版本為CentOS[21]Linux 7 Core Kernal 3.10.0-327.e17.x86_64,配置信息為1v CPU、2 GB RAM與10 GB DISK。虛擬Router使用的操作系統(tǒng)是搭載路由軟件Quagga[22]的Ubuntu[23]12.04.5 LTS,配置信息為1 V CPU、4 GB RAM與40 GB DISK。

目標網絡拓撲模擬的是一個分布式網絡環(huán)境,且Dscan系統(tǒng)部署在該分布式環(huán)境中。

4.2 掃描時間分析

在上述虛擬主機與路由器配置情況下,構建目標主機的發(fā)現場景,網絡拓撲示意圖如圖8所示。其中,VM1,VM2,…,VM11均為虛擬主機,R1～R5均為虛擬路由器,“云”表示主機所在網絡。通過Openstack搭建上述網絡測試環(huán)境,3種掃描方法部署如表2所示。

圖8 網絡拓撲示意圖Fig.8 Schematic diagram of network topology

表2 3種掃描方法中節(jié)點部署描述Table 2 Description of node deployment ofthree scanning methods

3種掃描方法針對的目標網絡分別是192.168.11.0/24、192.168.0.0/20、192.168.0.0/16、192.160.0.0/12與192.0.0.0/8,在對存活主機和非存活主機進行主機掃描時,掃描協議均采用ICMP協議,記錄3種掃描方法對目標網絡的掃描時間,結果如圖9所示。

圖9 3種掃描方法的掃描時間對比Fig.9 Comparison of scanning time of three scanning methods

從圖9可以看出:當掃描主機個數小于4 096個(即目標網絡為192.168.11.0/24、192.168.0.0/20)時,Dscan、Nmap的掃描時間幾乎是一致的,且均低于Zmap;當掃描主機個數大于65 535時,Dscan的掃描時間保持在1 min以下,而Nmap和Zmap的掃描時間有不同幅度增長;當掃描網絡為192.0.0.0/12時,Dscan可在2 min內完成掃描,然而Nmap和Zmap無法在該時間內完成掃描。通過該實驗驗證了分布式掃描系統(tǒng)Dscan相比傳統(tǒng)的單點掃描可提高掃描效率,同時也驗證了本文提出的分布式框架中任務分配方案的可行性。

4.3 CPU占用率分析

根據網絡拓撲部署實驗環(huán)境,分別利用Dscan、Nmap與Zmap對目標網絡192.0.0.0/12進行掃描,運行過程均在主機VM1上進行,且以運行10 s、20 s、30 s、40 s、50 s與60 s為采集點,所得掃描程序的CPU使用率如圖10所示。從圖10可以看出：在運行時間大于10 s后，Dscan掃描的主控節(jié)點在VM1上的CPU使用率從16%逐漸降至1%，這是因為Dscan主控節(jié)點在10 s前需要計算將各個掃描任務分發(fā)至其他掃描節(jié)點的時間，當分發(fā)任務完成后，主控節(jié)點異步等待其他掃描節(jié)點完成掃描任務，主控節(jié)點只需維持與各個掃描節(jié)點的連接即可，而其他2種掃描方法的CPU使用率在運行期間一直保持為16%和58%，遠高于Dscan的CPU使用率。通過該實驗驗證了分布式掃描方法Dscan相比傳統(tǒng)的掃描方法可降低主控節(jié)點CPU資源使用率，達到節(jié)省資源的目的。

圖10 3種掃描方法的CPU使用率對比Fig.10 Comparison of CPU usage of three scanning methods

4.4 分布式調度算法的有效性

根據互聯網IP地址分配中心取得網絡號,實驗將其劃分為8個網絡區(qū)域,且主控節(jié)點和掃描節(jié)點分別為116.193.16.5與xxx.xxx.xxx.3。圖11為在該網絡中存在的8個網絡區(qū)域,且每個區(qū)域存在若干主機。本文將掃描每個區(qū)域的網絡設備情況設置為一個掃描任務,并將其下發(fā)給主控節(jié)點與掃描節(jié)點。

圖11 網絡區(qū)域示意圖Fig.11 Schematic diagram of network area

在不使用3.3節(jié)所述的分配算法時,掃描任務hj隨機下發(fā)給節(jié)點wi,i∈[1,r]。而經過上述分配算法后,掃描任務將會下發(fā)給與掃描任務相同的通信子網或者通信時間最少的通信子網。本文算法使用前后的響應時間對比如圖12所示。從圖12可以看出:當掃描區(qū)域數量為1、2時,本文算法使用前后的響應時間均為50 s,上下波動不到1 s;隨著掃描區(qū)域數量的增多,響應時間相差逐漸增大,且當掃描區(qū)域數量增大至8時,采用本文算法后響應時間增加至100 s,遠低于未使用調度算法的290 s。該實驗可表明通過使用分布式掃描任務調度算法可提高分布式掃描效率,由此驗證了本文所提調度算法的有效性。

圖12 本文算法使用前后的響應時間對比Fig.12 Comparison of response time before and afterthe algorithm used in this paper

5 結束語

本文基于分布式網絡掃描思想，對中間件異步通信技術進行研究，構建一種由控制層、中間層與感知層組成的三層分布式網絡掃描框架，提出一種掃描任務調度算法。通過多組實驗驗證了分布式網絡掃描技術相比傳統(tǒng)單點掃描技術可有效提高掃描效率，降低單臺主控端的CPU使用率。后續(xù)將對端口掃描技術進行進一步研究，在保證分布式網絡掃描有效性的情況下，提高掃描效率與準確性。