郭亮亮

(山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，山西 太原 030012)

1 項目背景

隨著互聯(lián)網(wǎng)信息技術(shù)、工業(yè)自動化技術(shù)的革命性突破和全球經(jīng)濟一體化的發(fā)展，工業(yè)互聯(lián)網(wǎng)應(yīng)運而生，工業(yè)控制系統(tǒng)面臨著日益嚴(yán)重的安全威脅。通過監(jiān)測發(fā)現(xiàn)大量核心設(shè)備和智能監(jiān)控設(shè)備聯(lián)網(wǎng)，部分工業(yè)互聯(lián)網(wǎng)設(shè)備在數(shù)據(jù)通信過程中存在傳輸不加密、協(xié)議無認(rèn)證等情況，一旦接入互聯(lián)網(wǎng)，極易引發(fā)嚴(yán)重安全問題。

為加強工業(yè)互聯(lián)網(wǎng)安全監(jiān)測能力，有必要通過主動監(jiān)測、被動誘捕、流量分析、企業(yè)側(cè)采集等技術(shù)手段構(gòu)建一體化的工業(yè)互聯(lián)網(wǎng)業(yè)務(wù)和安全監(jiān)管平臺。工業(yè)互聯(lián)安全態(tài)勢感知平臺是集工業(yè)互聯(lián)網(wǎng)資產(chǎn)主動探測、被動威脅誘捕、省際口和移動網(wǎng)等網(wǎng)絡(luò)關(guān)鍵節(jié)點流量采集分析、重點工業(yè)企業(yè)側(cè)數(shù)據(jù)采集分析為一體的態(tài)勢感知平臺。本文對主動探測子系統(tǒng)在工業(yè)互聯(lián)安全態(tài)勢感知平臺中的技術(shù)實現(xiàn)進行了系統(tǒng)分析。

2 主動探測子系統(tǒng)技術(shù)架構(gòu)

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)通過各種主動探測技術(shù)對互聯(lián)網(wǎng)上的目標(biāo)資產(chǎn)進行探測，發(fā)現(xiàn)目標(biāo)網(wǎng)絡(luò)中存在的各類資產(chǎn)并實時更新資產(chǎn)信息，包括但不限于開放的端口、開放的服務(wù)、操作系統(tǒng)類型、設(shè)備類型、廠商、型號、承載的各種應(yīng)用信息等，并將掃描后的資產(chǎn)基礎(chǔ)信息上傳至態(tài)勢感知平臺[1]。

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)由信息采集層、數(shù)據(jù)匯聚層、核心業(yè)務(wù)層、應(yīng)用展示層組成。

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)邏輯上由服務(wù)端和主動探測引擎組成，系統(tǒng)邏輯結(jié)構(gòu)圖如圖1所示。

圖1 工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)邏輯結(jié)構(gòu)圖

2.1 信息采集層

信息采集層采用WEB爬蟲技術(shù)抓取WEB應(yīng)用網(wǎng)頁內(nèi)容信息，采用端口探測技術(shù)、服務(wù)探測技術(shù)、操作系統(tǒng)探測技術(shù)等工具獲取各種設(shè)備、WEB應(yīng)用、郵件系統(tǒng)和DNS系統(tǒng)基礎(chǔ)信息；采用漏洞掃描技術(shù)、WEB掃描技術(shù)和WEB爬蟲技術(shù)獲取各種設(shè)備、WEB應(yīng)用、郵件系統(tǒng)和DNS系統(tǒng)漏洞信息；在此基礎(chǔ)之上采用漏洞驗證與利用可視化配置技術(shù)構(gòu)建漏洞驗證與利用腳本，實現(xiàn)漏洞信息的驗證與利用，并實現(xiàn)漏洞的聯(lián)動攻擊；相關(guān)信息采集回來后，現(xiàn)存放在本地數(shù)據(jù)緩存，然后傳遞給數(shù)據(jù)匯聚層，數(shù)據(jù)傳遞方式有兩種，結(jié)果類數(shù)據(jù)通過模塊間WebService接口，原始數(shù)據(jù)則通過數(shù)據(jù)總線傳遞。采用基于微內(nèi)核的節(jié)點管理技術(shù)，為主動探測節(jié)點提供與服務(wù)器進行通訊的通訊框架及相關(guān)接口。信息采集層通過節(jié)點管理和虛擬資源管理技術(shù)，分別實現(xiàn)主動探測節(jié)點的管理和虛擬資源的管理。

2.2 信息匯聚層

數(shù)據(jù)匯聚層采用數(shù)據(jù)預(yù)處理技術(shù)，處理由信息采集層傳遞過來的原始數(shù)據(jù)，通過DSL描述語言，描述數(shù)據(jù)Flexer和Mapping具體操作；關(guān)系數(shù)據(jù)庫存儲系統(tǒng)輔助信息庫，原始信息和分類信息均存儲在HDFS，數(shù)據(jù)存儲時可以被同時寫入多個不同的存儲節(jié)點，擁有多個副本，不同的數(shù)據(jù)會被寫到不同的存儲節(jié)點上；通過MapReduce、Hive、HBase和Spark等存儲和計算框架對數(shù)據(jù)進行處理，未來可能會按照業(yè)務(wù)需求引入Drill[2]。

數(shù)據(jù)匯聚功能中最主要應(yīng)用的組件為解析組件，解析組件負(fù)責(zé)對原始報告進行解析，所解析的原始報告包括但不限于設(shè)備信息采集數(shù)據(jù)、WEB應(yīng)用信息采集數(shù)據(jù)、郵件系統(tǒng)信息采集數(shù)據(jù)等，解析組件實現(xiàn)組成包含字段提取解析文件、記錄提取解析文件、解析引擎，將解析文件和待解析的原始數(shù)據(jù)輸入到解析引擎，解析引擎通過計算處理得到每個網(wǎng)元的特征信息，這些特征信息再匯入到信息庫中。

2.3 核心業(yè)務(wù)層

核心業(yè)務(wù)層由WEB應(yīng)用服務(wù)器和各種WEB應(yīng)用服務(wù)包組成，向應(yīng)用與展示層通過REST API提供接口。

1) 分布式節(jié)點管理

分布式節(jié)點管理主要是針對系統(tǒng)各信息主動探測節(jié)點進行統(tǒng)一管理。系統(tǒng)信息探測節(jié)點主要實現(xiàn)對被管理對象的信息采集及管理功能。

2)分布式任務(wù)管理

采用綜合技術(shù)降低掃描行為被發(fā)現(xiàn)和封堵的幾率，提高探測結(jié)果準(zhǔn)確性，降低對目標(biāo)網(wǎng)絡(luò)和系統(tǒng)的影響。針對于掃描任務(wù)，首先過濾響應(yīng)端口，根據(jù)響應(yīng)端口數(shù)量，將此IP拆分組合任務(wù)包，分發(fā)到不同的探針執(zhí)行，用以規(guī)避端口掃描被發(fā)現(xiàn), 降低端口掃描行為被發(fā)現(xiàn)和封堵的幾率。

3)分布式存儲管理

分布式存儲管理采用分布式部署，確保數(shù)據(jù)的完整性、匯聚層的高可用性、健壯性。

> 軟負(fù)載均衡：為保證接收數(shù)據(jù)的穩(wěn)定性/高可用性，采用最少活躍調(diào)用數(shù)策略。最少活躍調(diào)用數(shù)，相同活躍數(shù)的隨機，活躍數(shù)指調(diào)用前后計數(shù)差。使慢的提供者收到更少請求，因為越慢的提供者的調(diào)用前后計數(shù)差會越大。

> 元數(shù)據(jù)隊列：采取無界隊列，異步到硬盤，保證數(shù)據(jù)完整無丟失。

> 數(shù)據(jù)處理器：異步執(zhí)行元數(shù)據(jù)隊列任務(wù)，當(dāng)隊列大于臨界值時，增加任務(wù)處理器數(shù)量，到達(dá)任務(wù)處理器閾值后，不在增長，臨時任務(wù)隊列阻塞，保證機器不宕機。

2.4 應(yīng)用與展示層

應(yīng)用與展示層通過FLEX、HTML5和SVG等展示框架和組件，為用戶提供人機交互界面。

2.5 數(shù)據(jù)綜合匯聚及態(tài)勢感知子系統(tǒng)數(shù)據(jù)接口

子系統(tǒng)分析生成的省級網(wǎng)絡(luò)空間地圖、漏洞資產(chǎn)庫等結(jié)果數(shù)據(jù)寫入MySQL數(shù)據(jù)庫中，進而由數(shù)據(jù)接口模塊將分析結(jié)果定時傳輸至上層工業(yè)互聯(lián)網(wǎng)安全數(shù)據(jù)綜合匯聚及態(tài)勢感知子系統(tǒng)進行深度分析。數(shù)據(jù)接口模塊基于數(shù)據(jù)傳輸時間間隔要求，定時輪詢MySQL數(shù)據(jù)庫中的分析結(jié)果數(shù)據(jù)表。當(dāng)有數(shù)據(jù)更新時讀取更新數(shù)據(jù)，打包生成數(shù)據(jù)文件，經(jīng)過文件壓縮生成待傳輸?shù)臄?shù)據(jù)文件。數(shù)據(jù)文件以“數(shù)據(jù)文件內(nèi)容+時間戳+文件MD5值”命名，通過網(wǎng)絡(luò)傳輸至工業(yè)互聯(lián)網(wǎng)安全數(shù)據(jù)綜合匯聚及態(tài)勢感知子系統(tǒng)。

3 主動探測子系統(tǒng)關(guān)鍵技術(shù)

3.1 基礎(chǔ)信息主動探測技術(shù)

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)融合多種探測技術(shù)，通過采集引擎可主動收集工業(yè)互聯(lián)網(wǎng)中的安全設(shè)備、網(wǎng)絡(luò)設(shè)備、主機/服務(wù)器以及工控設(shè)備的信息，并可向目標(biāo)發(fā)送探測數(shù)據(jù)包，發(fā)現(xiàn)目標(biāo)存活性，接收目標(biāo)反饋的數(shù)據(jù)包，并將反饋信息提交給后臺進行分析。整個過程大體可分為端口掃描、協(xié)議識別、服務(wù)、應(yīng)用、操作系統(tǒng)信息獲取[3]。

> 通過端口及服務(wù)指紋進行識別。

> 通過WEB指紋進行識別。

> 通過WEB指紋識別技術(shù)可以獲取應(yīng)用。

> 通過操作系統(tǒng)指紋識別操作系統(tǒng)的類型。

3.2 超文本標(biāo)記抽取技術(shù)

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)可以實現(xiàn)針對超文本標(biāo)記抽取技術(shù)，針對端口、http包頭、包括banner信息、指紋信息等。

> 通過開放的端口及服務(wù)來識別網(wǎng)絡(luò)設(shè)備或應(yīng)用服務(wù)器。

> 通過提取WEB指紋來判斷設(shè)備廠商或設(shè)備類型。

> 通過WEB指紋識別技術(shù)可以獲取應(yīng)用服務(wù)組件。

3.3 基于高性能存儲和檢索技術(shù)

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)融合了多種探測引擎，對目標(biāo)網(wǎng)絡(luò)采集基礎(chǔ)信息。為了解決支持?jǐn)?shù)據(jù)存儲、查詢、分析的數(shù)據(jù)達(dá)到上百個TB時，工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)采用存儲容量支持PB級別的分布式數(shù)據(jù)庫作為工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)的存儲數(shù)據(jù)庫；同時分布式數(shù)據(jù)庫支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，滿足工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)的數(shù)據(jù)存儲要求。采用分布式多用戶的搜索引擎實現(xiàn)工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)實時查詢和分析功能。分布式數(shù)據(jù)庫和分布式搜索引擎都支持PB級別的存儲容量。

3.4 分布式探測引擎

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)采用分布式探測引擎，很大程度提高了工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)的探測性能。滿足不同業(yè)務(wù)網(wǎng)絡(luò)對工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)數(shù)據(jù)探測技術(shù)性能方面的要求。采用分布式探測對于工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)具有很好的伸縮性。工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)探測引擎采用基于消息總線和webservice等通用擴展技術(shù)，方便和擴展自有探針和第三方廠家的提供接口。使工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)的分布式探針支持的種類更豐富。

4 主動探測子系統(tǒng)實施方案

4.1 系統(tǒng)部署設(shè)計

工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)包括系統(tǒng)服務(wù)端和主動探測引擎兩部分，所有組件均規(guī)劃運行在互聯(lián)網(wǎng)核心交換下的云資源池中，系統(tǒng)通過互聯(lián)網(wǎng)出口對互聯(lián)網(wǎng)上的目標(biāo)資產(chǎn)進行探測和識別。

通過在云平臺中部署工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)，定期對指定的公網(wǎng)IP地址進行掃描探測，識別出暴露互聯(lián)網(wǎng)上的企業(yè)資產(chǎn)信息。

4.2 系統(tǒng)邏輯拓?fù)?/h3>

系統(tǒng)由服務(wù)端和主動探測引擎組成。

服務(wù)端主要由以下構(gòu)成：

> 數(shù)據(jù)庫服務(wù)器：實現(xiàn)大數(shù)據(jù)存儲，滿足系統(tǒng)的基礎(chǔ)信息分析。

> 數(shù)據(jù)匯聚服務(wù)器：主要實現(xiàn)對主動探測節(jié)點服務(wù)器上傳數(shù)據(jù)的匯總和轉(zhuǎn)換。

> 分布式存儲計算服務(wù)器：主要實現(xiàn)對大數(shù)據(jù)的存儲和計算分析。

> 管理服務(wù)器：實現(xiàn)對系統(tǒng)的管理。

服務(wù)端組件均為邏輯服務(wù)器，可經(jīng)由容器虛擬化部署在1臺物理服務(wù)器或虛擬服務(wù)器上，本項目部署在虛擬服務(wù)器中。

探測引擎主要由一組主動探測節(jié)點服務(wù)器構(gòu)成。主要是主動對目標(biāo)網(wǎng)絡(luò)進行基礎(chǔ)信息采集，每個探測引擎需要單獨部署在1臺物理服務(wù)器或虛擬服務(wù)器上，本項目部署在虛擬服務(wù)器中。

4.3 系統(tǒng)運行環(huán)境

1)系統(tǒng)運行所需物理環(huán)境如表1所示。

表1 工業(yè)互聯(lián)網(wǎng)主動探測子系統(tǒng)部署所需設(shè)備表

本次規(guī)劃在資源池中創(chuàng)建2臺虛擬機：

服務(wù)端虛擬機配置2個虛擬CPU插槽，每個插槽建議配置8個虛擬核，內(nèi)存配置為64GB，硬盤配置6T。

主動探測節(jié)點服務(wù)器配置2個虛擬CPU插槽，每個插槽建議配置8個虛擬核，內(nèi)存配置為32GB，硬盤配置200GB。

2) 系統(tǒng)運行所需軟件環(huán)境：

> 本平臺支持主流的操作系統(tǒng)包括Windows、Linux等類型。

> 支持Windows2008、Windows2012、RedHat6、CentOS6等服務(wù)器級操作系統(tǒng)，推薦部署環(huán)境為RedHat 6.5。

5 項目意義

通過省級工業(yè)互聯(lián)網(wǎng)安全態(tài)勢感知平臺的建設(shè)和應(yīng)用，構(gòu)建省級工業(yè)互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展和網(wǎng)絡(luò)安全的總體態(tài)勢感知體系，從而摸清全省工業(yè)互聯(lián)網(wǎng)資產(chǎn)情況和網(wǎng)絡(luò)安全情況，有效發(fā)現(xiàn)針對全省工業(yè)互聯(lián)網(wǎng)資產(chǎn)的網(wǎng)絡(luò)攻擊事件，提高全省工業(yè)互聯(lián)網(wǎng)安全事件的監(jiān)測發(fā)現(xiàn)、威脅預(yù)警及應(yīng)急處置能力。同時，與國家級工業(yè)互聯(lián)網(wǎng)安全態(tài)勢感知平臺實現(xiàn)數(shù)據(jù)對接，形成上下聯(lián)動、政企協(xié)同的工業(yè)互聯(lián)網(wǎng)監(jiān)測體系。