胡晨+陳凱

摘要摘要：隨著工業(yè)化與信息化的不斷融合，工業(yè)控制系統(tǒng)引入了大量IT技術(shù)，工控系統(tǒng)安全問(wèn)題日趨嚴(yán)重。工控系統(tǒng)與IT系統(tǒng)存在本質(zhì)性差異。通過(guò)對(duì)工控系統(tǒng)安全威脅進(jìn)行詳細(xì)分析，設(shè)計(jì)了工控系統(tǒng)異常監(jiān)測(cè)安全事件智能分析架構(gòu)，提出了工控系統(tǒng)安全審計(jì)方案。該系統(tǒng)能實(shí)現(xiàn)工控系統(tǒng)異常行為監(jiān)測(cè)和安全事件智能分析，實(shí)現(xiàn)了安全可視化。

關(guān)鍵詞關(guān)鍵詞：工業(yè)控制系統(tǒng)；行為審計(jì)；智能分析；信息安全

DOIDOI：10.11907/rjdk.162241

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2017）001012004

引言

伴隨著工業(yè)化和信息化融合發(fā)展，大量IT技術(shù)被引入現(xiàn)代工業(yè)控制系統(tǒng)。網(wǎng)絡(luò)設(shè)備、計(jì)算設(shè)備、操作系統(tǒng)、嵌入式平臺(tái)等多種IT技術(shù)在工控系統(tǒng)中的遷移應(yīng)用已經(jīng)司空見(jiàn)慣。然而，工控系統(tǒng)與IT系統(tǒng)存在本質(zhì)差異，差異特質(zhì)決定了工控系統(tǒng)安全與IT系統(tǒng)安全不同。

（1）工控系統(tǒng)的設(shè)計(jì)目標(biāo)是監(jiān)視和控制工業(yè)過(guò)程，主要是和物理世界互動(dòng)，而IT系統(tǒng)主要用于與人的交互和信息管理。電力配網(wǎng)終端可以控制區(qū)域電力開(kāi)關(guān)，類似這類控制能力決定了安全防護(hù)的效果。

（2）常規(guī)IT系統(tǒng)生命周期往往在5年左右，因此系統(tǒng)的遺留問(wèn)題一般都較小。而工控系統(tǒng)的生命周期通常有8～15年，甚至更久，遠(yuǎn)大于常規(guī)IT系統(tǒng)，對(duì)其遺留的系統(tǒng)安全問(wèn)題必須重視。相關(guān)的安全加固投入涉及到工業(yè)領(lǐng)域商業(yè)模式的深層次問(wèn)題（如固定資產(chǎn)投資與折舊）。

（3）工控系統(tǒng)安全遵循SRA（Safety、Reliability和Availability）模型，與IT系統(tǒng)的安全模型CIA（Confidentiality、Integrity和Availability）迥異。IT安全的防護(hù)機(jī)制需要高度的侵入性，對(duì)系統(tǒng)可靠性、可用性都有潛在的重要影響。因此，現(xiàn)有的安全解決方案很難直接用于工控系統(tǒng)，需要深度設(shè)計(jì)相關(guān)解決方案，以匹配工控系統(tǒng)安全環(huán)境需求[12]。

1工控系統(tǒng)安全威脅及成因

工業(yè)控制系統(tǒng)安全威脅主要有以下幾個(gè)方面[35]：

（1）工業(yè)控制專用協(xié)議安全威脅。工業(yè)控制系統(tǒng)采用了大量的專用封閉工控行業(yè)通信協(xié)議，一直被誤認(rèn)為是安全的。這些協(xié)議以保障高可用性和業(yè)務(wù)連續(xù)性為首要目的，缺乏安全性考慮，一旦被攻擊者關(guān)注，極易造成重大安全事件。

（2）網(wǎng)絡(luò)安全威脅。TCP/IP 協(xié)議等通用協(xié)議與開(kāi)發(fā)標(biāo)準(zhǔn)引入工控系統(tǒng)，使得開(kāi)放的工業(yè)控制系統(tǒng)面臨各種各樣的網(wǎng)絡(luò)安全威脅[67]。

早期工業(yè)控制系統(tǒng)為保證操作安全，往往和企業(yè)管理系統(tǒng)相隔離。近年來(lái)，為了實(shí)時(shí)采集數(shù)據(jù)，滿足管理需求，工業(yè)控制系統(tǒng)通過(guò)邏輯隔離方式與企業(yè)管理系統(tǒng)直接通信，而企業(yè)管理系統(tǒng)一般連接Internet，這種情況下，工業(yè)控制系統(tǒng)接入的范圍不僅擴(kuò)展到了企業(yè)網(wǎng)，而且面臨來(lái)自Internet的威脅。在公用網(wǎng)絡(luò)和專用網(wǎng)絡(luò)混合的情況下，工業(yè)控制系統(tǒng)安全狀態(tài)更加復(fù)雜。

（3）安全規(guī)程風(fēng)險(xiǎn)。為了優(yōu)先保證系統(tǒng)高可用性而把安全規(guī)程放在次要位置，甚至犧牲安全來(lái)實(shí)現(xiàn)系統(tǒng)效率，造成了工業(yè)控制系統(tǒng)常見(jiàn)的安全隱患。以介質(zhì)訪問(wèn)控制策略為代表的多種隱患時(shí)刻威脅著工控系統(tǒng)安全。為實(shí)現(xiàn)安全管理制定符合需求的安全策略，并依據(jù)策略制定管理流程，是確保ICS 系統(tǒng)安全性和穩(wěn)定性的重要保障。

（4）操作系統(tǒng)安全威脅。工業(yè)控制系統(tǒng)有各種不同的通用操作系統(tǒng)（Window、Linux）以及嵌入式OS，大量操作系統(tǒng)版本陳舊（Win95、Win me、Win2K等）。鑒于工控軟件與操作系統(tǒng)補(bǔ)丁存在兼容性問(wèn)題，系統(tǒng)上線和運(yùn)行后一般不會(huì)對(duì)平臺(tái)打補(bǔ)丁，導(dǎo)致應(yīng)用系統(tǒng)存在很大的安全風(fēng)險(xiǎn)。

（5）終端及應(yīng)用安全風(fēng)險(xiǎn)。工業(yè)控制系統(tǒng)終端應(yīng)用大多固定不變，系統(tǒng)在防范一些傳統(tǒng)的惡意軟件時(shí)，主要在應(yīng)用加載前檢測(cè)其完整性和安全性，對(duì)于層出不窮的新型攻擊方式和不斷改進(jìn)的傳統(tǒng)攻擊方式，采取這種安全措施遠(yuǎn)遠(yuǎn)不能為終端提供安全保障。因此，對(duì)靜態(tài)和動(dòng)態(tài)內(nèi)容必須進(jìn)行安全完整性認(rèn)證檢查。

2審計(jì)方案設(shè)計(jì)及關(guān)鍵技術(shù)

2.1系統(tǒng)總體架構(gòu)

本方案針對(duì)工控系統(tǒng)面臨的五大安全威脅，建立了基于專用協(xié)議識(shí)別和異常分析技術(shù)的安全審計(jì)方案，采用基于Fuzzing的漏洞挖掘技術(shù)，利用海量數(shù)據(jù)分析，實(shí)現(xiàn)工控系統(tǒng)的異常行為監(jiān)測(cè)和安全事件智能分析，實(shí)現(xiàn)安全可視化，系統(tǒng)框架如圖1所示。

電力、石化行業(yè)工業(yè)控制系統(tǒng)行為審計(jì)，主要對(duì)工業(yè)控制系統(tǒng)的各種安全事件信息進(jìn)行采集、智能關(guān)聯(lián)分析和軟硬件漏洞挖掘，實(shí)現(xiàn)對(duì)工業(yè)控制系統(tǒng)進(jìn)行安全評(píng)估及安全事件準(zhǔn)確定位的目的[89]。

審計(jì)系統(tǒng)采用四層架構(gòu)設(shè)計(jì)，分別是數(shù)據(jù)采集層、信息數(shù)據(jù)管理層、安全事件智能分析層和安全可視化展示層。其中數(shù)據(jù)采集層通過(guò)安全代理、鏡像流量、抓取探測(cè)等方式，監(jiān)測(cè)工控網(wǎng)絡(luò)系統(tǒng)中的服務(wù)日志、通信會(huì)話和安全事件。多層部署采用中繼隔離方式單向上報(bào)采集信息，以適應(yīng)各種網(wǎng)絡(luò)環(huán)境。信息數(shù)據(jù)管理層解析MODBUS、OPC、Ethernet/IP、DNP3、ICCP等各種專用協(xié)議，對(duì)海量數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，優(yōu)化存儲(chǔ)結(jié)構(gòu)和查詢效率，實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)層可伸縮性和可擴(kuò)展性。智能分析層通過(guò)對(duì)異構(gòu)數(shù)據(jù)的分析結(jié)果進(jìn)行預(yù)處理，采用安全事件關(guān)聯(lián)分析和安全數(shù)據(jù)挖掘技術(shù)，審計(jì)工控系統(tǒng)應(yīng)用過(guò)程中的協(xié)議異常和行為異常。安全綜合展示層，對(duì)安全審計(jì)結(jié)果可視化，呈現(xiàn)工業(yè)控制系統(tǒng)安全事件，標(biāo)識(shí)安全威脅，并對(duì)工業(yè)控制系統(tǒng)安全趨勢(shì)作出預(yù)判。

2.2審計(jì)系統(tǒng)關(guān)鍵技術(shù)及實(shí)現(xiàn)

2.2.1專用協(xié)議識(shí)別和異常分析技術(shù)

系統(tǒng)實(shí)現(xiàn)對(duì)各種常見(jiàn)協(xié)議智能化識(shí)別，并且重組恢復(fù)通信數(shù)據(jù)，在此基礎(chǔ)上分析協(xié)議數(shù)據(jù)語(yǔ)義，進(jìn)而識(shí)別出各種通信會(huì)話和系統(tǒng)事件，最終達(dá)到審計(jì)目的[1011]。

2.2.2核心組件脆弱性及漏洞挖掘技術(shù)

基于Fuzzing的漏洞挖掘技術(shù)，實(shí)現(xiàn)工業(yè)控制系統(tǒng)核心組件軟硬件漏洞挖掘，及時(shí)發(fā)現(xiàn)并規(guī)避隱患，使之適應(yīng)當(dāng)前的安全環(huán)境。Fuzzing技術(shù)將隨機(jī)數(shù)據(jù)作為測(cè)試輸入，對(duì)程序運(yùn)行過(guò)程中的任何異常進(jìn)行檢測(cè)，通過(guò)判斷引起程序異常的隨機(jī)數(shù)據(jù)進(jìn)一步定位程序缺陷 [12-14]。

Fuzzing測(cè)試架構(gòu)如圖2所示。

通用漏洞挖掘技術(shù)無(wú)法完全適應(yīng)工控系統(tǒng)及網(wǎng)絡(luò)的特殊性，無(wú)法有效挖掘漏洞，部分漏洞掃描軟件還會(huì)對(duì)工控系統(tǒng)和網(wǎng)絡(luò)造成破壞，使工控系統(tǒng)癱瘓。本文結(jié)合電力、石化行業(yè)工控系統(tǒng)特點(diǎn)，研究設(shè)計(jì)了工控行業(yè)專用Fuzzing漏洞挖掘技術(shù)和方法，解決了漏洞探測(cè)技術(shù)的安全性和高效性問(wèn)題，實(shí)現(xiàn)了工業(yè)控制協(xié)議（OPC/Modbus/Fieldbus）和通用協(xié)議（IRC/DHCP/TCP）等漏洞Fuzzing工具、應(yīng)用程序的FileFuzzing、針對(duì)ActiveX的COMRaider和AxMan、操作系統(tǒng)內(nèi)核的Fuzzing工具應(yīng)用，構(gòu)建了通用、可擴(kuò)展的Fuzzing框架，涵蓋多種ICS系統(tǒng)組件。ICS系統(tǒng)測(cè)試組件眾多，具有高度自動(dòng)化的Fuzzing漏洞挖掘系統(tǒng)可以大大提高漏洞挖掘效率。生成的測(cè)試用例既能有效擴(kuò)展Fuzzing發(fā)現(xiàn)漏洞的范圍，又可避免產(chǎn)生類似于組合測(cè)試中常見(jiàn)的狀態(tài)爆炸情況[15]。采用代理模塊（Peach、Sulley）負(fù)責(zé)監(jiān)測(cè)對(duì)象異常，實(shí)現(xiàn)并行Fuzzing以提高運(yùn)行效率；還可以將引擎和代理分離，在不同的機(jī)子上運(yùn)行，用分布式應(yīng)用程序分別進(jìn)行Fuzzing測(cè)試。

2.2.3異常行為檢測(cè)技術(shù)

針對(duì)工控系統(tǒng)的異常行為檢測(cè)，本方案采用海量數(shù)據(jù)和長(zhǎng)效攻擊行為關(guān)聯(lián)分析技術(shù)，內(nèi)容如下：

（1）建立工業(yè)控制系統(tǒng)環(huán)境行為架構(gòu)，檢查當(dāng)前活動(dòng)與正?；顒?dòng)架構(gòu)預(yù)期的偏離程度，由此判斷和確認(rèn)入侵行為，診斷安全事件。

（2）研究行為異常的實(shí)時(shí)或準(zhǔn)實(shí)時(shí)在線分析技術(shù)，縮短行為分析時(shí)間，快速形成分析報(bào)告。

（3）基于DPI技術(shù)，對(duì)網(wǎng)絡(luò)層異常行為安全事件進(jìn)行檢測(cè)分析。基于海量數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn)對(duì)數(shù)據(jù)包的深度實(shí)時(shí)/離線分析，從而有效監(jiān)測(cè)工控設(shè)備的異常流量，進(jìn)而有效監(jiān)測(cè)多種網(wǎng)絡(luò)攻擊行為[16]。

（4）應(yīng)用層異常行為檢測(cè)。應(yīng)用層異常行為安全事件檢測(cè)圍繞工業(yè)控制系統(tǒng)軟件應(yīng)用展開(kāi)，該功能基于應(yīng)用層數(shù)據(jù)收集結(jié)果進(jìn)行，支持運(yùn)行狀態(tài)分析檢測(cè)、指令篡改分析檢測(cè)、異常配置變更分析檢測(cè)等。

（5）系統(tǒng)操作異常行為安全事件檢測(cè)。系統(tǒng)攻擊檢測(cè)基于海量日志分析技術(shù)進(jìn)行，在檢測(cè)整個(gè)系統(tǒng)安全狀態(tài)的同時(shí)，以大規(guī)模系統(tǒng)運(yùn)行狀態(tài)為模型，發(fā)掘出有悖于系統(tǒng)正常運(yùn)行的各種信息，支持系統(tǒng)安全事件反向查詢，并詳細(xì)描述系統(tǒng)的運(yùn)行軌跡，為系統(tǒng)攻擊防范提供必要信息。

（6）異常行為安全事件取證。基于安全檢測(cè)平臺(tái)所提供的多維度多時(shí)段網(wǎng)絡(luò)安全數(shù)據(jù)信息進(jìn)行異常行為安全事件取證，有效支持對(duì)單點(diǎn)安全事件的獲取，達(dá)到安全事件單時(shí)段、多時(shí)段、分時(shí)段提取，進(jìn)而支撐基于事實(shí)數(shù)據(jù)的安全取證功能。

2.2.4安全事件智能分析技術(shù)

方案把工業(yè)控制系統(tǒng)海量安全事件的智能關(guān)聯(lián)分析、安全評(píng)估、事件定位及回溯相關(guān)分析技術(shù)應(yīng)用于分析系統(tǒng)，并且基于不同的粒度進(jìn)行安全態(tài)勢(shì)預(yù)警。

（1）安全事件聚合。采用聚類分析模型，將數(shù)據(jù)分析后的IDS、防火墻等網(wǎng)絡(luò)設(shè)備產(chǎn)生的大量重復(fù)或相似的安全事件進(jìn)行智能聚合，并設(shè)計(jì)不同條件進(jìn)行歸并，從而將大量重復(fù)的無(wú)用信息剔除，找到安全事件發(fā)生的本質(zhì)原因。

（2）安全事件關(guān)聯(lián)。系統(tǒng)將安全事件基于多個(gè)要素進(jìn)行關(guān)聯(lián)，包括將同源事件、異源事件、多對(duì)象信息進(jìn)行關(guān)聯(lián)，從而在多源數(shù)據(jù)中提取出一系列相關(guān)安全事件序列，通過(guò)該安全事件序列，對(duì)事件輪廓進(jìn)行詳細(xì)刻畫(huà)，充分了解攻擊者的攻擊手段和攻擊步驟，從而為攻擊防范提供知識(shí)準(zhǔn)備[17]。

2.2.5安全可視化

安全可視化是一項(xiàng)綜合展現(xiàn)技術(shù)，其核心是為用戶提供工控系統(tǒng)安全事件審計(jì)全局視圖，進(jìn)行安全狀態(tài)追蹤、監(jiān)控和反饋，為決策者提供準(zhǔn)確、有效的參考信息，并在一定程度上減小制定決策所花費(fèi)的時(shí)間和精力，盡可能減少人為失誤，提高整體管理效率。

安全可視化包括報(bào)表、歷史分析、實(shí)時(shí)監(jiān)控、安全事件、安全模型5大類。其中，歷史分析包括時(shí)序分析、關(guān)聯(lián)圖、交互分析和取證分析。實(shí)時(shí)監(jiān)控重點(diǎn)通過(guò)儀表盤(pán)來(lái)表現(xiàn)。3安全事件評(píng)估

通過(guò)以上安全應(yīng)用分析，能夠?qū)Π踩录纬蓮狞c(diǎn)到面、多視角的分析結(jié)果，對(duì)安全事件帶來(lái)的影響進(jìn)行分級(jí)，包括高危級(jí)、危險(xiǎn)級(jí)、中級(jí)、低級(jí)4個(gè)級(jí)別，使網(wǎng)絡(luò)管理者更好地將精力集中于解決對(duì)網(wǎng)絡(luò)安全影響較大的問(wèn)題。4安全態(tài)勢(shì)預(yù)警

為對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行全面評(píng)估，建立如圖3所示的全方位多層次異角度的安全態(tài)勢(shì)評(píng)估基本框架，分別進(jìn)行更為細(xì)粒度的網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估，評(píng)估內(nèi)容如下：

（1）基于專題層次的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估。評(píng)估各具體因素，這些具體因素都會(huì)不同程度影響工業(yè)控制系統(tǒng)安全，根據(jù)威脅內(nèi)容分為資產(chǎn)評(píng)估、威脅評(píng)估、脆弱性評(píng)估和安全事件評(píng)估4個(gè)模塊，每個(gè)模塊根據(jù)評(píng)估范圍分為3種不同粒度。威脅評(píng)估包含了單個(gè)威脅評(píng)估、某一類威脅評(píng)估和整個(gè)網(wǎng)絡(luò)威脅狀況評(píng)估3種不同粒度的安全分析。

（2）基于要素層次的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估。全方位對(duì)安全要素程度進(jìn)行評(píng)估，體現(xiàn)網(wǎng)絡(luò)各安全要素重要程度，包括保密性評(píng)估、完整性評(píng)估以及可用性評(píng)估。

（3）基于整體層次的網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估。綜合評(píng)估工業(yè)控制系統(tǒng)安全狀況，對(duì)不同層次采用不同方法進(jìn)行評(píng)估。采用基于隱Markov模型、Markov博弈模型和基于指數(shù)對(duì)數(shù)分析的評(píng)估技術(shù)，對(duì)安全態(tài)勢(shì)的3個(gè)安全要素進(jìn)行評(píng)估，評(píng)估所有與態(tài)勢(shì)值相關(guān)的內(nèi)容；基于指數(shù)對(duì)數(shù)分析評(píng)估技術(shù)，實(shí)現(xiàn)由單體安全態(tài)勢(shì)得到整體安全態(tài)勢(shì)，具體參數(shù)根據(jù)不同目的和網(wǎng)絡(luò)環(huán)境進(jìn)行設(shè)置。

5工業(yè)控制系統(tǒng)審計(jì)方案部署

本項(xiàng)目要符合電力、石化行業(yè)工業(yè)控制系統(tǒng)特點(diǎn)，提供高可用、可擴(kuò)展和高性能解決方案。系統(tǒng)包含數(shù)據(jù)采集器、數(shù)據(jù)存儲(chǔ)服務(wù)器、安全審計(jì)分析服務(wù)器等核心組件，如圖4、圖5所示。

（1）數(shù)據(jù)采集器是工業(yè)控制系統(tǒng)的末梢單元，是審計(jì)系統(tǒng)與工業(yè)控制各種設(shè)備、終端的信息接口。數(shù)據(jù)采集器數(shù)量依據(jù)工控終端規(guī)模進(jìn)行分布式動(dòng)態(tài)擴(kuò)展。特定工控采集環(huán)境下，硬件數(shù)據(jù)采集器輔助探針軟件協(xié)同工作。

（2）數(shù)據(jù)存儲(chǔ)服務(wù)器用以存儲(chǔ)采集和分析計(jì)算處理后的海量數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)服務(wù)器以彈性擴(kuò)展集群方式組成海量數(shù)據(jù)存儲(chǔ)平臺(tái)。

（3）安全審計(jì)分析服務(wù)器負(fù)責(zé)數(shù)據(jù)處理、安全事件分析、漏洞挖掘等高性能安全計(jì)算和結(jié)果展示，是審計(jì)系統(tǒng)的計(jì)算中心。

6結(jié)語(yǔ)

本文通過(guò)研究工業(yè)控制系統(tǒng)專用通信協(xié)議的智能化識(shí)別和分析技術(shù)，實(shí)現(xiàn)了常見(jiàn)協(xié)議的智能化識(shí)別，方便對(duì)工控系統(tǒng)異常行為進(jìn)行檢測(cè)。采用海量數(shù)據(jù)和長(zhǎng)效攻擊行為關(guān)聯(lián)分析技術(shù)，進(jìn)行安全評(píng)估、事件定位及回溯，以達(dá)到對(duì)工業(yè)控制系統(tǒng)安全狀況進(jìn)行審計(jì)的目的。參考文獻(xiàn)：

[1]張帥. 工業(yè)控制系統(tǒng)安全風(fēng)險(xiǎn)分析[J]. 信息安全與通信保密， 2012（3）：1519.

[2]夏春明， 劉濤， 王華忠，等. 工業(yè)控制系統(tǒng)信息安全現(xiàn)狀及發(fā)展趨勢(shì)[J]. 信息安全與技術(shù)， 2013， 4（2）：1318.

[3]唐一鴻， 楊建軍， 王惠蒞. SP80082《工業(yè)控制系統(tǒng)（ICS）安全指南》研究[J]. 信息技術(shù)與標(biāo)準(zhǔn)化， 2012（Z1）：156159.

[4]STOUFFER K A， FALCO J A， SCARFONE K A.Guide to industrial control systems （ICS） security：supervisory control and data acquisition （SCADA） systems， distributed control systems （DCS）， and other control system configurations such as programmable logic controllers （PLC）[M]. National Institute of Standards & Technology， 2011.

[5]US DEPARTMENT OF COMMERCE， NIST. Guide to industrial control systems（ICS） securitysupervisory control and data acquisition （SCADA） systems，distributed control systems （DCS）， and other control system configurations such as Programmable Logic Controllers （PLC）[Z]. 2011.

[6]席榮榮， 云曉春， 金舒原，等. 網(wǎng)絡(luò)安全態(tài)勢(shì)感知研究綜述[J]. 計(jì)算機(jī)應(yīng)用， 2012， 32（1）：14.

[7]XI R， JIN S， YUN X， et al. CNSSA： a comprehensive network security situation awareness system[C]. IEEE， International Conference on Trust， Security and Privacy in Computing and Communications. IEEE Computer Society， 2011：482487.

[8]陳莊， 黃勇， 鄒航. 工業(yè)控制系統(tǒng)信息安全審計(jì)系統(tǒng)分析與設(shè)計(jì)[J]. 計(jì)算機(jī)科學(xué)， 2013， 40（S1）：340343.

[9]CHEN Z. Analysis and design of ICS information security audit system[J]. Computer Science， 2013（5）：4549.

[10]GENGE B， HALLER P， KISS I. Cybersecurityaware network design of industrial control systems[J]. IEEE Systems Journal， 2015（2）：112.

[11]PENG Y， WANG Y， XIANG C， et al. Cyberphysical attackoriented Industrial Control Systems （ICS） modeling， analysis and experiment environment[C].International Conference on Intelligent Information Hiding and Multimedia Signal Processing. IEEE， 2015.

[12]吳志勇， 王紅川， 孫樂(lè)昌，等. Fuzzing技術(shù)綜述[J]. 計(jì)算機(jī)應(yīng)用研究， 2010， 27（3）：829832.

[13]YAO G， GUAN Q， NI K. Test model for security vulnerability in web controls based on fuzzing[J]. Journal of Software， 2012， 7（4）：116120.

[14]LIU A Y， YAO L F. Cointegration analysis on the relation between urbanization and economic growth in China[J]. Asian Agricultural Research， 2011， 3（3）：154 158.

[15]GODEFROID P， LEVIN M Y， MOLNAR D. SAGE： whitebox fuzzing for security testing[J]. Queue， 2012， 10（3）：4044.