張?zhí)鞚? 馬叢林

摘要：大數(shù)據(jù)的匯集對(duì)網(wǎng)絡(luò)和安全設(shè)備提出了新的挑戰(zhàn)，數(shù)據(jù)源種類(lèi)的豐富及非結(jié)構(gòu)化數(shù)據(jù)價(jià)值挖掘日益增長(zhǎng)，已對(duì)跨域傳輸提出了新的要求。為實(shí)現(xiàn)不同網(wǎng)絡(luò)之間數(shù)據(jù)的安全傳輸需求，同時(shí)解決以往整體單向傳輸設(shè)備使用不平衡，硬件資源的利用率偏低的問(wèn)題，單向設(shè)備的分布式多任務(wù)調(diào)度及其關(guān)鍵技術(shù)的探索顯得尤為重要。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)傳輸;單向傳輸設(shè)備;調(diào)度服務(wù)器;關(guān)鍵技術(shù)

中圖分類(lèi)號(hào)：TP18 ?文獻(xiàn)標(biāo)識(shí)碼：A??文章編號(hào)：1671-2064（2019）16-0000-00

1研究背景介紹

“大數(shù)據(jù)”是近幾年來(lái)的熱門(mén)話題，大數(shù)據(jù)的匯集對(duì)網(wǎng)絡(luò)和安全設(shè)備提出了新的挑戰(zhàn)，數(shù)據(jù)源種類(lèi)的豐富及非結(jié)構(gòu)化數(shù)據(jù)價(jià)值挖掘日益增長(zhǎng)，已對(duì)跨域傳輸提出了新的要求。

在保證網(wǎng)絡(luò)不打通的前提下，為了進(jìn)行不同網(wǎng)絡(luò)之間的數(shù)據(jù)傳輸，使用的解決方案是是用安全單向傳輸設(shè)備來(lái)進(jìn)行不同網(wǎng)絡(luò)之間的數(shù)據(jù)傳輸。包括從網(wǎng)絡(luò)A與B，網(wǎng)絡(luò)A與C，網(wǎng)絡(luò)A與D。設(shè)置了多個(gè)單向安全設(shè)備，每個(gè)應(yīng)用使用一個(gè)單向設(shè)備，每個(gè)單向設(shè)備容納至少一個(gè)應(yīng)用通路。

基于物理隔離的單向傳輸系統(tǒng)部署在內(nèi)外網(wǎng)絡(luò)邊界，將內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)進(jìn)行單向連接，只允許數(shù)據(jù)從外部網(wǎng)絡(luò)單向傳輸至內(nèi)部安全網(wǎng)絡(luò)，不允許反向數(shù)據(jù)流動(dòng)。同時(shí)，導(dǎo)入前置機(jī)、單向傳輸設(shè)備和導(dǎo)入服務(wù)器串接部署，單向傳輸設(shè)備只提供導(dǎo)入前置機(jī)與導(dǎo)入服務(wù)器兩個(gè)專(zhuān)用設(shè)備之間的數(shù)據(jù)單向?qū)?，不與各種應(yīng)用服務(wù)器交互，避免引入額外的安全風(fēng)險(xiǎn)。

單向安全傳輸系統(tǒng)的文件同步功能是核心功能，該功能支持兩種方式的文件傳輸，一種是推文件方式，另一種是拉文件方式。推方式是指在導(dǎo)入前置機(jī)上建立FTP|SMB文件服務(wù)器，使用者將需要同步的文件從外網(wǎng)上傳到文件服務(wù)器，然后上傳的文件通過(guò)導(dǎo)入前置機(jī)的代理程序進(jìn)行數(shù)據(jù)封裝、壓縮等處理，再由導(dǎo)入前置機(jī)通過(guò)光閘口傳輸?shù)絾蜗騻鬏斣O(shè)備，單向同步到導(dǎo)入服務(wù)器上，導(dǎo)入服務(wù)器代理程序接收并還原文件后，通過(guò)文件傳輸協(xié)議上傳到導(dǎo)入服務(wù)器網(wǎng)絡(luò)的特定文件服務(wù)器上。如果外網(wǎng)有專(zhuān)門(mén)的文件服務(wù)器，就可以采用拉方式進(jìn)行文件傳輸。這里拉方式是指在導(dǎo)入前置機(jī)上將駐留文件客戶端代理程序，該程序定期去文件服務(wù)器上獲取需要傳輸?shù)奈募?，然后上傳的文件通過(guò)導(dǎo)入前置機(jī)的代理程序進(jìn)行與推方式同樣的處理。

在當(dāng)前的解決方案框架下，會(huì)存在一個(gè)比較大的問(wèn)題，某些應(yīng)用的數(shù)據(jù)流量大，造成其所對(duì)應(yīng)的單向傳輸設(shè)備負(fù)載大，而一些應(yīng)用的數(shù)據(jù)流量較小，但也占據(jù)了相同的資源。這樣就造成了整體單向傳輸設(shè)備的使用不平衡，硬件資源的利用率偏低。

2 解決方案思路

在單向設(shè)備本身不做改造的情況下，是否能夠通過(guò)純軟件的方式來(lái)實(shí)現(xiàn)對(duì)通路的均衡分配，從而實(shí)現(xiàn)通路全面的高利用率以及高可用性（失敗恢復(fù)）。是本解決方案研究的重點(diǎn)。

解決問(wèn)題的具體思路是通過(guò)一個(gè)總控文件接收和任務(wù)調(diào)度服務(wù)器（具備高可用），作為應(yīng)用數(shù)據(jù)（文件）安全傳輸?shù)慕y(tǒng)一入口。在接收到文件之后，根據(jù)當(dāng)前單向設(shè)備任務(wù)分配的狀態(tài)安排任務(wù)通路。解決方案的邏輯架構(gòu)圖如圖1。

在數(shù)據(jù)傳輸?shù)膱?zhí)行過(guò)程中，對(duì)單個(gè)應(yīng)用λ而言，在網(wǎng)絡(luò)B中的數(shù)據(jù)的應(yīng)用獲取數(shù)據(jù)并將其放置在隔離區(qū)的文件服務(wù)的對(duì)應(yīng)路徑之下，任務(wù)調(diào)度服務(wù)器輪詢(xún)對(duì)應(yīng)位置獲取文件，并根據(jù)任務(wù)分配原則將對(duì)應(yīng)文件放置在分配到的單向設(shè)備所對(duì)應(yīng)的文件處理服務(wù)器上，再由單向設(shè)備獲取文件并導(dǎo)出到網(wǎng)絡(luò)A中文件處理服務(wù)器，經(jīng)過(guò)任務(wù)調(diào)度服務(wù)器的處理再導(dǎo)出到文件服務(wù)中，平臺(tái)I上的β應(yīng)用獲取數(shù)據(jù)，整個(gè)數(shù)據(jù)安全傳輸過(guò)程完成。如果網(wǎng)絡(luò)A中的數(shù)據(jù)需要傳輸?shù)骄W(wǎng)絡(luò)B中，流程實(shí)際上是類(lèi)似的反向流程。

在這個(gè)數(shù)據(jù)跨網(wǎng)傳輸?shù)倪^(guò)程中，每個(gè)網(wǎng)絡(luò)中都需要有任務(wù)調(diào)度服務(wù)器來(lái)完成文件的接收、處理、文件打包以及任務(wù)分配的工作。該服務(wù)器是解決方案的重要節(jié)點(diǎn)，承擔(dān)著系統(tǒng)中最為核心的作用。

3關(guān)鍵技術(shù)實(shí)踐

為了保證整體的數(shù)據(jù)鏈路的安全、可控，可靠，本解決方案涉及到了不少關(guān)鍵技術(shù)。分別簡(jiǎn)要介紹如下：

3.1無(wú)需綁定硬件設(shè)備

通常的使用方法都是基于特定的硬件設(shè)備，沒(méi)有兼容多品種、多型號(hào)的硬件的冷切換功能。而本解決方案的設(shè)計(jì)思路不依賴(lài)單向設(shè)備的本身的硬件特性，只需要單向設(shè)備支持SFTP、Samba等協(xié)議，即可實(shí)現(xiàn)通路資源的統(tǒng)一調(diào)度，能夠?qū)τ脩舻募扔性O(shè)備實(shí)現(xiàn)利舊，充分保護(hù)用戶的固定資產(chǎn)。

3.2跨機(jī)房分布式部署

每個(gè)方向的兩個(gè)單向設(shè)備通路分布在主備兩個(gè)機(jī)房部署，調(diào)度服務(wù)可以調(diào)度主備機(jī)房的所有通路，當(dāng)其中一個(gè)通路出現(xiàn)故障時(shí)，調(diào)度服務(wù)會(huì)將任務(wù)轉(zhuǎn)移到可用的通路，從而確保任務(wù)不中斷。

3.3通道暢通保證

為了保證單向通道不全部被大文件任務(wù)占用而阻塞整體通路，將任務(wù)處理器標(biāo)記為小任務(wù)通道和大任務(wù)通道，大任務(wù)只能在大任務(wù)通道傳輸，小任務(wù)當(dāng)大任務(wù)通道空閑時(shí)（大任務(wù)通道無(wú)大任務(wù)在處理），可以在大任務(wù)通道傳輸。任務(wù)的大小區(qū)分可配。

3.4統(tǒng)一調(diào)度策略

在任務(wù)統(tǒng)一調(diào)度的前提下，為了保證重要應(yīng)用的業(yè)務(wù)的數(shù)據(jù)傳輸不受通路整體交通狀況的影響，能夠設(shè)置任務(wù)優(yōu)先級(jí)，根據(jù)業(yè)務(wù)優(yōu)先級(jí)選擇高優(yōu)先級(jí)的任務(wù)。同時(shí)，根據(jù)文件服務(wù)器中的文件容量：優(yōu)先調(diào)度文件容量少的處理器。同時(shí)需要計(jì)算每個(gè)處理器中排隊(duì)文件的平均大小，選擇大小最接近待處理文件的那個(gè)處理器，這樣可以在兼具等待耗時(shí)公平的前提下同時(shí)盡量使得大中小文件分類(lèi)傳輸，以提升大中小文件的傳輸效率。

3.5秒傳與秒回傳

從高密級(jí)網(wǎng)絡(luò)B到低密級(jí)網(wǎng)絡(luò)A傳輸文件（或反向傳），之前擺渡過(guò)的文件，后續(xù)任務(wù)中不用擺渡，通過(guò)比對(duì)文件摘要來(lái)從本地獲取文件，通過(guò)驗(yàn)簽確保文件不被篡改。而B(niǎo)擺渡到A的文件，不用再?gòu)腁擺渡回來(lái)，只擺渡在A生成的文件摘要，通過(guò)摘要在B獲取本地文件。

3.6設(shè)備狀態(tài)監(jiān)控

在不獲取單向傳輸設(shè)備的運(yùn)行信息的前提，能夠?qū)顟B(tài)進(jìn)行監(jiān)控，通過(guò)雙單向網(wǎng)閘的傳遞心跳文件，來(lái)判斷單向傳輸設(shè)備是否工作正常。

3.7任務(wù)失敗恢復(fù)

在任務(wù)未成功執(zhí)行并被調(diào)度服務(wù)器獲知時(shí)，會(huì)重新嘗試傳送文件，且在重試時(shí)會(huì)優(yōu)先選擇和任務(wù)處理失敗時(shí)不同的任務(wù)處理器。

3.8安全保證

文件提交到任務(wù)調(diào)度服務(wù)之前需要進(jìn)行安全掃描，確認(rèn)有問(wèn)題后繼續(xù)處理任務(wù)。安全掃描應(yīng)當(dāng)能夠集成多個(gè)第三方掃描工具，實(shí)現(xiàn)全方位的文件掃描，包括常規(guī)文件格式以及APT等。

4應(yīng)用效果

在某項(xiàng)目的實(shí)地應(yīng)用測(cè)試過(guò)程中，本方案的可行性得到初步驗(yàn)證，無(wú)論在執(zhí)行效率以及軟件可靠性方面都得到了一定程度的證明。

在效率層面，通過(guò)搭建8套千兆網(wǎng)閘（單向4通路）的測(cè)試環(huán)境，進(jìn)行壓測(cè)，每通道并發(fā)任務(wù)數(shù)為50，從低密級(jí)B網(wǎng)絡(luò)向高密級(jí)A網(wǎng)絡(luò)擺渡，審核后自動(dòng)擺渡回到A網(wǎng)絡(luò)，總共擺渡178G文件，用時(shí)21分32秒，178G/21分32秒/4通路，得到單通路常規(guī)文件擺渡速度為37MB/S。遠(yuǎn)遠(yuǎn)超過(guò)之前的單向設(shè)備獨(dú)立的傳輸方式。

實(shí)驗(yàn)過(guò)程中，嘗試直接關(guān)閉一條通路（進(jìn)出均可）后，傳輸任務(wù)不會(huì)中斷，會(huì)被均分到其余通路上，通行速率下降約1/4;在關(guān)閉任意一個(gè)調(diào)度服務(wù)器的情況下，任務(wù)也不會(huì)受影響。整個(gè)傳輸系統(tǒng)的可靠性也得以被驗(yàn)證，可以用于實(shí)際的工程化部署。

參考文獻(xiàn)

[1] 吳紹欣.分布式指揮系統(tǒng)分層多任務(wù)調(diào)度研究[D].哈爾濱工程大學(xué)，2011.

[2] 佚名.一種分布式多任務(wù)調(diào)度管理系統(tǒng)：陜西，CN103677973A[P].2014-03-26.

[3] 趙睿斌，楊紹亮，王毛路，等.基于商密體系的政務(wù)鏈解決數(shù)據(jù)安全共享交換的研究[J]. 信息安全與通信保密，2018，No.293（5）：85-90.

[4] 佚名.基于單向隔離硬件通道的數(shù)據(jù)單向傳輸系統(tǒng)：北京，CN1601955[P].2005-3-30.

收稿日期：2019-06-29

作者簡(jiǎn)介：張?zhí)鞚桑?985—），男，河南洛陽(yáng)人，本科，正科，研究方向：網(wǎng)絡(luò)安全，資源運(yùn)營(yíng)。