譚文貴

（中國移動通信集團重慶有限公司 重慶市 401121）

1 引言

本文涉及批量文件加密實時傳輸技術(shù)和云計算領(lǐng)域，尤其是隨著企業(yè)批量文件傳輸需求大量增加和硬件資源云化比例的不斷增大，計算、存儲資源的云化廣泛運用到企業(yè)各業(yè)務(wù)，而且越來越向核心業(yè)務(wù)滲透，資源云化的使用越來越廣且業(yè)務(wù)要求也更高。特別是針對批量文件加密實時傳輸及存儲，如何實現(xiàn)批量文件傳輸和存儲云化管理、IO 性能提升、統(tǒng)一空間權(quán)限管理、橫向擴展、數(shù)據(jù)安全保障是一個值得研究的課題?，F(xiàn)有的技術(shù)方案存在一系列的缺陷，主要有：

（1）批量文件傳輸和存儲采用主備模式接口機組網(wǎng)，數(shù)據(jù)的實時同步需要部署大量的sftp 服務(wù)，部署復(fù)雜；一旦主機發(fā)生故障不能正常啟動，備機的數(shù)據(jù)一致性不能得到保證；接口機的存儲采用內(nèi)置盤劃分raid 方式，數(shù)據(jù)保護機制不夠，可靠性不高，單臺服務(wù)器的磁盤IO 受到限制。

（2）接口機采用主備模式，備機閑置較多，造成資源的浪費。不能根據(jù)接口機的忙閑程度，靈活進行業(yè)務(wù)分配，合理利用資源。

（3）存儲空間容量的管理問題。由于內(nèi)置盤的擴展能力有限，隨著大數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)量的大量增加，內(nèi)置盤的容量不能滿足業(yè)務(wù)需求，橫向擴展能力差。存儲空間訪問權(quán)限問題。每個賬號讀取存儲空間的路徑不可以統(tǒng)一設(shè)置，不能提供統(tǒng)一的空間權(quán)限管理。

針對當(dāng)前批量文件加密實時傳輸及存儲的缺陷，本文提出一種批量文件加密實時傳輸及存儲的方法，該方案對批量文件加密實時傳輸及存儲方法進行了系列優(yōu)化。

2 系統(tǒng)總體架構(gòu)

一種批量文件加密實時傳輸及存儲的方法，該方案對批量文件加密實時傳輸及存儲方法進行了優(yōu)化，采用基于分布式SFTP 網(wǎng)關(guān)的接口機云化方法，傳輸采用前端分布式SFTP 網(wǎng)關(guān)部署，存儲采用后端云陣對象存儲池架構(gòu)部署。批量文件加密實時傳輸及存儲架構(gòu)如圖1所示。

批量文件加密實時傳輸及存儲主要由五大部分組成。主要由批量文件待傳局點1,2，…n、分布式sftp 網(wǎng)關(guān)模塊、分布式云陣對象存儲、驗證服務(wù)模塊、后臺數(shù)據(jù)庫系統(tǒng)組成。各業(yè)務(wù)系統(tǒng)需要加密傳輸?shù)奈募谂课募贮c1,2，…n 待傳、分布式sftp 網(wǎng)關(guān)模塊由sftp 網(wǎng)關(guān)服務(wù)組成、分布式云存儲由云陣對象存儲組成、驗證服務(wù)模塊進行業(yè)務(wù)驗證和錯誤日志回傳、后臺數(shù)據(jù)庫系統(tǒng)含大數(shù)據(jù)Hadoop 平臺和倉庫數(shù)據(jù)庫DB2 平臺。該技術(shù)方案中主要實現(xiàn)以下三大模塊：

模塊一：分布式SFTP 網(wǎng)關(guān)模塊。實現(xiàn)內(nèi)容如下：

圖1：批量文件加密實時傳輸及存儲架構(gòu)圖

圖2：業(yè)務(wù)數(shù)據(jù)傳輸邏輯流程圖

SFTP 網(wǎng)關(guān)模塊采用sftp 與s3 協(xié)議轉(zhuǎn)換技術(shù)，將批量文件傳輸加密協(xié)議sftp 轉(zhuǎn)換為后端對象存儲池接口協(xié)議s3，SFTP 網(wǎng)關(guān)中的服務(wù)器僅作透傳功能，性能消耗低，IO 吞吐量由后端云陣對象存儲池滿足，性能較傳統(tǒng)方法提升明顯。

模塊二：接口機后端云陣對象存儲模塊。后端云陣存儲提供s3協(xié)議訪問接口，與模塊一中將sftp 協(xié)議轉(zhuǎn)換后的s3 協(xié)議匹配，采用糾刪碼技術(shù)進行數(shù)據(jù)安全保護，橫向易于擴展，解決橫向擴展問題，滿足日益增長的業(yè)務(wù)數(shù)據(jù)存儲需求和緊急擴容需求。

模塊三：驗證服務(wù)模塊進行業(yè)務(wù)數(shù)據(jù)的驗證，將處理好的數(shù)據(jù)寫入大數(shù)據(jù)Hadoop 平臺和數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)驗證失敗回寫日志文件功能。

3 基于分布式SFTP網(wǎng)關(guān)的業(yè)務(wù)數(shù)據(jù)傳輸方法

基于分布式SFTP 網(wǎng)關(guān)的業(yè)務(wù)數(shù)據(jù)傳輸流程如圖2所示。流程中涉及的環(huán)節(jié)主要有：批量文件待傳局點、sftp 網(wǎng)關(guān)模塊、云陣對象存儲、驗證服務(wù)器、后端DB2 數(shù)據(jù)庫和大數(shù)據(jù)hadoop 平臺。業(yè)務(wù)數(shù)據(jù)傳輸邏輯流程步驟如下：

（1）業(yè)務(wù)系統(tǒng)批量數(shù)據(jù)文件采用加密sftp 進行上傳，形成批量文件局點1,2，…n；

（2）業(yè)務(wù)系統(tǒng)批量文件局點1,2，…n 通過sftp 加密協(xié)議上傳到sftp 網(wǎng)關(guān)模塊，sftp 網(wǎng)關(guān)模塊進行sftp 協(xié)議向?qū)ο蟠鎯3 協(xié)議轉(zhuǎn)換；

（3）批量文件數(shù)據(jù)通過sftp 網(wǎng)關(guān)模塊將接收到的采用透傳方式，將文件數(shù)據(jù)存儲到后端云陣對象存儲系統(tǒng)，云陣對象存儲系統(tǒng)采用s3 協(xié)議，糾刪碼技術(shù)進行數(shù)據(jù)保護；

（4）業(yè)務(wù)系統(tǒng)通知驗證服務(wù)模塊業(yè)務(wù)數(shù)據(jù)上傳成功；

（5）驗證服務(wù)模塊從sftp 網(wǎng)關(guān)拉取業(yè)務(wù)數(shù)據(jù)到本地；

（6）驗證服務(wù)模塊驗證業(yè)務(wù)數(shù)據(jù)并做業(yè)務(wù)處理后存儲到DB2數(shù)據(jù)庫和大數(shù)據(jù)Hadoop 平臺；

（7）數(shù)據(jù)驗證失敗回寫日志文件。

4 基于分布式SFTP網(wǎng)關(guān)實現(xiàn)方法

該方案中分布式sftp 網(wǎng)關(guān)主要包含應(yīng)用組件、數(shù)據(jù)組件和負(fù)載均衡組件幾部分組成。該方案中采用應(yīng)用組件和數(shù)據(jù)組件按照安全域劃分規(guī)則分開部署，應(yīng)用組件部署在DMZ 區(qū)，數(shù)據(jù)組件部署在內(nèi)網(wǎng)核心區(qū)。方案中sftp 網(wǎng)關(guān)模塊內(nèi)部服務(wù)器的操作系統(tǒng)均為輕量級安裝，負(fù)載低，性能消耗較少，橫向擴展容易，安全性好，易于批量配置管理。分布式sftp 網(wǎng)關(guān)的主要實現(xiàn)步驟如下：

4.1 sftp與s3之間的協(xié)議轉(zhuǎn)換

該功能的核心就是實現(xiàn)sftp 協(xié)議轉(zhuǎn)換成云陣對象存儲的s3 協(xié)議。當(dāng)外圍業(yè)務(wù)系統(tǒng)數(shù)據(jù)需要通過接口機寫入后端存儲系統(tǒng)的時候，通過sftp 網(wǎng)關(guān)模塊，將sftp 協(xié)議向s3 協(xié)議的轉(zhuǎn)換，摒棄目前方案中直接通過sftp 協(xié)議將業(yè)務(wù)數(shù)據(jù)傳到接口機內(nèi)置盤，再通過接口機客戶端軟件推送到后端DB2 數(shù)據(jù)庫和hadoop 平臺。該方案中的批量文件通過sftp 網(wǎng)關(guān)實現(xiàn)透明傳輸，不在sftp 網(wǎng)關(guān)自身服務(wù)器內(nèi)置盤落地，而是將數(shù)據(jù)通過協(xié)議轉(zhuǎn)換直接透明傳輸?shù)胶蠖嗽脐噷ο蟠鎯Τ亍?/p>

4.2 sftp網(wǎng)關(guān)內(nèi)部采用多服務(wù)多活實現(xiàn)

生產(chǎn)環(huán)境中sftp 網(wǎng)關(guān)必須以多服務(wù)多活的方式運行，采用分布式架構(gòu)實現(xiàn)。主要實現(xiàn)方法如下：步驟1、將sftp 網(wǎng)關(guān)中的sftp server 按照承載服務(wù)器的性能比例情況，在各服務(wù)器上部署并啟動sftp 網(wǎng)關(guān)服務(wù)進程，盡量均勻分布提升整體性能；步驟2、對后端云陣對象存儲池進行節(jié)點標(biāo)識，并提供s3 協(xié)議接口；步驟3、按照來自不同底層服務(wù)器的原則，將兩個sftp 網(wǎng)關(guān)服務(wù)進程與一個后端的對象存儲節(jié)點一一對應(yīng)，按照分散部署的原則，實現(xiàn)sftp 網(wǎng)關(guān)服務(wù)進程與后端對象存儲池節(jié)點的對應(yīng)。

4.3 sftp網(wǎng)關(guān)內(nèi)部實現(xiàn)統(tǒng)一訪問接口

該方案實現(xiàn)sftp 網(wǎng)關(guān)內(nèi)部統(tǒng)一訪問接口，摒棄目前方案中一對接口服務(wù)器一個訪問IP 地址，整個分布式sftp 網(wǎng)關(guān)統(tǒng)一提供一個訪問服務(wù)IP。降低業(yè)務(wù)訪問的復(fù)雜度，統(tǒng)一管理變得簡單。統(tǒng)一訪問服務(wù)IP 入口，在后端進行資源調(diào)配時，用戶無感知，靈活調(diào)配資源滿足業(yè)務(wù)的需求。

4.4 sftp網(wǎng)關(guān)內(nèi)部實現(xiàn)訪問賬號權(quán)限統(tǒng)一管理

該方法實現(xiàn)sftp 網(wǎng)關(guān)內(nèi)部訪問賬號權(quán)限統(tǒng)一管理，摒棄目前方案中大量接口機復(fù)雜的sftp 賬號，賬號管理難度大，風(fēng)險高。提供統(tǒng)一的空間權(quán)限管理，存儲空間的權(quán)限與訪問賬號權(quán)限對應(yīng)，實現(xiàn)對后端存儲空間權(quán)限的統(tǒng)一管理。sftp 網(wǎng)關(guān)用戶包含兩部分，系統(tǒng)用戶和sftp 用戶。采用系統(tǒng)用戶和sftp 用戶分離管理的方法。系統(tǒng)用戶用于維護、監(jiān)管sftp 用戶的日常操作；sftp 用戶可在系統(tǒng)管理界面統(tǒng)一維護，支持權(quán)限設(shè)置，可以配置用戶根目錄到對象存儲的bucket，也可以設(shè)置用戶權(quán)限到指定bucket 下的文件夾。采用本方案sftp 用戶管理更加規(guī)范，賬號的權(quán)限管理會根據(jù)用戶的需求進行整體評估使用，并進行相應(yīng)的安全限制。為提供操作記錄回溯，該方案提供操作日志記錄功能，操作日志中記錄sftp 用戶對文件的詳細(xì)操作，包括文件的上傳、下載、刪除和移動等操作，便于對用操作的追蹤和監(jiān)管。

5 結(jié)論與展望

針對當(dāng)前批量文件加密實時傳輸及存儲的缺陷，本文優(yōu)化了傳統(tǒng)方法，技術(shù)優(yōu)點具體包括：

（1）采用前端分布式SFTP 網(wǎng)關(guān)，后端分布式云存儲架構(gòu)。提供接口機池化管理，解決內(nèi)置盤的數(shù)據(jù)安全性和系統(tǒng)的高可用問題，解決單臺服務(wù)器的磁盤IO 限制問題。采用sftp 與s3 協(xié)議轉(zhuǎn)換技術(shù)，SFTP 網(wǎng)關(guān)中的服務(wù)器僅作透傳功能，性能消耗低，IO 吞吐量由后端云陣存儲池滿足，性能較傳統(tǒng)方法提升明顯。

（2）通過分布式SFTP網(wǎng)關(guān)，SFTP網(wǎng)關(guān)內(nèi)部實現(xiàn)統(tǒng)一訪問接口，將請求分發(fā)至合適的節(jié)點，靈活進行業(yè)務(wù)分配，合理利用資源。降低業(yè)務(wù)訪問的復(fù)雜度，統(tǒng)一管理變得簡單。同一個訪問服務(wù)IP 入口，在后端進行資源調(diào)配時，用戶無感知，靈活調(diào)配資源滿足業(yè)務(wù)的需求。

（3）采用接口機后端云陣存儲池化技術(shù)，SFTP 網(wǎng)關(guān)服務(wù)進程和后端云陣存儲橫向易于擴展，解決橫向擴展問題，滿足日益增長的業(yè)務(wù)數(shù)據(jù)存儲需求和緊急擴容需求。

（4）采用接口機池化技術(shù)，SFTP 網(wǎng)關(guān)內(nèi)部實現(xiàn)訪問賬號權(quán)限統(tǒng)一管理。解決傳統(tǒng)方案中接口機復(fù)雜的sftp 賬號，賬號管理難度大，風(fēng)險高的問題。存儲空間的權(quán)限與訪問賬號權(quán)限對應(yīng)，實現(xiàn)對后端存儲空間權(quán)限的統(tǒng)一管理。