喻崇仁，牛中盈，楊嘉偉，田 鵬

（1.中國(guó)航天科工集團(tuán)第二研究院七〇六所，北京100854；2.中國(guó)航天科工集團(tuán)第二研究院院科技委，北京100854）

0 引 言

當(dāng)前，容災(zāi)系統(tǒng)利用遠(yuǎn)程復(fù)制技術(shù)將生產(chǎn)中心數(shù)據(jù)備份到異地備份中心，有效確保了業(yè)務(wù)數(shù)據(jù)的抗毀性，由于數(shù)據(jù)是以明文形式存儲(chǔ)，并且生產(chǎn)中心通過(guò)廣域網(wǎng)發(fā)送給異地備份中心的數(shù)據(jù)也是明文，這就給不法分子竊取機(jī)密數(shù)據(jù)創(chuàng)造了條件［1，2］。

本文設(shè)計(jì)了一種面向容災(zāi)的堆疊式數(shù)據(jù)透明加密框架，采用虛擬化技術(shù)，結(jié)合堆疊式文件系統(tǒng)分層開發(fā)思想，在系統(tǒng)容災(zāi)層之上構(gòu)建了數(shù)據(jù)加密層，并在數(shù)據(jù)加密層虛擬設(shè)備驅(qū)動(dòng)程序中完成了對(duì)數(shù)據(jù)自動(dòng)加解密操作，實(shí)現(xiàn)了容災(zāi)系統(tǒng)中數(shù)據(jù)的加密存儲(chǔ)和在網(wǎng)絡(luò)中加密傳輸，有效保護(hù)了數(shù)據(jù)的機(jī)密性。設(shè)計(jì)了一個(gè)數(shù)據(jù)并行加密機(jī)制p－dmcrypt（parallel dm－crypt），在驅(qū)動(dòng)程序中實(shí)現(xiàn)了對(duì)數(shù)據(jù)并行加密處理，有效提高了數(shù)據(jù)整體加密速率。

1 相關(guān)研究

從加密實(shí)現(xiàn)的層次來(lái)看，當(dāng)前存儲(chǔ)系統(tǒng)中數(shù)據(jù)加密方式主要有應(yīng)用程序?qū)蛹用?、存?chǔ)介質(zhì)層加密、文件系統(tǒng)層加密和設(shè)備驅(qū)動(dòng)層加密。

應(yīng)用程序?qū)蛹用苁峭ㄟ^(guò)加密工具軟件對(duì)數(shù)據(jù)進(jìn)行加密。該方式對(duì)用戶不透明，進(jìn)行加解密操作時(shí)都需要用戶手動(dòng)輸入密鑰，使用起來(lái)較為繁瑣，用戶一旦忘記密鑰，被加密的文件將永遠(yuǎn)無(wú)法讀取。此外，在數(shù)據(jù)加密過(guò)程中系統(tǒng)產(chǎn)生的緩存文件內(nèi)包含了大量明文數(shù)據(jù)，容易被攻擊者竊取。

存儲(chǔ)介質(zhì)層加密是基于硬盤扇區(qū)的加密，對(duì)整個(gè)硬盤所有bit位都進(jìn)行加密。該方式能夠提供最高安全等級(jí)并且對(duì)用戶透明，但由于加密數(shù)據(jù)量大，造成系統(tǒng)性能開銷大，不適用于需要進(jìn)行大規(guī)模數(shù)據(jù)訪問(wèn)的存儲(chǔ)系統(tǒng)。

文件系統(tǒng)層加密是將加解密功能集成到文件系統(tǒng)中，開發(fā)加密文件系統(tǒng)。該方式支持文件粒度的加密，能夠指定對(duì)哪些文件加密，對(duì)哪些文件不加密，并且對(duì)文件系統(tǒng)包括元數(shù)據(jù)在內(nèi)的所有信息進(jìn)行加密［3］，具有很高的安全性。但該方式通常是在修改固定版本的文件系統(tǒng)或操作系統(tǒng)源碼基礎(chǔ)上實(shí)現(xiàn)的，如TCFS修改了NFS內(nèi)核代碼，且僅適用Linux 2.2.17及以前的操作系統(tǒng)版本，NCryptfs修改了Linux內(nèi)核中的目錄緩存和進(jìn)程管理程序［4］，TransCrypt修改了底層文件系統(tǒng)的超級(jí)塊結(jié)構(gòu)并向內(nèi)核中加入了對(duì)非對(duì)稱密碼算法的支持［5］等，因此該方式具有可移植性差的弊端。

設(shè)備驅(qū)動(dòng)層加密是在磁盤空間中劃分出一部分空間作為虛擬分區(qū)，該分區(qū)只有具有合法權(quán)限的用戶才能進(jìn)行訪問(wèn)，虛擬分區(qū)的驅(qū)動(dòng)程序在處理I/O 請(qǐng)求過(guò)程中利用加解密模塊對(duì)請(qǐng)求數(shù)據(jù)進(jìn)行透明加/解密操作。本文就是在設(shè)備驅(qū)動(dòng)層對(duì)數(shù)據(jù)進(jìn)行加解密操作，該方式雖然不能指定對(duì)哪些數(shù)據(jù)不進(jìn)行加密處理，但在系統(tǒng)的性能和安全性上得到了很好的平衡，相對(duì)于開發(fā)加密文件系統(tǒng)，該方式實(shí)現(xiàn)起來(lái)較為容易并且可移植性強(qiáng)。

2 方案設(shè)計(jì)

2.1 面向容災(zāi)的堆疊式數(shù)據(jù)加密框架設(shè)計(jì)

在設(shè)計(jì)系統(tǒng)的加密框架過(guò)程中，本文借鑒了堆疊式文件系統(tǒng)的開發(fā)思想，并且利用了device mapper［6］虛擬化技術(shù)。堆疊式文件系統(tǒng)采用模塊化設(shè)計(jì)和增量式開發(fā)方式，通過(guò)在虛擬文件系統(tǒng)和底層文件系統(tǒng)之間插入多個(gè)獨(dú)立開發(fā)的層 （layer）來(lái)構(gòu)建復(fù)雜的文件服務(wù)，層與層之間相互獨(dú)立，任何層都可以添加新的服務(wù)，已有的層自動(dòng)適應(yīng)并支持這些功能［7］。新增的層可以很容易的從一個(gè)文件系統(tǒng)堆棧中添加和刪除，具有良好的擴(kuò)展性。device mapper是Linux 2.6內(nèi)核中內(nèi)置的一種從邏輯設(shè)備到物理設(shè)備的映射機(jī)制，通過(guò)該機(jī)制可以靈活管理系統(tǒng)中所有真實(shí)或虛擬的塊設(shè)備，利用device mapper中的3 個(gè)對(duì)象 （mapped device、mapping table和target device）和target driver插件一起能夠構(gòu)成一個(gè)可迭代的設(shè)備樹，在target driver插件中可以實(shí)現(xiàn)用戶自定義功能。

在此基礎(chǔ)上，本文設(shè)計(jì)了一種面向容災(zāi)的堆疊式數(shù)據(jù)透明加密框架，如圖1所示，框架中以新建虛擬卷的形式在虛擬卷設(shè)備驅(qū)動(dòng)中實(shí)現(xiàn)了系統(tǒng)新增的自定義功能，使系統(tǒng)具備了良好的擴(kuò)展性。

圖1 面向容災(zāi)的堆疊式數(shù)據(jù)加密框架

（1）生產(chǎn)中心部署情況

該加密框架在生產(chǎn)中心的邏輯卷上建立了容災(zāi)卷和加密卷兩個(gè)虛擬設(shè)備，以實(shí)現(xiàn)向生產(chǎn)中心添加容災(zāi)層和數(shù)據(jù)加密層的目的，容災(zāi)層和數(shù)據(jù)加密層之間相互獨(dú)立，每層實(shí)現(xiàn)單一的數(shù)據(jù)容災(zāi)或加密功能。

數(shù)據(jù)加密層：該層提供的數(shù)據(jù)加密功能在加密驅(qū)動(dòng)程序中實(shí)現(xiàn)。當(dāng)加密驅(qū)動(dòng)接收到寫請(qǐng)求時(shí)，先把請(qǐng)求數(shù)據(jù)進(jìn)行加密處理，然后把該寫請(qǐng)求轉(zhuǎn)發(fā)給下層容災(zāi)卷；當(dāng)接收到讀請(qǐng)求時(shí)，直接把該請(qǐng)求轉(zhuǎn)發(fā)給下層容災(zāi)卷進(jìn)行處理，對(duì)于容災(zāi)卷返回的數(shù)據(jù)，先進(jìn)行解密處理，再傳遞給上一層。

容災(zāi)層：該層提供的數(shù)據(jù)容災(zāi)功能在容災(zāi)驅(qū)動(dòng)程序中實(shí)現(xiàn)。當(dāng)容災(zāi)驅(qū)動(dòng)接收到寫請(qǐng)求時(shí)，會(huì)把請(qǐng)求數(shù)據(jù)寫入下層邏輯卷的同時(shí)將數(shù)據(jù)通過(guò)網(wǎng)絡(luò)發(fā)送給遠(yuǎn)程備份中心；當(dāng)接收到讀請(qǐng)求時(shí)，直接把該請(qǐng)求轉(zhuǎn)發(fā)給下層邏輯卷進(jìn)行處理，之后把下層邏輯卷返回的數(shù)據(jù)傳遞給上層加密卷。由于該層處于數(shù)據(jù)加密層之下，該層接收到的寫請(qǐng)求數(shù)據(jù)都是經(jīng)過(guò)加密處理后的數(shù)據(jù)，因此發(fā)送給遠(yuǎn)程備份中心的都是密文數(shù)據(jù)。

（2）備份中心部署情況

該加密框架在備份中心的邏輯卷上建立了虛擬容災(zāi)卷，以實(shí)現(xiàn)向備份中心添加容災(zāi)層的目的。

容災(zāi)層：與生產(chǎn)中心的容災(zāi)層對(duì)于寫請(qǐng)求的處理方法不同，備份中心的容災(zāi)層在接收到生產(chǎn)中心發(fā)來(lái)的數(shù)據(jù)后，首先構(gòu)造對(duì)應(yīng)的寫請(qǐng)求，然后把請(qǐng)求數(shù)據(jù)寫入下層邏輯卷。

當(dāng)生產(chǎn)中心因自然災(zāi)害或計(jì)算機(jī)軟硬件故障造成本地?cái)?shù)據(jù)不可用時(shí)，我們需要根據(jù)備份中心的數(shù)據(jù)進(jìn)行災(zāi)后數(shù)據(jù)恢復(fù)。由于存儲(chǔ)在備份中心邏輯卷中的數(shù)據(jù)都是密文，因此要先在備份中心邏輯卷上建立加密卷，加密密鑰與當(dāng)初在生產(chǎn)中心創(chuàng)建加密卷使用的密鑰一致，之后才能從邏輯卷中讀取出明文數(shù)據(jù)。

2.2 數(shù)據(jù)并行加密機(jī)制設(shè)計(jì)

Linux內(nèi)核中內(nèi)置了dm－crypt［8］加密機(jī)制，該機(jī)制通過(guò)在邏輯卷上創(chuàng)建虛擬設(shè)備，在虛擬設(shè)備驅(qū)動(dòng)程序中實(shí)現(xiàn)數(shù)據(jù)加密功能。驅(qū)動(dòng)程序內(nèi)部采用單線程操作，對(duì)于接收到的每個(gè)讀寫請(qǐng)求順序執(zhí)行解密/加密操作，處理流程如圖2所示。由于在數(shù)據(jù)加解密過(guò)程中通常需要進(jìn)行大量復(fù)雜的運(yùn)算，故該過(guò)程會(huì)對(duì)系統(tǒng)的IO 吞吐率會(huì)造成很大影響。本文在參考分析dm－crypt加密機(jī)制的基礎(chǔ)上，設(shè)計(jì)了一個(gè)數(shù)據(jù)并行加密機(jī)制p－dm－crypt，在加密驅(qū)動(dòng)程序中實(shí)現(xiàn)了對(duì)數(shù)據(jù)加密的并行處理，有效降低了數(shù)據(jù)加密操作對(duì)系統(tǒng)寫性能的影響。該機(jī)制主要針對(duì)數(shù)據(jù)加密系統(tǒng)寫性能較差的缺點(diǎn)，在加密驅(qū)動(dòng)程序中對(duì)寫請(qǐng)求采用多線程并行執(zhí)行，對(duì)讀請(qǐng)求依然采用單線程順序執(zhí)行，具體的寫請(qǐng)求處理流程如圖3所示。

圖2 dm－crypt機(jī)制中讀寫請(qǐng)求處理流程

圖3 p－dm－crypt中寫請(qǐng)求處理流程

加密驅(qū)動(dòng)模塊在被加載到內(nèi)核時(shí)會(huì)創(chuàng)建n個(gè)寫請(qǐng)求處理線程，并把線程都置于睡眠狀態(tài)，當(dāng)驅(qū)動(dòng)程序截獲到寫請(qǐng)求時(shí)，把請(qǐng)求加入到全局鏈表wbio＿list中并喚醒所有寫請(qǐng)求處理線程，寫請(qǐng)求處理線程首先從wbio＿list中取出一個(gè)寫請(qǐng)求，調(diào)用數(shù)據(jù)加密函數(shù)對(duì)請(qǐng)求數(shù)據(jù)進(jìn)行加密處理，之后把該寫請(qǐng)求轉(zhuǎn)發(fā)給下一層進(jìn)行處理。

3 實(shí)驗(yàn)與分析

本文實(shí)現(xiàn)了一個(gè)具有數(shù)據(jù)透明加密功能的容災(zāi)原型系統(tǒng)，并對(duì)系統(tǒng)性能進(jìn)行了測(cè)試。測(cè)試平臺(tái)包括兩臺(tái)PC 機(jī)（intel 2.66GHz處理器，4GB DDR3內(nèi)存，希捷1TB硬盤，OS為Red hat Linux 2.6.18），兩臺(tái)磁盤陣列 （intel 2.93GHz處理器，4GB DDR3 內(nèi)存，5 塊希捷1TB 硬盤），一臺(tái)千兆以太網(wǎng)交換機(jī)。在搭建測(cè)試環(huán)境時(shí)，一臺(tái)磁盤陣列對(duì)應(yīng)一臺(tái)PC 機(jī)，在磁盤陣列上新建一個(gè)raid5［9，10］邏輯卷，并以iscsi target［11，12］形式分配給對(duì)應(yīng)PC機(jī)用作本地邏輯卷，兩臺(tái)PC機(jī)中一臺(tái)部署生產(chǎn)中心軟件，一臺(tái)部署備份中心軟件。

實(shí)驗(yàn)1：測(cè)試加密驅(qū)動(dòng)程序中寫請(qǐng)求處理線程的最優(yōu)個(gè)數(shù)。使用10個(gè)dd線程同時(shí)向系統(tǒng)加密卷的不同位置寫入數(shù)據(jù)，隨著加密驅(qū)動(dòng)中寫請(qǐng)求處理線程數(shù)不斷增加，系統(tǒng)聚合寫帶寬測(cè)試結(jié)果如圖4所示。

從圖4可以看出，在加密驅(qū)動(dòng)中寫線程數(shù)從1增加到4的過(guò)程中，系統(tǒng)聚合寫帶寬隨著寫線程數(shù)的增加而增加，但在寫線程超過(guò)4個(gè)以后，系統(tǒng)聚合寫帶寬隨著寫線程數(shù)的增加而減小。這是因?yàn)椴捎枚嗑€程并行加密數(shù)據(jù)理論上能夠提升數(shù)據(jù)整體加密速率，提高系統(tǒng)的寫性能，但是隨著線程數(shù)的增加，CPU 調(diào)度處理開銷會(huì)不斷增大，當(dāng)寫線程超過(guò)4個(gè)時(shí)，系統(tǒng)的寫性能反而因CPU 調(diào)度處理開銷過(guò)大而下降。由測(cè)試結(jié)果可知，加密驅(qū)動(dòng)程序中寫請(qǐng)求處理線程的最優(yōu)個(gè)數(shù)為4個(gè)。

圖4 加密驅(qū)動(dòng)中最優(yōu)寫線程數(shù)測(cè)試結(jié)果

實(shí)驗(yàn)2：測(cè)試使用p－dm－crypt加密機(jī)制的原型系統(tǒng)較使用dm－crypt加密機(jī)制的系統(tǒng)在寫性能方面的優(yōu)劣。在測(cè)試時(shí)，p－dm－crypt加密驅(qū)動(dòng)中寫請(qǐng)求處理線程數(shù)設(shè)置為4，每次測(cè)試都使用10個(gè)dd線程同時(shí)向系統(tǒng)加密卷的不同位置寫入數(shù)據(jù)，采用兩種加密機(jī)制的系統(tǒng)聚合寫帶寬測(cè)試結(jié)果見(jiàn)表1，其中每個(gè)測(cè)試結(jié)果為5次測(cè)試的平均值。

表1 系統(tǒng)聚合寫帶寬測(cè)試結(jié)果/ （MB/s）

從表1可以看出，使用p－dm－crypt機(jī)制的系統(tǒng)寫帶寬普遍比使用dm－crypt機(jī)制的系統(tǒng)高，這是因?yàn)樵赿m－crypt機(jī)制中對(duì)數(shù)據(jù)加密操作使用單線程順序處理，加密時(shí)間開銷較大，而在p－dm－crypt機(jī)制中采用了多線程技術(shù)，對(duì)數(shù)據(jù)加密操作實(shí)現(xiàn)了并行處理，減少了總體加密時(shí)間開銷，降低了加密操作對(duì)系統(tǒng)性能的影響。通過(guò)計(jì)算不同bs大小下采用不同加密機(jī)制的系統(tǒng)寫帶寬比值可知，采用p－dm－crypt機(jī)制的系統(tǒng)寫性能較采用dm－crypt機(jī)制提升了18%左右。

4 結(jié)束語(yǔ)

本文針對(duì)容災(zāi)系統(tǒng)中保護(hù)數(shù)據(jù)機(jī)密性的需求，設(shè)計(jì)了一種面向容災(zāi)的堆疊式數(shù)據(jù)透明加密框架，通過(guò)在虛擬容災(zāi)卷之上構(gòu)建虛擬加密卷，在虛擬加密卷的驅(qū)動(dòng)程序中實(shí)現(xiàn)了對(duì)數(shù)據(jù)自動(dòng)加解密操作，確保了容災(zāi)系統(tǒng)中數(shù)據(jù)的加密存儲(chǔ)和在網(wǎng)絡(luò)中的加密傳輸。針對(duì)數(shù)據(jù)加解密操作時(shí)間開銷大，影響系統(tǒng)IO 吞吐率的問(wèn)題，設(shè)計(jì)了一個(gè)數(shù)據(jù)并行加密機(jī)制p－dm－crypt，在加密驅(qū)動(dòng)程序中實(shí)現(xiàn)了對(duì)數(shù)據(jù)的并行加密處理，提高了數(shù)據(jù)整體加密速率。在原型系統(tǒng)上的測(cè)試結(jié)果表明，相比于使用dm－crypt加密機(jī)制的系統(tǒng)，使用p－dm－crypt的系統(tǒng)在寫性能方面提升了18%。

當(dāng)前系統(tǒng)采用軟件加密方式對(duì)數(shù)據(jù)進(jìn)行加密，雖然p－dm－crypt加密機(jī)制提高了數(shù)據(jù)加密的速率，但與硬件加密速率相比還有一定差距，下一步工作是在系統(tǒng)中使用硬件加密方式，并針對(duì)I/O 級(jí)小數(shù)據(jù)塊加密速率慢的問(wèn)題，采用合并請(qǐng)求的預(yù)處理方式來(lái)提升系統(tǒng)加密效率，即在加密驅(qū)動(dòng)程序中首先將多個(gè)寫請(qǐng)求數(shù)據(jù)合并，把合并后的數(shù)據(jù)提交給加密卡進(jìn)行加密處理，待加密完成后將密文拆分給對(duì)應(yīng)的寫請(qǐng)求，之后把寫請(qǐng)求順序轉(zhuǎn)發(fā)給容災(zāi)層。

［1］Tipton H F，Krause M.Information security management handbook ［M］.Boca Raton：CRC Press，2012：163－166.

［2］Omar H Alhazmi，Yashwant K Malaiya.assessing disaster re－covery alternatives：On－site，collocation or cloud ［C］//23rd IEEE International Symposium on Software Reliability Engineering Workshops，2012：19－20.

［3］Modi D，Agrawalla R K，Moona R.TransCryptDFS：A secure distributed encrypting file system ［C］//International Congress on Ultra Modern Telecommunications and Control Systems and Workshops，2010：187－194.

［4］KANG Xiaowen.Research of key technologies for backup of disaster tolerant data based on virtual storage ［D］.Zhengzhou：PLA Information Engineering University，2009 （in Chinese）.［康瀟文.基于虛擬存儲(chǔ)的容災(zāi)數(shù)據(jù)備份關(guān)鍵技術(shù)研究 ［D］.鄭州：解放軍信息工程大學(xué)，2009.］

［5］HE Lianyue，LIAO Xiangke，F(xiàn)U Songling.KSEFS：A serveroriented encrypted file system supporting cypertext sharing ［J］.Computer Engineering ＆Science，2011，33 （7）：1－5 （in Chinese）.［何連躍，廖湘科，付松齡.KSEFS：支持加密共享的服務(wù)器加密文件系統(tǒng)［J］.計(jì)算機(jī)工程與科學(xué)，2011，33 （7）：1－5.］

［6］Maclean L.Understanding device－mapper in Linux 2.6kernel［EB/OL］.［2010－01－06］.http：//www.askmaclean.com/understanding－device－mapper－in－linux－2－6－kernel.html.

［7］PEI Canhao，XIE Changsheng，HUANG Jianzhong.Kernel－level cryptographic file system based on read/write optimization ［J］.Computer Engineering，2010，36 （15）：137－139 （in Chinese）.［裴燦浩，謝長(zhǎng)生，黃建忠.基于讀寫優(yōu)化的內(nèi)核級(jí)加密文件系統(tǒng)［J］.計(jì)算機(jī)工程，2010，36 （15）：137－139.］

［8］Morris J.Linux kernel security overview ［C］//Kernel Conference Australia Brisbane，2009.

［9］Thomasian A，Xu J.RAID level selection for heterogeneous disk arrays［J］.Cluster Computing，2011，14 （2）：115－127.

［10］Saeed T.Raid5recovery in a high availability object based file system：U.S.Patent 8，458，515 ［P］.2013－06－04.

［11］Wang J，Yao X，Mitchell C，et al.A new hierarchical data cache architecture for iSCSI storage server ［J］.IEEE Transactions on Computers，2009，58 （4）：433－447.

［12］Lindgren K，Lynn J，Spry A J.Methods for defining and naming iSCSI targets using volume access and security policy：U.S.Patent 7，568，216 ［P］.2009－07－28.