張亞男, 陳衛(wèi)衛(wèi), 付印金, 徐 堃

(陸軍工程大學 指揮控制工程學院, 南京 210007)

近年來, 隨著云存儲技術的迅猛發(fā)展, 越來越多的企業(yè)和個人將數據存儲在云上. 同時, 為避免傳統(tǒng)的單一云存儲服務帶來的供應商鎖定和服務中斷導致數據丟失等問題, 多云存儲技術應運而生, 用戶可以通過云服務代理(cloud service brokerage, CSB)將數據存儲在不用的云上以節(jié)約成本和降低風險. 根據IDC 最新研究報告預測, 到2025 年全球數據總量將從2018 年的33 ZB 增長到175 ZB, 其中大約49%的數據將存儲在云環(huán)境中[1]. 而據另一項調查顯示, 云環(huán)境中近75%的外包數據是重復的副本[2], 浪費了大量存儲資源. 為降低云服務提供商(cloud service provider, CSP)的存儲成本, 云存儲服務中普遍采用了數據去重(data deduplication)技術. 通過將云服務器中的重復數據刪除, 僅保留一個副本以實現存儲空間的高效利用.

當前越來越多的ICT (information and communication technology)廠商加入云服務代理產業(yè)領域, 其中既有單純的CSP, 也有傳統(tǒng)的IT 廠商. CSB 通過對其管理的多云進行數據去重降低成本、提高服務質量和效益. 盡管如此, 由于CSB 之間是隔離的, CSB 及為其提供存儲服務的CSP 實際上仍然是一座座“信息孤島”, 數據去重的范圍僅限于以單一代理為中心的云存儲服務器群. 因此, 云服務器上仍然有大量的冗余數據.

國內外學者對多云的重刪管理進行了深入研究.MetaStorage[3]作為一種地理分布式代理架構, 將協(xié)調器組件部署在每個代理上, 無須中央控制, 避免了單點故障, 但是需要協(xié)調器頻繁交換數據信息, 管理難度大, 并且該方案默認代理屬于同一個組織. ClouDedup[4]是一種基于訪問控制機制的去重方案, 但同時該方案也引入了第三方密鑰服務器管理數據塊密鑰. 缺點是選擇一個所有代理普遍信任的第三方本身具有一定難度, 同時也額外增加了存儲成本. CloudShare[5]是一種基于區(qū)塊鏈技術的云端數據去重方案, 使用區(qū)塊鏈將多個云服務提供商聯合在一起, 跨用戶進行數據去重. 其最大缺點是無法解決不同云的數據存儲格式和接口不同帶來的影響.

本文提出了一種基于區(qū)塊鏈技術的多代理聯合去重方案(Blockchain based multi-brokerage deduplicating alliance, BMBDA), 將松散的CSB 組織起來形成一個聯盟, 并為聯盟內的CSB 提供不同云上所存儲的數據的全局一致視圖(全局索引表), 處于聯盟內的CSB 成員通過全局視圖判斷待上傳數據在云上是否已有重復副本. 如果沒有, CSB 則將數據上傳至云上, 同時更新對應的索引. 反之, 則僅需添加這次上傳的數據索引, 將地址指針指向云上的唯一副本. 通過對多個云上的數據聯合去重,可以進一步節(jié)約云存儲空間以降低成本. 同時, 用戶不必真正上傳冗余副本, 可以節(jié)省帶寬并提高用戶體驗.

1 相關工作

1.1 基于代理的多云存儲系統(tǒng)

多云存儲, 是指依靠代理將多個供應商的不同云存儲服務虛擬化聯合管理, 為用戶提供統(tǒng)一的存取接口. 多云存儲系統(tǒng)按照布局差異可以分為集中式代理架構和分布式代理架構兩種[6]. 其主要工作是, 首先對用戶上傳的數據進行預處理, 如分塊、加密、去重等.然后根據用戶需求, 綜合考量網絡延遲、存取費用、安全性等因素計算出最佳策略. 最后將用戶數據上傳,同時更新索引表. 通過將用戶的數據合理部署在公有云、私有云或混合云上, 進一步降低存儲成本, 此外還有避免單點故障導致數據丟失、保持高可用的業(yè)務連續(xù)性、提高云服務的安全可靠性等優(yōu)點. 據IBM 商業(yè)價值研究院預計, 到2021 年將有98%的企業(yè)采用多云架構[7]. 隨著多云存儲領域的快速發(fā)展, CSB 廠商推出了大量云存儲管理產品, 如表1 所示.

表1 CSB 各類多云管理產品對比

盡管云存儲市場上存在很多的多云管理產品, 但是尚未發(fā)現一款能夠實現將所有云存儲服務(涵蓋公有云、私有云和混合云)統(tǒng)一管理的產品. CSB 可以將數據去重技術應用在為自己提供存儲服務的云上以消除冗余數據, 但是對于用戶通過其他CSB 存儲在另外云上的重復數據則無法做到進一步的去重.

1.2 區(qū)塊鏈

區(qū)塊鏈(Blockchain)[8]的概念來源于中本聰在2008 年提出的數字加密貨幣系統(tǒng)——比特幣(Bitcoin).區(qū)塊鏈的本質是一種開放的去中心化的分布式數據庫,由一系列數據區(qū)塊按照產生時間有序鏈接而成. 每個區(qū)塊由兩部分構成, 區(qū)塊頭負責記錄Merkle 根哈希、父哈希值、時間戳、計算難度以及隨機數等信息, 區(qū)塊體中則包含交易計數器以及詳細的交易數據, 如圖1.

圖1 區(qū)塊鏈結構

區(qū)塊鏈系統(tǒng)工作過程大致如下: 首先, 交易參與者將交易信息發(fā)布到P2P 網絡, 礦工節(jié)點收到交易信息,經驗證無誤后將其放入交易池. 然后, 礦工節(jié)點將當前目標難度值T與hashMerkleRoot 等字段組成區(qū)塊頭,并在區(qū)塊頭中加入不同的隨機值, 計算區(qū)塊頭哈希值,直到此哈希值小于或等于目標值(此過程被稱作“挖礦”). 最后, 成功計算到結果的礦工將交易池中的交易進行打包作為區(qū)塊體, 與區(qū)塊頭封裝在一起向全網廣播, 由其他節(jié)點進行驗證. 一旦被集體接受就無法改變,這使得交易是不可篡改的, 并且是可信和可審計的.

智能合約(smart contract)豐富了區(qū)塊鏈技術的應用形式, 這個術語最早由跨領域法律學者Szabo 在1995 年提出, 將其定義為“一套以數字形式定義的承諾, 包括合約參與方可以在上面執(zhí)行這些承諾的協(xié)議”[9].狹義上的智能合約一般是指部署在區(qū)塊鏈上可以自動執(zhí)行的代碼, 以太坊(Ethereum)[10]就是一個運行智能合約的分布式平臺, 這些智能合約運行在眾多以太坊虛擬機上. 以太坊的出現使區(qū)塊鏈應用不再局限于數字貨幣[11]. 區(qū)塊鏈技術作為顛覆性的創(chuàng)新技術, 因其去中心化、不可篡改、安全性等特性, 近年來已逐步應用在到金融、版權、資產和醫(yī)療等各種領域中.

1.3 數據去重

數據去重, 也稱重復數據刪除, 是指在滿足數據冗余度要求的前提下, 只傳輸和存儲一個數據對象副本,其他重復副本由指向該對象數據的指針替換, 從而降低存儲空間和傳輸帶寬開銷[12]. 在云環(huán)境中數據去重的一般工作流程大致為: 首先, 服務器對已存儲的數據進行哈希計算, 得到它們對應的簽名值. 然后, 將這些簽名值與用戶待上傳數據的簽名值進行匹配計算, 以此判斷與原存儲數據是否重復. 最后, 如果重復則刪除相同的數據, 且該用戶無須再次上傳, 并將指向原存儲數據的指針返回給用戶以便下次訪問; 如果不重復則存儲用戶上傳的數據, 并將指針返回給用戶. 數據去重按照去重粒度可以分為文件級、塊級和字節(jié)級去重,按照工作域可以分為客戶端、代理端和服務器端去重.通過采用數據去重技術, 可以為備份系統(tǒng)節(jié)約83%的存儲空間, 為主存系統(tǒng)節(jié)約68%的存儲空間, 為固態(tài)硬盤節(jié)約28%的存儲空間, 為云虛擬機中通用數據的存儲節(jié)約高達80%的空間[13].

采用數據去重技術僅存儲一個數據副本會降低安全性, 因此在數據去重中廣泛應用了糾刪碼技術(erasure coding, EC), 通過增加少量冗余增加系統(tǒng)的可靠性[14]. 其安全性可以用式(1)表示:

2 方案設計

BMBDA 的目標是將各自獨立的CSB 聯合起來,提供跨更多云的重刪服務, 如圖2 所示. 為此, 采用區(qū)塊鏈技術解決CSB 互不信任的問題, 保證共享數據可信且不被惡意篡改, 為聯合去重提供基礎.

圖2 不同去重方案對比

2.1 可行性分析

一旦CSB 加入聯盟并積極工作, 它可以通過更大范圍的重刪消除冗余數據, 從而為CSP 節(jié)省存儲資源,尤其是降低了邊緣建設成本. 對于CSB 來說, 通過數據去重可以減少上傳的數據, 進而節(jié)約了云服務器的租用成本. 同時, 存儲一份數據還可能得到額外的收入.例如代理a已上傳過數據A, 當代理b要上傳相同的數據A時, 代理b向代理a支付少量費用以換取指向已存儲數據A的地址指針, 同時無須上傳整個數據A,這對于代理a和代理b來說是雙贏的. 合作可以最大限度地提高利潤, 也為用戶帶來更為快捷的上傳體驗,因此認為CSB 傾向于合作.

CSB 基于自身的利益考慮, 在商業(yè)環(huán)境中無法做到完全互信, 使用區(qū)塊鏈可以很好地解決這些問題. 首先, 區(qū)塊鏈是一個分布式的系統(tǒng), 無須任何一個共同信任的中央機構即可達成共識. 其次, 區(qū)塊鏈可以將數據快速同步至各節(jié)點, 為聯盟中的CSB 提供當前數據的強一致性全局視圖. 最后, 區(qū)塊鏈一旦達成共識幾乎不可能被篡改, 且是可審計的. CSB 篡改數據將會被發(fā)現, 而且無法抵賴.

2.2 BMBDA 模型

為應對上述威脅, BMBDA 模型采用了區(qū)塊鏈技術, 以便多個CSB 開展合作, 而無須依賴可值得信任的中心. 與傳統(tǒng)方案相比, 可以節(jié)約更多的存儲成本,更少的帶寬占用. BMBDA 模型可以簡單劃分為核心工作層和文件處理層, 如圖3 所示.

圖3 BMBDA 模型

BMBDA 模型核心工作層由CSB 和區(qū)塊鏈系統(tǒng)組成, 區(qū)塊鏈采用以太坊框架. CSB 將文件上傳、下載、刪除等元數據寫入區(qū)塊鏈, 通過區(qū)塊鏈同步至各CSB,CSB 讀取新區(qū)塊內容并更新全局索引表. 通過引入區(qū)塊鏈, 可以保證全局索引的強一致性, 使得聯盟內的CSB 在每個時刻對整個系統(tǒng)存儲的文件都具有一致的全局視圖. 當用戶通過不同CSB 上傳相同文件副本時,由最先執(zhí)行上傳操作(也是實際存儲文件副本) 的CSB 返回給后執(zhí)行上傳操作的CSB 該副本存儲在云上的地址, 而后者則僅需向前者支付少量費用. 區(qū)塊鏈的特殊結構使得新區(qū)塊一旦被集體接受便幾乎無法更改, 保證CSB 聯盟的可靠性.

文件處理層包括用戶端和CSP, 主要工作為文件的上傳和下載. 其中用戶端的主要執(zhí)行文件哈希、通過糾刪碼技術分塊等數據預處理任務, 以及對云上下載的數據進行讀取恢復. CSP 端主要負責文件的存儲,并將存儲地址通過CSB 返回給用戶.

2.3 威脅模型

本文的方案中, 處于聯盟內的CSB 共同維護一個全局視圖, 因此需要考慮以下因素.

(1) CSB 在對外宣稱自己將某個文件副本上傳至云端后, 多個用戶可能通過不同的CSB 上傳相同文件副本, 后者通過全局視圖得知該副本已被上傳過, 此時只需要以少量費用向前者換取文件實際存儲地址即可.假如前者為節(jié)省存儲開銷, 擅自將該副本在云端刪除,同時拒絕承認其惡意行為, 當其他用戶想要下載該文件副本時, 將會失敗.

(2)競爭對手可能與惡意CSB 勾結, 即使該CSB從未幫助任何用戶上傳過某個文件, 也可以在擁有全局視圖的情況下假裝自己也上傳過該數據的相同副本,進而竊取其他用戶存儲的數據.

3 數據去重

3.1 索引表設計

為便于實現數據的全局去重, 避免錯誤刪除造成用戶數據丟失, 文本專門設計了全局索引表, 用于存放用戶通過代理上傳文件的元數據信息. CSB 除維護自身的本地索引表外, 還共同維護一張全局索引表, 如圖4所示. CSB 將用戶上傳、刪除文件的元數據信息寫入區(qū)塊, 經區(qū)塊鏈達成共識并產生新塊后, 所有CSB 同步讀取新區(qū)塊的內容并更新全局索引表. 全局索引表以文件指紋值作為行鍵, 存儲了實際執(zhí)行存儲操作的代理、所有上傳相同副本的代理和上傳相同副本的用戶信息. 當用戶刪除自己上傳的文件時, CSB 將其對應的本地索引條目刪除, 同時將用戶刪除文件副本的元數據信息寫入區(qū)塊, 經區(qū)塊鏈同步至各CSB, 刪除全局索引表中該文件副本條目下用戶及對應CSB 的信息.如果當前僅有該用戶上傳過文件副本, 則刪除全局索引表中文件副本對應的整行條目.

圖4 索引表設計

3.2 去重算法設計

針對本文所提出的方案, 設計了多代理聯合去重算法. 首先, 計算文件簽名值. 然后CSB 在本地索引中比較簽名值, 查找是否存儲過相同副本. 如果存儲過,則僅需更新本地和全局索引表. 反之, 則需要比較全局索引中文件的簽名值, 查找是否有其他CSB 上傳過相同副本. 如果其他CSB 上傳過相同副本, 則該CSB 支付少量費用從實際執(zhí)行存儲的CSB 獲取文件副本在云中的存儲地址, 同時更新本地和全局索引. 為避免CSB 在擁有全局視圖的情況下非法竊取用戶數據, 在此過程中實際執(zhí)行存儲操作的CSB 會對執(zhí)行上傳操作的CSB 進行隨機提問, 如算法1 中第12–15 行所示.最后, 如果所有CSB 都未上傳過該文件副本, 則該CSB 上傳該副本, 并在本地和全局索引中增加對應條目. 算法如算法1 (算法符號標記及含義詳見表2).

算法1. 多代理聯合去重算法輸入: File輸出: Update Global_index_table, Local_index_table, upload file for each file k do fp= hash(k) //計算文件k 的簽名值 rl= search the fp in Local_index_table //在本地索引中查找的簽名值 if rl==true then update the record in Local_index_table //更新本地索引 update the record in Global_index_table //更新全局索引 else rg=search the fp in Global_index_table //在全局索引中查找k 的簽名值 if rg==true then fpn_CSBSave= SHA(k+nonce) //加入隨機數與文件合并哈希 the CSB_save send nonce to the CSB_put //返回隨機數 fpn_CSBPut=SHA(k+nonce) //計算隨機數與文件哈希 if fpn_CSBPut==fpn_CSBSave then //判斷是否合法上傳 update the record in Global_index_table //更新全局索引 the CSB_save send file_address of k to the CSB_put //返回文件k 在云中的存儲地址 else the CSB upload the file k to cloud //代理將用戶文件k 上傳至云 insert a new record in Local_index_table //更新本地索引 insert a new record in Global_index_table //更新全局索引end k

表2 算法符號標記及含義

4 安全性分析

針對上文提到的威脅模型, 及其可能帶來的問題進行安全性分析:

首先, 由于區(qū)塊鏈的特殊結構使得篡改區(qū)塊內容幾乎不可能, 因此CSB 一旦將某個文件副本上傳至云,并通過區(qū)塊鏈同步到各CSB, 他的行為將被所有節(jié)點記錄下來. 由于區(qū)塊鏈可追溯的特性, 盡管實際執(zhí)行存儲的CSB 可能為節(jié)約成本刪除云端文件, 并且不將該行為寫入區(qū)塊, 但是可以被很容易發(fā)現并且無法抵賴.由于惡意行為造成的損失遠大于合法行為帶來的收益,并且總會被發(fā)現, 因此CSB 幾乎不可能惡意刪除存儲在云中的文件.

其次, 盡管聯盟內的所有CSB 都擁有存儲文件的全局視圖, 但是CSB 仍然無法通過其他CSB 獲取其自身從未上傳過的文件. 因為全局索引表是通過區(qū)塊鏈同步而來, 具有較強的一致性, 雖然CSB 可以修改自己存儲的全局索引表, 但是無法篡改其他CSB 上存儲的全局索引表, 因此企圖通過篡改全局視圖竊取用戶數據的辦法是行不通的. 另外在提問環(huán)節(jié), 實際存儲文件副本的CSB 隨機產生一個隨機數, 與文件合并計算SHA-256 或者MD5 值, 然后將隨機數返回給要上傳相同文件副本的CSB. 加密算法的特性使得即使原始數據哪怕有1 bit 不同, 也幾乎不可能產生相同的哈希值.由于惡意CSB 和競爭對手沒有整個文件數據, 因此幾乎不可能正確回答問題.

5 仿真實驗

5.1 實驗環(huán)境

實驗代碼采用Python 語言編寫, 測試環(huán)境部署在Windows 10 操作系統(tǒng)上, 硬件環(huán)境為Intel(R) Core(TM)i5-10200HCPU @2.40GHz 處理器, 8 GB 內存容量. 數據集采用搜狗實驗室中的全網新聞數據2012 版, 從中隨機選取14000 篇新聞進行后續(xù)實驗. 實驗模擬了多個用戶通過3 個云代理向不同的云服務器存儲文件,區(qū)塊鏈采用PoW 共識算法. 使用Python 語言的multiprocessing 工具包, 建立4 個進程, 進程1–3 分別對應代理1–3, 協(xié)助用戶存儲文件, 各個進程之間相互獨立. 進程4 模擬了區(qū)塊鏈挖礦過程, 前3 個進程分別與第4 個進程交互, 以同步更新全局視圖.

5.2 結果分析

(1)去重效果比較

去重率是衡量系統(tǒng)好壞的一個重要指標, 去重率越高就越能夠節(jié)省云存儲空間, 提高帶寬利用率, 降低云服務代理存儲開銷. 其計算公式如下:

由式(5)可以看出, 系統(tǒng)去重率和DUPxyz有關, 理想情況下,DUPxyz越大, 系統(tǒng)去重率越大. 當DUPxyz=0時, 系統(tǒng)去重率達到下界, 此時經單代理內部去重后,代理之間向云上存儲的數據沒有任何一個是重復的.當經過單代理內部去重后仍然存在重復數據, 且所有重復數據都被檢測到并去重, 此時去重率達到上界.

由圖6 可以看出, 本文所提方案能夠明顯降低存儲空間. 使用傳統(tǒng)的單代理內部去重方案在代理1、代理2、代理3 上的去重率分別為2.97%、4.68%、9.08%,而使用BMBDA 方案在不同代理上的去重率分別可以達到4.33%、9.90%、12.68%, 明顯高于前一方案, 并且隨著用戶上傳文件數量的增加, 去重率越來越高. 使用BMBDA 方案后, 整個系統(tǒng)的去重率從5.99%提高到了9.90%, 相應地, 上傳文件副本產生的網絡帶寬開銷也隨之降低. 因此本文所提出方案可以顯著提高去重效果, 為云服務代理提供更大的收益和更好的服務質量. 出于利益最大化考慮, 越來越多的CSB 會加入代理聯盟, 這也進一步佐證了本方案的可行性.

圖5 文件去重示意圖

圖6 去重效果對比

(2)性能評估

區(qū)塊鏈的特殊結構和共識機制使得其具有效率不高的缺點, 可能影響本文所提方案的性能, 因此設計實驗對文件以不同速率上傳的情況進行分析. 本文適當調整了PoW 算法“挖礦”難度, 將出塊時間設置為3 s.

由圖7 可以看出, 當文件上傳速率高于1 時, 去重率趨于平穩(wěn). 因為仿真區(qū)塊鏈每3 s 生成一個區(qū)塊, 每個區(qū)塊包含7 筆“交易” (文件上傳)信息, 當每個代理都以0.8 個/s 的速率上傳文件時, 區(qū)塊鏈就剛好可以將所有交易打包生成區(qū)塊, 而不會存在大量交易排隊等待的現象.在文件傳輸速率高于1 時, 系統(tǒng)去重率仍然會有極小變化, 這是因為可能存在不同用戶幾乎同時上傳相同副本的情況, 同時又發(fā)生在打包一個區(qū)塊時段內, 然而此時全局索引表上還沒有該重復副本的元數據信息.

圖7 不同上傳速率對系統(tǒng)去重的影響

綜上, 雖然區(qū)塊鏈性能瓶頸對高上傳速率下的去重率有一定影響, 但并不妨礙其使用. 并且即使在文件上傳速率很高時, BMBDA 方案也顯示出了較好的數據去重能力, 明顯好于現有的單代理數據去重方案.

6 總結與展望

針對多云環(huán)境下的數據冗余問題, 本文提出了一種基于區(qū)塊鏈的多代理聯合去重方案, 通過區(qū)塊鏈將云服務代理聯合起來, 進行覆蓋更多用戶和云的去重工作. 為促成這種聯合引入了區(qū)塊鏈技術而非受信任的第三方,區(qū)塊鏈不可篡改的特性也有助于提高系統(tǒng)的安全穩(wěn)定性. 通過聯合去重, 進一步降低了存儲空間, 節(jié)約了網絡帶寬, 同時實現了用戶、云服務代理和云服務提供商的共贏. 該方案特別適用于處于起步階段的云服務代理商,他們由于初期投入成本受限往往只能代理某個地區(qū)個別云服務商的存儲產品, 同時由于合作能夠降低存儲開銷并提高用戶存儲體驗, 因此市場競爭力也大為提高. 例如, 很多用戶可能將某部流行電影存到云盤上以備今后觀看, 使用本文方案此過程可能僅需幾秒.

未來工作應著重解決兩個問題: 首先是區(qū)塊鏈性能瓶頸問題, 導致文件元數據同步時間長、去重效率不高. 其次是負載均衡問題, 例如集中下載某個副本可能造成實際存儲該副本的云提供商服務癱瘓. 針對以上問題, 一是可以通過提高區(qū)塊鏈中的塊存儲容量, 提高文件元數據同步的平均時間. 例如Bitcoin-NG[15]技術可以在不改變塊容量的基礎上, 引入微區(qū)塊實現輔助擴容. 二是通過選擇更加合適的共識算法, 進一步提高區(qū)塊鏈的出塊速度. 三是使用糾刪碼技術對文件分塊, 合理分配將塊文件存儲到多個云上, 同時避免單點存儲造成性能瓶頸和安全性下降.