俞天秀 吳健 趙良 許麗鵬
內容摘要:本文針對敦煌石窟數(shù)字化海量數(shù)據(jù)在實際工作數(shù)據(jù)傳輸過程中出現(xiàn)的問題,認為海量數(shù)據(jù)無差錯傳輸技術,在敦煌石窟數(shù)字化過程中是非常重要的一項技術。敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng)的設計與開發(fā),為了開發(fā)出實用性強的軟件,首先針對敦煌石窟壁畫數(shù)字化工作流程、分析攝影采集、圖像處理和數(shù)據(jù)存儲各階段的特點,提出了敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng)的需求;其次,設計了敦煌石窟海量數(shù)據(jù)傳輸校驗方案,針對敦煌石窟壁畫數(shù)字化工作流程提出了層級式校驗,依據(jù)該校驗思想,設計了數(shù)據(jù)校驗的整體框架并做了優(yōu)化,最后設計出數(shù)據(jù)傳輸校驗的詳細模型,確保了數(shù)據(jù)傳輸?shù)耐暾?最后,基于上述方案,設計并實現(xiàn)了敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng),利用VisualStudio2010開發(fā)平臺、C++程序開發(fā)語言完成系統(tǒng)的開發(fā)。此系統(tǒng)已在敦煌壁畫數(shù)字化工作中實際應用,效果良好。
關鍵詞:海量數(shù)據(jù);數(shù)據(jù)傳輸;數(shù)據(jù)校驗
中圖分類號:TP311.135.9;G256.1 ?文獻標識碼:A ?文章編號:1000-4106(2015)03-0109-07
Design and Development of the Error-free Transmission System for the Mass Data of the Dunhuang Caves
YU Tianxiu1,2,3,4,5 WU Jian1,2,3,4,5 ZHAO Liang1,2,3,4,5 XU Lipeng1,2,3,4
(1. Digitalization Center, Dunhuang Academy, Dunhuang, Gansu 736200;
2. National Research Center for Conservation of Ancient Wall Paintings and Earthen Sites,
Dunhuang, Gansu 736200;
3. Key Scientific Research Base for Conservation of Ancient Wall Paintings of SACH,
Dunhuang, Gansu 736200;
4. Key Laboratory for Conservation of Ancient Wall Paintings and Earthen Sites, Dunhuang, Gansu 736200;
5. Zhejiang University, Hangzhou, Zhejiang 310013)
Abstract: Error-free transmission technology used for the digital data of the Dunhuang caves is very important for resolving data transmission problems during actual work. The main work of this project is the design and development of an error-free transmission system for the mass data collected at the Dunhuang caves. Firstly, in order to develop practical software, we analyzed the characteristics of each stage, including photography gathering, image processing, and data storage, and then posited the requirement for an error-free transmission system for the mass data of Dunhuang caves. Secondly, we have designed a mass data transmission check scheme for this system. Based on the Dunhuang caves mural digital workflow, we recommended a process of hierarchical verification validation, designed and optimized the overall framework of data checking, then designed an exact model for data transmission validation, ensuring the integrity of data transmission. Finally, according to the above-mentioned scheme, we designed a working, error-free transmission system for the Dunhuang cave data. This system, developed with Visual Studios 2010 development platform and C++ programming language, has already been applied in digital work on Dunhuang murals with good results.
Keywords: mass data; data transmission; data validation
1 引 言
敦煌石窟壁畫數(shù)字化的探索與研究已經(jīng)歷了20年,并取得了豐碩的成果。早期與美國梅隆基金會、美國西北大學合作完成75dpi近20多個洞窟的壁畫數(shù)字化,隨著技術的不斷進步、數(shù)字化成果應用需求的增加,目前數(shù)字化分辨率為300dpi,已完成近90多個洞窟的攝影采集,另外,還有部分塑像的三維重建、莫高窟崖體的三維重建等數(shù)字化工作。敦煌壁畫數(shù)字化的高精度圖像已應用在敦煌石窟的保護、研究和弘揚工作中,為壁畫病害調查、修復和保存狀況提供依據(jù),為美術臨摹工作的線描稿起稿提供技術支持[1]。
按照目前壁畫數(shù)字化采集分辨率為300dpi,將莫高窟45000多平方米壁畫全部數(shù)字化將產生約200多萬張原始圖像,按照每張原始圖像文件量約為25MB計算,原始圖像數(shù)據(jù)量將超過50TB。將200多萬張原始圖像,經(jīng)過專業(yè)圖像軟件處理獲得整幅全景圖像,存儲處理過程和最終完成的文件數(shù)據(jù)量將超過300TB,莫高窟壁畫數(shù)字化產生的總數(shù)據(jù)量將超過350TB。
敦煌石窟數(shù)字化的過程涉及攝影采集、圖像處理、數(shù)據(jù)存儲和交換等環(huán)節(jié),如何確保數(shù)據(jù)在這些環(huán)節(jié)之間傳輸過程的正確性和完整性是一個至關重要的問題。在磁盤整陣列中保存的數(shù)據(jù),幾年甚至更久的時間可能都不會使用,如何確保數(shù)據(jù)不因設備和環(huán)境的變化而遭損壞,是另一個重要的問題。
本文將針對敦煌石窟數(shù)字化的流程,設計一款軟件,能夠對文件異常的數(shù)據(jù)自動預警提示,發(fā)現(xiàn)在傳輸過程中出現(xiàn)損壞的文件重新自動傳輸,直至通過數(shù)據(jù)驗證,避免數(shù)據(jù)傳輸發(fā)生錯誤,確保壁畫數(shù)字化資料保存完整性,提高敦煌石窟壁畫數(shù)字化工作效率。
研發(fā)成功的數(shù)據(jù)驗證軟件,不僅在敦煌石窟壁畫數(shù)字化方面應用,還可推廣到敦煌研究院其他數(shù)字化領域,甚至為其他文物保護單位數(shù)字化領域的數(shù)據(jù)完整驗證提供技術保障,為未來研發(fā)大型文物數(shù)據(jù)管理平臺提供數(shù)據(jù)傳輸安全技術支持。
2 敦煌石窟數(shù)字化數(shù)據(jù)傳輸
方式與存在的問題
2.1 數(shù)據(jù)傳輸方式
壁畫數(shù)字化攝影采集的原始圖像,首先從洞窟現(xiàn)場檢查計算機中拷貝至移動硬盤,在辦公室利用千兆局域網(wǎng)從移動硬盤拷貝數(shù)據(jù)至存儲服務器,這樣原始數(shù)據(jù)已經(jīng)發(fā)生了兩次數(shù)據(jù)傳輸。
利用千兆局域網(wǎng)絡將移動硬盤中的原始圖像數(shù)據(jù)上傳至服務器,圖像處理人員從服務器下載原始圖像數(shù)據(jù),圖像拼接完成后需要經(jīng)過反復檢查、修改,圖像定位、糾正,形成最終版本,這個過程會產生多次數(shù)據(jù)傳輸,如圖1所示。
敦煌壁畫數(shù)字化的過程比較復雜,采用多種傳輸介質,不同的傳輸介質受到自身以及環(huán)境因素的影像,例如:移動硬盤接口不穩(wěn)定、網(wǎng)絡丟包等現(xiàn)象,而發(fā)生這些現(xiàn)象沒有給使用者任何提示的消息,所以,將導致在數(shù)據(jù)傳輸過程中發(fā)生錯誤,無規(guī)律可循。
2.2 兩種傳輸方式產生的錯誤
a) 圖像畫面出現(xiàn)彩色線條
目前使用EOS-1DsMarkIII相機進行攝影采集原始圖像數(shù)據(jù),生成RAW格式文件,原始圖像文件在兩種數(shù)據(jù)傳輸方式下,都出現(xiàn)了圖像信息損壞,例如:畫面出現(xiàn)各種彩色線條,如圖2所示。有的整幅畫面都損壞,有的是局部損壞,損壞無規(guī)律可循。
拼接完成的整幅全景圖像,經(jīng)過數(shù)據(jù)傳輸也出現(xiàn)圖像信息損壞,例如:畫面出現(xiàn)彩色線條,這種線條需要將圖像放大到100%才可以看出來,如圖3所示。
b) 圖像文件量大小嚴重異常
使用EOS-1DsMarkIII相機,攝影采集分辨率在300dpi時,單幅原始圖像的文件量大小一般為25MB左右,發(fā)生數(shù)據(jù)傳輸后,文件量大小有0KB、2.3MB、11MB等,這些文件已經(jīng)嚴重損壞,無法打開。
c) 圖像文件量大小變化不大,文件內容損壞
原始數(shù)據(jù)發(fā)生數(shù)據(jù)傳輸后,文件量大小在25MB左右,但是圖像內容損壞,無法打開。
敦煌石窟壁畫數(shù)字化的實際工作中,已出現(xiàn)很多以上列舉的數(shù)據(jù)損壞現(xiàn)象,為了確保敦煌石窟數(shù)字化的數(shù)據(jù)能夠永久、完整地保存,在無法改變硬件環(huán)境的前提下,應該利用軟件作為輔助工具,解決數(shù)據(jù)傳輸不完整的問題。
3 敦煌石窟海量數(shù)據(jù)傳輸校驗方案設計
3.1 層級式校驗模型
敦煌石窟壁畫數(shù)字化分為攝影采集、圖像處理和數(shù)據(jù)存儲三大部分,每部分都涉及到數(shù)據(jù)傳輸?shù)膯栴},而每部分數(shù)據(jù)傳輸都具有自己的特點。攝影采集在洞窟第一現(xiàn)場工作,逐行逐格采集,每采集完一行需要圖像處理人員將CF卡中的圖像拷貝至電腦,然后現(xiàn)場核查圖像質量是否符合標準規(guī)范,要求攝影采集現(xiàn)場數(shù)據(jù)拷貝需要及時性且效率高。圖像處理在辦公室從服務器下載數(shù)據(jù)處理,數(shù)據(jù)傳輸?shù)募皶r性沒有攝影采集的高,數(shù)據(jù)存儲中數(shù)據(jù)備份的及時性就更低了。
針對敦煌石窟壁畫數(shù)字化流程,數(shù)字化不同階段數(shù)據(jù)傳輸?shù)牟煌匦裕疚奶岢隽酸槍Χ鼗褪邤?shù)字化數(shù)據(jù)傳輸?shù)膶蛹壥綌?shù)據(jù)校驗思想,如圖4所示。
層級式數(shù)據(jù)校驗的最大特性是可以提高數(shù)據(jù)校驗的效率,三級數(shù)據(jù)校驗分別代表如下意義:
一級校驗:針對攝影采集過程中出現(xiàn)單個圖像文件量達不到20M以上的情況,設定文件損壞閾值,低于文件損壞閾值的不拷貝給與警示,告知攝影師重新補拍。此級數(shù)據(jù)校驗針對單個文件,數(shù)據(jù)判斷耗時少。
二級校驗:是文件夾對比功能。敦煌石窟單個壁面需要采集十幾甚至幾十行,多個工作日完成,拷貝數(shù)據(jù)時用不同的顏色提示哪些是增量、哪些是相同的內容。此級數(shù)據(jù)校驗針對多個文件,數(shù)據(jù)判斷效率比一級數(shù)據(jù)校驗耗時多。
三級校驗:此級數(shù)據(jù)校驗是最嚴謹?shù)?,利用消息摘要驗證數(shù)據(jù)傳輸過程中數(shù)據(jù)的完整性。此級數(shù)據(jù)校驗收到數(shù)據(jù)傳輸速率、數(shù)據(jù)驗證的影響,比二級數(shù)據(jù)校驗耗時更多一些,但是數(shù)據(jù)驗證的準率最高。
層級式數(shù)據(jù)校驗尤其對攝影采集要求數(shù)據(jù)傳輸及時性高的特性非常適用,在圖像處理過程數(shù)據(jù)傳輸過程中一級數(shù)據(jù)校驗的功能基本不發(fā)揮作用,因為數(shù)據(jù)損壞閾值的判斷在攝影采集過程中就已完成,從服務器下載的數(shù)據(jù)肯定不會出現(xiàn)低于閾值的圖像文件。
3.2 數(shù)據(jù)傳輸模型設計
根據(jù)層級式數(shù)據(jù)校驗思想,數(shù)據(jù)傳輸模型設計如圖5所示。這個數(shù)據(jù)傳輸模型充分結合敦煌石窟數(shù)字化工作流程,從源數(shù)據(jù)加載后,首先執(zhí)行第一級數(shù)據(jù)校驗,文件閾值損壞判斷,將不合格的文件給與提示,由洞窟現(xiàn)場數(shù)據(jù)核查人員告知攝影師,讓重新補拍,獲取正確的圖像文件。
第二級數(shù)據(jù)校驗進行文件夾對比,用不同的顏色提示增加量、相同和損壞,選擇增量的文件進行傳輸,在傳輸之前首先判斷,被傳輸?shù)膶ο笫欠翊嬖谙鄬男畔⒄H绻嬖谔崾臼欠窀采w,如果不存在自動生成相應的信息摘要。為了避免在同一文件夾中,不同類型的文件具有相同的文件名生成的信息摘要因命名發(fā)生沖突,信息摘要的命名以文件名加文件擴張名的方式。
第三級數(shù)據(jù)校驗選擇數(shù)據(jù)傳輸方式及本地傳輸和FTP傳輸兩種,由于不同傳輸介質,傳輸速率不同,所以文件分塊閾值也不相同,需要在傳輸之前自行設定。對文件進行分塊后[2-4],每一塊也生成相應的信息摘要[5],依次傳輸每塊數(shù)據(jù)流,傳輸后對塊的信息摘要進行驗證,如果錯誤,就重新傳輸此塊數(shù)據(jù)。將所有塊都傳輸完成后,利用Merkle樹[6-7]進行驗證根的信息摘要,如果中間某一塊出現(xiàn)錯誤,立即定位出錯的塊,重新傳輸,直至數(shù)據(jù)完全正確后存儲。
4 系統(tǒng)設計與開發(fā)
4.1 系統(tǒng)總體設計
結合敦煌壁畫數(shù)字化實際工作需求與敦煌石窟海量數(shù)據(jù)的特性,集成本章之前所涉及的技術,解決敦煌壁畫數(shù)字化輸出傳輸產生的錯誤,保障數(shù)據(jù)的完整性和有效性,本文設計的敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng)功能如圖6所示。
(1) 數(shù)據(jù)加載:加載并顯示需要傳輸?shù)臄?shù)據(jù)對象,計算每個文件對象的文件量大小,為閾值判斷提供文件量大小的信息;
(2) 預處理:判斷數(shù)據(jù)傳輸對象是否需要分塊傳輸,如果需要分塊傳輸,就要進行數(shù)據(jù)分塊預處理、讀取文件擴展名、生成信息摘要、閾值判斷;
(3) 數(shù)據(jù)傳輸:數(shù)據(jù)校驗失敗的數(shù)據(jù)重新傳輸;
(4) 數(shù)據(jù)校驗:單一未分塊數(shù)據(jù)直接校驗,分塊傳輸以MerkleTree數(shù)據(jù)結構的數(shù)據(jù)校驗,多指紋模式對信息摘要的校驗;
(5) 數(shù)據(jù)校驗合格后的數(shù)據(jù)在目的地磁盤中存儲。
4.2 系統(tǒng)功能設計
依據(jù)圖7所示,系統(tǒng)各個功能如下:
(1) 數(shù)據(jù)對象加載并顯示功能:數(shù)據(jù)加載數(shù)據(jù)的選取有兩種方式:第一種,通過文件路徑選取相應的文件夾或者文件加載相應的信息;第二種,支持文件夾拖拽,計算文件的文件量大小。
(2) 無效文件閾值判斷功能:為了解決壁畫數(shù)字化攝影采集中,由于閃光燈和快門未同步,造成采集到的圖像為純黑色,沒有任何信息。這類圖像在圖像處理時沒有任何意義,所以,數(shù)據(jù)拷貝過程中可直接過濾此類圖像,達到提高拷貝數(shù)據(jù)的有效性和工作效率??紤]到軟件今后應用在敦煌石窟數(shù)字化的不同領域,閾值的大小可根據(jù)實際工作任意設定,0代表不做閾值判斷,小于閾值的數(shù)據(jù)在傳輸時有提示功能,用戶根據(jù)實際情況選擇是否傳輸,類似事件可采用相同動作功能;此功能排除對信息摘要的判斷。
(3) 文件分塊功能:為了提高數(shù)據(jù)傳輸完整性的效率,對大文件進行分塊傳輸校驗,設置文件分塊閾值和分塊大小設置功能,用戶可根據(jù)實際傳輸情況設定相應的值。
(4) 生成信息摘要功能:每一個被傳輸?shù)臄?shù)據(jù)對象,采用哈希算法SHA-1生成相應的信息摘要;信息摘要的命名如果與文件名相同,會出現(xiàn)同一級目錄下相同文件名的不同文件類型,產生相同命名的信息摘要的沖突,例如兩幅圖像分別為“壁畫.tiff”和“壁畫.psd”。為了解決這一沖突,信息摘要的命名規(guī)則為文件名和文件擴張名的組合,例如“壁畫.tiff.sha1”和“壁畫.psd.sha1”。
(5) 信息摘要的冗余功能:為了將提高數(shù)據(jù)校驗的準確性,對針對數(shù)據(jù)生成的信息摘要,再生成信息摘要的信息摘要。
(6) 多路徑并行傳輸功能:首先判斷被傳輸?shù)膶ο笫欠翊嬖赟HA-1值,如果不存在,提示生成SHA-1值,再進行數(shù)據(jù)傳輸,避免用戶數(shù)據(jù)傳輸后再生成SHA-1值,達不到數(shù)據(jù)校驗的目的。傳輸數(shù)據(jù)時,SHA-1值自動和數(shù)據(jù)同時傳輸。
(7) 數(shù)據(jù)校驗功能:未分塊數(shù)據(jù)直接進行校驗;對分塊數(shù)據(jù)采用MerkleTree數(shù)據(jù)結構的數(shù)據(jù)校驗;對信息摘要進行冗余校驗。
(8) 數(shù)據(jù)重傳功能:如果數(shù)據(jù)校驗失敗,針對相應的數(shù)據(jù)進行重傳直至數(shù)據(jù)校驗成功。
(9) 數(shù)據(jù)存儲功能:對校驗成功的數(shù)據(jù)保存。
(10) 文件及文件夾對比功能:對比源數(shù)據(jù)和目的數(shù)據(jù)文件數(shù)量,不同顏色顯示對比結果。
(11) 文件夾重命名功能:敦煌石窟壁畫數(shù)字化以石窟每一個壁面為存儲對象。例如:“東壁”為父文件夾,其子文件夾以每行拍攝的順序為命名:row001代表第一行拍攝,row002代表第二行拍攝,依此類推。為了用戶操作方便,首先對CF卡加載的文件夾修改文件名為row001、row002等,非常方便地將數(shù)據(jù)拷貝至電腦硬盤目的文件夾。
(12) 界面清除功能:為下一次拷貝數(shù)據(jù)提供全新的界面。
4.3 系統(tǒng)實現(xiàn)
本軟件的開發(fā)應用環(huán)境采用微軟公司推出的 Visual Studio2010[8],程序設計語言采用visualC++。
(1)文件列表界面
數(shù)據(jù)傳輸首先需要選擇要拷貝的數(shù)據(jù)對象。數(shù)據(jù)對象可選擇文件夾也可以直接選擇文件,通過“選擇目錄”按鈕,瀏覽文件目錄,彈出“瀏覽文件夾”對話框,選擇需要操作的文件夾或文件,如圖8所示。
(2) 拷貝功能
拷貝功能是本軟件的核心部分,根據(jù)敦煌壁畫數(shù)字化工作流程和數(shù)字化的數(shù)據(jù)數(shù)量多、單個文件量大的特點,拷貝對象既可以是文件夾,也可以是單個文件。為了確保數(shù)據(jù)校驗的有效性,數(shù)據(jù)拷貝之前必須對單個文件實體生成相應的SHA-1值,否則無法拷貝數(shù)據(jù)。考慮到同一文件夾中文件名相同而文件格式不同的現(xiàn)象存在,例如利用佳能1DsMarkIII拍攝圖像時,同一目錄下除了RAW格式的文件存在外,還存在低精度的jpeg格式的文件,在生成單個文件實體的SHA-1值時,文件命名加入了文件類型,例如MG172Z1O1250.CR2格式的文件對應的SHA-1值是MG172Z1O1250.CR2.sha1和MG172Z1O1250.jpg格式的文件對應的SHA-1值是MG172Z1O1250.jpg.sha1。
另外,依據(jù)敦煌壁畫數(shù)字化單個文件量基本會大于4GB,一般的文件讀取方式無法實現(xiàn),需要用到文件映射技術實現(xiàn)對大文件的讀寫操作。首先創(chuàng)建srcfile文件句柄和文件映射句柄,獲取文件大小,將srcfile對應的srcfile.sha1文件傳送到目標目錄,創(chuàng)建dstfile文件句柄和文件映射句柄,關閉srcfile和dstfile的文件句柄。然后獲取內存分配粒度(也就是內存一次能分配的最小字節(jié)數(shù),一般為64K),每次處理一個塊大小的數(shù)據(jù)。如果塊大小設置為0,強制將塊大小設置為最小粒度,循環(huán)處理每一個塊,使用文件映射的方式讀取文件內容。使用HashData函數(shù)計算源文件塊數(shù)據(jù)對應的SHA-1值srcHashCode,使用memcpy函數(shù)將源文件的一塊數(shù)據(jù)拷貝到目的文件中去,計算剛剛拷貝完成的目的塊數(shù)據(jù)對應的sha1值dstHashCode。比較srcHashCode和dstHashCode是否一致。如果不一致,這塊數(shù)據(jù)需要重新傳輸;如果一致,說明本塊數(shù)據(jù)傳輸正確,使用hasher累積本塊的hash值,亦即構造Merkle樹。取消源、目的文件映射,更新進度條,整個文件傳輸完畢之后計算的sha1值(亦即Merkle樹的樹根)和源文件的sha1作比較,如果不相等,那么整個文件就要重新傳輸。
(3) 設置閾值
點擊設置閾值,彈出閾值設置對話框,如圖9所示。
破損文件閾值:當某個文件大小低于此值時,文件名會顯示紅色;在文件拷貝過程中會被提示“此文件已損壞,是否繼續(xù)拷貝”。
文件分塊閾值:在文件拷貝過程中,如果某個文件大小低于此值,采取整個文件不分塊直接拷貝的策略。
分塊大小:如果拷貝文件量值高于“文件分塊閾值”設定值,那么在拷貝過程中,每次拷貝的數(shù)據(jù)量為“分塊大小”設定值。
通過文本輸入框設置“破損文件閾值”、“文件分塊閾值”、“分塊大小”相關參數(shù),點擊“確定”之后,新的參數(shù)將會寫入“配置閾值.txt”文件,也可以手動修改此文本文件。最后調用OnRefresh()更新文件列表,主要是“破損文件閾值”會影響到文件列表的顏色。
4.4 系統(tǒng)實際應用
依據(jù)數(shù)據(jù)傳輸?shù)哪P?、軟件系統(tǒng)功能,首先模擬一組數(shù)據(jù)進行系統(tǒng)功能測試,選擇文件大小只有2.3MB的圖像數(shù)據(jù),破損文件閾值設置20MB,拷貝時出現(xiàn)如圖10所示。
經(jīng)過多組數(shù)據(jù)模擬測試,敦煌石窟海量數(shù)據(jù)無差錯傳輸軟件順利通過。2013年下半年開始,由敦煌研究院數(shù)字中心工作人員分6組,在洞窟數(shù)字化現(xiàn)場利用工作數(shù)據(jù)實地應用,目前軟件運行效果較好。
5 展 望
隨著國家文化事業(yè)大發(fā)展、大繁榮的推進和文物數(shù)字化行業(yè)標準的制定以及互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等技術的不斷發(fā)展,在文物數(shù)字化行業(yè)中也將會產生海量的數(shù)據(jù)。文物數(shù)字化成果應用領域的增加,必然增加數(shù)據(jù)的交換與共享,數(shù)據(jù)在傳輸過程中數(shù)據(jù)的完整性需要得到可靠的保障。
本文開發(fā)的數(shù)據(jù)校驗軟件,只是結合敦煌壁畫數(shù)字化工作流程的特性,有其獨特性和廣泛性,目前可以推廣至敦煌石窟數(shù)字化的各個領域,確保數(shù)據(jù)在產生、傳輸和存儲過程中的數(shù)據(jù)完整性。當然隨著應用領域的擴大,軟件根據(jù)各領域的需求進行改進和完善。
下一步研究工作:
(1) 文物數(shù)字化面臨的一大難題是數(shù)字版權的控制,數(shù)據(jù)傳輸和下載的過程中除了驗證數(shù)據(jù)的完整性外,還需要考慮加入身份驗證,增加數(shù)據(jù)傳輸?shù)陌踩?,控制文物?shù)字化數(shù)據(jù)的任意流失。
(2) 將研究存儲在計算機中的數(shù)據(jù)定期進行數(shù)據(jù)校驗,主要考慮服務器的配置、穩(wěn)定性及I\O能力。工作人員同時上傳數(shù)據(jù),服務器的壓力過大,數(shù)據(jù)量越大、數(shù)據(jù)丟包的概率就會增加,所以,更加要求數(shù)據(jù)傳輸過程中數(shù)據(jù)的完整性校驗。
(3) 未來隨著文物數(shù)字化數(shù)據(jù)急劇增加,文物數(shù)字化數(shù)據(jù)就需要考慮云存儲模式,在云存儲中對數(shù)據(jù)完整性校驗的要求更高,這將是今后研究的重點之一。
參考文獻:
[1]樊錦詩.敦煌石窟保護與展示工作中的數(shù)字技術應用[J].敦煌研究,2009(6):1-3.
[2]謝華成,張昆朋,范黎林,et al.基于文件分割的二進制大對象存取算法[J].計算機應用,2011(10):2612-
2616.
[3]陳衛(wèi)衛(wèi),吳海佳,胥光輝.分布式存儲中文件分割的最優(yōu)化模型[J].解放軍理工大學學報(自然科學版),
2010(4):413-416.
[4]朱春花,張子彪,路新春.BLOB數(shù)據(jù)類型存取方法的研究及應用[J].計算機應用與軟件,2002(10):52-5.
[5]李志敏.哈希函數(shù)設計與分析[D].北京:北京郵電大學,2009.
[6]MERKLE RALPH.Secrecy,Authentication and Public Key Systems[D].Stanford University,1979.
[7]劉芳.Merkle可信樹遍歷算法及在數(shù)字簽名上的應用研究[D].北京:北京工業(yè)大學,2009.
[8]高陽.Visual Studio 2010架構建模新特性[J].程序員,2010(4):65-67.