楊 柳

（國網(wǎng)上海市電力公司信息通信公司 上海 200072）

1 引言

隨著我國科學(xué)技術(shù)水平的不斷提升，對(duì)于數(shù)據(jù)和科學(xué)實(shí)驗(yàn)的發(fā)展速度也不斷加快，雖然當(dāng)下信息和數(shù)據(jù)的存儲(chǔ)系統(tǒng)已經(jīng)具備可靠性、可用性和高效性優(yōu)勢，但是隨著數(shù)據(jù)總量的不斷增大，其數(shù)據(jù)的復(fù)雜性也隨之提升，引進(jìn)溯源管理越發(fā)重要。

2 溯源收集應(yīng)用環(huán)境

2.1 實(shí)驗(yàn)細(xì)節(jié)

在溯源對(duì)象產(chǎn)生的數(shù)據(jù)收集、儲(chǔ)存以及分析過程中，技術(shù)人員經(jīng)常要對(duì)產(chǎn)生的數(shù)據(jù)和信息進(jìn)行處理與發(fā)布。由于在實(shí)際的實(shí)驗(yàn)過程中，數(shù)據(jù)總數(shù)產(chǎn)生規(guī)模較大，并且數(shù)據(jù)的整體結(jié)構(gòu)相對(duì)來說比較復(fù)雜，加上可能沒有全部記錄其中的細(xì)節(jié)，因此極易出現(xiàn)數(shù)據(jù)產(chǎn)生所使用的版本或者數(shù)據(jù)來源以及運(yùn)算過程缺失，導(dǎo)致其流程或者環(huán)節(jié)缺乏準(zhǔn)確性。利用對(duì)象存儲(chǔ)下的溯源收集技術(shù)，可以把最終結(jié)果作為運(yùn)算的起源，并且精準(zhǔn)地分辨數(shù)據(jù)在運(yùn)算過程中產(chǎn)生的詳細(xì)數(shù)據(jù)參數(shù)。即使數(shù)據(jù)大部分缺失，利用溯源系統(tǒng)也能夠輕松地獲取未知的依賴集，并且以此為基礎(chǔ)，提供當(dāng)前系統(tǒng)和數(shù)據(jù)依賴的注冊信息文件、文件結(jié)構(gòu)系統(tǒng)所描述的運(yùn)行結(jié)構(gòu)等。由此可以得出相關(guān)結(jié)論，在實(shí)際的科研實(shí)驗(yàn)或者數(shù)據(jù)計(jì)算過程中，依靠溯源收集系統(tǒng)，可以有效地保障數(shù)據(jù)的準(zhǔn)確性。

2.2 數(shù)據(jù)驗(yàn)證

計(jì)算機(jī)的普及使科學(xué)研究以及數(shù)據(jù)的計(jì)算共享變得更加簡便，在技術(shù)人員進(jìn)行相關(guān)的數(shù)據(jù)實(shí)驗(yàn)以及操作之前，需要驗(yàn)證相關(guān)的數(shù)據(jù)集合，進(jìn)行系統(tǒng)的分辨，驗(yàn)證所使用的數(shù)據(jù)集合在實(shí)際產(chǎn)生過程中的準(zhǔn)確性[1]。溯源系統(tǒng)能夠有效地在數(shù)據(jù)儲(chǔ)存、整理以及分析方面協(xié)助技術(shù)人員，比如數(shù)據(jù)集合的版本信息、參數(shù)信息設(shè)置，以及數(shù)據(jù)集合過程中經(jīng)過一些步驟，重新生成的數(shù)據(jù)集合體等。

2.3 系統(tǒng)安全

在數(shù)據(jù)進(jìn)行運(yùn)作和收集過程中，數(shù)據(jù)的安全至關(guān)重要。溯源系統(tǒng)可以精準(zhǔn)地追溯數(shù)據(jù)系統(tǒng)攻擊的主要來源。用戶一旦對(duì)某些數(shù)據(jù)和系統(tǒng)操作識(shí)別出有害攻擊，就可以利用相關(guān)的技術(shù)措施通過溯源表格中的總體進(jìn)程，尋找出實(shí)驗(yàn)過程中攻擊區(qū)域的來源。除此之外，用戶還可以利用溯源系統(tǒng)表格，明確系統(tǒng)對(duì)于外部干涉可能面臨的危險(xiǎn)，或者數(shù)據(jù)模糊問題，最終檢查出危險(xiǎn)來源，從根本上保證科學(xué)實(shí)驗(yàn)數(shù)據(jù)的安全性[2]。

3 對(duì)象儲(chǔ)存的特點(diǎn)

（1）非結(jié)構(gòu)存儲(chǔ)：對(duì)象存儲(chǔ)適用于存儲(chǔ)非結(jié)構(gòu)化的數(shù)據(jù)，我們?nèi)粘Ｉ钪幸姷降奈臋n、文本、圖片、XML、HTML、報(bào)表、音視頻信息等都是非結(jié)構(gòu)化數(shù)據(jù)。據(jù)統(tǒng)計(jì)，自社交網(wǎng)絡(luò)發(fā)展以來，非結(jié)構(gòu)化數(shù)據(jù)占總數(shù)據(jù)量的75%。

（2）多節(jié)點(diǎn)：以騰訊云對(duì)象存儲(chǔ)COS為例，COS的存儲(chǔ)機(jī)房遍布全球，簡單來說，不管你身處何地，都可以選擇將數(shù)據(jù)存儲(chǔ)在就近的機(jī)房，加快數(shù)據(jù)的傳輸訪問。

（3）扁平結(jié)構(gòu)：對(duì)象存儲(chǔ)中沒有文件夾的概念，所有數(shù)據(jù)均存儲(chǔ)在同一個(gè)層級(jí)中，如上述介紹提到，對(duì)于存在對(duì)象存儲(chǔ)中的數(shù)據(jù)，你不需要知道它存在哪里，只需要通過“憑證”就可以快速獲取數(shù)據(jù)。

（4）彈性擴(kuò)容：對(duì)象存儲(chǔ)的容量是EB級(jí)以上的，這個(gè)容量還在不斷的上升，簡單來說，不管你有多少數(shù)據(jù)，請(qǐng)放心的存，容量管夠！

4 溯源收集與存儲(chǔ)技術(shù)分析

4.1 溯源收集結(jié)構(gòu)框架設(shè)計(jì)

對(duì)于溯源收集結(jié)構(gòu)框架的設(shè)計(jì)需要利用科學(xué)、合理的方式，該系統(tǒng)主要由對(duì)象存儲(chǔ)客戶端和對(duì)象存儲(chǔ)結(jié)構(gòu)設(shè)備端共同組成。其中對(duì)象存儲(chǔ)客戶端包括文件狀態(tài)技術(shù)分析、文件格式技術(shù)分析、文件應(yīng)用程序audit等三個(gè)溯源模塊，并且分別對(duì)設(shè)備系統(tǒng)狀態(tài)、系統(tǒng)文件格式及系統(tǒng)普通應(yīng)用程序執(zhí)行等相關(guān)的溯源信息進(jìn)行全面收集，然后將所收集到的數(shù)據(jù)和溯源信息進(jìn)行傳送，最終到達(dá)對(duì)象文件系統(tǒng)的終端。不影響溯源感知存儲(chǔ)系統(tǒng)卷上文件狀態(tài)的進(jìn)程、管道以及非溯源感知存儲(chǔ)系統(tǒng)卷上的文件是非永久性對(duì)象，這些對(duì)象的湖源都是沒有利用價(jià)值的溯源。把有利用價(jià)值的洲源提取出來進(jìn)行存儲(chǔ)可以減少對(duì)存儲(chǔ)空間的需求。本節(jié)研究了洲源存儲(chǔ)格式并介紹了提取有價(jià)值的測源的方法、對(duì)非永久性對(duì)象的處理以及溯源的消環(huán)處理。數(shù)據(jù)在對(duì)象系統(tǒng)客戶端中，主要的功能是將溯源相關(guān)數(shù)據(jù)信息存儲(chǔ)到緩沖區(qū)域，并且通過對(duì)象的相關(guān)命令接口，將溯源產(chǎn)生的數(shù)據(jù)信息在此傳送，最終到達(dá)對(duì)象文件系統(tǒng)的設(shè)備終端。而對(duì)象存儲(chǔ)結(jié)構(gòu)設(shè)備端在實(shí)際的運(yùn)轉(zhuǎn)和操作過程中，負(fù)責(zé)針對(duì)對(duì)象命令進(jìn)行全面收集、管理以及解析，以此提取出內(nèi)部相關(guān)的溯源信息，并且將所收集的溯源信息重新寫入創(chuàng)建的對(duì)象數(shù)據(jù)信息文件中。對(duì)象存儲(chǔ)結(jié)構(gòu)設(shè)備端在日常的運(yùn)轉(zhuǎn)過程中，可以進(jìn)一步讀取數(shù)據(jù)文件相關(guān)數(shù)據(jù)，并且將相關(guān)數(shù)據(jù)逐步存儲(chǔ)到BerkeleyDB的相應(yīng)數(shù)據(jù)庫中。隨后通過溯源查詢的相關(guān)模塊，根據(jù)需要查詢的關(guān)鍵字，對(duì)數(shù)據(jù)庫進(jìn)行相關(guān)區(qū)域檢索，最后將所查詢到的數(shù)據(jù)信息以文字報(bào)表的方式進(jìn)行展示。

4.2 對(duì)象文件系統(tǒng)設(shè)置

4.2.1 對(duì)象概論

對(duì)象是系統(tǒng)中數(shù)據(jù)存儲(chǔ)的基本單位，一個(gè)對(duì)象實(shí)際上就是文件的數(shù)據(jù)和一組屬性信息（Meta Data）的組合，這些屬性信息可以定義基于文件的RAID參數(shù)、數(shù)據(jù)分布和服務(wù)質(zhì)量等，而傳統(tǒng)的存儲(chǔ)系統(tǒng)中用文件或塊作為基本的存儲(chǔ)單位，在塊存儲(chǔ)系統(tǒng)中還需要始終追蹤系統(tǒng)中每個(gè)塊的屬性，對(duì)象通過與存儲(chǔ)系統(tǒng)通信維護(hù)自己的屬性。在存儲(chǔ)設(shè)備中，所有對(duì)象都有一個(gè)對(duì)象標(biāo)識(shí)，通過對(duì)象標(biāo)識(shí)OSD命令訪問該對(duì)象。通常有多種類型的對(duì)象，存儲(chǔ)設(shè)備上的根對(duì)象標(biāo)識(shí)存儲(chǔ)設(shè)備和該設(shè)備的各種屬性，組對(duì)象是存儲(chǔ)設(shè)備上共享資源管理策略的對(duì)象集合等。對(duì)象文件系統(tǒng)在日常的操作和使用中，主要的功能是封裝相關(guān)的溯源信息，對(duì)象的主要定義與其所在的相關(guān)系統(tǒng)以及數(shù)據(jù)文件溯源模型有關(guān)。對(duì)于數(shù)據(jù)庫中已經(jīng)存在的溯源信息相關(guān)系統(tǒng)來說，文字文件是數(shù)據(jù)的基礎(chǔ)元組；對(duì)于現(xiàn)有的儲(chǔ)存系統(tǒng)來說，所獲取的溯源信息對(duì)象既可以是文件形式、文件形式中的某一部分、文件相關(guān)目錄也可以是文件內(nèi)部結(jié)構(gòu)中，暫時(shí)存在的對(duì)象，比如文件管道或文件進(jìn)程等。

4.2.2 對(duì)象操作流程

在溯源信息進(jìn)行通道傳輸時(shí)，需要從對(duì)象數(shù)據(jù)文件存儲(chǔ)的客戶端傳送到相關(guān)的設(shè)備終端，并且具有儲(chǔ)存以及訪問對(duì)象[3]，功能的實(shí)際命令流程如下。

第一，對(duì)象文件存儲(chǔ)客戶終端進(jìn)行溯源信息的收集后，針對(duì)其收集的相關(guān)信息讀取到數(shù)據(jù)文件的客戶端緩沖區(qū)中。第二，一旦數(shù)據(jù)信息進(jìn)入客戶端緩沖區(qū)后，需要相關(guān)系統(tǒng)利用osd_create_and_write相關(guān)的函數(shù)，將設(shè)備文件溯源信息進(jìn)行相關(guān)傳輸，最終傳輸?shù)綄?duì)象文件存儲(chǔ)設(shè)備終端，并且利用文件收集系統(tǒng)的相關(guān)功能，重新寫入到所建立全新的對(duì)象文件內(nèi)部中。其中，對(duì)象文件內(nèi)部結(jié)構(gòu)的通道路徑主要由無符號(hào)整數(shù)PID模式和 UID模式進(jìn)行共同標(biāo)識(shí)。PID模式和UID模式分別代表了系統(tǒng)結(jié)構(gòu)中的分區(qū)標(biāo)識(shí)符號(hào)，以及用戶對(duì)象標(biāo)識(shí)度，比如：在進(jìn)行文件操作時(shí)，應(yīng)針對(duì)設(shè)備終端端口的端目錄路徑文件進(jìn)行相關(guān)的操作。

5 結(jié)語

由此可見，本文運(yùn)用對(duì)象溯源數(shù)據(jù)處理技術(shù)，有效地提升了文件以及數(shù)據(jù)信息進(jìn)行儲(chǔ)存時(shí)的可靠性以及延展性。并且根據(jù)系統(tǒng)結(jié)構(gòu)終端內(nèi)核環(huán)節(jié)、文件結(jié)構(gòu)屬性以及各種應(yīng)用相關(guān)程序，進(jìn)行數(shù)據(jù)和信息的收集、分析以及儲(chǔ)存功能的探索。