康金兵 德州職業(yè)技術(shù)學(xué)院

油田設(shè)備文件系統(tǒng)數(shù)據(jù)存儲(chǔ)的優(yōu)化

康金兵 德州職業(yè)技術(shù)學(xué)院

Web油田智能網(wǎng)把所有關(guān)于文件系統(tǒng)名稱空間的信息和狀態(tài)的信息存儲(chǔ)在系統(tǒng)的映像文件中，編輯日志文件會(huì)存儲(chǔ)文件系統(tǒng)中所有的元數(shù)據(jù)的變化情況。文件系統(tǒng)映像和編輯日志都存儲(chǔ)在智能網(wǎng)的本地文件系統(tǒng)上。智能網(wǎng)建設(shè)過程中，需要對(duì)數(shù)據(jù)庫信息進(jìn)行檢索，確保數(shù)據(jù)庫信息能夠符合節(jié)點(diǎn)控制和文件管理的要求。對(duì)于Web油田智能網(wǎng)，錯(cuò)誤恢復(fù)就是靠文件系統(tǒng)映像和編輯日志。一旦網(wǎng)絡(luò)出現(xiàn)問題，它就會(huì)根據(jù)最近的文件系統(tǒng)映像和映像之后的所有日志重新建立整個(gè)文件目錄，從而恢復(fù)智能網(wǎng)功能。

信息控制；設(shè)備；Web油田智能網(wǎng)；設(shè)計(jì)；存儲(chǔ)

1 活動(dòng)Web油田智能網(wǎng)在線設(shè)計(jì)

Web油田智能網(wǎng)把所有關(guān)于文件系統(tǒng)名稱空間的信息和狀態(tài)的信息存儲(chǔ)在系統(tǒng)的映像文件中（文件系統(tǒng)映像是文件系統(tǒng)元數(shù)據(jù)的持久性檢查點(diǎn)，包含文件系統(tǒng)中文件的復(fù)制等級(jí)、修改和訪問時(shí)間、訪問權(quán)限、數(shù)據(jù)塊的大小以及組成文件的數(shù)據(jù)塊，對(duì)于目錄則存儲(chǔ)它們的修改時(shí)間、權(quán)限和配額元數(shù)據(jù)），編輯日志文件會(huì)存儲(chǔ)文件系統(tǒng)中所有的元數(shù)據(jù)的變化情況（文件系統(tǒng)客戶端執(zhí)行寫操作，如新建文件或移動(dòng)文件的時(shí)候，首先會(huì)被記錄在編輯日志中，編輯日志會(huì)在每次寫操作之后但尚未將成功代碼返回給客戶端時(shí)被刷新和同步）。文件系統(tǒng)映像和編輯日志都存儲(chǔ)在智能網(wǎng)的本地文件系統(tǒng)上。

2 Web油田智能網(wǎng)空間日志設(shè)計(jì)

Web油田智能網(wǎng)會(huì)定期為名稱空間建立檢查點(diǎn)，它從活動(dòng)的智能網(wǎng)上下載文件系統(tǒng)映像并編輯日志，然后在本地進(jìn)行組合，之后再把新的文件系統(tǒng)映像上傳到活動(dòng)Web油田智能網(wǎng)上。

數(shù)據(jù)節(jié)點(diǎn)是基本的文件存儲(chǔ)單元，是HDFS分布式文件系統(tǒng)中的工作者。數(shù)據(jù)節(jié)點(diǎn)的主要工作模式就是定期向Web油田智能網(wǎng)匯報(bào)其狀況、等待并處理存儲(chǔ)數(shù)據(jù)。它將數(shù)據(jù)塊存儲(chǔ)在本地文件系統(tǒng)中同時(shí)，周期性地發(fā)送數(shù)據(jù)塊的報(bào)告給Web油田智能網(wǎng)，通常以Rack（機(jī)架）的形式組織，通過一個(gè)交換機(jī)將所有系統(tǒng)連接在一起。Hadoop的一個(gè)假設(shè)是：機(jī)架內(nèi)部節(jié)點(diǎn)之間的數(shù)據(jù)傳輸速度比機(jī)架之間節(jié)點(diǎn)的傳輸速度快。

3 客戶端分布式文件的應(yīng)用程序

3.1 客戶端應(yīng)用程序設(shè)計(jì)

客戶端代表用戶通過與Web油田智能網(wǎng)和數(shù)據(jù)節(jié)點(diǎn)交互來訪問整個(gè)文件系統(tǒng)。它以一個(gè)類庫（包）的模式存在，并且在一個(gè)獨(dú)立的進(jìn)程中提供服務(wù)，為用戶提供文件讀寫、目錄操作等接口。當(dāng)用戶需要對(duì)HDFS進(jìn)行文件讀寫的時(shí)候，只需要配置客戶端相關(guān)的包就可以使用HDFS提供的服務(wù)了。

客戶端提供一個(gè)類似POSIX（可移植操作系統(tǒng)界面）的文件系統(tǒng)接口，因此用戶在編程時(shí)并不需要知道Web油田智能網(wǎng)和數(shù)據(jù)節(jié)點(diǎn)及其功能?？蛻舳讼氚盐募懙紿DFS上，需要先將該文件緩存到本地的臨時(shí)存儲(chǔ)設(shè)備中，如果緩存的數(shù)據(jù)大于所需的HDFS數(shù)據(jù)塊大小，創(chuàng)建文件的請(qǐng)求將發(fā)送給智能網(wǎng)。實(shí)際的I/O事務(wù)并沒有經(jīng)過Web油田智能網(wǎng)，只有表示數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)塊的文件映射的元數(shù)據(jù)才經(jīng)過該網(wǎng)絡(luò)。

文件系統(tǒng)數(shù)據(jù)集群（Cluster）可以提高網(wǎng)絡(luò)數(shù)據(jù)信息管理能力，在節(jié)點(diǎn)之間通過高性能網(wǎng)絡(luò)（LAN或WAN）進(jìn)行物理連接，這些計(jì)算機(jī)通過某種方式協(xié)同工作以完成共同的任務(wù)；同時(shí)文件數(shù)據(jù)集群系統(tǒng)可以為用戶和應(yīng)用程序提供統(tǒng)一的系統(tǒng)映像，可以使用戶和應(yīng)用程序與文件數(shù)據(jù)集群系統(tǒng)進(jìn)行交互時(shí)，整個(gè)文件數(shù)據(jù)集群系統(tǒng)就像是一臺(tái)高性能的計(jì)算機(jī)。

3.2 客戶端數(shù)據(jù)節(jié)點(diǎn)檢索

Web油田智能網(wǎng)建設(shè)過程中，需要對(duì)數(shù)據(jù)庫信息進(jìn)行檢索，確保數(shù)據(jù)庫信息能夠符合節(jié)點(diǎn)控制和文件管理的要求。具體設(shè)計(jì)過程中需要擁有一臺(tái)主服務(wù)器（action）完成對(duì)數(shù)據(jù)信息的統(tǒng)計(jì)與整理，同時(shí)需要若干個(gè)客戶端和備份機(jī)（standby），此種模式通常被稱為active/standby模式，可以實(shí)現(xiàn)數(shù)據(jù)信息之間的通信。

在文件系統(tǒng)模型優(yōu)化的過程中，需要進(jìn)行資源分配，讓不同的機(jī)器設(shè)備運(yùn)用不同結(jié)構(gòu)的文件系統(tǒng)，通過雙機(jī)互備模式，把設(shè)備資源和服務(wù)器結(jié)構(gòu)結(jié)合在一起，實(shí)現(xiàn)故障的多方面處理，為故障檢測(cè)和故障模型優(yōu)化提供支持。在設(shè)備運(yùn)行的過程中，可以提高文件系統(tǒng)的綜合管理效率，實(shí)現(xiàn)文件系統(tǒng)的優(yōu)化管理。

通過建立負(fù)載均衡文件系統(tǒng)數(shù)據(jù)集群，提高對(duì)資源的利用率，為資源數(shù)據(jù)信息優(yōu)化創(chuàng)造良好的平臺(tái)。在均衡文件處理中，需要對(duì)不同的服務(wù)節(jié)點(diǎn)設(shè)置不同的權(quán)限，確保文件能夠符合數(shù)據(jù)集群控制處理的要求。在用戶數(shù)據(jù)信息處理之間形成文件管理系統(tǒng)，在調(diào)用文件管理系統(tǒng)的文件時(shí)進(jìn)行讀寫保護(hù)，確保文件系統(tǒng)能夠均衡負(fù)載在不同的服務(wù)器上，提高服務(wù)器和文件系統(tǒng)的管理效率。

3.3 數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)模式

將Web油田智能網(wǎng)的功能轉(zhuǎn)化成數(shù)學(xué)語言就是：對(duì)于一個(gè)含有N個(gè)樣本的樣本空間，將其記為{X1,X2,…XN}，每一個(gè)樣本X(t)有n個(gè)屬性，并且每個(gè)樣本屬于一個(gè)分類yt，現(xiàn)在假定分類總數(shù)為2，也就是yt∈(0,1)，模型的目標(biāo)就是要找一組超平面，盡可能多的將這兩類樣本分開。

在分布式環(huán)境中，隨時(shí)都有可能發(fā)生機(jī)器失效的情況，HDFS的三個(gè)組成部分(Web油田智能網(wǎng)、數(shù)據(jù)節(jié)點(diǎn)和客戶端)都有可能出現(xiàn)這種問題。通過智能網(wǎng)數(shù)據(jù)優(yōu)化處理和節(jié)點(diǎn)設(shè)計(jì)，可以實(shí)現(xiàn)數(shù)據(jù)信息的傳輸和日志管理。

4 結(jié)語

對(duì)于Web油田智能網(wǎng)，錯(cuò)誤恢復(fù)就是靠文件系統(tǒng)映像和編輯日志。在該網(wǎng)絡(luò)上，所有對(duì)文件和目錄操作的關(guān)鍵步驟都會(huì)被寫入日志（具體的文件內(nèi)容處在哪個(gè)數(shù)據(jù)服務(wù)器上的信息是不會(huì)被寫入日志的，因?yàn)檫@些信息是動(dòng)態(tài)建立的）。另外，網(wǎng)絡(luò)會(huì)在某個(gè)時(shí)刻將當(dāng)下的文件目錄完整的序列化到本地，稱為文件系統(tǒng)映像。一旦網(wǎng)絡(luò)出現(xiàn)問題，它就會(huì)根據(jù)最近的文件系統(tǒng)映像和映像之后的所有日志重新建立整個(gè)文件目錄，從而恢復(fù)智能網(wǎng)功能。此時(shí)，數(shù)據(jù)節(jié)點(diǎn)會(huì)獲得新的Web油田智能網(wǎng)的信息并向該網(wǎng)絡(luò)發(fā)送消息。

（欄目主持關(guān)梅君）

10.3969/j.issn.1006-6896.2014.5.043