岳志瑋

(天津海河傳媒集團(tuán)網(wǎng)絡(luò)信息部 天津 300072)

0 引 言

科技的騰飛推動(dòng)著社會(huì)的進(jìn)步，存儲(chǔ)技術(shù)的發(fā)展對于廣播電視技術(shù)的革新起到重要的作用，高性能存儲(chǔ)設(shè)備在節(jié)目制作系統(tǒng)中的地位逐漸凸顯出來。天津廣播電視臺(tái)的綜合云系統(tǒng)部署了穩(wěn)定、安全、高可用性的EMC品牌的 Isilon X410存儲(chǔ)，極大限度地保證了數(shù)據(jù)安全。本文結(jié)合系統(tǒng)運(yùn)行情況，重點(diǎn)闡述集群存儲(chǔ)的管理系統(tǒng)(OneFS)中的系統(tǒng)作業(yè)(System Jobs)功能。

1 System Jobs功能分析

OneFS是一種支持大數(shù)據(jù)吞吐需求的文件系統(tǒng)，包括作業(yè)引擎并行調(diào)度和作業(yè)管理框架等功能模塊，使得數(shù)據(jù)保護(hù)和存儲(chǔ)管理任務(wù)能夠跨集群分布并高效運(yùn)行，其最關(guān)鍵的功能是維護(hù)Isilon集群上數(shù)據(jù)的完整性，同時(shí)具備集群狀態(tài)監(jiān)控功能、文件系統(tǒng)性能優(yōu)化功能、保障驅(qū)動(dòng)器健康以及合理優(yōu)化存儲(chǔ)資源等功能。以上功能的實(shí)現(xiàn)肯定會(huì)產(chǎn)生數(shù)據(jù)流且占用一定的系統(tǒng)資源，因此需要一定的運(yùn)行分析時(shí)間[1]，這就涉及到了OneFS的作業(yè)引擎(Job Engine)的概念。OneFS中的“Job”可以理解為計(jì)劃任務(wù)或者系統(tǒng)作業(yè)，是一種在系統(tǒng)后臺(tái)執(zhí)行的、由作業(yè)引擎驅(qū)動(dòng)的任務(wù)類型。例如后臺(tái)文件分析作業(yè)、快照管理作業(yè)以及節(jié)點(diǎn)間數(shù)據(jù)平衡分布作業(yè)等，由于各種作業(yè)所需的執(zhí)行時(shí)間各不相同，且占用CPU和I/O資源(輸入輸出資源即讀寫資源)也有明顯差異，為了合理分配各條作業(yè)的運(yùn)行時(shí)間，作業(yè)引擎將各種功能的作業(yè)進(jìn)行分類，按不同的優(yōu)先級執(zhí)行。同時(shí)，在實(shí)際業(yè)務(wù)需要的時(shí)候，還可啟用管理員權(quán)限來進(jìn)行作業(yè)流程控制。當(dāng)系統(tǒng)硬件發(fā)生故障導(dǎo)致作業(yè)停止運(yùn)行時(shí)，作業(yè)引擎還可以使用檢查點(diǎn)系統(tǒng)進(jìn)行作業(yè)任務(wù)的斷點(diǎn)恢復(fù)。日常維護(hù)中，我們可以通過作業(yè)引擎系統(tǒng)監(jiān)控、設(shè)置及管理每一條作業(yè)，同時(shí)可以查看統(tǒng)計(jì)信息和日志報(bào) 告等。

OneFS作業(yè)引擎可以跨集群運(yùn)行，負(fù)責(zé)劃分和處理大型存儲(chǔ)的管理作業(yè)和數(shù)據(jù)保護(hù)任務(wù)。OneFS作業(yè)引擎將任務(wù)縮減為較小的工作項(xiàng)，分配或映射到各個(gè)節(jié)點(diǎn)上形成多線程運(yùn)行處理，在作業(yè)執(zhí)行過程中檢測和報(bào)告進(jìn)度，并在作業(yè)運(yùn)行結(jié)束時(shí)提供詳細(xì)報(bào)告和狀態(tài)分析數(shù)據(jù)。作業(yè)引擎系統(tǒng)還包括自適應(yīng)效果管理系統(tǒng)、智能驅(qū)動(dòng)控制以及多線程工作的能力，需占用特定的磁盤空間以及硬件或網(wǎng)絡(luò)資源在后臺(tái)運(yùn)行作業(yè)，通?？煞譃?類，如圖1所示。

圖1 作業(yè)類型 Fig.1 Job types

1.1 文件系統(tǒng)維護(hù)作業(yè)

這類作業(yè)執(zhí)行后臺(tái)文件系統(tǒng)維護(hù)的任務(wù)，通常需要訪問所有節(jié)點(diǎn)且在默認(rèn)配置下運(yùn)行。一般來說，在集群發(fā)生降級時(shí)會(huì)觸發(fā)此類作業(yè)運(yùn)行。

①柔性保護(hù)作業(yè)(Flex Protect)：當(dāng)集群存儲(chǔ)的硬件設(shè)備發(fā)生故障時(shí)，包括存儲(chǔ)節(jié)點(diǎn)和硬盤損壞，F(xiàn)lexProtect作業(yè)啟動(dòng)運(yùn)行，用以保證集群數(shù)據(jù)的安全及其他系統(tǒng)安全作業(yè)的正常運(yùn)行，此時(shí)集群狀態(tài)為degraded(降級)狀態(tài)，直到系統(tǒng)修復(fù)完成。

②自適應(yīng)平衡作業(yè)(Auto Balance)：存儲(chǔ)的級聯(lián)方式包括內(nèi)部級聯(lián)和外部級聯(lián)，外部級聯(lián)是通過每個(gè)節(jié)點(diǎn)的萬兆光纖線連接服務(wù)器和站點(diǎn)，保證數(shù)據(jù)訪問速度；內(nèi)部級聯(lián)是通過Infiniband交換機(jī)(節(jié)點(diǎn)級聯(lián)交換機(jī))將所有節(jié)點(diǎn)聯(lián)通，保證校驗(yàn)數(shù)據(jù)和應(yīng)用數(shù)據(jù)在節(jié)點(diǎn)間的通信。當(dāng)集群中有新加入的設(shè)備如節(jié)點(diǎn)或硬盤時(shí)，Auto Balance作業(yè)將啟動(dòng)，用以平衡集群中的數(shù)據(jù)使其均衡分布于節(jié)點(diǎn)硬盤上，以此來保證數(shù)據(jù)安全。

③完整性掃描作業(yè)(Integrity Scan)：該作業(yè)用于驗(yàn)證集群系統(tǒng)的完整性，時(shí)刻保障集群系統(tǒng)的健康和數(shù)據(jù)安全。

④媒體數(shù)據(jù)掃描作業(yè)(Media Scan)：作業(yè)運(yùn)行時(shí)掃描存儲(chǔ)磁盤，清除設(shè)備錯(cuò)誤，保證數(shù)據(jù)安全。一般來說，廣播電視節(jié)目制作系統(tǒng)使用存儲(chǔ)頻繁，數(shù)據(jù)交換每時(shí)每刻都在進(jìn)行，而Media Scan作業(yè)需要占用一定的系統(tǒng)資源，因此設(shè)定為每周掃描較為合適。

此外，OneFS系統(tǒng)中還設(shè)定一些較為重要的作業(yè)定期運(yùn)行來保障數(shù)據(jù)安全。例如：文件分析作業(yè)(FsAnalyze)，在/ifs存儲(chǔ)路徑下，對文件系統(tǒng)進(jìn)行分析并收集相關(guān)信息以優(yōu)化存儲(chǔ)，天津廣播電視臺(tái)綜合云系統(tǒng)設(shè)定每晚22點(diǎn)執(zhí)行此作業(yè)；快照刪除作業(yè)(Snap Shot Delete)，該作業(yè)用以執(zhí)行快照文件的刪除任務(wù)，快照機(jī)制利用數(shù)據(jù)指針的備份來保障數(shù)據(jù)安全，但快照文件會(huì)占用一定的存儲(chǔ)空間，需要定期刪除，OneFS系統(tǒng)支持手動(dòng)刪除和計(jì)劃任務(wù)作業(yè)刪除。

1.2 功能支持作業(yè)

在OneFS中配置并運(yùn)行此類作業(yè)來輔助系統(tǒng)實(shí)現(xiàn)各類存儲(chǔ)管理功能。

①智能存儲(chǔ)池作業(yè)(Smart Pools)：存儲(chǔ)池作業(yè)將各個(gè)存儲(chǔ)節(jié)點(diǎn)集成為存儲(chǔ)池，OneFS系統(tǒng)對存儲(chǔ)池進(jìn)行管理，包括資源調(diào)配、虛擬熱備盤及存儲(chǔ)池策略管理等。

②快照管理作業(yè)(Snap Shot IQ)：快照管理作業(yè)對快照文件進(jìn)行管理，實(shí)現(xiàn)文件系統(tǒng)層面上的數(shù)據(jù)安全保護(hù)。當(dāng)集群存儲(chǔ)上的數(shù)據(jù)發(fā)生改變時(shí)，OneFS系統(tǒng)會(huì)形成數(shù)據(jù)指針的快照文件快照(Snap Shots)列表，用戶可以根據(jù)業(yè)務(wù)需求使用快照文件恢復(fù)數(shù)據(jù)。該作業(yè)可對快照文件進(jìn)行創(chuàng)建、刪除、設(shè)定時(shí)刻表、修改屬性等操作。

③智能評估作業(yè)(Smart Quotas)：該作業(yè)可對存儲(chǔ)空間進(jìn)行管理。根據(jù)用戶實(shí)際業(yè)務(wù)需要，在存儲(chǔ)目錄上進(jìn)行配額限制，用來管理用戶、制作組，以及欄目的配額權(quán)限。當(dāng)空間配額不足時(shí)會(huì)發(fā)出報(bào)警。天津廣播電視臺(tái)的新聞云項(xiàng)目應(yīng)用此項(xiàng)功能進(jìn)行素材文 件、故事版文件以及共享素材盤的分離，實(shí)現(xiàn)了高效管理。

④同步管理作業(yè)(Sync IQ)：該作業(yè)用以實(shí)現(xiàn)不同集群之間的數(shù)據(jù)復(fù)制。作業(yè)運(yùn)行時(shí)，源集群上的目錄文件將復(fù)制到目標(biāo)集群上，且必須在當(dāng)前作業(yè)執(zhí)行完成后才能創(chuàng)建新的復(fù)制作業(yè)。復(fù)制策略分為同步策略和拷貝策略。

⑤監(jiān)控管理作業(yè)(Insight IQ)：該作業(yè)可監(jiān)控集群性能和使用情況，以此來優(yōu)化存儲(chǔ)性能。

⑥智能重復(fù)數(shù)據(jù)消除作業(yè)(Smart Dedupe)：利用Smart Dedupe作業(yè)可以消除集群上的重復(fù)校驗(yàn)信息和冗余數(shù)據(jù)，優(yōu)化磁盤空間的利用率。重復(fù)數(shù)據(jù)消除在目錄級別應(yīng)用，針對單個(gè)或多個(gè)目錄下的所有文件進(jìn)行，通過掃描集群中相同的數(shù)據(jù)塊，消除重復(fù)數(shù)據(jù)。用戶可以手動(dòng)啟動(dòng)Smart Dedupe作業(yè)，也可預(yù)先設(shè)定好計(jì)劃時(shí)刻表重復(fù)執(zhí)行，根據(jù)集群存儲(chǔ)的數(shù)據(jù)規(guī)模而定。一般來說，1～2周執(zhí)行1次即可。

1.3 用戶操作作業(yè)

此類作業(yè)由存儲(chǔ)管理員配置并運(yùn)行，用以實(shí)現(xiàn)對存儲(chǔ)數(shù)據(jù)的管理功能。

①目錄樹刪除作業(yè)(Tree Delete)：刪除/ifs中制定的文件路徑。

②權(quán)限許可修復(fù)作業(yè)(Permission Repair)：通過運(yùn)行此作業(yè)可以更改集群存儲(chǔ)中文件和目錄的使用權(quán)限，且必須手動(dòng)啟動(dòng)此作業(yè)。

OneFS系統(tǒng)定義了一個(gè)后臺(tái)執(zhí)行的作業(yè)庫來運(yùn)行維護(hù)存儲(chǔ)集群，包括各類文件系統(tǒng)維護(hù)、功能支持及用戶操作等作業(yè)類型。用戶可以根據(jù)實(shí)際環(huán)境需要預(yù)先設(shè)定好作業(yè)運(yùn)行的時(shí)刻表，也可以隨時(shí)手動(dòng)更改。當(dāng)存儲(chǔ)發(fā)生意外故障時(shí)，OneFS系統(tǒng)會(huì)緊急啟動(dòng)部分作業(yè)任務(wù)來進(jìn)行數(shù)據(jù)修復(fù)和補(bǔ)救，例如當(dāng)執(zhí)行智能故障檢測恢復(fù)(SmartFail)操作時(shí)，柔性保護(hù)作業(yè)(FlexProtect)任務(wù)將緊急啟動(dòng)，系統(tǒng)將會(huì)掃描文件系統(tǒng)，確保所有數(shù)據(jù)仍在被保護(hù)的狀態(tài)。OneFS系統(tǒng)的作業(yè)任務(wù)類型可在圖2位置查詢。

圖2 OneFS系統(tǒng)中的作業(yè) Fig.2 Jobs in OneFS system

2 System Jobs操作實(shí)施

OneFS的作業(yè)引擎系統(tǒng)時(shí)刻監(jiān)控系統(tǒng)性能和作業(yè)的運(yùn)行狀況，為保證后臺(tái)作業(yè)的運(yùn)行不會(huì)影響正常的數(shù)據(jù)業(yè)務(wù)和存儲(chǔ)的有效利用，以及I/O活動(dòng)的正常進(jìn)行，OneFS系統(tǒng)引入了優(yōu)先級策略[2]。日常維護(hù)中，管理員可以通過優(yōu)先級策略來管理作業(yè)的運(yùn)行時(shí)間和所占用的資源，分為圖3所示的4類策略。

圖3 影響策略分類 Fig.3 Classification of influence strategies

根據(jù)天津廣播電視臺(tái)綜合云項(xiàng)目的維護(hù)經(jīng)驗(yàn)，系統(tǒng)提供的4類策略可以支撐日常業(yè)務(wù)的運(yùn)行以及文件系統(tǒng)的維護(hù)工作。一旦出現(xiàn)節(jié)點(diǎn)故障時(shí)，Snap Shot Delete將會(huì)停止，而文件系統(tǒng)分析作業(yè)(FSAnalyze)仍在進(jìn)行，造成快照文件不斷增大，占用過多磁盤資源。直到節(jié)點(diǎn)修復(fù)重新接入集群后，快照作業(yè)才會(huì)繼續(xù)運(yùn)行。而此時(shí)，Snap Shot Delete作業(yè)的策略雖為medium，但其對系統(tǒng)資源的占用情況是可接受的，實(shí)際測試并未影響正常的數(shù)據(jù)讀寫效率。

2.1 作業(yè)的操作命令

可以通過作業(yè)引擎定期維護(hù)系統(tǒng)來確保OneFS文件系統(tǒng)的可靠性和數(shù)據(jù)的完整性。當(dāng)維護(hù)作業(yè)運(yùn)行時(shí)，引擎會(huì)持續(xù)監(jiān)控作業(yè)運(yùn)行的狀態(tài)和系統(tǒng)資源的占用情況，確保日常任務(wù)的流暢運(yùn)行[3]。系統(tǒng)管理員也可以人為干預(yù)作業(yè)任務(wù)的運(yùn)行，包括啟動(dòng)、暫停、恢復(fù)、取消及更新等操作。

①啟動(dòng)作業(yè)：可以運(yùn)行isi job jobs start命令來啟動(dòng)某個(gè)作業(yè)強(qiáng)制運(yùn)行。若需設(shè)定運(yùn)行策略和優(yōu)先級，可運(yùn)行isi job jobs start collect—policy medium—priority 3，其中medium為策略等級，priority 3為優(yōu)先級。

②暫停作業(yè)：可以運(yùn)行isi job jobs pause + 作業(yè)ID的命令來強(qiáng)制暫停某個(gè)ID作業(yè)，以此釋放一些系統(tǒng)資源。

③修改作業(yè)：首先通過運(yùn)行isi job jobs list命令查看作業(yè)ID號，確定后運(yùn)行命令isi job jobs modify 7—priority 3—policy medium，將ID為7的作業(yè)優(yōu)先級調(diào)整為3，策略調(diào)整為medium，修改作業(yè)時(shí)只對當(dāng)前作業(yè)實(shí)例有效，之后的作業(yè)會(huì)以默認(rèn)設(shè)置運(yùn)行。

④恢復(fù)作業(yè)：可以運(yùn)行isi job jobs resume+作業(yè)ID來執(zhí)行。

⑤取消作業(yè)：可以運(yùn)行isi job jobs cancel+作業(yè)ID來執(zhí)行。

⑥修改作業(yè)類型：可以通過運(yùn)行命令isi job types modify +“作業(yè)類型”+“優(yōu)先級”+“策略”，將作業(yè)類型修改為默認(rèn)優(yōu)先級和策略級別；通過運(yùn)行命令isi job types modify +“作業(yè)類型”—schedule '時(shí)間表'—force，修改定期計(jì)劃；通過運(yùn)行isi job types modify +“作業(yè)類型”—clear-schedule—force命令刪除計(jì)劃。

⑦查看作業(yè)歷史：通過運(yùn)行isi job events list命令來查看特定作業(yè)的運(yùn)行記錄。

2.2 作業(yè)策略的操作命令

OneFS中的作業(yè)策略可以很好地輔助作業(yè)引擎管理作業(yè)，通常情況下，我們可以創(chuàng)建和分配策略來控制作業(yè)系統(tǒng)的性能影響。

①創(chuàng)建策略：可以運(yùn)行isi job policies create命令來創(chuàng)建一個(gè)特定時(shí)間范圍和影響級別的自定義策略，然后運(yùn)行isi job policies list命令查看是否創(chuàng)建成功。

②查看策略設(shè)置：可以運(yùn)行isi job policies view命令。

③修改策略：運(yùn)行isi job policies modify 命令將當(dāng)前策略重置屬性，再運(yùn)行 isi job policies modify 命令來制定策略的屬性，最后運(yùn)行isi job policies view MY_POLICY命令查看是否修改成功。

④刪除策略：通過運(yùn)行isi job policies delete命令來執(zhí)行，但無法刪除OneFS中默認(rèn)的4種策略。

2.3 作業(yè)日志的管理

作業(yè)引擎控制的大多數(shù)系統(tǒng)作業(yè)使用低優(yōu)先級和低影響策略執(zhí)行，因此通常不占用過多的系統(tǒng)資源，但另有一部分核心功能作業(yè)，例如Flex protect和Flex Protect Lin、FS Analyze、Snap ShotDelete 以及 Tree Delete，這些作業(yè)任務(wù)運(yùn)行優(yōu)先級較高，影響策略適中。日常維護(hù)中，可以根據(jù)作業(yè)系統(tǒng)的日志報(bào)告來優(yōu)化資源分配。

①查看運(yùn)行中的作業(yè)統(tǒng)計(jì)信息：可以通過運(yùn)行isi job statistics view 命令來顯示某個(gè)作業(yè)任務(wù)的運(yùn)行信息。

②查看已完成作業(yè)的報(bào)告：可以通過運(yùn)行isi job reports view命令實(shí)現(xiàn)。

3 結(jié) 語

存儲(chǔ)是非編網(wǎng)絡(luò)的核心，無論是傳統(tǒng)的雙網(wǎng)架構(gòu)非編網(wǎng)，還是現(xiàn)今被廣泛應(yīng)用的云架構(gòu)系統(tǒng)，存儲(chǔ)的穩(wěn)定性和高可用性一直都是技術(shù)攻關(guān)的關(guān)鍵點(diǎn)。EMC品牌的Isilon X410系列存儲(chǔ)在數(shù)據(jù)安全、網(wǎng)絡(luò)帶寬、交互的效率，以及可控可管性等方面都有著不錯(cuò)的表現(xiàn)。文章針對Isilon系統(tǒng)OneFS中的System Jobs功能模塊予以說明，重點(diǎn)闡述了Job的原理以及簡單的管理操作，希望在日常的運(yùn)維管理中，把存儲(chǔ)的基本管理和實(shí)際業(yè)務(wù)流程緊密結(jié)合，以更加高效地發(fā)揮Isilon存儲(chǔ)的優(yōu)勢。■