崔冬明 經(jīng)國煒 揚州廣播電視集團（總臺）播出控制部

揚州電視臺Linux服務(wù)器維護實例解析

崔冬明 經(jīng)國煒 揚州廣播電視集團（總臺）播出控制部

Linux服務(wù)器是以Linux操作系統(tǒng)為核心的服務(wù)器，其具有穩(wěn)定、安全、硬件升級容易、代碼開源免費等優(yōu)勢，被各行業(yè)廣泛應(yīng)用。本文通過因inode耗盡而使制作網(wǎng)linux管理的SAN存儲文件讀寫失敗，導(dǎo)致非編網(wǎng)絡(luò)系統(tǒng)無法正常工作的故障實例進行解析，探討linux服務(wù)器維護方法，為同行對Linux服務(wù)器運維管理提供幫助。

linux服務(wù)器 文件系統(tǒng) Inode 非編網(wǎng)絡(luò)

一、引言

隨著計算機科學(xué)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，linux服務(wù)器已越來越多得到應(yīng)用。揚州廣播電視總臺近年來對技術(shù)系統(tǒng)不斷加大投入，全媒體新聞演播室、臺內(nèi)主干平臺、高清制作網(wǎng)、數(shù)字化播控系統(tǒng)、IP化集中收錄系統(tǒng)及云媒資系統(tǒng)等相繼投入使用，臺內(nèi)數(shù)字化、網(wǎng)絡(luò)化建設(shè)布局基本完成。linux服務(wù)器在電視臺網(wǎng)絡(luò)系統(tǒng)中得到廣泛應(yīng)用，如網(wǎng)絡(luò)和系統(tǒng)管理、存儲管理、數(shù)據(jù)庫管理、Web服務(wù)和虛擬化計算等。對于用戶和管理者來說，如何維護、使用和管理好linux服務(wù)器，是一個重要的課題。

二、 Linux服務(wù)器概述

2.1 Linux簡介

Linux操作系統(tǒng)誕生于1991，是一款性能穩(wěn)定的支持多線程、多任務(wù)和多處理器的多用戶網(wǎng)絡(luò)操作系統(tǒng)；是一套開源免費使用的類Unix操作系統(tǒng)，繼承了Unix以網(wǎng)絡(luò)為核心的設(shè)計理念，它支持32位和64位硬件和多種網(wǎng)絡(luò)協(xié)議，能運行主要的Unix應(yīng)用程序和工具軟件。Linux的基本思想有兩點：第一，秉承一切都以文件的思想；第二，每個軟件都有確定的用途。

2.2 Linux服務(wù)器簡介

服務(wù)器是一種配置功能強大的超級電腦。核心系統(tǒng)以Linux系統(tǒng)為主的服務(wù)器，我們可以稱為Linux服務(wù)器，通?？梢愿鶕?jù)我們的喜好和操作習(xí)慣來選擇。Linux服務(wù)器設(shè)計用來處理的業(yè)務(wù)應(yīng)用有：網(wǎng)絡(luò)和系統(tǒng)管理，存儲管理，F(xiàn)TP服務(wù)、數(shù)據(jù)庫管理和Web服務(wù)和及虛擬化計算等，是具備高性能和開源性的一種服務(wù)器。

2.3 Linux服務(wù)器的優(yōu)勢

（1）穩(wěn)定性

服務(wù)器系統(tǒng)崩潰會對企業(yè)業(yè)務(wù)產(chǎn)生很大影響。Linux系統(tǒng)是眾所周知最具穩(wěn)定性的系統(tǒng)。事實上，Linux處理不運行的進程的能力遠高于windows；

（2）安全性

Linux是基于Unix所發(fā)展的，無論在管理上還是在安全上都更加規(guī)范。在Linux服務(wù)器上具有管理權(quán)限，系統(tǒng)管理員訪問內(nèi)核，對所有的可見文件，始終處于受控狀態(tài)。這樣的設(shè)計使得Linux更具安全性。

（3）可擴展性

Linux服務(wù)器無論何種架構(gòu)處理器都有很好的兼容，可滿足不斷增加的資源需求，也很容易對Linux服務(wù)器進行重新配置。無論用戶選擇什么樣的業(yè)務(wù)，都可以用Linux系統(tǒng)對業(yè)務(wù)進行更加自由的開發(fā)。

三、非編制作網(wǎng)Linux服務(wù)器維護實例分析

3.1 揚州臺新聞制作網(wǎng)簡介

揚州電視臺新聞制作網(wǎng)以高安全性、高穩(wěn)定性、高可用性為設(shè)計原則。采用成熟的光纖加以太雙網(wǎng)架構(gòu)，新聞制作網(wǎng)SAN核心存儲雙網(wǎng)架構(gòu)實現(xiàn)鏡像備份，存儲容量40T，核心存儲采用兩臺HDS 130 光線陣列。網(wǎng)絡(luò)遵循核心設(shè)備無單點故障的設(shè)計，關(guān)鍵設(shè)備的主備備份機制采用弱耦合方式。核心存儲使用StroeNext存儲管理軟件，交換機選擇了2 臺H3C 5500，光纖交換機為2 臺博科5140，網(wǎng)絡(luò)設(shè)計規(guī)模為有卡站13臺，無卡站18臺，配音站2臺，編輯軟件使用大洋 Post Pack，系統(tǒng)中關(guān)鍵節(jié)點的服務(wù)器都設(shè)計了主備工作方式。新聞網(wǎng)系統(tǒng)拓撲見圖1

制作網(wǎng)核心存儲和MDS服務(wù)器采用8Gb光纖連接，其他功能服務(wù)器采用千兆以太連接（同步遷移服務(wù)器可視情況采用萬兆接入），所有編輯站點（除配音站點外）均采用4Gb光纖加千兆以太網(wǎng)連接到交換機。新聞制作網(wǎng)MDS服務(wù)器安裝系統(tǒng)版本為：RedHat Linux Enterprise Server 5.8_64bit紅帽子linux企業(yè)版 操作系統(tǒng) 。在網(wǎng)絡(luò)應(yīng)急狀態(tài)下切換到備用存儲狀態(tài)時，能提供標清50M，高清100M的制作能力，也可使用MPEG2 IBP、H.264等代理碼率進行制作，并確保應(yīng)急制作狀態(tài)下，電視節(jié)目畫面質(zhì)量接近或達到標清播出質(zhì)量。

3.2 制作網(wǎng)故障實例

新聞網(wǎng)故障現(xiàn)象： 某日下午發(fā)現(xiàn)新聞制作網(wǎng)所有站點不能訪問SAN存儲陣列X盤，但陣列Y盤正常，陣列X、Y盤互為鏡像備份。此時在linux服務(wù)器端看到X盤可以連接（mount）上，但是客戶端不能進入文件系統(tǒng)，大洋編輯軟件不能訪問素材，StoreNext文件系統(tǒng)無任何報錯提示。重啟管理X盤的MDS1、MDS2服務(wù)器，故障依舊。然后重啟SAN存儲陣列X盤，依然不能訪問。

登陸MDS服務(wù)器查看磁盤空間：

[root@MDS02~]# df -h

圖1 新聞網(wǎng)系統(tǒng)拓撲

Filesystem Siza Used Avail Use% Mounted on

/dev/sda8 996M 429M 516M 46% /

/dev/sda9 227G 4.8G 210G 3% /usr

/dev/sda7 3.9G 73M 3.7G 2% /tmp

/dev/sda6 3.9G 429M 3.3G 12% /var

/dev/sda3 7.8G 552M 6.9G 8% /home

/dev/sda2 20G 173M 19G 1% /opt

/dev/sda1 190M 13M 169M 7% /boot

tmpfs 1.9G 0 1.9G 0% /dev/shm

/dev/cvfsctl1_yztvedit1 40T 36T 5T 90% / yztvedit1

/dev/cvfsctl1_yztvedit2 42T 32T 11T 75% / yztvedit2

發(fā)現(xiàn)/yztvedit1磁盤空間使用率90%，并沒有用完，還有使用空間，然后用df -hi命令查看

[root@MDS02~]# df -hi

Filesystem Inodes IUsed IFree IUse% Mounted on

/dev/sda8 258k 5.8k 252k 3% /

/dev/sda9 59M 177k 59M 1% /usr

/dev/sda7 1.0M 72 1.0M 1% /tmp

/dev/sda6 1.0M 1.4k 1023k 1% /var

/dev/sda3 2.0M 2.1k 2.0M 1% /home

/dev/sda2 5.1M 11 5.1M 1% /opt

/dev/sda1 50k 34 49k 1% /boot

tmpfs 484K 1 484K 1% /dev/shm

/dev/cvfsctl1_yztvedit1 1.5M 1.5M 3 100% / yztvedit1

/dev/cvfsctl1_yztvedit2 1.5M 1.4M 17k 99% /yztvedit2

由輸出可知，果然是inode節(jié)點/yztvedit1耗盡已使用100%，導(dǎo)致X盤無法寫數(shù)據(jù)。由于inode全部被用完，雖然還有可用磁盤空間，但是文件系統(tǒng)已經(jīng)無法再在這些空余空間記錄數(shù)據(jù)，因此工作站點就不能再創(chuàng)建新文件或文件夾了。由于維護很少涉及到inode，因此接下來對Linux中inode進行解析。

3.3 Linux服務(wù)器文件系統(tǒng)中inode解析

Inode翻譯為I節(jié)點，在Linux操作系統(tǒng)中稱為索引節(jié)點，文件系統(tǒng)中的每個文件或者目錄都有唯一的I節(jié)點，可以理解為文件唯一的身份標識，inode的數(shù)量決定文件的數(shù)量。系統(tǒng)通過I節(jié)點來對具體文件進行操作和管理。Linux系統(tǒng)一切以文件為思想，硬件設(shè)備也當(dāng)作文件來處理。

圖2 虛擬文件系統(tǒng)和實際文件系統(tǒng)的關(guān)系

Linux操作系統(tǒng)具有三個主要部分：啟動引導(dǎo)、內(nèi)核、根文件系統(tǒng)，一個穩(wěn)定優(yōu)良的文件系統(tǒng)關(guān)系到用戶在使用操作系統(tǒng)時主觀體驗以及系統(tǒng)穩(wěn)定性。Linux系統(tǒng)可以掛載多個不同文件系統(tǒng)存儲設(shè)備，是一個支持多種格式文件系統(tǒng)的操作系統(tǒng)，例如:Ext2/3、FAT、NTFS、NFS、CVFS、YAFFS、MNIX,、JFFS、SYSV等。不同格式的文件系統(tǒng)在Linux系統(tǒng)中訪問的原理大致相同，Linux把文件系統(tǒng)分成兩大部分，第一部分是虛擬文件系統(tǒng)(VFS)，第二部分是具體文件系統(tǒng)。兩者的關(guān)系如圖2所示。

虛擬文件系統(tǒng)(VFS)為上層操作提供了統(tǒng)一接口，主要作用是屏蔽系統(tǒng)訪問不同文件系統(tǒng)時的差異，實現(xiàn)了多種格式文件系統(tǒng)在Linux系統(tǒng)中共存和各自數(shù)據(jù)共享。揚州電視臺新聞制作網(wǎng)SAN存儲中采用Stornext共享文件系統(tǒng)，文件格式CVFS，掛載在Linux服務(wù)器上，該服務(wù)器稱做MDS（MasterDate Server）元數(shù)據(jù)服務(wù)器，對所有的存儲設(shè)備節(jié)點進行管理數(shù)據(jù)訪問。Linux系統(tǒng)一切以文件為思想，文件系統(tǒng)中的文件是數(shù)據(jù)的集合，Inode當(dāng)磁盤分區(qū)時文件系統(tǒng)即被創(chuàng)建，按照目錄和文件形式(支持硬件設(shè)備)來存儲和組織數(shù)據(jù)的使用。

例如Linux系統(tǒng)使用最多的是Ext2格式的文件系統(tǒng)，在Ext2格式的文件系統(tǒng)中，將磁盤劃分成固定大小的塊組；塊組中除存放具體數(shù)據(jù)外，還將文件、目錄、軟連接及文件保護信息等相關(guān)信息都存儲在其中，而且這些信息是被重復(fù)存放在每一個塊組中。文件系統(tǒng)結(jié)構(gòu)示意圖見圖3。

引導(dǎo)塊：通常為一個扇區(qū)，在文件系統(tǒng)的開頭，用于啟動操作系統(tǒng)并讀入引導(dǎo)程序；

超級塊：用于記錄文件系統(tǒng)的管理信息，特定的文件系統(tǒng)在超級塊定義；

inode區(qū)（索引節(jié)點）：一個文件或目錄占據(jù)一個索引節(jié)點。第一個索引節(jié)點是該文件系統(tǒng)的根節(jié)點。利用根節(jié)點，可以把一個文件系統(tǒng)掛在另一個文件系統(tǒng)的非葉節(jié)點上；

圖3 文件系統(tǒng)結(jié)構(gòu)示意圖

數(shù)據(jù)區(qū)：用于存放文件數(shù)據(jù)或者設(shè)備管理數(shù)據(jù)。

在Linux系統(tǒng)中，文件由數(shù)據(jù)塊和元數(shù)據(jù)組成，數(shù)據(jù)塊是多個連續(xù)性的扇區(qū)sector，是文件存取的最小單位?！皦K”的大小在創(chuàng)建分區(qū)時可以設(shè)定，最常見的是4KB。八個連續(xù)扇區(qū)sector組成一個塊block。而元數(shù)據(jù)用來記錄文件的創(chuàng)建者、文件的創(chuàng)建日期、文件的大小等信息，這種存儲文件元數(shù)據(jù)信息的區(qū)域叫做inode，或者稱為“索引節(jié)點”。

例如Stornext共享文件系統(tǒng)在磁盤格式化的時候，會自動將SAN存儲分成三個區(qū)域：一個是Metadate區(qū)，存放包含inode的元數(shù)據(jù)信息，一個是Jurnal區(qū)，存放日志文件數(shù)據(jù)，另一個是Usrdate區(qū)，存放用戶文件數(shù)據(jù)。

由于inode也是用來存儲文件相關(guān)屬性信息的元數(shù)據(jù)，因此inode的數(shù)量不是越大越好，它也會消耗硬盤空間。每個inode節(jié)點的大小，一般是128字節(jié)或256字節(jié)。inode節(jié)點的總數(shù)在格式化文件系統(tǒng)時已經(jīng)確定，可以通過dumpe2fs命令查看某個磁盤分區(qū)inode的總數(shù)：

[root@MDS02~]# # dumpe2fs -h/dev/sda9

dumpe2fs 1.39(29-May-2006)

inode count: 5244736

另外，每個inode都有一個號碼，操作系統(tǒng)inode號碼用來區(qū)分不同的文件。通過“is -i”命令，可以查看文件名對應(yīng)的inode號，例如：

[root@MDS02~]# ls -i install.log

325762 install.log

如果要查看這個文件更詳細的inode信息，可以通過stat命令實現(xiàn)。

3.4 inode耗盡解決方法

知道了產(chǎn)生這個故障由inode導(dǎo)致，接下來要查看為何耗盡了indoe。通過檢查X盤發(fā)現(xiàn)../graphic/這個子目錄里面的空文件和文件夾有600多萬個，Inode的數(shù)量在文件系統(tǒng)創(chuàng)建就已確定，電視臺制作系統(tǒng)中視頻文件數(shù)據(jù)占較大存儲空間，一般情況下不會出現(xiàn)空間沒有用完，而Inode的數(shù)量已耗盡的情況。至于產(chǎn)生的原因，分析后認為是由非編制作系統(tǒng)的軟件版本Bug導(dǎo)致的。因為當(dāng)故事版引用多個人的素材，字幕特效等，當(dāng)刪除后，會自動在../ graphic/這個子目錄里產(chǎn)生大量的鏈接空文件夾，這正是消耗inode數(shù)量的原因，日積月累，此目錄下的小文件會越來越多。

解決的方法就是刪除這些沒用的文件和文件夾，解決方法如下：

在Linux開啟Samba服務(wù)

Samba是一種在Linux環(huán)境下實現(xiàn)SMB協(xié)議的免費軟件。SMB（Server Message Block，服務(wù)信息塊）協(xié)議可以看作是局域網(wǎng)上共享文件的一種協(xié)議，在Linux和Windows之間的文件共享，而避開Linux的元數(shù)據(jù)區(qū)，不受inode元數(shù)據(jù)的限制。使用下面命令可以啟動這兩個進程，Samba服務(wù)，當(dāng)然Linux服務(wù)器中，Samba配置之前已配好。

[root@MDS02~]#/etc/rc.d/init.d/smb start

[root@MDS02~]#/usr/sbin/samba start

接下來找一臺工作站點，將光纖拔掉，用以太網(wǎng)映射Samba服務(wù)地址，如192.168.20.5，在工作站W(wǎng)IN7系統(tǒng)資源管理器中查找無用的文件，發(fā)現(xiàn)/graphic/目錄所占的空間并不大，只有100G，將其刪除之，inode數(shù)降到了75%，非編系統(tǒng)正常使用，之后升級大洋軟件版本。

3.5 Linux環(huán)境下文件系統(tǒng)維護

運行Stornext文件系統(tǒng)管理程序，進入管理控制臺，查看文件系統(tǒng)使用狀態(tài)用以下命令: [root@MDS02~]#/usr/cvfs/bin/cvadmin維護使用檢查文件系統(tǒng)程序命令如下：[root@MDS02~]#/usr/cvfs/bin/cvfsck

顯示該文件系統(tǒng)中一般性的信息和狀態(tài)，包括block size，stripe group的數(shù)量以及磁盤的數(shù)量； 整個文件系統(tǒng)包含的所有block的數(shù)量、以及剩余block的數(shù)量，命令如下：

[root@MDS02~]#/stat

對Linux環(huán)境下掛載的其它文件系統(tǒng)的小文件查找。大量小文件分布有兩種可能，一是只有一個或少量目錄下存在大量小文件，這種情況我們可以使用如下命令來找出這個異常目錄：

find / -type d -size +20M

此命令作用是找出大小大于20M的目錄（目錄數(shù)越大，表示目錄下的文件越多）。

第二種可能是，大量的小文件分布在大量的目錄下，這時候上面的命令可能找不出異常的目錄，需要以下命令：

[root@MDS01~]# cd /

[root@MDS01~]# find */ ！ -type l | cut -d / -f 1 | uniq -c

此命令作用是找出目錄下文件總數(shù)，可能需要執(zhí)行多次，直到找出具體的目錄。例如/data/目錄下還有很多目錄，這時候我們還需要繼續(xù)執(zhí)行：

[root@MDS01~]#cd /data

[root@MDS02~]#find */ ！ -type l | cut -d / -f 1 | uniq -c

直到找出具體的目錄。例如刪除/var/data/clientdev/目錄下的文件，刪除命令如下：

[root@MDS02~]#find/var/data/clientdev/-name"*"-exec rm -rf{};

3.6 實例維護總結(jié)

這次故障并不是因為系統(tǒng)硬件服務(wù)器宕機而導(dǎo)致，也不是因為操作系統(tǒng)崩潰而使非編制作網(wǎng)SAN存儲不可使用，揚州電視臺非編制作網(wǎng)的SAN核心存儲掛接在Linux服務(wù)器上，雖然存儲空間水位線受大洋制作系統(tǒng)管理軟件控制，制作存儲空間控制在90%以下，但鏈接文件和空文件夾耗盡了inode數(shù)量，而使文件系統(tǒng)沒有能創(chuàng)建文件的句柄。因此對inode占用進行監(jiān)控，并且查看到inode告警時應(yīng)及時使用以上方法來定位問題，并及時反饋給相應(yīng)人員從根源解決。

四、結(jié)束語

我臺在電視業(yè)務(wù)系統(tǒng)中部署了linux服務(wù)器之后，維護的工作也隨之增加。文件系統(tǒng)是操作系統(tǒng)的重要組成部分，是直接與用戶接觸的一層，通過這個實例告訴我們，了解linux服務(wù)器操作系統(tǒng)對文件的訪問過程和原理是很有必要。linux服務(wù)器雖然因發(fā)行版本的不同，而又會遇到簡短的維護周期，但工作原理是相同的，維護方法可以優(yōu)化和借鑒