■ 貴州 郜榮杰

故障現(xiàn)象

近日筆者在某系統(tǒng)上線測試過程中，發(fā)現(xiàn)頁面一直加載無法正常顯示，并發(fā)現(xiàn)主機內存使用率高達99%，僅剩100MB內存可以使用。為保證資源盡早釋放，決定重啟（renboot）主機。重啟后，發(fā)現(xiàn)原來附件數(shù)據(jù)盤沒有自動掛載，通過手工掛載時出現(xiàn)如下錯誤：

故障處理

1.首先為預防數(shù)據(jù)丟失，將掛載失敗磁盤通過VMware vSphere Client進行備份，保證修復失敗后數(shù)據(jù)丟失。

2.備份成功后對備份磁盤進行恢復操作：

查看備份超級塊的位置。

修復壞數(shù)據(jù)塊：

[root@XXXXX ~]# fsck-t ext3 -b 163840 /dev/sdb5

按塊修復成功后，發(fā)現(xiàn)部分數(shù)據(jù)恢復，說明修復磁盤有希望，開始著手整盤修復。

[r o o t@XXXXX ~]#fsck -t ext3 /dev/sdb5

截止3個小時修復命令還沒有完成，也沒有任何進度條反映執(zhí)行的進度。為更好地跟蹤命令執(zhí)行修復進度，使用“Ctrl+C”中斷上述命令，使用如下指令：

[root@XXXXX ~]# fsck-t ext3 -C -y /dev/sdb5

3.歷時6個小時完成數(shù)據(jù)恢復，恢復數(shù)據(jù)量為270GB。

通過比對，恢復數(shù)據(jù)量與原來數(shù)字檔建系統(tǒng)附件數(shù)據(jù)量大小相符。

4.重新分配磁盤，通過命令（scp -r /mnt root@主機IP:/）將恢復的數(shù)據(jù)導入到重新分配的磁盤中，啟動應用服務后系統(tǒng)正常。

故障原因預估

文件系統(tǒng)損壞原因，一是非法關機，二個是磁盤有環(huán)道，只能一個一個排除，先軟后硬，如果格式化后，還是有問題，那原因多半就是硬件的問題了。一般情況是由于非法關機引起的，重啟主機時使用了reboot命令，此命令可以快速關閉系統(tǒng)，但如果還有其他用戶（程序用戶）在該系統(tǒng)上工作時，就會引起數(shù)據(jù)的丟失。使用reboot命令的場合主要是在單用戶模式，其他模式建議使用init 6，shutdown -r now，防止因操作規(guī)范導致系統(tǒng)文件崩潰。

經驗總結

1.系統(tǒng)重啟時應使用shutdown -r now命令，減少操作失誤。

2.加強系統(tǒng)文件備份管理，以防無法恢復造成損失。

3.流媒體服務對系統(tǒng)內存占用高，應將其獨立出來。

4.應用系統(tǒng)主機應該設立定時重啟機制，如1個月重啟一下，在重啟之前先做備份。