■ 河南 劉進(jìn)京

故障現(xiàn)象

單位一臺(tái)Oracle服務(wù)器近來(lái)出現(xiàn)宕機(jī)現(xiàn)象，當(dāng)重啟后，Oralce出現(xiàn)“TNSperating system resouce quota exceeded”、“TNSrotocol adapter error”、“Opreating system resource quota exceeded”、“No space left on device”之類(lèi)的錯(cuò)誤提示。據(jù)此判斷，這可能是因?yàn)榇疟P(pán)空間不足，造成Oracle監(jiān)聽(tīng)程序無(wú)法啟動(dòng)。

在Linux提示符下執(zhí)行“df -h”命令，在列表中的“Filesystem”欄中顯示所有的磁盤(pán)設(shè)備，在“Avail”列中顯示其剩余空間，因?yàn)镺racle安裝“/var”分區(qū)，該分區(qū)還存在幾十個(gè)GB的自由空間，完全可以滿(mǎn)足Oracle監(jiān)聽(tīng)文件存儲(chǔ)日志的需要。

故障分析

Linux磁盤(pán)空間管理機(jī)制比較特殊，我們平時(shí)接觸到的僅僅是Linux的物理磁盤(pán)空間。此外，Linux還提供了針對(duì)inode節(jié)點(diǎn)使用的磁盤(pán)空間以及存儲(chǔ)信號(hào)量的磁盤(pán)空間管理功能。inode節(jié)點(diǎn)（也稱(chēng)為索引節(jié)點(diǎn)）的作用是用來(lái)存儲(chǔ)元數(shù)據(jù)信息的區(qū)域。因?yàn)樵贚inux中，文件的存儲(chǔ)包含數(shù)據(jù)塊和元數(shù)據(jù)，數(shù)據(jù)塊是文件存儲(chǔ)的最小單元，存儲(chǔ)在多個(gè)連續(xù)的扇區(qū)上，大小一般為4KB，通常占用8個(gè)扇區(qū)。元數(shù)據(jù)用來(lái)存儲(chǔ)文件的基本信息，例如創(chuàng)建者、創(chuàng)建日期、文件屬性等內(nèi)容。

對(duì)于inode節(jié)點(diǎn)，存儲(chǔ)的是文件屬性信息，自然也會(huì)占用一定的磁盤(pán)空間。當(dāng)磁盤(pán)格式化之后，Linux就會(huì)將磁盤(pán)劃分為數(shù)據(jù)區(qū)和inode區(qū)，分別用來(lái)存儲(chǔ)數(shù)據(jù)和inode元數(shù)據(jù)。對(duì)于inode節(jié)點(diǎn)，通常為128或者256字節(jié)。

每個(gè)inode節(jié)點(diǎn)都擁有唯一的編碼，Linux使用inode編碼來(lái)區(qū)分不同的文件。例如，執(zhí)行“l(fā)s -i test.txt”命令，可以查看指定文件的對(duì)應(yīng)的inode編 碼。 執(zhí) 行“stat test.txt”命令，可以查看指定文件詳細(xì)的inode信息。執(zhí)行“dumpe2fs -h /dev/sda2 |grep 'Inode count'”命令，可以查看指定分區(qū)（這里為“/dev/sda2”）可用的inode節(jié)點(diǎn)的總數(shù)量。

根據(jù)以上分析，如果Oracle所在的分區(qū)鎖使用的inode節(jié)點(diǎn)消耗殆盡，同樣會(huì)出現(xiàn)磁盤(pán)不足的錯(cuò)誤提示。執(zhí)行“df -i”命令，在系統(tǒng)可用inode信息中發(fā)現(xiàn)“/var”分區(qū)對(duì)應(yīng)的“IUse%”列的值為“100%”，這說(shuō)明其可用的inode節(jié)點(diǎn)已經(jīng)耗盡。

雖然從表面看起來(lái)該分區(qū)還存在大量的可用空間，但文件系統(tǒng)在該分區(qū)中的可用inode節(jié)點(diǎn)空間已經(jīng)用完，自然在該分區(qū)中無(wú)法新建文件或者文件夾，造成上述Oracle監(jiān)聽(tīng)程序啟動(dòng)失敗的情況。

故障排除

了解了引發(fā)Oracle監(jiān)聽(tīng)程序無(wú)法啟動(dòng)的原因后，就可以大體判斷問(wèn)題來(lái)源了。應(yīng)該是在Oracle所在的“/var”分區(qū)中某些目錄中產(chǎn)生了數(shù)量巨大的垃圾文件，導(dǎo)致占用了大量的inode節(jié)點(diǎn)，造成該文件inode節(jié)點(diǎn)消耗殆盡。在“/var”目錄下執(zhí)行“du -sh”命令，果 然 發(fā) 現(xiàn)“/var/spool/clientmqueue”目錄存在異常現(xiàn)象，該目錄居然占用了“/var”分區(qū)將近90%的容量。進(jìn)入該目錄，發(fā)現(xiàn)其中存在數(shù)量龐大的小文件。

經(jīng)過(guò)分析，在該Oracle服務(wù)器上運(yùn)行了很多Crontab定時(shí)任務(wù)，而這些定時(shí)任務(wù)所執(zhí)行的程序如果有數(shù)據(jù)輸出，就會(huì)將郵件信息發(fā)送給執(zhí)行cron進(jìn)程的用戶(hù)。在發(fā)送郵件時(shí)，Linux會(huì)先將郵件保存到“/var/spool/clientmqueue”目錄中，然后等待Mail Transfer Agent程序進(jìn)行處理，而該程序的作用是轉(zhuǎn)移這些郵件，并通過(guò)SenMail服務(wù)來(lái)發(fā)送郵件。但是該服務(wù)器上并沒(méi)有啟動(dòng)SenMail服務(wù)，所有的郵件信息就會(huì)存儲(chǔ)到該目錄中了。日積月累，在該目錄下會(huì)存儲(chǔ)數(shù)量驚人的小文件。

我們只要將這些垃圾文件刪除，就可以解決上述問(wèn)題。執(zhí)行“rm *”命令，卻出 現(xiàn)“argument list too long”的提示，刪除操作無(wú)法進(jìn)行。最簡(jiǎn)單的處理方法是分段刪除。執(zhí)行“rm[a-h]* -rf”,“rm [i-q]*-rf”,“rm [r-z]* -rf”命令，按照文件名稱(chēng)起始字符序號(hào)分段刪除。也可以利用Find命令，對(duì)文件列表進(jìn)行篩選，刪除符合要求的文件，執(zhí)行“find /var/spool/clientmqueue/ -name '*'-exec rm -rf {} ”命令，執(zhí)行刪除操作即可。

當(dāng)清除了“/var”分區(qū)中的大量的垃圾文件后，可以順利啟動(dòng)Oracle監(jiān)聽(tīng)程序了。