■ 四川 賴文書

編者按：筆者單位在啟動業(yè)務上云后，對原有提系統(tǒng)及設備進行了更新部署，其中采用的H3C ONEStor存儲系統(tǒng)出現(xiàn)磁盤空間報警問題，筆者聯(lián)合廠商工程師專家進行了排查。

圖1 OSD磁盤使用率

筆者單位在IDC機房的服務器實施了虛擬化與云計算。整個云平臺由6臺惠普ProLiant DL580 Gen9高配服務器，單臺配置為512G內存、4棵12核心CPU、2塊600G的 SAS盤、3塊 2T的SATA盤、2塊 480G的 固 態(tài)盤，安裝部署了新華三公司的云計算管理平臺和分布式存儲系統(tǒng)，由CAS（Cloud Automation System)和ONEStor構成。

ONEStor存儲系統(tǒng)基于Ceph，可運行在多臺通用的x86服務器。ONEStor通過把多臺不同服務器的本地硬盤組織成一個統(tǒng)一的存儲資源池，對上層應用提供存儲服務。

分布式存儲磁盤空間報警

每臺服務器2塊600GB的SAS盤安裝CVK和ONEStor軟 件，3塊2TB的SATA盤提供分布式存儲服務，組成存儲資源池WAIC_POOL1可用空間32.7TB，劃分為兩個3TB和一個4.8TB的塊設備，兩塊共7.8TB以iscsi掛載到宿主機作為共享存儲，格式化為ocfs2集群文件系統(tǒng)用于存放虛擬機的磁盤文件，3TB掛載到1臺虛機提供NFS服務用于存放應用系統(tǒng)的非結構化數據。

經過一年多的運行，期間的虛擬機不斷調整，涉及到塊設備上虛擬機磁盤文件新建和刪除，ONEStor磁盤空間不斷增長使用率達到了71%，管理頁面出現(xiàn)了報警提示存儲擴容。

與廠商工程師溝通中知道，ONEStor配置了當單磁盤使用率占到70%時，開始報警以提醒及時擴容；在使用率達到95%時無法讀寫操作必須擴容才能繼續(xù)使用。運維中發(fā)現(xiàn)單盤使用率在64%至79%如圖1，經廠商確認ONEStor數據在不同磁盤分布15%浮動屬正常情況。

圖2 ceph尋址示意圖

我們使用的ONEStor R0317P05的Ceph版 本0.94.5，是2015年4月發(fā)布的hammer長期穩(wěn)定版本。Ceph把客戶端數據FILE保存為存儲池內的對象(FILE->OBJECT映射)，通過CRUSH（Controlled Replication Under Scalable Hashing）算法計算數據存儲位置來確定如何存儲和檢索， 即計算出哪個歸置組PG（Placement Group）應該持有指定的對象 (Object->PG映 射 )，然后進一步計算出哪個 OSD(Object Storage Device)守護進程持有該歸置組(PG->OSD映射)，具體的尋址示意圖如圖2所示。

Ceph提供的塊設備RBD（RADOS Block Device）是精簡 置 備（Thin Provision）、大小可調且將數據條帶化存儲到集群內的多個OSD，并 利 用 RADOS（Reliable Autonomic Distributed Object Store）的多種能力，如快照、復制和一致性。塊設備使用內核模塊或librbd庫與OSD交互。當在塊設備的文件系統(tǒng)中刪除一個文件，并不會在塊設備上的對應磁盤塊置0，而僅在磁盤的元數據結構中將這些磁盤塊標記為未使用。

因此，雖然文件系統(tǒng)知道這些磁盤塊是未使用或者說可用的，但是底層的存儲系統(tǒng)并不知道文件系統(tǒng)所做的操作，會認為這些磁盤塊仍在使用。也就是說，它所占用objects會隨著用戶寫入數據的增加而增加。當用戶刪除數據以后，這些obejct不再使用但并沒有被釋放，因為從Ceph的角度講，它并不知道文件系統(tǒng)中發(fā)生的事情。這也正是我們經歷多次磁盤文件清理，ONEStor磁盤使用率仍然是只增不降的原因。

針對我們ONEStor報警的情況，無法進行存儲的優(yōu)化改造，我們目前也沒有擴容的預算，可考慮對于刪除空間進行釋放（文件系統(tǒng)），將存儲側的LUN占用空間收縮降低，以保障系統(tǒng)和業(yè)務運行的穩(wěn)定性。

采用的方法是用fstrim命令對使用的存儲進行空間釋放，向存儲側發(fā)送SCSI指令。由于該操作對存儲有一定的IO性能影響，應考慮實際業(yè)務繁忙情況謹慎操作。對于空間的釋放，一般采用fstrim直接對于mount point進行操作即可達到空間釋放的目的，某些情況下，由于之前劃分的LUN空間大，需要釋放的空間大的原因，分段進行fstrim對于集群文件系統(tǒng)帶來更好的優(yōu)勢，能降低持有集群鎖的時間，從而提高系統(tǒng)管理效率和降低業(yè)務的影響。默認的fstrm指令，如果沒有指定參數，則不分段進行；其實fstrim是支持分段操作的，并可以指定相關的參數。

方案

按照公司信息系統(tǒng)變更流程，需要對ONEStor分布式存儲空間釋放的方案進行評估，于是要求廠商給出實施方案。由于此操作屬于Ceph分布式存儲和具有精簡置備特性存儲的常規(guī)操作，沒有任何風險只能提供操作手冊。

我們也在華為官方查詢到存儲也有類似操作手冊，詳見網址https://support.huawei.com/enterprise/zh/knowledge/EKB1000091882，該文還提供了其他處理方法，但由于軟件部門的領導不了解這些情況，十分擔心該操作影響應用系統(tǒng)的穩(wěn)定運行，對此項配置要求嚴格按操作手冊執(zhí)行，防止出現(xiàn)誤操作。

對于ONEStor磁盤空間釋放的操作，新華三CAS提供了對于Linux系統(tǒng)自帶fstrim命令行進行了封裝的腳本，采用參數對于fstrim的操作進行配置如自動分段和偏移等；并結合CAS的使用可指定具體的存儲池，指定blocklimit、存儲的廠商等，從而適應于集群文件系統(tǒng)下的釋放和優(yōu)化處理，規(guī)避由于空間釋放對于集群和業(yè)務的影響。

1.存儲空間釋放腳本的使用范圍

存儲側需要Thin（精簡置備）模式分配的LUN（Logical Unit Number），如果Full模式分配，則無法進行空間釋放和回收；同時需要存儲側支持釋放的特性。ONEStor R0118版本以前（不含R0118）默認配置下存儲卷默認是full模式，不支持fstrim釋放。CAS需要版本在E0306之后的版本上執(zhí)行，不推薦在此版本之前的版本上執(zhí)行。

2.手工執(zhí)行步驟和說明

考慮到fstrim對于io有一定的性能影響，在可釋放空間少和執(zhí)行頻率少的情況下，可考慮手工執(zhí)行腳本，如下是手工操作和配置的處理方法和步驟；

（1）在CVM管理界面上確認釋放空間的存儲池找到存儲池 WAIC-POOL1。

（2） 在“云 資 源→Cluster集群→存儲管理”部分，找到使用存儲池的主機列表。

（3）通過SSH連到一臺CVK上，執(zhí)行命令：

o2cb_ctl -Iot node

#name:cluster:number:ip_address:ip_port:status

WAIC-CVK05:WAIC-POOL1:1:192.50.2.5:7100:confi gured

WAIC-CVK01:WAIC-POOL1:2:192.50.2.1:7100:confi gured

WAIC-CVK03:WAIC-POOL1:3:192.50.2.3:7100:confi gured

WAIC-CVK04:WAIC-POOL1:4:192.50.2.4:7100:confi gured

WAIC-CVK02:WAIC-POOL1:5:192.50.2.2:7100:confi gured

WAIC-CVK06:WAIC-POOL1:6:192.50.2.6:7100:confi gured

找到存儲池WAIC-POOL1是活動、且number數字最小的那臺主機。WAIC-POOL1在 number ：1、2、3、4、5、6、7、8的主機上是激活狀態(tài)，對應的主機名稱是：WAIC-CVK05、WAIC-CVK01、WAIC-CVK03、WAIC-CVK04、WAIC-CVK02、WAIC-CVK06；則找到的主機WAIC-CVK05。

（4）將腳本壓縮包文件pool_fstrim.tar.gz傳 到WAIC-CVK05主機上。

如果后面腳本中指定參數-c，表示在集群中任何一臺激活的存儲池的主機上都可以執(zhí)行，這樣就省去了步驟3和4，直接選擇一臺存儲池是活動的主機上執(zhí)行腳本即可。

（5）對系統(tǒng)原有/opt/bin目錄進行備份：

圖3 觀察日志輸出

cd /opt; cp -r bin bin.bak.A

（6）解壓腳本壓縮包文件并將腳本復制到/opt/bin目錄：

tar zxvf pool_fstrim.tar.gz

cp ocfs2_pool_fstrim.pyc /opt/bin

（7）使用腳本ocfs2_pool_fstrim.pyc釋放Thin塊存儲空間。

對于onestor存儲進行操作：采用腳本對于存儲池進行釋放，下面命令中參數-o表示從20G開始，參數-l表示每次20G掃描，參數-b表示處理磁盤塊限制為32768：

python /opt/bin/ocfs2_pool_fstrim.pyc -s onestor -p WAIC-POOL1 -l 20480 -o 20480 -b 32768;echo $?

該腳本同時支持對3par存儲的thin LUN進行空間回收，類型為 3PARdata，-s參數需要指定3PARdata：

python /opt/bin/ocfs2_pool_fstrim.pyc -s 3PARdata -p WAIC-POOL1 -l 20480 -o 20480 -b 32768;echo $?

腳本增加參數-c，以便在任何一臺激活的存儲池的主機上都可以執(zhí)行該操作：

python /opt/bin/ocfs2_pool_fstrim.pyc -s onestor -p APool -l 20480-o 20480 -b 32768 -c;echo $?

默認長度10G，10T的執(zhí)行1000次可以滿足需求；如果現(xiàn)場磁盤比較大，執(zhí)行長度可放大到20G，或50G。

3.手工執(zhí)行異常判斷和應急處理

腳 本ocfs2_pool_fstrim.pyc在實驗室和其他地方執(zhí)行，都沒有發(fā)現(xiàn)異常的情況；為了預防執(zhí)行過程中的異常情況，廠商提供了手工執(zhí)行的異常判斷和應急處理方法。

在腳本運行過程中，需另外開啟兩個SSH后臺窗口，第一個SSH后臺執(zhí)行 命 令：tailf /var/log/syslog |grep maximum，實時監(jiān)控syslog日志信息，正常釋放過程中，每次分段都會打印釋放動作的日志，如圖3屬于正?，F(xiàn)象，一直在刷類似日志kernel.: [10907115.xxxxxx] (fstrim,381xxxx.xx) :ocfs2_get_maximum_unrnap_count :7360 content of block_lirnits.conf is: 32768，就不存在阻塞；如果不刷此類日志需要及時關注，此時可能已經阻塞需要立刻暫停，暫停操作在執(zhí)行腳本的SSH窗口Ctrl+C暫停命令執(zhí)行。

第二個SSH終端執(zhí)行命令：tailf /var/log/syslog| grep _ocfs2_cluster_lock.isra，正常情況該窗口不會有任何輸出。若有輸出則表示集群文件系統(tǒng)ocfs2的磁盤集群被鎖，則立即Ctrl+C停止命令行的執(zhí)行，并且縮小每次分段執(zhí)行的長度，直到不再出現(xiàn)為止。

4.配置定時執(zhí)行

圖4 ONEStor最終使用率

若在Ceph塊設備上有比較頻繁的創(chuàng)建和刪除文件，造成分布存儲系統(tǒng)磁盤使用率持續(xù)增高，可配置ocfs2_pool_fstrim.pyc腳本的定時自動運行，以及時釋放已刪除文件所占用的磁盤空間。第一步在每個CVK上執(zhí)行“ocfs2_fstrim_crontab.sh on”命令；第二步在每臺cvk上配置crtontab定時執(zhí)行任務。配置每周五22點開始執(zhí)行具體命令如下，默認對所有ONEStor存儲池，每次執(zhí)行長度默認區(qū)間是10G：

0 22 * * 5 root python /opt/bin/ocfs2_pool_fstrim.pyc -s onestor -b 131072

對于配置了腳本定時執(zhí)行，需要定期在使用共享存儲的節(jié)點號最小的那臺cvk服務器上檢查相關日志，以了解自動任務的執(zhí)行情況，搜索查找結點好最小的方法，詳細參照手工執(zhí)行步驟的第3步。

實施

根據操作手冊的要求為避免資源釋放操作對業(yè)務性能的影響，計劃將此項工作放在周六晚上進行，通知相關軟硬件運維同事和廠商工程師。由于實施的工程師對筆者單位云平臺結構不熟悉，實施前遠程對該套服務器進行相關數據采集，并且將要運行的腳本在廠商的測試環(huán)境驗證，以保障磁盤空間釋放的有效推進。

周六晚上7點通過Teamvear遠程準時進行，由于前期的精心準備和領導的高度重視，實際操作就按步就班，對操作命令進行復制粘貼，密切觀察日志輸出一切正常，ONEStor管理頁面中的運行狀態(tài)如期調整中，經過近2小時的工作順利完成任務。最終分布式存儲的利率為61.87%如圖4，釋放了總容量10%接近3.2TB磁盤空間，按照三副本計算又可以提供1TB的塊存儲了。

總結

為了更好的運維公司私有云平臺，我們需要更深入的學習KVM虛擬化及OpenStack云計算、Ceph分布式存儲等開源軟件，才能非常清楚廠商工程師所做的操作，也才能對于常見問題自己動手處理，同時不斷提高自我的技術水平。