孫　鑒　李戰(zhàn)懷　張　曉　王惠峰　趙曉南

(西北工業(yè)大學計算機學院　西安　710129)

?

基于統(tǒng)計量的存儲系統(tǒng)磁盤功耗建模方法研究

孫鑒李戰(zhàn)懷張曉王惠峰趙曉南

(西北工業(yè)大學計算機學院西安710129)

(qwert3277@163.com)

摘要大數據的迅猛發(fā)展導致數據中心的存儲規(guī)模急劇擴張，由此引發(fā)的高能耗已經成為數據中心普遍面臨的一個突出問題，磁盤類存儲介質在數據中心耗能中所占的比例也在逐年增加，能耗建模在目前學者們的研究中越來越受到關注.精確的磁盤能耗模型不僅可以解決數據中心中的電力配套問題，而且為當前數據中心各種能耗管理技術體現更為精確的節(jié)能效果.提出了一種基于統(tǒng)計量的磁盤能耗預測模型，該模型彌補了傳統(tǒng)細粒度模型產生的額外負載影響，同時獲取了比傳統(tǒng)粗粒度模型更佳的預測準確率.在實際應用中，該模型不需要分析記錄復雜的磁盤內部活動細節(jié)，也不需要繁雜的參數采集，僅需要存儲系統(tǒng)中宏觀的統(tǒng)計量作為參數，且預測精度與細粒度模型近似.通過實驗驗證，該模型在能耗預測上的平均誤差為3%，并且針對同步IO及異步IO都有較好的預測效果.此外，該模型還可以應用于各種在線系統(tǒng)的能耗預測.

關鍵詞存儲系統(tǒng)；能耗；建模；磁盤；電源管理

隨著現階段數據中心信息處理規(guī)模的不斷擴大，大量數據密集型應用需要更可靠的在線數據資源訪問.但大容量的存儲空間帶來了電力能源的高消耗，同時也間接地增加了二氧化碳的排放量，加劇了溫室效應.IDC 2011年6月發(fā)布的數字研究報告顯示：2011年全球數據總量已高達1.8 ZB，并且預計到2020年，全球所有IT部門所管理的數據將比現在多出50倍[1].目前，在一個標準的數據中心中，存儲系統(tǒng)的能耗約占總能耗的37%,而數據中心的存儲系統(tǒng)在3～5年內所消耗的電量費用將超過其硬件購置成本,并且存儲能耗還以每年60%以上的速度遞增[2-5].能耗成為存儲系統(tǒng)運行的主要開支，近來大家開始將研究興趣轉向調度中的能耗管理．能耗感知調度是指將能耗作為調度評價指標之一[6],無論是在線的密集型數據訪問還是離線的海量數據存儲，都會導致數據中心的能耗需求逐年增加.針對能耗需求爆炸的挑戰(zhàn)，很多學者致力于磁盤節(jié)能技術的開發(fā)及優(yōu)化，例如以MAID[7]為代表的磁盤分組技術、以PDC[8]為代表的數據分布技術等.這些技術在特定負載場景下達到了較理想的節(jié)能效果.但對于能耗管理技術來說，準確的磁盤能耗預測模型可以更方便地設計IO調度節(jié)能算法以數據布局技術，使得節(jié)能效果更加顯著，而不準確的能耗預測會導致數據中心配套電力設施的浪費或不足，因此，解決存儲系統(tǒng)的能耗預估是大多數數據中心面臨的一個巨大挑戰(zhàn)，也是存儲系統(tǒng)節(jié)能技術研究的一個重要方面.

目前現有磁盤能耗模型根據參數的采集方式及模型的構建思路的不同可劃歸為細粒度模型及粗粒度模型兩大類，細粒度模型將設備劃分為多個功能組件，依據磁盤內部的細節(jié)活動來預估磁盤能耗，精確的計算設備的功能部件在每次IO訪問過程中所引發(fā)的耗能，細粒度提出時間較早，預測結果較為精確，但大多數磁盤模型所需的參數采集方式較為復雜，并且采集內容種類繁多，并不具有通用性.在目前數據中心高性能的需求下，這種細粒度模型的應用會對日常數據處理帶來很大的采集開銷.粗粒度模型以IO特征參數預估磁盤能耗，大多使用磁盤標量參數或使用數據傳輸率等IO特征參數，應用于節(jié)能技術中粗略的能耗估計，但這些粗粒度的模型專注于研究IO特征與能耗間的相關關系，并不關注磁盤的細節(jié)活動，因此在精確度上并不能令人滿意.針對于上述情況，本文提出了一種基于統(tǒng)計量的磁盤能耗預測模型，該模型不需要分析記錄復雜的磁盤內部活動細節(jié)，也不需要繁雜的參數采集，僅需要存儲系統(tǒng)中宏觀的統(tǒng)計量作為參數，且預測精度與細粒度模型近似.與傳統(tǒng)的細粒度和粗粒度不同的是，本文主要關注如何利用磁盤的統(tǒng)計量來獲得磁盤內部活動特征，再從內部細節(jié)活動去預估磁盤能耗.從實驗驗證結果來看，本模型在尋道能耗預測模型上的平均誤差在3%，基本達到了細粒度模型的精確度.

1磁盤能耗模型的研究現狀

在目前的磁盤存儲系統(tǒng)能耗預測研究中，細粒度模型專注于獲取磁盤的內部活動細節(jié)，而不過多地考慮設備的功率情況，例如在Zedlewski等人[9]使用早期的筆記本磁盤來進行能耗測量，將IO讀寫分為尋道能耗、傳輸能耗以及固定的電子部件能耗等，通過筆記本磁盤的尋址次數、傳輸數據塊大小等作為模型參數，預估磁盤的IO訪問能耗，其預估結果較為精確，是較為典型的細粒度模型，但其在論文中主要預估磁盤耗能，并沒有過多地關注功率狀態(tài).Peek等人[10]精確地調查了在特定配置下的磁盤能耗特征，并且研究了LBN與尋道所用能耗的相關關系，但作者沒有考慮到磁道與LBN并不是順序對應的.

上述學者們所設計的細粒度磁盤模型在測量設備能耗時具有非常優(yōu)秀的精確性，但在實際應用情況下受到很大的約束.首先由于磁盤本身的運動特性，磁盤在旋轉延時期間所消耗的時間是不確定的，因此雖然細粒度模型對IO事件引發(fā)的能量消耗預估效果較好，但對于功率預測卻效果不佳.而功率預測由于其具有一定的統(tǒng)計意義，恰恰是在目前大規(guī)模數據中心能耗預測中更為關注的部分[11-13].此外，目前數據中心的在線及離線處理的數據量巨大，全程監(jiān)測磁盤內部工作的細節(jié)并不現實，這種模型所需的Trace分析文件至少跟當前的IO處于相同的數量級，這也是細粒度模型適應性不強的另一個原因.

粗粒度模型并不特別關心磁盤的細節(jié)活動特征，在粗粒度模型中很多學者試著使用一些磁盤標量或者特征量預估磁盤能耗而回避較為復雜的內部細節(jié)活動.專注于存儲系統(tǒng)節(jié)能技術研究的學者，對節(jié)能效果的模擬建模都比較簡單.例如Hybrid disks[14]使用非易失性存儲器增強IO子系統(tǒng)的性能，從而降低能耗，文獻[15]使用寫重定向的方法降低磁盤能耗，但這2種技術均使用磁盤在每秒操作數(IOPS)狀態(tài)下的大概功率來估計節(jié)能效果.多速磁盤[16]由于目前實測建模比較困難，學者在探討其節(jié)能效果時使用的是模擬的標量.MAID技術[7]應用磁盤分組技術降低陣列能耗，但學者更關注于閑置能耗及待機能耗的節(jié)能效果，并不關注負載磁盤的能耗狀態(tài).文獻[17]提出一種應用數據冗余降低磁盤能耗的方法，其使用磁盤負載狀態(tài)的平均能耗來預估節(jié)能效果.上述的節(jié)能技術研究可以看出該方向的學者大多更關心節(jié)能算法及數據布局等內容，對能耗預測的定量分析不足，選取的特征參數大多無法體現能耗的細節(jié)變化.

同時，部分學者發(fā)現磁盤的功率狀態(tài)與磁盤的活動特征有關，并且在通過活動特征預測磁盤能耗方面做了進一步的研究.Stoess等人[18]使用磁盤利用率來衡量磁盤的能耗，磁盤利用率是通過數據傳輸率和響應時間來定義的，該模型顯示在閑置和活動狀況不同的磁盤，根據其磁盤利用率能耗呈近線性趨勢.但在文獻[19]中，學者通過實驗證實，在操作時間相同的磁盤活動，能耗結果可能不同.同時在文獻[19]中作者通過將IO負載分解為磁盤活動細節(jié)，并且采用“耗能對應表”的方法來將磁盤活動特征與能耗對應起來，但在IO分解中沒有考慮數據傳輸時間對12 V磁頭尋道的影響，這可能也是大數據塊隨機訪問誤差較大的原因.Yan等人[20]給出了磁盤能耗與應用程序的關系模型.通過DEEP作為測量手段，建模給出磁盤與應用程序的能耗關系.文獻[21]中使用限制當前設備的尋址、提速降速、待機等狀態(tài)來測定設備的數據并用于其他的模擬器.粗粒度模型本身不關注細節(jié)內部活動細節(jié)，對磁盤的能耗預測精度無法達到細粒度模型的水平.無論是能耗優(yōu)化，還是通過磁盤活動特征進行預測，都不能獲得較為理想的預估結果.

本文在目前傳統(tǒng)的細粒度模型及粗粒度模型研究的基礎上，分析了兩大類模型在現階段高吞吐率需求的存儲系統(tǒng)中存在的缺陷，結合IO訪問特征相關參數的研究成果，通過不影響在線訪問的統(tǒng)計量參數預測磁盤細節(jié)活動，然后根據細節(jié)活動對磁盤能耗進行建模.這種思路有效地避免了繁多的采集量對系統(tǒng)性能的影響.

2參數選擇

在建立磁盤能耗模型的過程中，參數的選擇對預測準確性影響很大，雖然對于單次IO來說，旋轉延遲時間，下次IO到達時間等磁盤的活動特征是隨機的，但對于一段時間內的IO訪問，在統(tǒng)計上還是有其相應的特征，并且這些特征被學者們用來預測磁盤能耗，Allalouf等人[19]使用每秒鐘的平均尋道數、每秒鐘的數據傳輸量、磁盤隊列深度等參數構建能耗表用于磁盤功率的預測.但我們在探索磁盤尋道功率模型時發(fā)現，文獻[19]中的參數選取還有一定的片面性：從本節(jié)的構造負載驗證實驗來看，在讀寫數據塊相同的條件下，尋址距離而不是尋址數量會引發(fā)相同的能耗.本文在選取參數方面與文獻[19]相比主要有4點區(qū)別：1)我們使用輕量級采集工具而不是通過推測獲取特征參數；2)我們將尋址距離而不是尋址次數作為12 V尋址功率模型的主要影響參數；3)我們考慮了磁盤活動利用率對功率預測的影響；4)通過實驗驗證了傳輸塊大小對尋址功率的影響.下面通過實驗來分析本文選取的選址跨度、磁盤活動利用率、數據傳輸塊大小等參數對磁盤細節(jié)活動的影響.

2.1LBA與尋址跨度

邏輯塊地址(logical block address, LBA)是描述存儲設備上數據所在區(qū)域的通用機制.通常一個LBA為一個扇區(qū)大小.為了保證磁道上存儲空間的利用率，磁盤上的磁道是以環(huán)帶(zone)分組的形式進行分布的，簡單來講，多個磁道組成一個環(huán)帶，僅在同一環(huán)帶中磁道上的扇區(qū)數相同，這樣既保證了存儲空間的利用率又降低了磁頭讀寫的復雜程度.目前關于磁盤特征抽取技術的研究已經較為成熟，這種映射關系可以通過詢問或經驗抽取的方法實現.SCSI接口提供了通過SENDRECEIVE DIAGNOSTIC的Translate選項實現邏輯地址物理地址互轉換的詢問方法[22]，而文獻[22-23]提供了多種經驗抽取的磁盤特征提取方法,其中文獻[23]的方法效率最佳，可以在75 min內獲取250 GB SATA磁盤的內部特征.我們是在廣泛應用的磁盤模擬器disksim工具中獲得Seagate ST3146855SS磁盤邏輯地址與物理地址的映射關系，并且每次運行負載時都使用blktrace工具進行跟蹤，以確保訪問的LBA與真實的物理磁道相對應.這便保證了本節(jié)實驗結果的可靠性.

為了驗證IO訪問時磁頭位移對尋址能耗的影響，我們采用合成負載在SeaGate ST3146855SS服務器硬盤進行了相應的測試，本節(jié)所應用的合成負載是一種基于磁道順序訪問的負載，以每個磁道中某一扇區(qū)的LBN為尋址跨度，每個磁道訪問塊大小為4 KB，保證整個測試過程中磁頭從第1個單盤片的物理0磁道依次移動至物理最高的磁道.對磁盤單盤片上每一條磁道依次進行讀操作和寫操作，并保證每次尋址后磁頭都回到本次訪問的起點，每次讀寫的數據量大小為4 KB.在圖1中，橫坐標為磁頭的尋址位移，縱坐標為單次尋址的平均耗能.我們可以看到，在尋道距離為10 000個磁道跨度之前，每次尋址的平均耗能與磁盤尋址跨度呈近似的線性關系，這也與dempsey[9]中的實驗結果相對應.在10 000個磁道跨度至最大尋道跨度之間存在箭頭所示的5個階梯狀耗能曲線，這代表這塊磁盤為保證IO訪問的性能，采用延長磁頭推動力持續(xù)時間的某些技術，在應對大跨度的尋址位移時，根據尋址位移的范圍不同，在磁盤半徑方向采用不同的最高速度進行尋址，例如本次實驗中的SeaGate ST3146855SS磁盤就擁有5個不同的最高徑向速度，這樣雖然增加了耗能，但可以保證磁頭的尋址時間不會過長.這一結果與傳統(tǒng)的磁頭運動模型部分相符，我們在第3節(jié)中我們采用等效動力模型對磁頭活動功率建模時，針對這種情況對磁頭運動模型進行了改進.

Fig. 1　Energy consumption of single seeking.圖1　單次尋址耗能

本節(jié)也驗證了磁頭的位移而不是磁頭的位置是尋址能耗的主要影響參數.主要驗證方法是采用2種不同的合成負載，2種負載與單次尋址耗能實驗中所用負載類似，均對磁盤單盤片上每一條磁道依次進行讀操作和寫操作，并保證每次訪問后磁頭都回到本次訪問的起點，每次讀寫的數據量大小為4 KB.但差異之處在于，第1種合成負載從第1條磁道(磁道0)開始訪問到最后一條磁道(最高磁道)結束，我們稱之為順序訪問；第2種合成負載從最后一條磁道(最高磁道)開始到第1條磁道(0磁道)結束，我們稱之為倒序訪問.圖2中顯示為順序訪問和倒序訪問的能耗，橫軸坐標為尋址位移.從圖2可以看到，順序訪問及倒序訪問的能耗變化趨勢幾乎相同，在相同的尋址位移上的瞬時變化功率也非常相近.因此磁頭尋址功率與當前磁頭所在位置關系不大，而磁頭位移是決定磁頭尋址功率的重要參數之一.

Fig. 2　The power of sequence-reverse order seeking.圖2　磁頭順序-倒序訪問的變化功率

2.2磁盤活動利用率

磁盤活動利用率指的是在單位時間內磁盤讀寫操作占總運行時間的比率，這一參數反映了磁盤的繁忙程度.

我們在統(tǒng)計磁盤活動利用率時，使用IO操作的總時間占單位時間的比率來計算磁盤活動利用率.這一計算方法也從側面反映了IO之間存在的達到時間占總運行時間的比例大小.如圖3所示：

Fig. 3　Disk utilization affects the seeking power.圖3　磁盤活動利用率對尋址功率的影響

在考慮該參數對功率影響時，我們測試了3次不同的合成負載對磁盤瞬時功率的影響，如圖3所示，橫坐標為當前IO訪問的磁道，縱坐標為12 V電路在發(fā)生尋址操作時增加的功率.為保證負載訪問模式的一致性，該3次合成負載的測試均保證磁頭在單盤片上從0磁道到最大磁道的訪問，每次IO為數據塊大小相同的同步的讀寫請求，在讀寫請求結束后加入不同的休眠時間以獲取不同的磁盤活動利用率.f1為沒有休眠時間的合成負載，其活動利用率在95%～100%之間；合成負載f2休眠時間為4 ms，其活動利用率為80%～90%之間；合成負載f3休眠時間為6 ms,其活動利用率為70%～80%之間.在圖3中，f(p)的數據是實測能耗數據，f(u)的數據為當前尋址距離下，根據所采集的利用率估算的能耗數據.可以看出f(u)與f(p)的數據在訪問相同磁道時相對吻合，因此我們從實驗結果中推斷，對于12 V的尋址電路來說，磁盤活動利用率與尋址能耗成正比.

2.3數據傳輸率

數據傳輸率是指在單位時間內讀寫操作分別傳輸的數據塊大小，在磁盤IO操作中影響數據傳輸時間.

我們使用不同的合成負載，在保證活動利用率不變、尋址跨度相同的前提下，分別測試每次傳輸塊大小為4 KB，64 KB，256 KB時，3次合成負載的功率變化情況(對于SeaGate ST3146855SS磁盤而言，其內側環(huán)帶中的磁道中單磁道最少扇區(qū)數為800，單次讀寫400 KB大小通常會引發(fā)跨盤片的讀寫操作，因此測試采用的最大塊數為256 KB).從圖4我們可以看出，隨著傳輸塊大小的增加，尋址功率呈下降趨勢，其主要原因在于數據塊的增加引起了磁頭讀寫操作時間的增加，對于磁頭的尋址操作來說，在耗能不變的前提下延長了IO的訪問時間.因此隨著傳輸數據塊的增加，其功率會逐漸降低.

Fig. 4　Block size affects the seeking power.圖4　傳輸塊大小對尋址能耗影響

本節(jié)主要討論了IO訪問發(fā)生時磁盤的活動特征，根據磁盤讀寫的基本原理及驗證性的實驗數據，分析磁盤特征參數與磁頭尋址功率之間的相關關系，并得出4點結論：

1) 尋址耗能與尋址位移在一定范圍內呈線性關系，一定范圍內呈常數關系.磁頭尋道的一般機械過程為：加速前進—勻速前進—減速前進—定位調整，并且經典運動模型給出的磁頭尋址模型均把磁頭的尋址運動等效為加速度相反的勻加速直線運動.因此，我們假設有一個徑向的推動力及牽引力幫助磁頭完成了磁頭的尋址運動.從經典的磁頭尋址模型可知，推動力及牽引力大小相同，方向相反.從而在磁頭徑向速度小于v0(見3.2節(jié))時尋址耗能與尋址位移呈線性關系，在大于v0后呈常數關系.

2) 磁頭尋址能耗與LBA及磁頭所在位置無關，與磁頭位移相關.由結論1的分析可知，目前磁盤器件的徑向均加速均減速運動所消耗的電能與磁頭當前位置(LBA)沒有相關性，而與磁頭的位移(牽引力制動力的作用距離)相關.

3) 磁頭尋址能耗與磁盤活動利用率呈正比.磁盤活動利用率指的是在單位時間內磁盤讀寫操作占總運行時間的比率.這個比率越低則說明磁頭在IO操作完成后間隔的空閑時間越長.也就是說磁頭在空閑時間內并沒有工作，所以磁頭尋址能耗與磁盤活動利用率呈正比.

4) 塊大小越大，磁頭尋址功率越低.由于單次IO操作是由磁頭尋址—定位—傳輸數據塊這樣的流程進行的.單次IO操作中數據塊大小越大，所占總的傳輸時間比率越大，而對于磁頭的尋址操作來說，相當于在耗能不變的前提下，延長了IO的訪問時間，因此變相地降低了磁頭的尋址功率.

本節(jié)對磁頭尋址功率的相關特征參數做了相應的研究，提出了與尋址功率相關的4個結論，通過目前磁盤的工作原理分析以及實驗驗證相結合的方法，證實了這些結論的一般性.此外，在實驗過程中采集的數據中可以看出，磁頭的尋址操作對IO讀寫的平均訪問時間影響最大，因此我們將IO讀寫的平均訪問時間作為尋道預估模型的主要參數.而尋址位移、磁盤活動利用率、數據傳輸率等參數對磁盤的能耗影響較大，我們將其作為細節(jié)模型的建模參數.

3模型的建立

在第2節(jié)確定模型的主要參數之后，本節(jié)中我們將根據磁盤的內部原理及讀寫時的活動細節(jié)構建尋道預估模型(cylinder-seeking model for hard-disk activity, CSMDA)，12 V電路的尋道功率模型(seeking model for hard-disk power, SMDP)及5 V電路的數據傳輸功率模型(data transport model for hard-disk power, TMDP).CSMDA模型用于預估磁盤尋址的細節(jié)活動，SMDP與TMDP模型用于預估磁盤不同線路的功率狀態(tài).目前大多數的SAS或是SATA磁盤由12 V及5 V兩路電路進行供電，磁盤功率由2個線路共同計算獲得，如圖5所示.圖5為8 KB隨機讀訪問下磁盤2個線路的電流狀態(tài)，可以看到磁盤的整體能耗由2條線路共同承擔.

Fig. 5　Diagram of disk power.圖5　磁盤功率示意圖

Fig. 6　Neural network fitting results.圖6　神經網絡擬合結果

3.1尋道預估模型(SMDA)

為了保證能耗預測的準確性，我們的尋道功率模型需要知道當前IO訪問的平均尋道跨度，從第2節(jié)的分析中我們可以得知，大多數的統(tǒng)計參數都與尋道跨度有關，但為了減少預測過程中的計算量，我們使用IO的平均訪問時間來預測單位時間中的磁頭平均位移.

預測的主要方法是使用神經網絡建模，將采集到的測試負載中的單次讀寫操作的平均時間作為輸入參數，而將磁頭位移量作為輸出.訓練樣本及測試樣本均使用在實驗中獲取的數據，其中70%的數據為訓練樣本，其他30%為驗證及測試樣本，使用Levenberg-Marquardt擬合算法，訓練擬合度為圖6(a),確認及測試為圖6(b)(c)，綜合擬合結果為圖6(d).由于在實驗中訪問了單盤片上的所有磁道，所以樣本空間足夠，在一定程度上保證了預測的準確性.訓練集測試集及誤差結果如圖6、圖7所示.

Fig. 7　Neural network error results.圖7　神經網絡誤差結果

從擬合結果可以看出，使用神經網絡建模的方法預測當前磁頭的平均尋道跨度具有一定的誤差，其原因主要是在統(tǒng)計量中太多的數據與尋道跨度有關，為了保證簡潔性我們只選擇了影響最大的讀寫特征來建模.但其誤差在一定程度上可以接受，同時也說明尋道預估模型具有較大的改進空間.

3.2尋道功率模型(SMDP)

盤臂制動器由12 V電路供電[10]，主要用于磁盤讀寫中的磁頭定位，是磁盤部件中的高能耗部件，也是磁盤部件中電能消耗波動較大的部分.為了避免文件系統(tǒng)層以及塊設備層中讀寫優(yōu)化調度的影響，我們采用直接向磁盤裸設備發(fā)送讀寫指令的方式控制其盤臂的活動,并且我們在實驗過程中發(fā)現，在磁盤盤片中不同物理磁道間位移相同磁道距離的能耗是相同的，這個結論也與Dempsey[10]提出的假設相符合.因此我們提出了SMDP模型，在模型中只要給定磁盤臂的磁道位移跨度及相關參數就可以模擬出磁盤臂本次定位的電能消耗.該磁盤臂跨度的能耗模型的優(yōu)點是單次測量、永久模擬.在以后的預測中，只需要給出磁盤臂的位移跨度，就可以獲取磁盤臂單次位移的電能消耗.

在研究磁頭尋址功率模型過程中，我們應用較為廣泛的等效磁頭運動模型，該模型將盤臂在盤片上的尋址運動(近似的徑向運動)等效為2段加速度相反的勻變速直線運動.該運動模型假定磁頭存在一個最大速度v0，磁頭在達到v0前勻加速運動，達到v0后勻速運動.并假定存在一個尋址距離seek0，當尋址距離小于seek0時，如圖8(a)所示，尋址過程中磁頭沒有達到極值v0便開始減速，當速度為0時恰好到達尋址位置.而當尋址距離大于seek0時，如圖8(b)所示磁頭達到極值之后不再加速而是保持一段勻速運動狀態(tài)后再減速到0，同時到達尋址位置.圖8是我們基于等效磁頭運動模型假定的磁頭特征給出的IO訪問模型，從變極速補充模型圖8(c)上可以看出，由于磁盤采用多極速的技術，可以使IO的磁頭尋址節(jié)省粗實線及虛線所在區(qū)域的時間.

Fig. 8　Disk seeking model.圖8　磁頭運動模型

在推導過程中所需參數如表1所示.

Table 1　Interpretation of Symbols

Fig. 9　Seeking-power fitting.圖9　尋道功率模型擬合

n=f+0.01a×y×(x2+x)

d×x+g×z+e).

(1)

在尋址距離大于seek0時，由于此時磁頭運動狀態(tài)比較簡單，我們直接給出簡化公式：

n=f+0.01a×y×x(b×x2+

d×x+g×z+e).

(2)

為了獲取磁盤臂精確地尋址能耗特征，我們采用特定負載直接對磁盤設備進行讀寫操作，保證磁頭每次的讀寫都從盤片外圈至內圈，以升序依次訪問該盤片的每一條磁道，并且每次讀寫塊大小為1 KB，以減少磁頭傳輸數據塊時的時間影響.測試運行了26 min，共采集數據點1 541個，磁頭以升序依次訪問了72 704個磁道中的每一個磁道.經第2節(jié)的驗證性實驗結果可知，在磁道數10 000左右達到第1個極大速度，此時尋址位置應處于seek0附近.采用前560個數據點圖9(a)作為尋址距離小于seek0的建模數據，而將后1 000個數據點圖9(b)作為尋址距離大于seek0的建模數據.使用數學工具1stopt,采用對公式的擬合效果如圖9所示.

從上述的擬合結果及所獲得的擬合參數化簡給出的式(1)與式(2).我們可以得出針對于Seagate cheetah15K5 146GSAS盤的尋道功率為

(3)

其中,s為尋址距離，u為磁盤活動利用率，BLK為IO讀寫的數據傳輸塊大小.在第5節(jié)中我們對尋道功率模型在小文件訪問及完全隨機訪問中進行了實驗驗證.

3.3數據傳輸功率模型(TMDP)

磁盤中的5 V電路主要用于控制磁頭尋址結束后的讀寫操作以及相應的緩存等電路功率.通過第3節(jié)的實驗分析我們可知，IO的數據傳輸率可以很好地描述磁頭在定位后的讀寫頻率，我們將其作為建模的主要參數.我們通過實驗發(fā)現，相同的數據傳輸率下5 V的電路功率總是相同，并且無論隨機還是順序，功率變化幅度很小.從磁頭的數據傳輸原理可知，磁頭在進行讀操作和寫操作時其工作細節(jié)并不相同，所以我們假設5 V電路功率與讀寫操作的數據傳輸率呈線性關系，并且將讀操作的傳輸率和寫操作的傳輸率做為建模參數.

在TMD模型的建模過程中，我們?yōu)榱吮ＷC建模準確，使用自定義的負載，讓磁盤每次執(zhí)行讀寫操作時數據塊大小不斷增大，在更大的范圍內描述磁頭在定位后的讀寫頻率.使用這樣的方法，會使我們的建模數據更加可靠.

我們假定5 V電路功率為

P=a×RKB+b×WKB+c,

(4)

其中,RKB,WKB分別為磁盤在單位時間內的讀寫傳輸率.

從圖10的擬合結果及獲得的擬合參數簡化式(4)，我們獲得了5 V電路的數據傳輸模型:

P=(4.08E-6)×RKB+(1.48E-6)×

WKB+2.54,

(5)

第5節(jié)中我們順序訪問及完全隨機訪問中對5V電路的數據傳輸模型進行了實驗驗證.

Fig. 10　Data transmission power fitting (R=0.880 8).圖10　數據傳輸功率模型擬合(R=0.880 8)

3.4盤片馬達及電路能耗

盤片馬達在磁盤通電后用于控制盤片的轉動，通過12V電路供電，馬達在磁盤待機過程中會停用.主軸電機主要控制磁盤在活動及待機狀態(tài)下的磁盤轉動，在活動及閑置狀態(tài)時能耗基本保持不變，文獻[3]給出了主軸電機的能耗公式：

(6)

其中,ωspm為主軸電機的角速度，γ為盤片的半徑.我們從式(6)中可以看出，在角速度保持不變的情況下，盤片馬達能耗可以看作是靜態(tài)的能耗，也就是說，在磁盤處于活動狀態(tài)或是待機狀態(tài)時，其主軸電機能耗基本不變.對5V供電電路來說，主要用于磁頭讀寫及相關電路的供電[10]，這部分能耗也可以認為基本不變.

本節(jié)中我們應用改良后的通用磁盤等效運動模型推導出通用的尋址能耗式(1)、式(2)及傳輸能耗式(4)，然后在對磁盤SeagateST3146855SS的IO訪問能耗進行了分析與實驗測試，對該磁盤的2個供電線路分別建立了功率模型，SMDP模型與式(3)用于描述磁頭的尋址活動主要用于模擬磁盤12V電路的功率.TMDP模型與式(5)用于描述讀寫數據塊大小對磁盤功率的影響情況，主要用于描述5V電路功率.

磁盤中的固定能耗部分如盤片馬達及控制電路等能耗已經作為常量應用于2個模型中.在第4節(jié)我們將對本節(jié)中所提出的功率模型進行試驗驗證，以獲取其各自的誤差范圍，并對該公式的獲取方法進行通用性的驗證.

4實驗驗證及數據分析

在第3節(jié)中我們主要應用了試驗分析型的負載對磁盤功率進行了建模和參數擬合，為了保證模型應用的廣泛性，在本節(jié)中我們設定了多種負載對模型進行驗證，并對誤差進行分析.整個實驗環(huán)境如圖11所示:

Fig. 11　Experimental environment of disk energy.圖11　磁盤能耗實驗環(huán)境

4.1實驗平臺

在本組實驗中，使用曙光天闊A620r-G服務器單獨測試磁盤功率，我們使用SAS延長線將SeagateST3146855SS磁盤外接于服務器的供電線路.使用電流鉗獲取磁盤的電流，為了防止電路間的電磁干擾，電流鉗獲取電流的電路通過電路板單獨外接.

4.2功率模型模擬結果

4.2.1異步IO模擬

我們使用2種負載對12V電路尋道模型的隨機訪問功率預估進行驗證.第1種負載使用IOmeter工具來模擬小數據文件和大數據文件的在異步IO條件下的磁盤訪問.設置塊大小分別為512B，1KB，4KB，8KB，16KB，如圖12(a)～(e)所示.讀寫比例為50%讀操作、50%寫操作，訪問模式為隨機訪問.第2種負載使用自定義負載，自定義負載訪問模式為隨機訪問模式，尋址位置從單盤片中的所有磁道中隨機選取圖12(f)，每次訪問數據塊的大小也從512B，1KB，4KB，8KB，16KB中隨機選取，讀寫比例為50%讀操作、50%寫操作.在加載負載的同時，我們使用采集工具采集模型所需要的參數，如磁盤平均讀寫時間，作為尋道預估模型的輸入，通過神經網絡建模來估計當前單位時間內的平均尋址跨度，然后將平均尋址跨度作為磁頭尋道功率模型的輸入，結合磁盤活動利用率、數據傳輸速率等參數用于估計尋址功率.

Fig. 12　The model validation of seeking-power.圖12　尋道功率模型驗證結果

從圖12可以看出，12V電路的尋址功率模型在IOmeter模擬小數據塊的隨機讀寫方面，尋道功率模型可以較好地預測磁盤當前能耗.并且預測的精準度比較平穩(wěn)，并不隨著數據塊的增加而變大，主要原因在于在12V尋道功率模型中，我們同時也加入了與數據塊傳輸時間相關的參數，用于適應傳輸數據塊時功率的變化.

Fig. 13　Estimation errors of different block size.圖13　不同數據塊的估計誤差

同時我們也發(fā)現在使用IOmeter模擬異步IO負載時，數據塊大小不同，能耗差異性并不大，這可能與IOmeter本身的隨機讀寫策略有關，IOmeter雖然使用的是隨機訪問模式，但異步IO在塊調度層中對隊列中隨機的地址進行排序后，磁頭尋址位移的變化會比較平穩(wěn).為了消除IOmeter本身隨機策略對模型驗證的影響，我們同時也使用了自定義負載，該負載使用特定的訪問模式，從磁盤所有磁道集內隨機抽取磁道對其進行直接讀寫訪問，這種自定義負載可以保證最大限度的尋址隨機性.從圖13(a)(b)的誤差統(tǒng)計來看，對于IOmeter模擬的文件訪問的平均誤差都在2%～3%之間，最大誤差不高于6%.從自定義隨機負載的模擬結果可以看出平均誤差在2%，最大誤差小于5%.順序訪問過程中由于磁頭的位移幅度很小，對12V電路的影響有限，能耗基本不發(fā)生變化.圖14所示為5V電路的傳輸功率模型的驗證結果，對于5V電路，我們使用IOmeter工具，分隨機負載(如圖14(c)、圖14(d))和順序負載(如圖14(a)、圖14(b))兩種驗證集進行測試，我們在測試過程中設置塊大小為32KB，64KB,128KB,256KB,512KB,1MB,2MB，4MB等多種數據塊訪問模式來體現傳輸數據塊時電路能耗的顯著變化.

對于從小至大的數據塊傳輸情況，從誤差統(tǒng)計來看無論隨機還是順序都有較好的模擬結果，平均誤差在3%左右，最大誤差不超過5%.

Fig. 14　The model validation of data transmission.圖14　數據傳輸功率模型驗證結果

4.2.2同步IO模擬

我們使用合成負載對12V電路尋道模型的同步隨機訪問進行功率驗證.同步IO的合成負載的訪問模式為尋址位置從單盤片上所有磁道中隨機選取.每次IO訪問之間的時間間隔也隨機產生，這樣保證了磁盤活動利用率的隨機性.負載隨機選取不同的傳輸塊大小、尋址的磁道、每次IO訪問后的休眠時間，這樣基本上可以模擬常見的同步IO訪問.設置塊大小為4KB,16KB，64KB，128KB.讀寫比例為50%讀操作、50%寫操作，訪問模式為隨機訪問.在加載負載的同時，我們使用采集工具采集模型所需要的參數，如磁盤平均讀寫時間，作為尋道預估模型的輸入，通過神經網絡建模來估計當前單位時間內的平均尋址跨度，然后將平均尋址跨度作為磁頭尋道功率模型的輸入，結合磁盤活動利用率、數據傳輸塊大小等參數用于估計尋址功率.

圖15是我們對數據塊大小分別為4KB，16KB，64KB，128KB進行的同步IO驗證試驗結果，如圖15(a)～(d)所示.可以看到在同步IO中數據塊大小發(fā)生較大變化時，對尋址功率才會產生可見的影響.從預測結果來看，雖然數據塊大小增加會影響模型的預測精度，但4種同步IO負載的平均誤差都在3%左右.并且從預測結果來看，本文提出的功率模型無論從預測結果還是預測趨勢都可以較為準確地預測磁盤尋址的當前功率.

Fig. 15　The model validation of synchronous IO.圖15　同步IO尋址功率預測結果

4.3額外的負載

Fig. 16　Performance impact on random access.圖16　隨機訪問性能劣化

本模型可以采用在線及離線的方式處理所采集到的數據，由于采集數據的處理可以使用其他的服務器而對存儲系統(tǒng)不會產生額外的計算負載，因此我們主要考慮采集工具是否會對當前的工作負載產生影響.根據采集時間窗口的不同，對當前工作負載的影響也不相同.我們使用IOmeter工具模擬較為典型的訪問負載：隨機訪問負載，數據塊大小為4KB，50%讀、50%寫；順序訪問負載，數據塊大小為4KB，50%讀、50%寫.由于隨機訪問對IOPS的要求較高，因此我們以IOPS作為負載性能劣化的指標，而順序讀寫我們以數據傳輸率為負載性能劣化的指標，分別對時間窗口1s，10s,30s進行性能測試，每次測試時間為30min.測試結果如圖16、圖17所示:

Fig. 17　Performance impact on sequence access.圖17　順序訪問性能劣化

從圖16可以看出對于隨機訪問來說，使用iostate采集所需參數所帶來的額外負載隨著時間間隔的增加而不斷減少，并且以1s為時間窗口的細粒度采集模式也幾乎不會對隨機訪問產生較大的影響.同樣，從圖17可以看到，采集工具對順序訪問也沒有帶來太大的額外負載.從上述的實驗測試來看，建模所需數據的采集對當前的工作負載產生的影響極其微小，在極細小的采集窗口下(采集間隔1s)也沒有超過3%.

4.4建模方法的通用性

本文提出了一種使用磁盤活動特征統(tǒng)計量作為參數對磁盤能耗進行建模的方法，該方法以理論及實驗驗證的磁盤活動與能耗的相關關系為基礎，結合改良的傳統(tǒng)磁頭尋址模型，對磁盤的尋址能耗及數據傳輸能耗均進行了建模.從理論上來說，這種建模方法只應用了磁盤活動的普適特征，而對于其他磁盤能耗的建模應該具有通用性.第3節(jié)中的建模只針對了SeagateST3146855SS磁盤，這里我們限于篇幅，不再描述其他型號磁盤繁瑣的建模過程.直接給出3個磁盤的特性能耗模型及其測試結果.如表2所示:

Table 2　Fitting Formulae of Disk Drivers

我們使用IOmeter對上述3種磁盤的模型進行驗證性測試，選取較為典型的隨機負載，即數據塊大小為4KB，50%讀、50%寫、全隨機，測試時間為10min，其中，D1磁盤為SeagateST3146855SS，D2磁盤為WD10EZEX，D3磁盤為SeagateConstellationES.測試結果如圖18所示：

Fig. 18　Multiple disks experiment.圖18　多磁盤驗證實驗

從圖18中可以看出，對于不同類型的3種磁盤，本文出的建模都具有較好的效果，并且與經典的細粒度磁盤模型dempsey所給出的5%平均誤差相比，精度很接近.因此，本文提出的建模方法具有通用性，并且精確度與細粒度模型接近，可以達到目前密集型數據訪問的要求.

5結束語

本文提出了一種使用磁盤活動特征統(tǒng)計量作為參數預估磁盤能耗的方法.這種方法通過統(tǒng)計量預測出磁盤的細節(jié)活動，然后使用等效的運動學模型結合相關的參數去預測磁盤在尋址及數據傳輸上的功率狀態(tài).這種方法不需要關注磁盤的細節(jié)活動，也不需要采集磁盤每一個IO操作，只需要一段時間內的統(tǒng)計參數就可以估算磁盤的功率.這種無需密集型采集的方法即適用于在線性能要求較高的數據中心功率預測，也適用于精確的評估各類節(jié)能算法在負載狀態(tài)下的真實節(jié)能效果.實驗結果表明，該模型在同步及異步IO等多種數據訪問模式下都具有較好的準確性.

參考文獻

[1]IDC.The2011IDCdigitaluniversestudy[EBOL]. (2011-07-04) [2016-01-15].http:www.emc.comcollateralaboutnewsidc-emc-digital-universe-2011-infographic.pdf

[2]AcharyaA,UysalM,SaltzJ.Activedisks:Programmingmodel,algorithmsandevaluation[C]Procofthe8thIntConfonArchitecturalSupportforProgrammingLanguagesandOperatingSystems.NewYork:ACM, 1998: 81-91

[3]HopkinsM.Theonsiteenergygenerationoption[EBOL]. (2004-05-19)[2016-01-15] .http:datacenterjournal.comNewsAriticle.asp?article_id=66

[4]BianchiniR,RajamonyR.Powerandenergymanagementforserversystems[J].Computer, 2004, 37(11): 68-74

[5]DimitrijevicZ,RangaswamiR,ChangE,etal.Diskbench:User-leveldiskfeatureextractiontool[J].Computer, 2004, 35(12): 50-61

[6]MaYan,GongBin,ZouLida.Duplication-basedenergy-efficientschedulingfordependenttasksingridenvironment[J].JournalofComputerResearchandDevelopment, 2013, 50(2): 420-429 (inChinese)(馬艷, 龔斌, 鄒立達. 網格環(huán)境下基于復制的能耗有效依賴任務調度研究[J]. 計算機研究與發(fā)展, 2013, 50(2): 420-429)

[7]ColarelliD,GrunwaldD.Massivearraysofidledisksforstoragearchives[C]Procofthe2002ACMIEEEConfonSupercomputing.Piscataway,NJ:IEEE, 2002

[8]PinheiroE,BianchiniR.Energyconservationtechniquesfordiskarray-basedservers[C]Procofthe25thIntConfonSupercomputing.NewYork:ACM, 2014: 369-379

[9]ZedlewskiJ,SobtiS,GargN,etal.Modelinghard-diskpowerconsumption[C]Procofthe2ndUSENIXConfonFileandStorageTechnologies.Berkeley,CA:USENIXAssociation, 2003: 217-230

[10]PeekD,FlinnJ.Drive-Thru:Fast,accurateevaluationofstoragepowermanagement[C]Procofthe11thUSENIXAnnualTechnicalConf.Berkeley,CA:USENIXAssociation, 2005: 251-264

[11]ZhuQ,ChenZ,TanL,etal.Hibernator:Helpingdiskarrayssleepthroughthewinter[J].ACMSIGOPSOperatingSystemsReview, 2005, 39(5): 177-190

[12]ZhuQ,DavidF,DevarajC,etal.Reducingenergyconsumptionofdiskstorageusingpower-awarecachemanagement[C]Procofthe10thIntConfonHigh-PerformanceComputerArchitecture.Piscataway,NJ:IEEE, 2004: 118-129

[13]ZhuQ,ZhouY.Power-awarestoragecachemanagement[J].IEEETransonComputers, 2005, 54(5): 587-602

[14]BissonT,BrandtS,LongD.Ahybriddisk-awarespin-downalgorithmwithIOsubsystemsupport[C]Procofthe26thIEEEIntPerformanceComputingandCommunicationsConf.Piscataway,NJ:IEEE, 2007: 236-245

[15]NarayananD,DonnellyA,RowstronA.Writeoff-loading:Practicalpowermanagementforenterprisestorage[J].ACMTransonStorage, 2008, 4(3): 10-21

[16]CarreraEV,PinheiroE,BianchiniR.Conservingdiskenergyinnetworkservers[C]Procofthe17thAnnualIntConfonSupercomputing.NewYork:ACM, 2003: 86-97

[17]PinheiroE,BianchiniR,DubnickiC.Exploitingredundancytoconserveenergyinstoragesystems[C]ProcofACMSIGMETRICSPerformanceEvaluationReview.NewYork:ACM, 2006, 34(1): 15-26

[18]StoessJ,LangC,BellosaF.Energymanagementforhypervisor-basedvirtualmachines[C]Procofthe13thUSENIXAnnualTechnicalConf.Berkeley,CA:USENIXAssociation, 2007: 1-14

[19]AllaloufM,ArbitmanY,FactorM,etal.Storagemodelingforpowerestimation[C]ProcoftheIsraeliExperimentalSystemsConf.NewYork:ACM, 2009: 3

[20]YanJ,LonappanCK,VajidA,etal.Accurateandlow-overheadprocess-levelenergyestimationformodernharddiskdrives[C]ProcofIEEEGreenCom’13.Piscataway,NJ:IEEE, 2013: 171-178

[21]WeddleC,OldhamM,QianJ,etal.PARAID:Agear-shiftingpower-awareRAID[J].ACMTransonStorage, 2007, 3(3): 13-24

[22]ZhangJu,XiaoYuxin,JingNing,etal.OptimizedtheextractionofdiskcharacteristicsfortheIOschedulers[J].JournalofNationalUniversityofDefenseTechnology, 2003, 4(6): 15-26 (inChinese)(張巨, 肖予欽, 景寧, 等. 面向IO優(yōu)化調度器的磁盤特征提取[J]. 國防科技大學學報, 2003, 4(6): 15-26)

[23]ChuX,OuyangK,ChangX.FAXtrac:Fastextractionofdisklayout[C]Procofthe4thIEEEIntConfonNetworking,ArchitectureandStorage.Piscataway,NJ:IEEE, 2009: 309-314

SunJian,bornin1982.PhDcandidate.Hismainresearchinterestsincludecloudstorageandgreenstorage.

LiZhanhuai,bornin1961.ProfessorandPhDsupervisor.Hismainresearchinterestsincludedatabasetheoryandtechnologyandmassivedatastorage.

ZhangXiao,bornin1978.PhDandassociateprofessor.Hismainresearchinterestsincludegreenstorageandmassivedatastorage.

WangHuifeng,bornin1986.PhDcandidateinNorthwesternPolytechnicalUniversity.Hisresearchinterestsincludecloudcomputing,datasecurityandmassivedatastorage.

ZhaoXiaonan,bornin1979.PhDandlecturer.Hermainresearchinterestsincludehierarchicalstorageandcloudstorage.

收稿日期：2016-03-09；修回日期：2016-05-16

基金項目：國家“八六三”高技術研究發(fā)展計劃基金項目(2013AA01A215)；國家自然科學基金項目(61472323，61502392)；中央高?；究蒲袠I(yè)務費專項資金項目(3102015JSJ0009)；華為創(chuàng)新基金項目(YB2014040023)

通信作者：張曉(zhangxiao@nwpu.edu.cn)

中圖法分類號TP333

A Statistic-Based Method for Hard-Disk Power Consumption in Storage System

Sun Jian, Li Zhanhuai, Zhang Xiao, Wang Huifeng, and Zhao Xiaonan

(SchoolofComputerScienceandEngineering,NorthwesternPolytechnicalUniversity,Xi’an710129)

AbstractDue to the rapid development of big data in the data center, power consumption of storage system is a major issue in today’s datacenters. How to reduce the power consumption of storage systems has become an urgent issue and a hot research topic in the field of computer science. As the hard disk drive is the primary storage medium in today’s storage systems, modeling hard-disk power consumption is attracting more attention in the current state of research. The accurate power consumption model of disk can not only solve the problem of power matching in data center devices, but also estimate the accuracy of energy-efficient solutions. We develop a statistic-based hard-disk power modeling method that estimates the power consumption of storage workloads. The model makes up the weakness of traditional fine-grained model and it is more accurate than the coarse-grained model. In practical applications, it does not need to record the disk internal activities, and does not need to trace complex parameter. Our power estimation results are highly accurate, which means error of 3% and the model is applicable to the synchronous IO and asynchronous IO. Moreover, our model can also be applied to various online storage systems and data center.

Key wordsstorage system; energy conservation; modeling; hard-disk; power management

This work was supported by the National High Technology Research and Development Program of China (863 Program) (2013AA01A215), the National Natural Science Foundation of China (61472323, 61502392), the Fundamental Research Funds for the Central Universities (3102015JSJ0009), the Huawei Innovation Research Program (YB2014040023).