韋　祎，楊任花，林殷茵

(復(fù)旦大學(xué) 專用集成電路與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，上海 201203)

?

通過邊界行標(biāo)記的低刷新功耗內(nèi)存

韋祎，楊任花，林殷茵

(復(fù)旦大學(xué) 專用集成電路與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，上海 201203)

摘要：提出一種通過數(shù)個(gè)邊界行地址寄存器，將DRAM內(nèi)存按照行地址劃分為正常刷新區(qū)域、低頻刷新區(qū)域和無需刷新區(qū)域的方案.當(dāng)數(shù)據(jù)被集中于DRAM中連續(xù)行時(shí)，該方案不刷新未存放數(shù)據(jù)的DRAM行，并且對(duì)非關(guān)鍵數(shù)據(jù)區(qū)域采取比正常更低的頻率進(jìn)行刷新，從而可以將刷新功耗按比例降低至內(nèi)存占用率以下.最后用gem5+DRAMSim2仿真平臺(tái)對(duì)這種方案的硬件部分進(jìn)行建模并仿真，實(shí)驗(yàn)顯示如果搭配合適的數(shù)據(jù)分配算法，該做法能夠在很低的硬件開銷下有效降低內(nèi)存功耗.

關(guān)鍵詞:DRAM刷新功耗； 內(nèi)存仿真； DRAMSim2

對(duì)于現(xiàn)代數(shù)據(jù)中心而言，硬件成本只占總開銷的一半，大量成本花在供電.在主流服務(wù)器中，內(nèi)存功耗已經(jīng)占到系統(tǒng)總功耗的30%，與CPU功耗相當(dāng)，是耗電量最大的部件之一[1].而對(duì)于移動(dòng)設(shè)備而言，內(nèi)存耗電問題也影響著設(shè)備使用時(shí)間[2].傳統(tǒng)DRAM依靠電容電荷存放數(shù)據(jù)，電荷會(huì)因?yàn)槁╇姸魇?，在不補(bǔ)充電荷情況下DRAM電容能夠保持?jǐn)?shù)據(jù)不丟失的時(shí)間稱為保持時(shí)間(retention time).為了補(bǔ)償漏電損失的電荷，DRAM芯片必須每隔一段時(shí)間對(duì)所有單元刷新一次，該時(shí)間間隔被稱為刷新周期(refresh period)，刷新周期需要小于DRAM單元的保持時(shí)間才能確保數(shù)據(jù)不丟失.JEDEC規(guī)定的標(biāo)準(zhǔn)DDR刷新周期為64ms，通常內(nèi)存控制器每7.8us向DRAM發(fā)送一條自動(dòng)刷新(auto refresh)指令，一次刷新一行或多行，使得64ms內(nèi)所有行都被刷新到.隨著DRAM容量增大行數(shù)增多，每次刷新操作需要刷新的行數(shù)增大，功耗和延時(shí)也會(huì)等比增長，按照趨勢，32Gb DRAM芯片刷新功耗將占據(jù)總功耗的1/3，且刷新操作會(huì)降低DRAM 30%的帶寬[3].解決刷新問題是DRAM內(nèi)存向更大容量發(fā)展的重大挑戰(zhàn)之一.有兩類方法能夠降低DRAM內(nèi)存不必要的刷新操作： 1) 根據(jù)保持時(shí)間特性降低大部分DRAM行的刷新頻率；2) 根據(jù)存儲(chǔ)內(nèi)容特性減少刷新.

研究發(fā)現(xiàn)，DRAM陣列中絕大多數(shù)存儲(chǔ)單元保持時(shí)間都遠(yuǎn)大于256ms，如果對(duì)大多數(shù)DRAM行采用256ms刷新周期而僅對(duì)保持時(shí)間小于256ms的DRAM行以更高頻率刷新，則可以大大提高刷新操作的效率.Liu等[3]提出一種事先測試出DRAM每行保持時(shí)間并通過Bloom filter進(jìn)行標(biāo)記，將DRAM所有行劃分為多個(gè)刷新頻率檔，按照不同頻率進(jìn)行刷新的策略，其研究顯示99.9%的行處于256ms刷新檔，可以認(rèn)為該方案將刷新頻率降低至約1/4，即降低約75%的刷新功耗.但文獻(xiàn)[4]指出，根據(jù)測試向量不同和時(shí)間推移，DRAM行表現(xiàn)出的保持時(shí)間也會(huì)變化，很難通過幾次簡單實(shí)驗(yàn)得到DRAM陣列中每行保持時(shí)間特性，因此這種基于器件隨機(jī)特性的方案在可操作性上存在問題.

實(shí)際應(yīng)用中計(jì)算機(jī)系統(tǒng)并非總是滿載運(yùn)行，然而當(dāng)前計(jì)算機(jī)系統(tǒng)在低負(fù)載下功耗并不隨負(fù)載等比下降[1].內(nèi)存占用率通常遠(yuǎn)低于100%，但傳統(tǒng)刷新方式無論該DRAM行是否存放數(shù)據(jù)，都進(jìn)行刷新，這就帶來不必要的開銷.在LPDDR標(biāo)準(zhǔn)中有partial-array self-refresh(PASR)模式，當(dāng)DRAM中某個(gè)陣列沒有存放數(shù)據(jù)時(shí)，可以忽略該陣列的刷新[2]，這樣的劃分方法粒度較粗，如果數(shù)據(jù)分散在多個(gè)陣列中則基本無法啟用.Isen等[5]在DRAM控制器中增加額外的存儲(chǔ)空間來標(biāo)記DRAM各區(qū)域是否存放有效數(shù)據(jù)即是否需要刷新，通過操作系統(tǒng)的malloc和free指導(dǎo)硬件進(jìn)行內(nèi)存標(biāo)記，不刷新未被分配到數(shù)據(jù)的DRAM區(qū)域，如果標(biāo)記粒度足夠細(xì)，則可以將刷新功耗等比降低至內(nèi)存占用率.這種做法的額外存儲(chǔ)開銷與標(biāo)記粒度成反比，一般幾個(gè)GB的DRAM內(nèi)存有上萬行，如果對(duì)每行進(jìn)行標(biāo)記會(huì)帶來很大的存儲(chǔ)開銷，因此需要在標(biāo)記精度和硬件開銷之間取舍.Liu等[6]將內(nèi)存地址劃分為正常刷新區(qū)域和低頻率刷新區(qū)域刷新兩部分，將對(duì)可靠性要求高的關(guān)鍵數(shù)據(jù)放在正常刷新區(qū)域，將能夠容納一定錯(cuò)誤的數(shù)據(jù)(例如圖像和音頻)放在低頻率刷新區(qū)域，從而降低刷新功耗，這需要操作系統(tǒng)在數(shù)據(jù)分配上的支持，盡可能緊湊放置正常刷新區(qū)域的數(shù)據(jù)以免越界到低頻刷新區(qū)域而出現(xiàn)錯(cuò)誤.

本文提出一種用數(shù)個(gè)邊界行地址寄存器將內(nèi)存劃分為正常刷新區(qū)域、低頻刷新區(qū)域和無需刷新區(qū)域的方案，當(dāng)內(nèi)存地址連續(xù)分配時(shí)，該方案能夠結(jié)合文獻(xiàn)[5-6]的好處，并且硬件開銷很小.本文使用gem5體系結(jié)構(gòu)仿真平臺(tái)配合DRAMSim2內(nèi)存仿真器，用小規(guī)模SPEC CPU2006測試程序?qū)鹘y(tǒng)DRAM、Liu等[3]中256ms周期刷新DRAM、類似Isen等[5]中進(jìn)行每行標(biāo)記的刷新方案和本文通過行地址邊界來劃分刷新區(qū)域的DRAM內(nèi)存進(jìn)行仿真對(duì)比.

1通過邊界行標(biāo)記刷新的內(nèi)存方案

1.1不同刷新區(qū)域的標(biāo)記方法

如果內(nèi)存數(shù)據(jù)集中于相鄰DRAM行，則可以使用一個(gè)或多個(gè)行地址寄存器來標(biāo)記需要刷新的DRAM行，當(dāng)且僅當(dāng)待刷新DRAM行處于標(biāo)記范圍之內(nèi)時(shí)，才發(fā)送刷新指令.圖1列舉了幾種標(biāo)記方式： (a) 當(dāng)數(shù)據(jù)集中于低物理地址時(shí)，用一個(gè)最高刷新行邊界標(biāo)記需要刷新區(qū)域，需要刷新的區(qū)域處于最低行到最高刷新行之間；(b) 當(dāng)數(shù)據(jù)集中于高物理地址時(shí)，用一個(gè)最低刷新行邊界標(biāo)記需要刷新的區(qū)域，需要刷新的區(qū)域處于最低刷新行到最高物理行之間；(c) 當(dāng)數(shù)據(jù)集中于中間物理地址時(shí)，用兩個(gè)邊界標(biāo)記需要刷新的區(qū)域，需要刷新的區(qū)域處于最低刷新行到最高刷新行之間；(d) 當(dāng)數(shù)據(jù)集中于高地址和低地址時(shí)，用兩個(gè)邊界標(biāo)記不需要刷新的區(qū)域，需要刷新的區(qū)域處于最低行到最低不刷新行之間，以及最高不刷新行到最高物理行之間.

結(jié)合文獻(xiàn)[6]提出的按照程序數(shù)據(jù)容錯(cuò)特性劃分正常刷新區(qū)和低頻刷新區(qū)的思想，該方案可以進(jìn)一步延伸為通過正常刷新行邊界和低頻率刷新行邊界，將內(nèi)存劃分為正常刷新區(qū)、低頻刷新區(qū)和無需刷新區(qū)3部分.32位Linux系統(tǒng)中，虛擬地址的0～3G為用戶空間，3G～4G地址為內(nèi)核空間，而內(nèi)核空間又被劃分為ZONE_DMA、ZONE_NORMAL 和ZONE_HIGHMEM，其中高端內(nèi)存ZONE_HIGHMEM不經(jīng)過頁表映射，直接對(duì)應(yīng)最高128MB物理地址.根據(jù)Linux已有特性，本方案選擇將高地址作為正常刷新區(qū)域，將低地址作為低頻刷新區(qū)域，使分配數(shù)據(jù)向兩邊靠攏，而中間區(qū)域則沒有數(shù)據(jù)無需刷新.圖2是這種改進(jìn)方案的地址劃分示意圖.

內(nèi)存控制器常見的物理地址到陣列內(nèi)行列地址的映射方式有channel∶row∶column∶bank∶rank、channel∶rank∶row∶col∶bank、row∶col∶rank∶bank∶channel等幾種，這幾種映射方式的共同特點(diǎn)是列地址和bank地址在行地址的低位，因此會(huì)優(yōu)先填充完一整行數(shù)據(jù)后才開啟下一行.因此只要做到分配的物理地址連續(xù)，就能使分配的DRAM連續(xù)，以最大化標(biāo)記效率.在實(shí)際計(jì)算機(jī)應(yīng)用中，內(nèi)存資源是在不斷分配和釋放的，實(shí)際操作時(shí)不僅需要集中分配內(nèi)存，還需要在內(nèi)存釋放時(shí)動(dòng)態(tài)壓縮內(nèi)存，才能起到最好的標(biāo)記效果，我們暫時(shí)只討論如何對(duì)已標(biāo)記完成的內(nèi)存進(jìn)行硬件刷新操作，軟件分配算法留作以后討論.

1.2DRAM接口和時(shí)序修改

判斷對(duì)DRAM行進(jìn)行刷新的流程如圖3所示.假設(shè)低頻刷新區(qū)域的刷新周期是正常刷新周期的N倍，當(dāng)內(nèi)存控制器產(chǎn)生tREFI脈沖時(shí)(傳統(tǒng)內(nèi)存控制器受此激勵(lì)發(fā)送刷新指令)，判斷待刷新行是否在正常刷新區(qū)域，或者是否在低頻刷新區(qū)域且周期計(jì)數(shù)器下降為0(即已經(jīng)經(jīng)過N個(gè)刷新周期)，以決定是否發(fā)送刷新指令.

該方案需要對(duì)DRAM接口稍做改動(dòng)，圖4展示了兩種方案： (a) 在DRAM芯片內(nèi)部也增加邊界行寄存器，并額外增加更新指令以保持與內(nèi)存控制器同步，當(dāng)接收到自動(dòng)刷新指令時(shí)，DRAM芯片通過內(nèi)部邊界行寄存器計(jì)算出當(dāng)前需要刷新的行；(b) 不對(duì)DRAM芯片進(jìn)行任何改動(dòng)，但是采用ACTIVATE/PRECHARGE指令替代默認(rèn)的AUTO REFRESH指令，同樣可以起到刷新陣列的作用，這也是Liu等[3]采取的刷新方案.兩種做法各有優(yōu)缺點(diǎn)： 方案(a)硬件開銷更大，且需要更新DRAM芯片內(nèi)部邊界行寄存器，而優(yōu)點(diǎn)在于能夠采用更高效的自動(dòng)刷新指令，而且可以使DRAM在處于自刷新(SELF REFRESH)模式下也能進(jìn)行選擇性刷新；方案(b)硬件改動(dòng)小，可以直接用現(xiàn)有的DRAM芯片，但ACTIVATE/PRECHARGE指令在接口的開銷較大.

2gem5+DRAMSim2仿真環(huán)境設(shè)置

2.1系統(tǒng)參數(shù)設(shè)置

我們用gem5系統(tǒng)仿真器配合DRAMSim2內(nèi)存仿真器作為實(shí)驗(yàn)平臺(tái)，用5個(gè)SPEC CPU2006測試程序?qū)鹘y(tǒng)DRAM內(nèi)存、本文用邊界行標(biāo)記實(shí)現(xiàn)的低刷新內(nèi)存、Liu等[3]的低刷新頻率內(nèi)存和Isen等[5]的通過每行標(biāo)記的低刷新內(nèi)存進(jìn)行測試.系統(tǒng)設(shè)置如表1所示，為了節(jié)約仿真時(shí)間，我們?cè)O(shè)定最大指令執(zhí)行條數(shù)均為500000000.

2.2低刷新頻率建模

gem5本身并沒有自帶頁表，程序的邏輯地址直接對(duì)應(yīng)物理地址.而測試程序地址分配一般從0開始連續(xù)往高地址方向增長，如圖1(a).這樣，在我們仿真時(shí)，只需在內(nèi)存控制器讀寫內(nèi)存時(shí)及時(shí)擴(kuò)展行邊界即可.由于我們目前還不能鑒別測試程序中數(shù)據(jù)關(guān)鍵與否，暫時(shí)只仿真圖1的正常刷新區(qū)域與無需刷新區(qū)域，而不仿真圖2中的低頻刷新區(qū)域.

對(duì)于文獻(xiàn)[3]中提到的低頻率刷新模式，由于據(jù)稱99.9%的DRAM行處于256ms刷新檔，因此可以認(rèn)為它將刷新頻率降低至1/4，只要在DRAM配置文件中把刷新指令發(fā)送間隔tREFI改至1/4即可.

對(duì)于文獻(xiàn)[5]中每行進(jìn)行標(biāo)記是否刷新的方案，我們?cè)趦?nèi)存控制器模塊中添加該行是否被訪問到的數(shù)組，通過判斷當(dāng)前行對(duì)應(yīng)數(shù)組值是否為true來決定是否發(fā)送刷新指令.

3仿真結(jié)果與分析

3.1行標(biāo)記效率

表2統(tǒng)計(jì)了各測試程序執(zhí)行前500000000條指令下內(nèi)存占用情況，其中DRAM行跨度和行跨度分別代表訪問過的最低/最高字節(jié)/行地址差值，這也是在操作系統(tǒng)不干預(yù)內(nèi)存分配下，本文方案需要刷新的DRAM容量和行數(shù).實(shí)際使用行數(shù)表示所有被讀寫訪問過的行數(shù).可以看到，我們的標(biāo)記方法在bzip2、hmmer和mcf上效率非常高，而在gcc上效率較差.

表1　仿真系統(tǒng)設(shè)置

表2　各測試程序前500000000條指令的內(nèi)存占用情況

3.2各方案執(zhí)行時(shí)間和功耗

表3列舉傳統(tǒng)DRAM刷新策略、Liu等[3]、Isen等[5]和本文方案仿真的延時(shí)和功耗結(jié)果.圖5～圖7分別展示各策略相對(duì)于傳統(tǒng)DRAM的歸一化延時(shí)、刷新能耗和總能耗.

如圖6，本文提出的刷新策略能夠?qū)zip2、gcc、hmmer、mcf和soplex的刷新能量分別降低至8.96%、3.74%、0.29%、0.46%和0.34%，它們對(duì)應(yīng)2GB內(nèi)存的占用率分別為9.8%、3.9%、0.22%、0.45%和0.72%，可以看到刷新功耗比例基本上等于被標(biāo)記的內(nèi)存占內(nèi)存容量的比例，由于內(nèi)存占用量增長是遞進(jìn)的過程，因此大多數(shù)測試程序歸一化刷新功耗比內(nèi)存占用率略低.降低刷新頻率后總功耗降低程度與刷新功耗占總功耗的比例有關(guān)，內(nèi)存讀寫越少，則刷新功耗占內(nèi)存總功耗比例越大，我們發(fā)現(xiàn)bzip2和mcf內(nèi)存讀寫次數(shù)遠(yuǎn)高于其他3個(gè)測試程序，因此如圖7，其他3個(gè)內(nèi)存讀寫較少的測試程序的總功耗降低效果更為顯著，刷新功耗占總功耗的比例在2GB內(nèi)存并不突出，如果換成32GB以上內(nèi)存，則總功耗的降低也會(huì)非常明顯.減少不必要的刷新后，刷新指令與讀寫指令發(fā)生沖突的幾率降低，因此執(zhí)行時(shí)間會(huì)得到改進(jìn)，如圖5，bzip2和mcf這兩個(gè)內(nèi)存負(fù)載較高的測試程序在執(zhí)行時(shí)間上的改善更明顯.

表3　性能/功耗仿真結(jié)果

由于我們測試的程序內(nèi)存占用量較小，本文方案比Liu等[3]表現(xiàn)更好，實(shí)際上通過數(shù)據(jù)分配來降低刷新功耗的方案與Liu等[3]通過保持時(shí)間特性降低刷新頻率的方案相正交，兩者可以結(jié)合使用.本文方案更適用于內(nèi)存占用量較少時(shí)，操作系統(tǒng)可以定期清理內(nèi)存中最近沒有使用的程序(如Android系統(tǒng))，來降低刷新功耗.

由于其他程序內(nèi)存分配相對(duì)緊湊，本文方案在除了gcc之外的測試程序上與Isen等[5]效果相差無幾，但存儲(chǔ)標(biāo)記位的開銷從2^NUM_ROWS下降到NUM_ROWS.要在實(shí)際使用時(shí)提高本文方案的標(biāo)記效率，必須使操作系統(tǒng)連續(xù)分配內(nèi)存，并定期整理內(nèi)存碎片，使占用行集中于標(biāo)記范圍之內(nèi)，這比Isen等[5]的軟件開銷大.數(shù)據(jù)集中分配的另一個(gè)好處是可以同時(shí)引入文獻(xiàn)[6]的將數(shù)據(jù)分為正常刷新和低頻刷新區(qū)域做法，使刷新功耗進(jìn)一步降低至內(nèi)存占用率以下.理想情況下本文方案刷新功耗降低比例計(jì)算式如下：

表4總結(jié)了幾種降低刷新內(nèi)存功耗方案的特點(diǎn)和代價(jià)，本文方案硬件開銷小，在合適數(shù)據(jù)分配方法支持下，擁有文獻(xiàn)[5-6]的結(jié)合效果.

表4　各方案對(duì)比

4結(jié)語

本文提出了一種通過邊界行地址將DRAM內(nèi)存劃分為正常刷新區(qū)域、低頻刷新區(qū)域和無需刷新區(qū)域的低功耗內(nèi)存方案，將關(guān)鍵數(shù)據(jù)集中放置在正常刷新區(qū)域，非關(guān)鍵數(shù)據(jù)集中放置在低頻刷新區(qū)域，從而結(jié)合Isen等[5]、Liu等[6]的效果，在內(nèi)存占用率低或可以低頻刷新的數(shù)據(jù)比例較高時(shí)有效降低刷新功耗.我們通過gem5+DRAMSim2對(duì)該硬件方案仿真，結(jié)果顯示在運(yùn)行單個(gè)spec2006測試程序時(shí)，本文方案能夠做到接近Isen等[5]的效果，將刷新功耗降低至內(nèi)存占用率，而硬件開銷小，僅需要兩個(gè)行邊界地址寄存器就能實(shí)現(xiàn)數(shù)據(jù)標(biāo)記而不是開銷等比于DRAM行數(shù).在實(shí)際操作中，本文的硬件刷新方案需要搭配合適的數(shù)據(jù)分配算法支持，具體算法留作以后討論.

參考文獻(xiàn)：

[1]BARROSO L A, CLIDARAS J, H?LZLE U. The datacenter as a computer： An introduction to the design of warehouse-scale machines [J].SynthesisLecturesonComputerArchitecture, 2013,8(3)： 1-154.

[2]Micron Technology, Inc. TN-46-12： Mobile DRAM power-saving features/calculations[S/OL]. https：∥www.micron.com/～/media/documents/products/technical-note/dram/tn4612.pdf, 2005.

[3]LIU J, JAIYEN B, VERAS R,etal. RAIDR： Retention-aware intelligent DRAM refresh[C]∥International Symposium on Computer Architecture (ISCA). Portland, USA： IEEE, 2012： 1-12.

[4]LIU J, JAIYEN B, KIM Y,etal. An experimental study of data retention behavior in modern DRAM devices： Implications for retention time profiling mechanisms[C]∥International Symposium on Computer Architecture (ISCA). Tel-Aviv, Israel： ACM, 2013： 60-71.

[5]ISEN C, JOHN L. ESKIMO—energy savings using semantic knowledge of inconsequential memory occupancy for DRAM subsystem[C]∥MICRO. New York, USA： IEEE, 2009： 337-346.

[6]LIU S, PATTABIRAMAN K, MOSCIBRODA T,etal. Flikker： Saving DRAM refresh-power through critical data partitioning[C]∥ASPLOS. California, USA： ACM, 2011： 213-224.

[7]Micron Technology, Inc. TN-41-01： Calculating memory system power for DDR3 introduction[S/OL]. https：∥www.micron.com/～/media/documents/products/technical-note/dram/tn41_01ddr3_power.pdf, 2007.

[8]JACOB B, NG S, WANG D. Memory systems： Cache, DRAM, disk [M]. Massachusetts, USA： Morgan Kaufmann Publishers, 2010： 428-429.

文章編號(hào)：0427-7104(2016)03-0347-07

收稿日期：2015-04-20

作者簡介：韋祎(1990—)，男，碩士研究生，E-mail： fakemoongod@163.com.

中圖分類號(hào)：TP 303

文獻(xiàn)標(biāo)志碼：A

Lowering Main Memory Refresh Energy by Using Boundary Row Address Registers

WEI Yi， YANG Renhua， LIN Yinyin

(StateKeyLaboratoryofASICandSystem,FudanUniversity,Shanghai201203,China)

Abstract：A DRAM refresh solution is proposed to solve the refresh power problem of DRAM, which uses several boundary row address registers to divide memory space into normal-refresh region, low-frequency-refresh region and no-refresh region. When data are allocated to continuous rows in DRAM, this solution can skip the refresh of DRAM rows without data and refresh DRAM rows containing non-critical data with a lower frequency, so refresh power consumption can be reduced below memory occupancy rate. gem5+DRAMSim2 simulation platform is used to model the hardware behavior of this solution. Experiment shows that this solution can efficiently reduce energy consumption with low hardware cost.

Keywords：DRAM refresh energy; main memory system simulation; DRAMSim2