杜 嬌，錢育蓉，侯海耀，張 猛

(新疆大學 軟件學院， 新疆 烏魯木齊 830008)

0 引 言

面對大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等信息技術(shù)發(fā)展產(chǎn)生的海量數(shù)據(jù)，傳統(tǒng)的動態(tài)隨機存儲器(dynamic random access memory，DRAM)的內(nèi)存設(shè)計逐漸無法滿足需求[1]，同時內(nèi)存存儲性能的提升遠遠落后于計算性能的提升[2]，隨之出現(xiàn)的是“存儲墻”、“能耗墻”問題[3,4]。新型非易失性存儲器(non-volatile memory，NVM)的出現(xiàn)，為解決上述問題提供了方向?，F(xiàn)有的NVM主要有相變存儲器(phase change memory，PCM)、阻變存儲器(resistive random access memory，RRAM)、自旋轉(zhuǎn)移力矩存儲器(spin-transfer torque RAM，STT-RAM)[5,6]等，它們具有非易失性、漏電功耗低、存儲密度高和擴展性強等特性，成為存儲領(lǐng)域的研究熱點，有望在未來取代傳統(tǒng)存儲器[7]。就目前而言，任何單一的存儲器件都不能滿足內(nèi)存系統(tǒng)大容量、低成本和高性能的需求，較為有效的方法是采用混合存儲的方式。它主要是從數(shù)據(jù)訪問特點及負載特征出發(fā)，結(jié)合不同存儲器件的特性，將請求發(fā)送給適合的存儲設(shè)備，達到提高整個系統(tǒng)性能的目的，是目前存儲技術(shù)的發(fā)展方向[8]。

本文基于DRAM和RRAM提出了一種混合存儲模型，評測并分析該模型下內(nèi)存系統(tǒng)的讀寫性能，實驗結(jié)果表明，混合內(nèi)存系統(tǒng)，性能優(yōu)于完全以RRAM為主存的系統(tǒng)，接近完全以DRAM為主存的系統(tǒng)，同時DRAM與RRAM的容量配置及應(yīng)用程序自身特點的不同，亦會對系統(tǒng)性能造成影響。

1 相關(guān)研究

目前將NVM用于混合存儲的內(nèi)存系統(tǒng)主要有3種結(jié)構(gòu)：第一種是NVM完全取代DRAM作為內(nèi)存；第二種是NVM與DRAM構(gòu)成混合內(nèi)存，但兩者處于同一層次；第三種是NVM與DRAM構(gòu)成混合內(nèi)存，但DRAM與NVM是層次結(jié)構(gòu)[9]。事實上NVM的寫速率沒有DRAM好，壽命也相對短些，因此第一種存儲結(jié)構(gòu)目前不適用。針對第三種存儲結(jié)構(gòu)，有學者采用STT-RAM和靜態(tài)隨機存取存儲器(static random access memory，SRAM)混合進行緩存設(shè)計[10]，緩存一般會被頻繁訪問，同時大部分應(yīng)用程序的訪問不是均勻分布的，而是存在明顯的局部性和不均衡性，某一存儲單元失效，將導(dǎo)致整個緩存的壽命下降，因此若要使用NVM架構(gòu)緩存，存儲單元的均衡訪問是一個待以解決的問題。

因此本文采用第二種結(jié)構(gòu)，DRAM和RRAM處于同一層次，利用軟件來模擬RRAM的硬件行為，同時將讀寫延遲等結(jié)果返回。

2 DRAM與新型存儲器的混合存儲模型

2.1 動態(tài)隨機存儲器

DRAM是易失性存儲器的代表，具有速度快、壽命長等特性，是目前最受歡迎的計算機主存設(shè)備，其每年市場容量幾乎占整個全球集成電路市場的1/10[11]。DRAM通過電容兩邊電荷的多少表示數(shù)字“0”或“1”，達到存儲數(shù)據(jù)的目的。目前有兩個主要因素限制了單獨使用DRAM作為內(nèi)存的進一步發(fā)展。第一是DRAM的工藝制程已接近極限，存儲密度難以提高。第二是電容存在漏電現(xiàn)象，會導(dǎo)致電荷丟失，因此需要進行周期性刷新來保證數(shù)據(jù)完整[12]。

本文在所構(gòu)建的混合存儲模型中，利用DRAM良好寫速率，完成大部分的寫工作，彌補RRAM較大寫延遲問題，從而提高系統(tǒng)的整體性能。

2.2 阻變存儲器

RRAM存儲數(shù)據(jù)信息的方式是基于阻值變化的，它利用薄膜材料在不同電激勵的作用下出現(xiàn)高低阻態(tài)之間的可逆轉(zhuǎn)變現(xiàn)象來進行數(shù)據(jù)存儲，不需要刷新操作，空閑時不耗能。其結(jié)構(gòu)簡單，由金屬-介質(zhì)-金屬構(gòu)成，有利于實現(xiàn)三維的高密度集成。國際半導(dǎo)體技術(shù)路線圖組織(international technology roadmap for semiconductors，ITRS)在其2013年度報告中指出，將成為下一代存儲器中最有力的候選者[13]。

表1從單元存儲密度、容量、讀寫延遲、耐久性、寫能耗和易失性幾個方面出發(fā)，將RRAM與常用存儲器件NAND Flash，DRAM進行了對比。

表1 常用存儲技術(shù)比較

從單元存儲密度上來看，RRAM的存儲密度高于DRAM的存儲密度，從容量上來看，RRAM的容量遠遠大于DRAM，雖然NAND同樣具有容量大的優(yōu)點，但NAND具有較大的讀寫延遲；從耐久性來看，RRAM的耐力通常可以達到106，在70 ℃高溫下數(shù)據(jù)仍可保持十年，介于NAND和DRAM之間，更長的耐力已經(jīng)被報道(例如109)，耐久性測試受基準測試程序集選擇的影響；從易失性上來看，NAND和RRAM屬于非易失性存儲器，而DRAM是易失性存儲器。

本文主要利用RRAM存儲密度高、容量大這一特性，同時RRAM具有非易失性，掉電后仍能夠保存數(shù)據(jù)，有效地保障了系統(tǒng)數(shù)據(jù)的安全性。在所構(gòu)建的混合存儲模型中，通過使用較少DRAM與RRAM混合，在保證系統(tǒng)性能的同時，亦提高了其存儲密度。

2.3 混合內(nèi)存結(jié)構(gòu)設(shè)計

如圖1所示，設(shè)計混合內(nèi)存體系結(jié)構(gòu)，通過設(shè)計一個內(nèi)存管理控制器來管理數(shù)據(jù)的訪存，該控制器實現(xiàn)地址映射、命令生產(chǎn)、讀寫調(diào)度等功能。每一個內(nèi)存數(shù)據(jù)讀寫請求，都需要經(jīng)過內(nèi)存控制器，本文通過不同的通道實現(xiàn)混內(nèi)存的支持，設(shè)置兩個通道，一個通道中模擬DRAM，另一個通道中模擬RRAM。為DRAM和RRAM分別設(shè)計存儲管理模塊，二者的地址空間是分別獨立的，任何時候一個數(shù)據(jù)頁只能存在于一個設(shè)備上。內(nèi)存控制器維護DRAM和RRAM的分區(qū)列表，根據(jù)請求地址將請求發(fā)送到相應(yīng)的內(nèi)存。

圖1 混合內(nèi)存體系結(jié)構(gòu)

圖2展示了引入RRAM后內(nèi)存控制器中請求下發(fā)的流程，當內(nèi)存訪問請求到達時，內(nèi)存控制器對訪問請求進行解析，獲得請求類型、地址、大小等信息，根據(jù)請求類型不同做相應(yīng)的操作。當請求類型為寫請求時，我們優(yōu)先考慮是將請求發(fā)送給DRAM，同時當讀操作發(fā)生缺頁中斷時，缺頁中斷程序從磁盤讀取請求頁時，優(yōu)先考慮將請求頁寫入DRAM中，這樣做的目的是減少RRAM的寫次數(shù)，因為RRAM具有較高的寫延遲(相對于DRAM)。

圖2 引入RRAM后內(nèi)存控制器中請求下發(fā)流程

3 實 驗

3.1 模擬器及其配置

在混合內(nèi)存系統(tǒng)中，不僅需要模擬DRAM的行為，還需要模擬RRAM，同時需要一個混合內(nèi)存控制器來負責調(diào)度上層下發(fā)的請求，并將執(zhí)行完的數(shù)據(jù)返回給CPU。因此，本文在GEM5和NVMain的基礎(chǔ)上，構(gòu)建DRAM-RRAM混合內(nèi)存模擬器。

表2列出了混合內(nèi)存模擬器基本配置及內(nèi)存的參數(shù)信息。本文中在各個內(nèi)存級別的調(diào)度算法一致，都采用FR-FCFS(first-ready，first-come，first-serve)，默認內(nèi)存地址映射策略是scheme1，單個RRAM芯片的容量設(shè)置為256 MB，單個DRAM芯片的容量設(shè)置為512 MB，內(nèi)存總?cè)萘繛? GB。

表2 模擬器基本配置

3.2 基準測試程序集及其特征

本文采用的基準測試程序集是PARSEC[14]，該測試集由多線程應(yīng)用程序組成，具有一定代表性。從中選取9個不同測試程序，測試程序的輸入集選取simMedium進行實驗，其特點見表3。

表3 測試程序集的特點

3.3 實驗性能分析

實驗中設(shè)計了3種內(nèi)存結(jié)構(gòu)，分別為4G容量的DRAM、4GB容量的RRAM和2GB DRAM+2GB RRAM，首先通過模擬器單獨在DRAM設(shè)備和RRAM設(shè)備上運行上述測試程序集，獲得單個設(shè)備的性能，然后在混合存儲設(shè)備上運行同一測試集。

實驗1：不同應(yīng)用程序在不同內(nèi)存結(jié)構(gòu)下的平均讀延遲

本實驗主要是為了測試不同內(nèi)存結(jié)構(gòu)下，不同應(yīng)用程序的讀延遲情況，實驗采用3.2節(jié)中的基準測試程序。

如圖3所示，我們可以看出，在DRAM內(nèi)存結(jié)構(gòu)下，所有應(yīng)用的平均讀延遲最小，同時DRAM-RRAM內(nèi)存結(jié)構(gòu)下的平均讀延遲小于RRAM內(nèi)存結(jié)構(gòu)，這是因為DRAM本身的讀延遲小于RRAM。

圖3 不同應(yīng)用程序的平均讀延遲

實驗2：不同應(yīng)用程序在不同內(nèi)存結(jié)構(gòu)下的平均寫延遲

本實驗的主要是為了測試不同內(nèi)存結(jié)構(gòu)下，不同應(yīng)用程序的寫延遲情況，實驗采用3.2節(jié)中的基準測試程序。

圖4展示了在3種不同內(nèi)存結(jié)構(gòu)下不同應(yīng)用的平均寫延遲。應(yīng)用程序streamcluster在DRAM內(nèi)存結(jié)構(gòu)下和在DRAM-RRAM內(nèi)存結(jié)構(gòu)下，寫延遲非常接近，這是因為streamcluster的寫請求非常少，也就是說對于寫操作非密集的應(yīng)用程序而言，混合內(nèi)存的結(jié)構(gòu)基本不會影響其寫性能。對于應(yīng)用程序facesim和x264，沒有體現(xiàn)出DRAM-RRAM混合內(nèi)存結(jié)構(gòu)中DRAM寫操作快的優(yōu)勢，反而體現(xiàn)出RRAM寫延遲較大的缺陷，這可能是由于這兩個應(yīng)用程序發(fā)送的寫操作請求發(fā)送到RRAM上較多，發(fā)送到DRAM上比較少導(dǎo)致的。對于其它應(yīng)用，DRAM-RRAM混合內(nèi)存的延遲小于RRAM，這正體現(xiàn)出了DRAM寫延遲小的優(yōu)勢。

圖4 不同應(yīng)用程序的平均寫延遲

通過實驗2和實驗3，我們可以得出，2GB DRAM+2GB RRAM混合存儲模型讀寫性能優(yōu)于單獨使用RRAM內(nèi)存設(shè)備，當應(yīng)用程序?qū)儆趯懨芗蛻?yīng)用時，混合內(nèi)存的優(yōu)勢體現(xiàn)的更加明顯。

實驗3：不同內(nèi)存容量配置對內(nèi)存系統(tǒng)性能的影響

為了分析混合存儲設(shè)備DRAM與RRAM內(nèi)存不同容量配置對內(nèi)存系統(tǒng)性能的影響，設(shè)置了4組不同容量的內(nèi)存結(jié)構(gòu)，分別為4GB DRAM、1GB DRAM+4GB RRAM、1GB DRAM+8GB RRAM、1GB DRAM+16GB RRAM，測試程序選取上述測試集中具有代表性的blackscholes、streamcluster和facesim。blacksscholes僅含26.7億條指令，facesim含299億條指令，streamcluster含221.2億條指令，同時屬于寫操作非密集的應(yīng)用。實驗中我們沒有對RRAM單獨作為內(nèi)存結(jié)構(gòu)時的情況進行研究，因為RRAM有較大的寫延遲，其性能明顯比DRAM作為內(nèi)存時差。

如圖5所示，在測試程序blackscholes、streamcluster、facesim下，隨著RRAM容量的增加，程序運行時間逐漸減小，其中當內(nèi)存采用1GB DRAM+16GB RRAM結(jié)構(gòu)時，其性能與4GB DRAM時的性能相當。

圖5 不同內(nèi)存容量下應(yīng)用程序的運行時間

4 結(jié)束語

制約DRAM內(nèi)存系統(tǒng)發(fā)展的主要因素是容量和能耗，與DRAM相比，NVM具有存儲密度高、擴展性強、非易失性等優(yōu)勢，而NVM的讀寫性能、耐久性略遜于DRAM。本文基于GEM5和NVMain構(gòu)建了DRAM-RRAM混合內(nèi)存模擬器，通過測試其在程序集PARSEC下不同應(yīng)用的平均讀寫延遲，得出混合內(nèi)存的讀寫性能優(yōu)于單獨使用RRAM的內(nèi)存系統(tǒng)，略差于DRAM作為內(nèi)存結(jié)構(gòu)時的性能，但RRAM的引入大大提高了內(nèi)存系統(tǒng)的存儲密度。在此基礎(chǔ)上，選取測試程序集下不同的應(yīng)用程序，配置不同混合內(nèi)存容量，發(fā)現(xiàn)對系統(tǒng)性能亦造成不同程度的影響。為了更好地提高混合內(nèi)存結(jié)構(gòu)中NVM的耐久性，降低其寫功耗，還需進一步的工作。