張明喆 張 法 劉志勇

1(中國科學(xué)院大學(xué) 北京 100049)2 (計算機體系結(jié)構(gòu)國家重點實驗室(中國科學(xué)院計算技術(shù)研究所) 北京 100190)

數(shù)據(jù)、人工智能等新型應(yīng)用的興起在集成度、訪問速度等方面對存儲器件提出了更高的要求.而隨著半導(dǎo)體制造工藝的提升和器件尺寸的不斷縮小，動態(tài)隨機存儲器(dynamic random access memory, DRAM)在制造成本、良品率和利潤率方面面臨著越來越大的挑戰(zhàn).此外，由于DRAM需要定期進(jìn)行刷新操作，由此造成功耗提升和性能下降.在此背景下，新型非易失存儲器(non-volatile memory, NVM)作為DRAM的可行替代技術(shù)受到了學(xué)術(shù)界和工業(yè)界越來越多的重視.與傳統(tǒng)的DRAM相比，NVM器件具有集成度高、可擴展性高、靜態(tài)功耗低、非易失等優(yōu)點.

近年來，對NVM的研究主要集中于相變存儲器(phase change memory, PCM)[1-2]、電阻式存儲器(resistive RAM，ReRAM)[3]、自旋轉(zhuǎn)移力矩存儲器(spin-transfer toque RAM, STT-RAM)[4]等幾種存儲材料，并根據(jù)其不同的讀/寫操作速度替換現(xiàn)有層次化存儲系統(tǒng)中相應(yīng)的器件.其中PCM存儲器利用硫系玻璃晶體在不同狀態(tài)下表現(xiàn)出的不同電阻值保存信息，并通過脈沖電流實現(xiàn)可控的狀態(tài)變化.電阻式存儲器也稱為憶阻器，通過在一個含有氧化物夾層結(jié)構(gòu)的強相關(guān)電子材料兩端施加不同大小和方向的電壓改變其電阻值，并使用不同電阻值表示不同的邏輯值.STT-RAM則使用磁隧道結(jié)(magnetic tunnel junction， MTJ)保存數(shù)據(jù)，通過控制其自由層和參考層的相對磁力方向改變MTJ的電阻值，進(jìn)而表示不同的邏輯值.3種非易失存儲介質(zhì)與傳統(tǒng)易失存儲介質(zhì)的性能參數(shù)比較如表1所示:

Table 1 Comparison Across Different Storage Devices[5-6]表1 存儲介質(zhì)參數(shù)對比[5-6]

從表1可以看出，與傳統(tǒng)易失存儲器相比，NVM存儲器可以提供接近或更優(yōu)的讀訪問性能，但在寫訪問延遲和寫壽命方面存在較大差距.

目前，NVM器件正處在實用化的初始階段，眾多廠商紛紛推出了自己的解決方案：Intel和Micron公司在2016年底推出基于PCM的3D Xpoint Memory存儲器[7]，而HP和SanDisk則聯(lián)合推出了基于ReRAM的SCM(storage class memory)存儲器[8].但是，由于在壽命和寫延遲方面仍存在很多問題，這些解決方案距離技術(shù)成熟尚有很大距離(例如與現(xiàn)有的SSD存儲器相比，第1代3D Xpoint Memory的壽命僅提升了3倍[9]).

針對目前制約NVM大規(guī)模應(yīng)用的問題，傳統(tǒng)體系結(jié)構(gòu)方法的思路是將NVM器件視為一個黑盒，通過在黑盒外圍增加緩沖存儲器和輔助控制電路，從而達(dá)到降低NVM存儲器寫延遲對系統(tǒng)性能的影響或延緩NVM存儲器老化的目的(如圖1(a)所示)：

Fig. 1 Comparison of NVM optimization methods based on classical computer architecture method and dynamic trade-off圖1 基于傳統(tǒng)方法和動態(tài)權(quán)衡特性的NVM優(yōu)化比較

基于這一思路，研究人員提出了多種不同的解決方案：

1) 對于寫延遲過大問題，一種主要的解決方案是通過提高寫訪問的并行度隱藏寫延遲[10-12].除此以外，另一種常見思路是通過在NVM存儲器的前端設(shè)置一個較大的緩存(如DRAM cache)，將寫請求存儲在緩存后異步完成對NVM存儲器的寫訪問[1-2].Qureshi等人[13]提出了一種新的思路，即當(dāng)處在關(guān)鍵路徑上的讀請求到達(dá)且與正在執(zhí)行的寫操作沖突時，可以將正在執(zhí)行的寫操作暫停或終止，在讀請求完成后繼續(xù)或重新執(zhí)行寫操作，這種方法可以降低寫延遲對于系統(tǒng)整體性能的影響.此外，Qureshi等人[13]通過對PCM存儲器的SET和RESET操作的延遲分別進(jìn)行分析，發(fā)現(xiàn)RESET操作延遲遠(yuǎn)小于SET操作，并基于這一發(fā)現(xiàn)提出了一種技術(shù)通過提前進(jìn)行SET操作提升PCM存儲器的寫訪問性能.

2) 對于NVM寫操作壽命有限的問題，解決方案主要可以分為限制寫操作和寫分?jǐn)?種.其中限制寫操作是指通過某種機制減少對NVM存儲器的寫操作從而延長設(shè)備的壽命，例如使用DRAM作為NVM存儲器的緩沖[12].此外，F(xiàn)lip-N-Write技術(shù)利用被寫入數(shù)據(jù)的特性減少寫入數(shù)據(jù)時對NVM存儲單元的擦寫次數(shù)[10]，以及Saadeldeen等人[14]提出在基于ReRAM的分支預(yù)測器中使用SRAM作為緩存的方案也都可以被歸為這一類.寫分?jǐn)偧夹g(shù)是指通過將寫操作分?jǐn)傊寥wNVM存儲單元，減少由于寫操作熱點造成的部分存儲單元過快老化，進(jìn)而延長存儲器整體壽命.其中，Start-Gap技術(shù)通過將寫操作目標(biāo)進(jìn)行偏移，僅增加8 B的額外存儲開銷，可使存儲器壽命達(dá)到理論壽命的95%[15].與此類似的解決方案還包括將cache line在內(nèi)存頁間進(jìn)行偏移[2]、將bit在cache line內(nèi)部進(jìn)行偏移以及將cache line在段內(nèi)進(jìn)行偏移[16].

基于傳統(tǒng)體系結(jié)構(gòu)的方法雖然可以在一定程度上解決NVM存儲器存在的問題，但同時也會帶來一系列問題：

1) 需要增加一個或多個控制 電路對寫訪存請求進(jìn)行分析、重定向等預(yù)處理操作，由于這些操作處于寫訪存請求執(zhí)行的關(guān)鍵路徑上，因此新增加的控制電路容易成為新的性能瓶頸.例如，在基于細(xì)粒度偏移[2,16]的寫分?jǐn)偧夹g(shù)中，由于需要為每一個寫訪存請求選擇實際寫入地址，因此在會造成寫訪存性能的降低.

2) 在對NVM存儲器的性能或壽命進(jìn)行優(yōu)化的同時，往往會以犧牲其他指標(biāo)作為代價.例如在通過減少寫操作提升存儲器壽命的方案中，為寫訪存請求選擇新的目標(biāo)地址將延長寫訪存操作的延遲[10]；而在寫暫停方法中，被中斷的寫操作在讀訪存請求完成后重新執(zhí)行，這客觀上增加了寫操作的數(shù)量，使得存儲器老化加快.

3) 造成控制邏輯更加復(fù)雜，不利于系統(tǒng)穩(wěn)定.例如，在使用DRAM緩沖的性能或壽命優(yōu)化方案中，需要特別的控制邏輯電路DRAM與NVM存儲器的數(shù)據(jù)同步等操作.

由于實際系統(tǒng)對于存儲器的性能和壽命同時具有較高的要求，因此上述基于傳統(tǒng)體系結(jié)構(gòu)方法的優(yōu)化方案無法滿足實際系統(tǒng)的需求.

近年來，隨著對NVM存儲材料的深入研究，人們發(fā)現(xiàn)在NVM存儲材料中存在一些相互影響的參數(shù)，在其工作狀態(tài)下，可以通過改變一個參數(shù)，使其他相關(guān)參數(shù)向著相反方向變化，這種特性被稱為“動態(tài)權(quán)衡特性”[17-19].動態(tài)權(quán)衡特性為計算機體系結(jié)構(gòu)研究提供了新的機遇，研究人員陸續(xù)提出了一系列基于NVM動態(tài)權(quán)衡特性的計算機體系結(jié)構(gòu)優(yōu)化方案[19-26].在此類設(shè)計方案中，NVM存儲器不再被視為黑盒，而是基于其動態(tài)權(quán)衡特性，同時結(jié)合目標(biāo)應(yīng)用的特性，圍繞這二者進(jìn)行體系結(jié)構(gòu)設(shè)計(如圖1(b)所示).與傳統(tǒng)的方案相比，基于動態(tài)權(quán)衡的解決方案在3個方面具有明顯區(qū)別：

1) 在傳統(tǒng)NVM研究中，器件特性在器件設(shè)計完成后就已確定，而動態(tài)權(quán)衡特性為體系結(jié)構(gòu)設(shè)計者和系統(tǒng)級用戶提供了影響器件特性的機會；

2) 在基于NVM動態(tài)權(quán)衡特性的體系結(jié)構(gòu)研究中，研究者不僅需要考慮器件特性，還要綜合考慮目標(biāo)應(yīng)用的特性，并為器件特性與目標(biāo)應(yīng)用特性尋找結(jié)合點；

3) 基于NVM動態(tài)權(quán)衡特性的體系結(jié)構(gòu)設(shè)計中需要添加簡單控制電路，以實現(xiàn)根據(jù)應(yīng)用特性的變化動態(tài)調(diào)節(jié)NVM存儲器的器件特性.

通過對動態(tài)權(quán)衡特性加以利用，基于NVM動態(tài)權(quán)衡特性的體系結(jié)構(gòu)設(shè)計在很多方面具有明顯的優(yōu)勢：1)與傳統(tǒng)優(yōu)化方案相比，此類方案僅需要少量或不需要額外存儲開銷；2)此類方法所需的輔助邏輯簡單，由解決方案引入的額外延遲低；3)此類方法可在低硬件開銷的前提下實現(xiàn)同時對多個目標(biāo)進(jìn)行協(xié)同優(yōu)化；4)對系統(tǒng)整體性能影響小，避免了傳統(tǒng)解決方案中由于對NVM某一方面進(jìn)行優(yōu)化而造成系統(tǒng)整體性能下降[20].

本文對NVM存儲材料中存在的動態(tài)權(quán)衡特性進(jìn)行了分析，包括存儲密度與寫延遲的關(guān)系、寫延遲與寫壽命的關(guān)系、寫延遲與狀態(tài)保持時間的關(guān)系.在此分析的基礎(chǔ)上，本文對近年來基于這些動態(tài)權(quán)衡特性的NVM應(yīng)用優(yōu)化研究進(jìn)行梳理.最后，本文還將對此類研究未來的發(fā)展做出展望.

1 NVM材料動態(tài)權(quán)衡特性

1.1 存儲密度與訪問延遲的關(guān)系

對于使用電阻值表示邏輯值的NVM材料(如ReRAM，PCM)，可通過對其不同電阻值進(jìn)行重新編碼，實現(xiàn)在單一存儲單元中存儲多個邏輯狀態(tài).該技術(shù)被稱為多層(multi-level cell, MLC)NVM，可用于提高存儲密度或存儲可靠性.對于MLC NVM而言，由于需要精確控制寫入后存儲單元的電阻值，因此MLC NVM的寫操作通常采用基于多次迭代的模型[27].

在每個迭代中，需要將當(dāng)前存儲單元的電阻值讀取并校驗后再進(jìn)行一次寫操作，直至存儲單元最終達(dá)到目標(biāo)電阻值.因此，對于一個MLC NVM而言，寫操作中迭代的次數(shù)隨著NVM存儲單元層數(shù)的增加而線性增長[27].文獻(xiàn)[18]提出，MLC NVM存儲單元的讀延遲隨該存儲單元中存儲層數(shù)的增加而呈指數(shù)增長.綜上所述，MLC NVM寫延遲與存儲層數(shù)的關(guān)系可近似表示為

其中,ReadLat(n)表示當(dāng)存儲層數(shù)為n層時的讀延遲，WritePulseLat表示每個迭代中寫脈沖電流的持續(xù)時間.

1.2 寫延遲與寫壽命的關(guān)系

材料領(lǐng)域的相關(guān)研究工作表明，在多種NVM材料中，寫延遲都與器件壽命存在相關(guān)關(guān)系[28-29].為了縮短寫操作的延遲，往往需要在執(zhí)行寫操作時使用更多的能量[30-31]，而過高的能量將加速器件的老化[29,32-33]，進(jìn)而導(dǎo)致器件壽命的降低.文獻(xiàn)[17]以基于ReRAM的主存儲器為應(yīng)用場景，使用一個分析模型來定量描述NVM中寫延遲與器件壽命的關(guān)系.根據(jù)該模型，NVM的壽命與寫延遲之間的關(guān)系為

其中,tWP為寫延遲，t0為器件相關(guān)常量，Expo_Factor為一個取值范圍在1～3之間的器件結(jié)構(gòu)相關(guān)常量.對于基于氧化金屬層的器件而言[34]，Expo_Factor的取值為2.0左右.當(dāng)Expo_Factor=2.0時，器件的寫壽命隨寫延遲增加而變化的情況如圖2所示:

Fig. 2 The trade-off between write latency and write endurance of NVM device[20]圖2 NVM器件寫延遲與寫壽命之間的關(guān)系[20]

1.3 寫延遲與狀態(tài)保持時間的關(guān)系

在MLC PCM存儲器中，由于制造工藝中存在的誤差[35]、材料自身成分的波動[36]以及自身結(jié)構(gòu)的細(xì)微變化[37]，在擦寫時電流、電壓和持續(xù)時間相同，PCM存儲器中不同單元阻值的變化情況也并不嚴(yán)格一致.因此，為了確保擦寫的準(zhǔn)確性，MLC PCM的寫操作通常采用一種基于多次迭代的策略，每次迭代中包含一組“擦寫-驗證”操作.在每次寫操作開始前，通常會使用一個RESET操作使得存儲單元恢復(fù)到初始狀態(tài)，隨后采用多次“擦寫-驗證”操作直至存儲單元的電阻值達(dá)到目標(biāo)值.

材料學(xué)研究發(fā)現(xiàn)，由于PCM晶體材料結(jié)構(gòu)存在松弛性[38]，其電阻值會自然增長，這種現(xiàn)象被稱作“阻值漂移”[38].由于MLC PCM存儲器使用不同的阻值域表示不同的邏輯值，因此當(dāng)電阻值“離開”某一特定的阻值域時，其所代表的邏輯值可能會發(fā)生變化，這將使得MLC PCM不再具有非易失性.因此，為了克服阻值漂移對MLC PCM存儲可靠性的影響，在定義阻值域時，通常在相鄰的阻值域之間保留一個未定義的阻值區(qū)間用于隔離，這個阻值區(qū)間通常被稱為“保護(hù)帶”[39].圖3描述了一個2 b MLC PCM存儲單元，其整個阻值范圍被分為4個阻值域(即“00”，“01”，“11”，“10”，采用格雷碼規(guī)則排列).相關(guān)研究結(jié)果表明，阻值漂移的速度正比于存儲單元中非晶相的體積分?jǐn)?shù).因此，對于一個MLC PCM存儲單元，更寬的保護(hù)帶將有助于容忍更多的阻值漂移，從而獲得更長的數(shù)據(jù)保持時間.但是，保護(hù)帶變寬將使得每個有效阻值域變窄，這對于寫操作的準(zhǔn)確性提出了更高的要求.為了保證寫操作的準(zhǔn)確性，寫操作中每次迭代的阻值變化粒度將變小，整個寫操作所需的迭代次數(shù)將增加，這將使得寫操作需要消耗更多的能量(如圖3(a)所示)，但是由于其數(shù)據(jù)保持時間更長，因此很少需要刷新操作，器件的壽命更長.與之相反，當(dāng)保護(hù)帶變窄時，各個有效阻值域變寬，這使得寫操作中可以使用粗粒度的迭代，減少寫操作中迭代的數(shù)量，降低寫操作所消耗的能量(如圖3(b)所示)，但由此會導(dǎo)致存儲單元的數(shù)據(jù)保持時間更短.為了保證存儲的正確性，存儲器需要在存儲單元狀態(tài)失效之前進(jìn)行刷新操作，這樣會導(dǎo)致對存儲器的寫操作次數(shù)增加，器件壽命縮短.

Fig. 3 The problem of resistance drift in MLC PCM[21]圖3 PCM存儲器“阻值漂移”現(xiàn)象示意圖[21]

對于MLC PCM存儲器而言，一個寫操作包含一個RESET和多個SET操作.當(dāng)保護(hù)帶變寬時，有效阻值域變窄，此時SET操作的電流降低，需要的SET操作數(shù)量增長，存儲單元的狀態(tài)保持時間將相應(yīng)地延長；相反，當(dāng)保護(hù)帶變窄時，有效阻值域變寬，此時SET操作的電流升高，需要的SET操作減少，存儲單元的狀態(tài)保持時間相應(yīng)地縮短.為了定量描述這一動態(tài)權(quán)衡關(guān)系，文獻(xiàn)[19]綜合了多種不同角度的相關(guān)模型[38-41]，提出了一種新的模型用于計算MLC PCM寫延遲與狀態(tài)保持時間的關(guān)系；在此基礎(chǔ)上，文獻(xiàn)[21]使用最新的基于20 nm工藝制程的參數(shù)[42]，重新計算了相關(guān)數(shù)據(jù)，結(jié)果如表2所示.從表2可以看出，當(dāng)寫操作中SET操作的數(shù)量增多時，存儲器可以采用更小的寫電流完成寫操作，存儲單元的狀態(tài)保持時間顯著延長，但同時寫操作的延遲增大，寫訪問性能降低；相反，若減少寫操作中SET操作的數(shù)量，則寫操作中需要使用更大的寫電流，這樣雖然可以縮短寫操作延遲，但是存儲單元的狀態(tài)保持時間也會大幅縮短.

Table 2 Write Latency and Retention of Write Operations with Different Number of SET Iterations[21]表2 包含不同數(shù)量SET的寫操作中寫延遲與狀態(tài)保持時間的權(quán)衡關(guān)系[21]

在本節(jié)中，我們對NVM存儲器中常見的動態(tài)權(quán)衡特性進(jìn)行了介紹，這些特性為基于動態(tài)權(quán)衡特性的非易失存儲器體系結(jié)構(gòu)研究提供了物理基礎(chǔ).接下來，本文將對基于不同NVM動態(tài)權(quán)衡特性的體系結(jié)構(gòu)優(yōu)化研究進(jìn)行分類梳理.

2 基于存儲密度與寫延遲關(guān)系的優(yōu)化方法

由1.1節(jié)介紹可知，在ReRAM和PCM中，存儲密度和讀寫延遲存在相關(guān)關(guān)系.在本節(jié)中，我們介紹了通過適當(dāng)犧牲存儲密度換取系統(tǒng)性能的優(yōu)化方法.此外，在部分特定應(yīng)用中，存儲空間不足會帶來明顯的性能損失，因此在這些應(yīng)用中可以通過適當(dāng)延長寫訪問延遲而動態(tài)提升存儲密度.這樣雖然增大了寫訪存操作的延遲，但存儲容量的提升依然可以使系統(tǒng)整體性能得到提升.

2.1 彈性存儲

由于MLC NVM器件的讀寫延遲與存儲密度存在相關(guān)性，因此在使用MLC NVM器件構(gòu)建主存時需要在發(fā)揮其高存儲密度優(yōu)勢的同時將各種負(fù)面影響降至最低.文獻(xiàn)[25]分析了常見應(yīng)用在運行時對內(nèi)存的需求情況，發(fā)現(xiàn)不同應(yīng)用在不同狀態(tài)下對運行內(nèi)存容量的需求存在很大波動，因此固定的內(nèi)存容量難以滿足不同應(yīng)用的需求.基于這一分析結(jié)果，文獻(xiàn)[25]提出了一種基于MLC PCM的可伸縮的彈性存儲技術(shù)MMS.MMS將主存儲器分為2個區(qū)域：運行于多層模式的“高存儲密度-高訪問延遲區(qū)域”和運行于單層模式的“低存儲密度-低訪問延遲區(qū)域”.MMS通過Memory Monitor對當(dāng)前負(fù)載對內(nèi)存的需求情況進(jìn)行動態(tài)監(jiān)測.當(dāng)應(yīng)用對于主存儲器的需求增大時，運行于單層模式的存儲區(qū)域比例會下降，一部分區(qū)域會變?yōu)槎鄬幽Ｊ揭詽M足應(yīng)用對內(nèi)存容量的需求；當(dāng)應(yīng)用對主存儲器容量的需求下降時，一部分多層模式的區(qū)域會切換為單層模式，通過犧牲存儲容量換取系統(tǒng)整體性能的提升.實驗結(jié)果表明，對于一個8 GB的MLC PCM主存儲器而言，MMS可使用單層模式滿足大部分訪問請求的需要(95%的讀請求和90%的寫回請求)，通過這種單層/多層模式的動態(tài)切換，包含MMS的系統(tǒng)可實現(xiàn)平均40%的性能提升.

類似地，文獻(xiàn)[26]提出了一種名為AdaMS的技術(shù)，在電路層級實現(xiàn)了PCM存儲單元在單層/多層模式之間的動態(tài)切換.基于這一技術(shù)，基于MLC PCM的固態(tài)硬盤可根據(jù)負(fù)載的需求情況在單層模式與多層模式之間進(jìn)行切換，并配合專門的編制和運行時重映射技術(shù)，在負(fù)載較低時通過更多地采用單層模式提高固態(tài)硬盤的訪問性能.實驗結(jié)果表明：AdaMS可使得MLC PCM固態(tài)硬盤的吞吐率平均提升28%.

2.2 動態(tài)可伸縮目錄表

基于cache一致性的共享存儲對于多核/眾核處理器芯片的可編程性具有重要意義.現(xiàn)有的多核/眾核處理器普遍采用基于目錄表的一致性協(xié)議.但是，隨著處理器內(nèi)部核數(shù)的增加，目錄表所需的空間將呈超線性增加.因此，未來眾核處理器設(shè)計中的一個重要問題是如何設(shè)計一種具有良好伸縮性的目錄表結(jié)構(gòu).眾多研究人員從降低目錄表的能耗、延遲或復(fù)雜度等角度提出了多種不同的解決方案[43-46].但是，不同應(yīng)用對于目錄表的需求差異很大：在一部分應(yīng)用中，要求目錄表有較多的目錄項，但大部分目錄項中的共享信息較少；而另一部分應(yīng)用中，則需要目錄項數(shù)量較少，但多數(shù)目錄項中的共享者數(shù)量較多.基于傳統(tǒng)SRAM存儲器很難設(shè)計出滿足不同應(yīng)用需求的彈性目錄表[47-48].針對這一問題，文獻(xiàn)[49]提出了一種基于多層ReRAM的目錄表結(jié)構(gòu)Sponge-Directory.SpongeDirectory通過將多個目錄表條目保存在一個物理存儲記錄中，提升了目錄表的存儲密度，從而降低了目錄表替換對于系統(tǒng)性能的影響.針對不同類型應(yīng)用對于目錄表的不同需求，Sponge-Directory提供了2種不同的邏輯存儲格式，可根據(jù)應(yīng)用的類型進(jìn)行動態(tài)選擇.如圖4(a)所示，對于上述第1類應(yīng)用，SpongeDirectory使用名為share pointer的存儲格式，對應(yīng)于同一內(nèi)存區(qū)域的目錄項被保存在同一物理記錄中，其中地址信息被保存在該物理記錄的第0層，后續(xù)每條目錄項被依次保存在該屋里記錄的更高層；而對于上述第2類應(yīng)用，則使用名為bit vector的存儲格式(如圖4(b)所示)，物理記錄的第0層保存目錄項地址信息，物理記錄的高層保存共享者信息，其中每位對應(yīng)于一個共享者.

Fig. 4 The entry formats of SpongeDirectory[49]圖4 SpongeDirectory結(jié)構(gòu)示意圖[49]

在采用SpongeDirectory的系統(tǒng)中，盡管使用的多層ReRAM存儲器延長了目錄表的讀寫延遲，但由于其提升了存儲密度和目錄表使用效率，降低了由于目錄表替換造成的性能損失，因此系統(tǒng)性能和電路面積依然得到了明顯的優(yōu)化.實驗結(jié)果表明：與傳統(tǒng)目錄表相比，SpongeDirectory在性能近似的前提下，可將存儲單元數(shù)量縮減至1/18，同時將能耗縮減至1/8.

2.3 基于彈性存儲的Hash Table算法優(yōu)化

在很多算法和應(yīng)用中，Hash Table都是一種重要的數(shù)據(jù)結(jié)構(gòu).隨著應(yīng)用和數(shù)據(jù)規(guī)模的增長，實現(xiàn)高效的Hash Table結(jié)構(gòu)的重要性和難度也在日益提高.傳統(tǒng)的Hash Table通?；阪湵韺崿F(xiàn)，Hash Table中各項的地址動態(tài)可變并在內(nèi)存中隨機分布.這種實現(xiàn)方式雖然可以提高內(nèi)存使用效率，但是卻影響了預(yù)取(prefetching)的效果并降低了指令級并行度.針對這一問題，文獻(xiàn)[24]提出了一種基于MLC PCM的可擴容Hash Table技術(shù)Herniated Hash Table.該技術(shù)可根據(jù)應(yīng)用的需要，通過動態(tài)增加PCM單元同一電阻域中存儲的位數(shù)實現(xiàn)將多個相鄰的Hash Table記錄保存在同一個物理地址的不同層中，以便于讀取連續(xù)的Hash Table記錄.當(dāng)該物理地址的存儲層數(shù)達(dá)到上限時，鏈表會指向其他物理地址并繼續(xù)使用不同層存儲連續(xù)的Hash Table記錄.Herniated Hash Table雖然會使Hash Table記錄的讀寫延遲增大，但是通過配合專門設(shè)計的編址和預(yù)取機制，該技術(shù)依然可以通過提高訪問并行度達(dá)到提升性能的目的.實驗結(jié)果表明：與基于單層PCM主存儲器的鏈表式Hash Table結(jié)構(gòu)相比，Herniated Hash Table在使用4層PCM的情況下可實現(xiàn)4.8倍的存儲密度提升以及67%的性能提升.

2.4 小 結(jié)

表3列舉了本節(jié)所介紹的基于“存儲密度-訪問延遲動態(tài)權(quán)衡特性”的相關(guān)優(yōu)化工作，并將其與基于傳統(tǒng)體系結(jié)構(gòu)方法的相關(guān)工作進(jìn)行了對比.從中我們可以看出，與傳統(tǒng)體系結(jié)構(gòu)方法相比，基于動態(tài)權(quán)衡特性的性能優(yōu)化方法在硬件開銷、簡化控制邏輯等方面具有明顯的優(yōu)勢.

Table 3 Qualitative Comparison of Optimization Using the Storage Density vs Access Latency Trade-off表3 基于“存儲密度-訪問延遲動態(tài)權(quán)衡特性”的相關(guān)優(yōu)化工作比較

① To our best of knowledge, all the existing Hash table optimization is based on software, and there is no similar work to compare.

Fig. 5 Bank-Aware Mellow Write scheme[20]圖5 Bank-Aware Mellow Write寫策略[20]

3 基于寫延遲與寫壽命關(guān)系的優(yōu)化方法

由1.2節(jié)介紹可知，對于NVM材料而言，寫延遲和寫壽命存在相關(guān)性.基于這一動態(tài)權(quán)衡關(guān)系，文獻(xiàn)[20]提出了一種名為Mellow Write的技術(shù)，在盡量減少額外硬件開銷的前提下提升NVM存儲器的壽命.與原有基于寫分?jǐn)偤蜏p少寫操作的思路不同，Mellow Write主要通過延長寫操作延遲(“慢寫”)減少單次寫操作對NVM存儲單元的磨損程度，從而實現(xiàn)延長存儲器壽命的目標(biāo).

為了減少寫延遲延長對系統(tǒng)性能的影響，Mellow Write包含了2種策略：Bank-Aware Mellow Write和Eager Mellow Write.如圖5所示，在Bank-Aware Mellow Write策略中，通過掃描寫訪存隊列中的寫請求，當(dāng)一個bank只有一個寫請求時，該請求會采用慢寫的方式完成.為了進(jìn)一步提升Mellow Write的性能，在Eager Mellow Write策略中(如圖6所示)，通過對末級緩存(last level cache, LLC)進(jìn)行掃描，挑選無用的“臟數(shù)據(jù)”并將其主動地采用慢寫的方式進(jìn)行寫回.同時，在內(nèi)存控制器中增加了專門的Eager Mellow Queue用于主動生成的慢寫請求.

為了進(jìn)一步提升NVM存儲器的壽命，Mellow Write中還包含一種名為Wear Quota的技術(shù)：將程序運行的整個過程劃分為一些列固定時長的采樣區(qū)間，在每個采樣區(qū)間中計算區(qū)間內(nèi)寫操作對主存造成的累計磨損情況，當(dāng)累計磨損超過一定閾值時，在下一個采樣區(qū)間內(nèi)將只采用慢寫模式完成所有寫請求.

Fig. 6 A high level view of a processor and a memory controller using Eager Mellow Write[20]圖6 采用Eager Mellow Write策略的系統(tǒng)結(jié)構(gòu)圖[20]

Mellow Write中的一些參數(shù)取值與應(yīng)用特征相互作用將會對系統(tǒng)性能造成很大影響.為了使系統(tǒng)始終運行于最優(yōu)狀態(tài)，Mellow Write需要針對不同應(yīng)用特征動態(tài)調(diào)節(jié)自身參數(shù).但是，由于參數(shù)的數(shù)量眾多，通過建模實現(xiàn)自身參數(shù)的求解變得十分困難.針對這一問題，文獻(xiàn)[51]提出了一種基于機器學(xué)習(xí)的參數(shù)動態(tài)選擇技術(shù).該技術(shù)通過在程序運行時對處理器各項狀態(tài)參數(shù)及程序行為特征進(jìn)行周期性采樣，在線訓(xùn)練一個機器學(xué)習(xí)模型，同時使用該模型為下一個采樣周期選擇適當(dāng)?shù)南到y(tǒng)配置參數(shù).實驗結(jié)果表明：該方法可以在最小化動態(tài)能耗的同時，使性能與理論最優(yōu)值的差距縮小到5%以內(nèi).

表4將基于“訪問延遲-寫壽命動態(tài)權(quán)衡特性”的NVM存儲器優(yōu)化與基于傳統(tǒng)體系結(jié)構(gòu)方法的NVM存儲器優(yōu)化進(jìn)行了比較.從表4可以看出，由于Mellow Write不需要對寫訪存請求進(jìn)行細(xì)粒度分析，因此需要的輔助邏輯和額外開銷都很??；同時，Mellow Write通過為寫訪存請求選擇適當(dāng)寫模式的方式對器件壽命和系統(tǒng)性能進(jìn)行平衡，避免了引入緩沖存儲器以及由此帶來的控制邏輯復(fù)雜化的問題.此外，Mellow Write避免了在優(yōu)化存儲器壽命的同時對系統(tǒng)性能造成影響，實現(xiàn)了多目標(biāo)協(xié)同優(yōu)化.

Table 4 Qualitative Comparison of Optimization Using the Access Latency vs Endurance Trade-off表4 基于“訪問延遲-寫壽命動態(tài)權(quán)衡特性”的相關(guān)優(yōu)化工作比較

4 基于寫延遲與狀態(tài)保持時間關(guān)系的優(yōu)化方法

由1.3節(jié)介紹可知，在MLC PCM中存在著寫延遲與狀態(tài)保持時間之間的動態(tài)權(quán)衡關(guān)系.同時，由于不同延遲的寫模式對于寫電流的需求不同，因此寫延遲不同也會導(dǎo)致寫功耗的變化.此外，對于基于MLC PCM的主存儲器而言，為了保證數(shù)據(jù)的正確性，在其狀態(tài)保持時間結(jié)束前需要進(jìn)行刷新操作，由此引入的額外寫操作也會加速存儲單元的老化.因此，寫延遲與狀態(tài)保持時間之間動態(tài)權(quán)衡關(guān)系也可以很容易地擴展為包含寫延遲、寫功耗、狀態(tài)保持時間、器件壽命在內(nèi)的多方之間的動態(tài)權(quán)衡關(guān)系.這為體系結(jié)構(gòu)設(shè)計提供了充足的空間.本節(jié)將對基于這一動態(tài)權(quán)衡關(guān)系的體系結(jié)構(gòu)設(shè)計方法進(jìn)行介紹.

4.1 嵌入式系統(tǒng)主存儲器

由于MLC PCM具有寫延遲大、靜態(tài)功耗低的特點，因此非常適合作為RAM和FLASH的替代品，應(yīng)用于對寫性能要求不高但要求低功耗的嵌入式設(shè)備中.針對嵌入式系統(tǒng)的特點，研究人員提出了一系列基于存儲器動態(tài)權(quán)衡特性的優(yōu)化方案.

文獻(xiàn)[19]針對嵌入式系統(tǒng)中應(yīng)用程序的訪存特點，提出了一種名為CDDW的技術(shù).該技術(shù)通過在編譯階段對代碼中的寫操作指令進(jìn)行靜態(tài)掃描，估算出數(shù)據(jù)在最壞情況下的生命周期長度.基于這一估算結(jié)果，編譯器將為該數(shù)據(jù)選擇最適合的寫模式.通過該方法，CDDW可使基于MLC PCM的存儲器在性能和寫延遲之間達(dá)到更優(yōu)的平衡.實驗結(jié)果表明，CDDW可使得系統(tǒng)性能提升6.3%，同時將寫能耗降低32.4%.

在CDDW的基礎(chǔ)上，文獻(xiàn)[22]通過分析發(fā)現(xiàn)，對于嵌入式應(yīng)用中大量存在的循環(huán)模塊，由于其中數(shù)據(jù)的生命周期非常長，因此對這些數(shù)據(jù)采用長延遲寫操作將對系統(tǒng)性能和能耗帶來很大影響.基于這一分析，文獻(xiàn)[22]提出了一種名為WMALT的循環(huán)感知技術(shù).該技術(shù)通過在編譯階段對代碼的掃描，發(fā)現(xiàn)處于循環(huán)模塊中的數(shù)據(jù)項，并采用低延遲寫操作去改寫這些數(shù)據(jù)項.實驗結(jié)果表明：當(dāng)WMALT與CDDW技術(shù)配合使用時，相比于單純使用CDDW的情況下可實現(xiàn)50.8%的性能提升，同時降低32.0%的動態(tài)能耗.

Fig. 7 A high level overview of RRM and its relationship to the LLC and memory controller[21]圖7 RRM結(jié)構(gòu)概述及其與LLC和內(nèi)存控制器的關(guān)系[21]

文獻(xiàn)[23]針對嵌入式處理器中基于MLC PCM的SPM存儲器，提出了一種名為MMAS的算法.該算法使用整數(shù)線性規(guī)劃方法為寫操作指令和數(shù)據(jù)項尋找近似最優(yōu)的調(diào)度方案，從而達(dá)到縮短數(shù)據(jù)項生命周期并更多地使用低延遲寫操作的目的.MMAS可在多項式時間內(nèi)為大型程序?qū)ふ业浇谱顑?yōu)的調(diào)度結(jié)果.實驗結(jié)果表明，MMAS算法可使訪存時間平均縮短38.79%.

4.2 通用計算系統(tǒng)主存儲器

除了嵌入式系統(tǒng)，MLC PCM也可作為主存儲器被應(yīng)用于高性能通用計算系統(tǒng)中.相比于嵌入式系統(tǒng)，通用計算系統(tǒng)的存儲結(jié)構(gòu)和應(yīng)用更加復(fù)雜，這使得為嵌入式系統(tǒng)設(shè)計的MLC PCM優(yōu)化方法不適用于通用計算系統(tǒng)，這種不適應(yīng)主要體現(xiàn)在3個方面：

1) 應(yīng)用于嵌入式系統(tǒng)的這些方法只適用于能夠在編譯階段進(jìn)行分析的靜態(tài)應(yīng)用，而無法適用于動態(tài)應(yīng)用；

2) 由于cache的過濾效應(yīng)，原有方法難以應(yīng)用在基于cache的系統(tǒng)上，這是因為cache使得對MLC PCM存儲器的讀/寫操作分布與應(yīng)用中產(chǎn)生的讀/寫請求分布不同；

3) 操作系統(tǒng)對內(nèi)存的管理會使得實際的訪存行為特征與基于靜態(tài)分析做出的預(yù)測結(jié)果更加不同.由于cache和操作系統(tǒng)在通用計算系統(tǒng)中都是不可或缺的組成部分，同時通用計算系統(tǒng)上所運行的程序多為動態(tài)應(yīng)用，因此，這類基于靜態(tài)分析的方法難以應(yīng)用在通用計算系統(tǒng)上.

針對這些問題，文獻(xiàn)[21]提出了一種名為RRM的新型解決方案，實現(xiàn)了MLC PCM主存儲器性能與壽命的平衡提升.文獻(xiàn)[21]首先分析了典型應(yīng)用在運行時寫訪存請求的分布情況，發(fā)現(xiàn)在典型應(yīng)用中絕大多數(shù)寫請求集中于少數(shù)內(nèi)存區(qū)域中.文獻(xiàn)[21]將這類內(nèi)存區(qū)域稱為寫訪存熱點區(qū)域(hot-written memory region)，其余區(qū)域為寫訪存非熱點區(qū)域(cold-written memory region).在RRM中，包含2種寫操作：1)采用較多迭代周期、弱電流的長保持時間寫操作(long retention write)，簡稱LR寫;2)采用較少迭代周期、強電流的短保持時間寫操作(short retention write)，簡稱SR寫.對于采用SR寫的存儲單元，由于其狀態(tài)保持時間較短，需要定期對其進(jìn)行刷新操作.RRM對寫訪存熱點區(qū)域采用SR寫操作，對非熱點區(qū)域則采用LR寫操作，由于大部分的寫請求使用低延遲的SR寫操作完成，內(nèi)存系統(tǒng)的性能與只采用LR寫操作的系統(tǒng)相比將得到很大的提升.同時，由于熱寫區(qū)域相對較少，因此與全部采用SR寫操作的系統(tǒng)相比，該系統(tǒng)中的刷新操作顯著減少，同時內(nèi)存的壽命也會得到提升.

RRM的系統(tǒng)結(jié)構(gòu)如圖7所示，RRM位于末級高速緩存(LLC)和內(nèi)存控制器(memory controller，MC)之間.RRM將記錄寫操作的目標(biāo)地址，并根據(jù)這些記錄預(yù)測當(dāng)前寫操作的目標(biāo)地址是否屬于熱寫區(qū)域.對于寫訪問熱點區(qū)域，將采用SR寫操作，而對于其他區(qū)域則采用LR寫操作.此外，為了保證數(shù)據(jù)正確性，RRM將定期對部分內(nèi)存區(qū)域發(fā)送刷新請求.當(dāng)熱寫區(qū)域變?yōu)槔鋵憛^(qū)域時，RRM將使用LR寫操作刷新之前的寫訪存熱點區(qū)域.由于使用了動態(tài)寫模式選擇技術(shù)，RRM平衡了MLC PCM存儲器的性能與壽命.需要說明的是，由于RRM只記錄熱寫區(qū)域信息，因此RRM所需要的存儲開銷非常有限.實驗結(jié)果表明，與LR寫靜態(tài)策略相比，RRM可使系統(tǒng)性能平均提升62.0%，同時壽命可達(dá)到LR寫靜態(tài)策略的60%.

與RRM不同，文獻(xiàn)[52]通過對典型應(yīng)用寫訪存請求的時間分布特征進(jìn)行分析，發(fā)現(xiàn)典型應(yīng)用中寫訪存請求的時間分布具有明顯的不均勻性.基于這一特性，文獻(xiàn)[52]提出了一種名為QnD的輕量級的寫訪存性能優(yōu)化方案.該方案通過對內(nèi)存控制器中寫訪存隊列的負(fù)載進(jìn)行感知，當(dāng)系統(tǒng)中寫訪存請求較多時，動態(tài)選擇使用SR寫模式完成寫請求，然后在目標(biāo)地址狀態(tài)保持時間結(jié)束之前使用LR寫模式對其進(jìn)行刷新；而在系統(tǒng)中寫訪存請求較少時，則直接使用LR寫模式完成寫請求.通過這樣的寫模式選擇機制，QnD使用極低的硬件開銷實現(xiàn)了MLC PCM主存儲器的性能提升，同時存儲器壽命并未大幅下降.實驗結(jié)果表明，QnD可實現(xiàn)30.9%的性能提升，同時存儲器壽命達(dá)到7.58年.

4.3 其他存儲設(shè)備

除了主存儲器之外，MLC PCM也被用作文件緩沖器等其他存儲設(shè)備.對于這類存儲設(shè)備，結(jié)合其應(yīng)用特征，依然可以利用寫延遲與狀態(tài)保持時間的關(guān)系進(jìn)行優(yōu)化.

文獻(xiàn)[53]提出了一種名為Amnesic Cache的基于MLC PCM的文件緩存，該緩存工作于LLC與SSD/硬盤之間.Amnesic Cache的主要目標(biāo)是降低對MLC PCM的訪問延遲，其首先使用低延遲寫操作執(zhí)行所有寫請求，然后使用長延遲寫操作進(jìn)行刷新，以此換取較長的狀態(tài)保持時間.但是，Amnesic Cache不適用于基于MLC PCM主存的通用計算系統(tǒng)：首先，Amnesic Cache需要較大的輔助存儲器配合工作，因為其需要記錄每一個寫操作的信息以便在其失效前進(jìn)行刷新；其次，在執(zhí)行每一個寫請求時，Amnesic Cache都需要對于一個存儲區(qū)塊進(jìn)行多次寫操作，這將使得存儲器壽命降低.Amnesic Cache作為文件緩存可以與SSD和主存很好地配合工作，這是由于其寫操作并不頻繁，因而對器件壽命的要求并不高.但是，這項技術(shù)卻不適用于通用計算系統(tǒng)的主存儲器.與Amnesic Cache類似，文獻(xiàn)[54]提出了基于“低延遲-低狀態(tài)保持時間寫操作”的MLC NAND Flash加速技術(shù)，由于這項技術(shù)也需要復(fù)雜的硬件結(jié)構(gòu)和機制用于對狀態(tài)保持時間做出追蹤，因此這項技術(shù)也很難被用于主存儲器中.

文獻(xiàn)[54]提出了一種名為NVM Duet的技術(shù)，該技術(shù)為主存和外部存儲提供了一種統(tǒng)一的存儲架構(gòu).在NVM Duet中，PCM可被用于主存或外部存儲器件，當(dāng)PCM作為主存使用時，NVM Duet為其使用“低延遲-低狀態(tài)保持時間”寫模式；而當(dāng)PCM作為外部存儲器時，NVM Duet為其選用“長延遲-長狀態(tài)保持時間”寫模式.但是，對于一個應(yīng)用模式，NVM Duet只能采用一種寫模式.而對于主存而言，訪問行為的特征是時刻變化的，因此NVM Duet的技術(shù)并不適用于主存.此外，由于NVM Duet需要操作系統(tǒng)的支持，因此也難以在目前主流的商用操作系統(tǒng)中得到應(yīng)用.

4.4 小 結(jié)

表5列舉了本節(jié)所介紹的基于“寫訪問延遲-狀態(tài)保持時間動態(tài)權(quán)衡特性”的相關(guān)優(yōu)化工作，并將其與應(yīng)用傳統(tǒng)體系結(jié)構(gòu)方法的相關(guān)工作進(jìn)行了簡要比較.從表5可以看出，盡管基于傳統(tǒng)體系結(jié)構(gòu)方法的優(yōu)化工作可在性能或壽命方面取得顯著效果(如文獻(xiàn)[2])，但是采用動態(tài)權(quán)衡特性的工作可同時對多個目標(biāo)提供優(yōu)化，從而更好地滿足實際系統(tǒng)的需求.此外，絕大多數(shù)基于動態(tài)權(quán)衡特性的優(yōu)化工作不需要輔助存儲，同時避免了使用復(fù)雜的控制邏輯和修改操作系統(tǒng)，這也使得基于動態(tài)權(quán)衡特性的優(yōu)化工作更容易被實際系統(tǒng)所使用.

5 總結(jié)與展望

處理器性能的提升對存儲系統(tǒng)的訪問速度和能效提出了更高的要求.然而，現(xiàn)有存儲系統(tǒng)無法滿足高性能計算的需求，成為了提升系統(tǒng)整體性能和能效比的瓶頸.在這一背景下，新型非易失存儲器件的出現(xiàn)為提高存儲系統(tǒng)的能效比提供了新的選擇.近年來，學(xué)術(shù)界和工業(yè)界開始嘗試使用新型非易失存儲器件替代原有的存儲器件.但是，這種做法面臨著諸多問題.首先，新型非易失存儲器件存在諸多與傳統(tǒng)存儲器件不同的電氣特性，如讀寫延遲不對稱、寫壽命有限等，這使得直接使用這類器件替換原有存儲器件的方法無法發(fā)揮其優(yōu)勢；其次，現(xiàn)有的軟件系統(tǒng)都是基于原有存儲器件特性進(jìn)行開發(fā)的，其算法和數(shù)據(jù)結(jié)構(gòu)的設(shè)計也是基于原有器件進(jìn)行優(yōu)化，這些算法不能很好地適用于新的存儲器件；最后，新型存儲器件的引入給系統(tǒng)設(shè)計帶來了新的問題.

Table 5 Qualitative Comparison of Optimization Using the Write Latency vs. Retention Time Trade-off表5 基于“寫訪問延遲-狀態(tài)保持時間動態(tài)權(quán)衡特性”的相關(guān)優(yōu)化工作比較

長期以來，計算機硬件性能的提升來源于器件領(lǐng)域和計算機體系結(jié)構(gòu)領(lǐng)域共同的努力.這種合作通常表現(xiàn)為2種形式：1)器件領(lǐng)域更關(guān)注器件的靜態(tài)特性(如讀/寫延遲、壽命等)，而體系結(jié)構(gòu)領(lǐng)域則致力于調(diào)整計算機的硬件結(jié)構(gòu)，使其能夠更好地適應(yīng)器件的特性；2)體系結(jié)構(gòu)工程師將對于器件的需求提交給器件工程師，而器件工程師則會調(diào)整器件的結(jié)構(gòu)和參數(shù)以滿足特定系統(tǒng)的需求.但是，由于之前的研究中往往追求“完美”的器件(如兼具更短的讀/寫延遲和更長的壽命)，NVM器件中不同參數(shù)間存在的動態(tài)權(quán)衡關(guān)系并沒有得到器件領(lǐng)域足夠的重視，因此體系結(jié)構(gòu)領(lǐng)域也并沒有充分利用這些動態(tài)特性.

本文對近年來基于NVM器件自身動態(tài)權(quán)衡特性的體系結(jié)構(gòu)研究工作進(jìn)行了梳理.通過梳理我們發(fā)現(xiàn)，這類工作通常包含4個步驟：1)器件和材料研究人員發(fā)現(xiàn)并歸納出NVM器件中所包含的動態(tài)權(quán)衡特性；2)計算機體系結(jié)構(gòu)設(shè)計人員對目標(biāo)應(yīng)用對NVM存儲器的訪問特征進(jìn)行分析，包括訪存請求的空間分布、時間分布等；3)在此基礎(chǔ)上，體系結(jié)構(gòu)設(shè)計人員為NVM存儲器動態(tài)權(quán)衡特性和目標(biāo)應(yīng)用訪存特征尋找結(jié)合點，以探索利用NVM動態(tài)權(quán)衡特性對系統(tǒng)進(jìn)行優(yōu)化的可能性；4)根據(jù)前述3個分析結(jié)果，體系結(jié)構(gòu)設(shè)計人員在處理器中加入應(yīng)用特性感知電路以及動態(tài)權(quán)衡調(diào)節(jié)信號生成電路，以便利用NVM存儲器的動態(tài)權(quán)衡特性為應(yīng)用所表現(xiàn)出的不同訪存特征動態(tài)選擇適當(dāng)?shù)腘VM存儲器參數(shù)或工作狀態(tài).通過上述分析和設(shè)計過程，基于NVM存儲器動態(tài)權(quán)衡特性的體系結(jié)構(gòu)設(shè)計可以實現(xiàn)同時對多個目標(biāo)進(jìn)行優(yōu)化的目的，例如在RRM技術(shù)中[21]，通過對MLC PCM存儲器中寫延遲與狀態(tài)保持時間之間的動態(tài)權(quán)衡關(guān)系加以利用，為寫訪存熱點區(qū)域和非熱點區(qū)域選擇不同的寫模式，RRM實現(xiàn)了系統(tǒng)性能與NVM存儲器壽命的平衡優(yōu)化，在性能提升62.0%的同時使存儲器壽命達(dá)到了理論最優(yōu)值的60%.

對于基于NVM存儲器動態(tài)權(quán)衡特性的體系結(jié)構(gòu)優(yōu)化研究工作，我們認(rèn)為在4個方面仍存在著機遇與挑戰(zhàn)：

1) 物理學(xué)和器件領(lǐng)域研究的不斷發(fā)展，為體系結(jié)構(gòu)研究提供了新的機遇.一方面，隨著新型存儲材料的應(yīng)用，相關(guān)體系結(jié)構(gòu)設(shè)計過程中需要考慮新器件中不同于傳統(tǒng)器件的特性；另一方面，隨著對現(xiàn)有NVM材料研究的深入，新的動態(tài)權(quán)衡關(guān)系不斷被發(fā)現(xiàn).如何利用這些新材料和新的動態(tài)權(quán)衡關(guān)系進(jìn)行計算機體系結(jié)構(gòu)層面的優(yōu)化設(shè)計，將是一個非常具有挑戰(zhàn)性的問題.

2) 現(xiàn)有的研究工作大多是利用器件的一項動態(tài)權(quán)衡關(guān)系進(jìn)行優(yōu)化設(shè)計，但是在真實的器件中往往同時存在多個動態(tài)權(quán)衡關(guān)系.因此，如何同時利用多個動態(tài)權(quán)衡關(guān)系進(jìn)行優(yōu)化設(shè)計是一個值得關(guān)注的研究方向.

3) 在利用動態(tài)權(quán)衡關(guān)系進(jìn)行優(yōu)化設(shè)計的過程中，往往需要引入新的輔助結(jié)構(gòu)，這增加了系統(tǒng)中參數(shù)的數(shù)量；同時，系統(tǒng)中原有參數(shù)的選擇也會對新引入的輔助結(jié)構(gòu)的性能造成影響.這些問題使得原有芯片設(shè)計中的經(jīng)驗參數(shù)無法滿足新的系統(tǒng)設(shè)計需要.因此，如何針對基于器件動態(tài)權(quán)衡關(guān)系的設(shè)計，在更大的設(shè)計空間內(nèi)探索優(yōu)化的參數(shù)組合，將是體系結(jié)構(gòu)研究人員和設(shè)計人員需要面對的重要問題.

4) 基于器件動態(tài)權(quán)衡特性進(jìn)行系統(tǒng)結(jié)構(gòu)設(shè)計依賴于對應(yīng)用行為特征的分析和利用.因此，隨著人工智能、生物信息學(xué)等新型應(yīng)用的不斷涌現(xiàn)，如何分析、挖掘這些新的應(yīng)用中的特征，尋找這些特征與器件特性的結(jié)合點，也是此類工作未來研究的重要方向.