譚世偉 張翔宇 陳思睿 丁兆鵬

摘要：在后互聯網時代，計算是生產力，數據是生產資料，數據的存儲與應用越來越引起關注。針對熱數據采用NVME協(xié)議的SSD用于快速存儲與計算，針對冷數據采用SATA或者SAS形式的機械硬盤作為存儲數據與應用。相應的為了滿足當前對數據量的需求，大容量的存儲服務器，存儲Jbod，存儲Jbof越來越應用到互聯網行業(yè)中。存儲Jbof作為熱數據進行快速存儲，存儲Jbod作為冷數據為大容量數據進行長期存儲，形成數據存儲保護的硬件基石。存儲服務器，存儲Jbod及存儲Jbof因為滿足了大容量數據的存儲需求，越來越得到行業(yè)的大力發(fā)展。本文章將通過結合實際的應用場景提出存儲服務器，存儲Jbod及存儲Jbof的設計及測試要點.

關鍵詞：存儲服務器;設計要點;存儲Jbod;存儲Jbof;測試驗證

中圖分類號：TP311? ? ? ?文獻標識碼： A

文章編號：1009-3044（2020）36-0047-03

Abstract： In the post-Internet era， computing is compression， data is production material， and data storage and application are attracting more and more attention. SSDs using NVME protocol for hot data are used for fast storage and calculations， and mechanical hard drives in the form of SATA or SAS are used for cold data to store data and applications. Correspondingly， in order to meet the current demand for data volume， large-capacity storage servers， storage Jbod， and storage Jbof are increasingly used in the Internet industry. Storage Jbof is used as hot data for fast storage， storage Jbod is used as a storage server， and storage Jbod and storage Jbof are more and more vigorously developed in the industry because they meet the storage needs of large-capacity data. The actual application scenario proposes the design and test points of storage server， storage Jbod and storage Jbof.

Key words： storage server;design points; store jbod; store jbof; test verification

后互聯網時代，AI以及邊緣計算崛起，但是計算是生產力需要大量的數據作為分析的源泉。數據的發(fā)掘分析成就了互聯網時代的興盛，而數據量成指數型規(guī)模化增長，帶來了數據存儲的大量需求。用于數據存儲的存儲服務器，存儲Jbob，存儲Jbof等硬件架構，為數據存儲提供了PB級別的數據存儲能力。存儲Jbod以機械硬盤為主，重點用于冷數據存儲;存儲Jbof以SSD以及最新的nvme SSD為主，以近內存的速度提供快速的數據存儲與應用。文中將存儲Jbod和存儲Jbof全部歸為存儲BOX。鑒于存儲BOX可以改配成任何形式的機頭，使其應用場景非常廣泛。只要機頭（服務器）擁有pcie插槽，支持相應的SAS卡or RAID卡or 100G網卡，均可以改配連接后端的存儲BOX。存儲服務器兼具計算節(jié)點和存儲節(jié)點，存儲BOX純數據存儲節(jié)點。本文重點探討研究存儲服務器，存儲BOX設計以及測試驗收要點。

名詞解釋：

1） 存儲BOX：指存儲Jbod與存儲Jbof的總稱。

2） JBOD： Just a Bunch Of Disks，磁盤簇，是在一個底板上安裝的帶有多個磁盤驅動器的存儲設備，SAS or SATA 機械硬盤柜。

3） JBOF：Just a Bunch Of Flash，非機械硬盤組成的存儲柜，SAS-SSD? SATA-SSD? NVME-SSD等非機械硬盤組成的存儲柜。

4） 存儲服務器以偏重數據存儲為重點，支持多硬盤大存儲容量的服務器，對計算能力要求不高，可支持單CPU，雙M.2等簡單服務器配置。

1 存儲服務器及存儲BOX測試常見故障

分布式存儲中存儲服務器，存儲BOX，在研發(fā)設計和測試中經常遇到如下常見設計以及測試故障：

1） 掉盤;

2） 性能差;

3） 關鍵核心部件沒有溫度監(jiān)控;

4） Jbof與機頭SAS接口連線順著插和反著插均可用，外觀指示燈無差別均顯示正常;

5） 插拔Jbod后，鏈路狀態(tài)顯示正常，但是跑出來的性能極差;

6） BOX不支持先開機頭再開BOX;

7） 硬盤單體沒有efruse保護機制;

8）? 硬盤背板以及硬盤無過流保護;

9） 硬盤背板，PDB供電板等設置OCP點過低;

10）? 高速信號鏈路余量不足等;

11）? 一些升級需要AC斷電才生效;

12）? 存儲服務器系統(tǒng)盤不支持冗余設計等。

以上種種問題導致耽誤大量的人力和時間去分析定位根因。測試中測試前準備工作不足，設計工作做的不充分，導致實際測試工作中，各種掉盤問題，掉帶寬問題等等，研發(fā)定位分析問題測試復現問題等超過1個月才完成問題定位。

存儲服務器，存儲BOX，因為缺少設計以及測試規(guī)范，缺少合理的測試流程和測試手法，導致投入大量人力和時間去分析定位問題，項目一直延期。

2 存儲服務器及存儲BOX設計及測試要點

現針對存儲服務器及存儲BOX，提出如下實際設計與測試總結的要點，方便后期研發(fā)設計以及測試人員參考。

存儲服務器及存儲BOX測試要點[4]：

實際中應以硬盤采用的芯片決定Server使用的 SAS卡or RAID卡的型號。比如硬盤使用的Expander芯片是LSI的，Server端的SAS卡 or RAID卡必須也是LSI的;硬盤端采用的Expander芯片是PMC的，Server端的SAS卡 or RAID卡也必須是PMC的卡子。

1）如果Server 主板BMC不支持SAS卡 or RAID卡的監(jiān)控功能，SAS卡 or RAID卡就配置成不支持監(jiān)控功能的NVDATA版本。

2） 一般硬盤數量超過40塊，SAS卡 or RAID卡NVDATA配置參數需要設置成不掃描后端硬盤的配置參數;一般硬盤數量過多將導致開機等待時間過長，bios需要更長的檢測時間等。

3）存儲服務器在測試之前，使用SAS卡 or RAID卡芯片廠商提供的工具檢測一下誤碼率，防止沒有檢查誤碼率的情況下進行開展大量測試;一般Expander or? Switch芯片廠商均會提供芯片的治具來能夠直接查看誤碼率和帶寬。

4）存儲服務器 or 存儲BOX測試之前，需要對測試硬盤進行選型，必須選用能夠支持的功耗最大的盤進行測試，比如空氣盤，比如雙磁臂硬盤，比如SAS? SSD等;

5）在測試之前，對最大功耗的硬盤進行壓測時，認真參考此款硬盤的功耗說明書，檢查一下硬盤在哪種模式下功耗最高，大多數機械硬盤，在隨機讀寫時功耗最高，測試腳本需要優(yōu)先使用此模式進行測試。 如下兩種模式是壓測中功耗比較大的配置參數：隨機寫 4K小塊（Random RW 4KB Qd=8）（random read 4K16Q）。

6） 在進行滿配最大功耗硬盤進行壓測時，要進行拔掉一塊PSU線纜等異常測試。單PSU情況下，PSU輸出壓降會變大，故障率會比較高。此時實時查看單PSU供電情況下壓測是否存在硬盤或者硬盤背板電壓降低的告警和故障。

7）存儲服務器測試，重點關注硬盤背板OCP點，PDB供電板最大輸出功率等;需要進行全鏈路壓降測試。

8） 針對通過線纜給硬盤背板供電的，重點關注供電線纜的壓降情況。

9） 需要進行所有的硬盤由sleep到wake最大整機輸入功耗測試，此種情況下功耗最高。

3 存儲服務器及存儲BOX測試報告及評審要點

針對存儲服務器及存儲BOX測試驗收標準重點關注如下測試報告驗收項。

4 存儲服務器及存儲BOX硬件變更測試要點

現針對存儲服務器及存儲BOX SIT測試驗證驗收，提出如下實際測試總結的測試策略和大綱，方便后期測試人員參考：

1）異常場景測試;

2）最大化滿配配置測試;

3）核心部件溫度傳感器監(jiān)控溫度測試;

4）硬盤單體efruse保護機制測試;

5）AC? DC? Reboot測試;

6）BOX與機頭插拔測試;

7）BOX與機頭插拔測試后壓力測試;

8）BOX與機頭插拔測試后性能測試并對比;

9）客戶實際應用場景模擬測試;

10）設計需求驗收測試;

11）最大化配置下壓力穩(wěn)定性長期測試;

12）可維護部件熱插拔測試以及插拔壽命測試;

13）硬盤熱插拔測試并插拔后速率檢查;

14）性能測試以及性能瓶頸點分析驗收;

15）可維護部件更換時間測試;

16）結構絲印驗收測試;

17）所有硬盤由sleep到wake時，整機最大輸入功耗測試等。

5 結論

存儲服務器、存儲Jbod及存儲Jbof，隨著數據量的劇增，將越來越大量地應用到市場端。所以存儲服務器、存儲Jbod及存儲Jbof的長期穩(wěn)定性及產品質量要求也越來越嚴苛，這就對存儲服務器設計以及測試驗收等研發(fā)階段提出更高的要求和技術能力提升。產品質量是企業(yè)的生命線，數據安全關乎企業(yè)的生存，所以存儲服務器及存儲BOX設計及測試要點需要不斷更新完善。

參考文獻：

[1] 田洪元.高密度存儲服務器可靠性設計和實現方法研究[D].北京：中國科學院大學，2017.

[2] 劉建峰.基于FPGA的SAS控制器設計與實現[D].武漢：華中科技大學，2008.

[3] 沙超群，尤揚，胡長軍，等.高密度存儲服務器熱設計[J].計算機工程與科學，2015，37（12）：2228-2232.

[4] 譚世偉，丁兆鵬，陳思睿.存儲Jbod測試規(guī)范[J].電腦知識與技術，2020，16（15）：260-261.

[5] 朱晨松.冷存儲系統(tǒng)關鍵模塊設計與實現[D].北京：北京郵電大學，2019.

【通聯編輯：梁書】