楊 爍

（貴州廣播電視臺，貴州 貴陽 550000）

1 系統(tǒng)建設背景

為順應技術發(fā)展趨勢，加快高清、超高清電視發(fā)展，貴州廣播電視臺結合自身實際，于2019 年開始實施全頻道高清化播出傳輸改造項目。建設內容涉及上載、縮編、播出及傳輸（含信號監(jiān)測）多個方面，通過新建及改造，提升上載、播出、存儲、傳輸及網絡交換等能力，用以滿足全頻道高清化需求。其中，二級存儲方面采用了華為OceanStor9000 存儲系統(tǒng)解決方案，接入播出系統(tǒng)，與舊的Netapp 二級存儲一起使用。本文將對此方案進行詳細介紹。

2 播出二級存儲分析

2.1 常見播出二級存儲解決方案

二級存儲是計算機主存儲器或內存之外的所有可訪問數(shù)據存儲器，是程序和數(shù)據長期保存的地方。常見的二級存儲設備有硬盤、光盤等。播出二級存儲的發(fā)展經歷了直連存儲（Direct-Attached Storage，DAS）、中心化存儲（如存儲區(qū)域網絡SAN和網絡附屬存儲NAS）以及分布式存儲三個階段。

直連存儲（DAS）方式中，存儲直接存在服務器上。該方式因拓展性和靈活性差而被淘汰。中心化存儲分為存儲區(qū)域網絡（Storage Area Network，SAN）和網絡附加存儲（Network Attached Storage，NAS）[1]，具備拓展性，但是拓展性能和并發(fā)訪問能力受限于控制器，因此控制器成為瓶頸，數(shù)據遷移和RAID 重構需要消耗大量時間，是目前國內大多數(shù)電視臺采用的二級存儲方案。分布式存儲以高擴展性、高可用性、靈活性以及低成本得到廣泛青睞，成為未來主流存儲形式。

2.2 SAN 和NAS 的區(qū)別

存儲區(qū)域網絡SAN 和網絡附加存儲NAS 比較常見，都是使用RAID 的冗余存儲系統(tǒng)，兩種方式各有優(yōu)劣，如圖1 所示。SAN 可以看成是一個網絡上的磁盤，以數(shù)據塊形式提供訪問，通常采用SCSI光纖連接，因此傳輸速度更快，帶來的硬件成本更高。近年來，SAN 一直在向TCP/IP 接口方向發(fā)展，也就是iSCSI 方案。NAS 則可以看成是一個網絡上的文件系統(tǒng)，以文件形式提供訪問，采用TCP/IP 連接，內置了網絡連接所需要的各種協(xié)議，即插即用，位置靈活，成本相對較低[2]。雖然SAN 和NAS 采用不同的方法、不同的構建方式，但差距一直在持續(xù)縮小，因為它們的目的都是解決存儲問題，最終可能會混合成為一種更為方便的存儲方案。貴州廣播電視臺舊的二級存儲Netapp8200 就采用了NAS 方式。

圖1 常用存儲結構圖

2.3 分布式存儲

分布式存儲是一種較先進的系統(tǒng)架構類型。這種系統(tǒng)架構由一組通過網絡連接的計算機節(jié)點組成，這些節(jié)點為了完成計算、存儲等任務而協(xié)同工作[3]。分布式系統(tǒng)能夠有效利用更多的計算機處理更多的數(shù)據，提高了系統(tǒng)可靠性、可用性及存儲效率，還易于擴展[4]。如果把NAS 和SAN 比作貨車，擴展則是在其后面增加掛載車廂，毫無疑問，整個系統(tǒng)會仍受限于車頭的動力。而分布式系統(tǒng)則可以看成是很多自帶動力的車廂連在一起，通過網絡進行協(xié)同計算，不但易于擴張，還解決了單個車頭動力瓶頸問題。

分布式存儲最大的特點是擴展性和低成本。其最初應用于互聯(lián)網大數(shù)據，近年逐步開始進入傳統(tǒng)媒體市場，成為廣播電視存儲的新寵兒。貴州廣播電視臺新建的華為存儲方案就采用了分布式存儲系統(tǒng)。

3 貴州廣播電視臺播出二級存儲改造實施方案

升級改造前，貴州廣播電視臺每個頻道的播出服務器只有6 TB 的存儲空間，播出二級存儲只有80 TB 的有效空間。播出服務器存儲價格遠超二級存儲，二級存儲的成本則相對低廉很多，且易擴充，因此二級存儲能夠大大降低播出系統(tǒng)的整體建設成本和維護成本[5]，同時，現(xiàn)在高清化節(jié)目所占的空間越來越大，因此構建新的二級存儲成為當務之急。

經過對比多家存儲廠商的方案，貴州廣播電視臺最終采用了華為公司的OceanStor9000 存儲解決方案。OceanStor9000 是采用Scale-out NAS 技術的分布式存儲系統(tǒng)。

貴州廣播電視臺安裝了4 個OceanStor9000 P36E 節(jié)點，如圖2 所示，每個節(jié)點規(guī)格為4 U，最大功耗900 W，采用1+1 電源冗余配置，支持3+1 風扇冗余，配置了2×Intel Xeon 8 核 2.1 GHz CPU，內存為48 GB，保電內存為8 GB NVDIMM，擁有36+2個硬盤槽位。

圖2 P36E 節(jié)點視圖

建成后的貴州廣播電視臺二級存儲系統(tǒng)按照如下規(guī)則分配：原Netapp8200 播出二級存儲共有3個節(jié)點有效容量80 TB，主要用于長期保存的節(jié)目，其中52 TB 用于自辦節(jié)目，26 TB 用于廣告及墊片；華為OceanStor9000 播出二級存儲共有4 個節(jié)點有效容量308 TB，如圖3 所示，用于電視劇等其他所有節(jié)目存儲，以充分發(fā)揮其優(yōu)秀的性能。

圖3 四個節(jié)點狀態(tài)圖

系統(tǒng)建成后，兩套二級存儲一共可存儲17 700 h的碼率為50 Mb·s-1的高清節(jié)目，可滿足貴州廣播電視臺11 個頻道全高清播出的需要。目前，貴州廣播電視臺采用的自動策略為電視劇保留10 天，自辦節(jié)目保留7 天，廣告和墊片永久不刪除，僅由手動刪除。經過1 年多的使用，二級存儲僅使用了約23%的存儲容量，為后續(xù)的升級改造提供了存儲方面的保障。

根據筆者查閱到的資料，結合使用感受，下面本文將介紹華為OceanStor9000 二級存儲系統(tǒng)的幾個亮點。

3.1 性能方面

華為OceanStor9000 具備并發(fā)訪問、全局緩存、高速互聯(lián)以及自動分級存儲等關鍵技術。高性能帶來的最直觀的體驗就是節(jié)目素材傳輸速度加快了很多，在播出機加載新節(jié)目單后很少出現(xiàn)素材未傳輸完成的情況。據觀察，在長期使用中，文件系統(tǒng)的帶寬最大可以達到580 MB·s-1，文件系統(tǒng)讀取速度最大可達700 MB·s-1，文件系統(tǒng)寫入帶寬最大可達300 MB·s-1。

3.2 可靠性方面

華為OceanStor9000 在安全性方面非常可靠。其采用了分布式集群架構，系統(tǒng)的關鍵部位如電源模塊、各類接口、風扇等均采用冗余結構，無單潰點，使硬件可靠性得到保障。系統(tǒng)采用了N+M 數(shù)據保護級別，擁有強大的數(shù)據恢復能力，可以自動檢測節(jié)點故障，對故障區(qū)域進行物理分域隔離，之后對數(shù)據進行一致性掃描，最后自動恢復受損數(shù)據，大大提升了可靠性。貴州廣播電視臺采用了N+2 ∶1模式，雖然損失了一定比例的容量，但是大大提高了系統(tǒng)安全性。N+M 各種模式的配置及差異如表1所示。

表1 N+M 各種模式展示

值得一提的是，系統(tǒng)具有糾刪碼（Erasure Code）技術。相對于傳統(tǒng)的RAID 技術，糾刪碼技術有兩個最顯著特點，一是系統(tǒng)容錯能力大大提高，系統(tǒng)內硬盤故障容忍數(shù)量大幅增加，可以達到4 個，而傳統(tǒng)的RAID5 技術只有1 個，RAID6 技術只有2 個；二是磁盤重構速度大大提升，由于采用了多對多的快速數(shù)據重構方式，以數(shù)據重構代替磁盤重構，數(shù)據恢復速度高達1 TB·h-1，約是傳統(tǒng)RAID 技術的10 倍[6]。這大大提升了維護人員進行系統(tǒng)維護的體驗感和安全感。Erasure Code 技術與RAID 技術的主要性能對比如表2 所示。

表2 Erasure Code 技術與RAID 技術的對比

3.3 擴展性方面

得益于分布式架構的使用，存儲集群支持3 ～288 節(jié)點的彈性無縫擴展。二級存儲的容量和性能可以線性擴展，最大可提供100 PB 規(guī)模的單一文件系統(tǒng)，可以在不中斷系統(tǒng)運行的情況下，根據業(yè)務需要靈活地增減數(shù)據存儲節(jié)點。只要未來存儲架構不發(fā)生重大變化，貴州廣播電視臺就可以靈活地無縫擴展二級存儲，為以后超高清化的建設、擴容提供了便利。

3.4 系統(tǒng)管理方面

華為OceanStor9000 支持可視化自動部署，可以在圖形界面內監(jiān)視系統(tǒng)性能、告警情況、容量使用情況、文件系統(tǒng)帶寬、讀寫速度以及節(jié)點情況等，管理界面如圖5 所示。在管理界面內還能夠方便地進行系統(tǒng)配置、資源分配。管理維護操作高效集中，簡潔易用。

圖4 OceanStor9000 管理界面圖

4 結 語

華為OceanStor9000 采用分布式存儲系統(tǒng)，實現(xiàn)了各系統(tǒng)、各業(yè)務互聯(lián)互通，具備高性能、高可靠性、易擴展性及便于管理等特點，是二級存儲理想和可靠的架構方式。系統(tǒng)滿足了貴州廣播電視臺的全高清化需求，也為以后的超高清化建設需求提供了保障。該系統(tǒng)運行了一年多時間，播出系統(tǒng)穩(wěn)定、安全，相對國外品牌還降低了成本，符合國家廣播電視總局62號令“不間斷、高質量，既經濟、又安全”的方針。