文丨陶 沙 唐智廣 白月文
(安徽廣播電視臺播出部,合肥230022)
在線存儲、近線存儲和離線存儲是現(xiàn)在電視臺視音頻素材存儲的三種基本模式。
當采用介于在線和離線之間的近線存儲設備時(例如自動化帶庫、光盤庫等),我們普遍考慮的是它的經(jīng)濟、安全可靠、大容量的特質。同時又具有尋址迅速、傳輸率高的特點。即使數(shù)據(jù)的訪問量不大的數(shù)據(jù)被存放在性能較低的存儲設備上,但是也能做到快速隨時的訪問。
近線存儲相對于在線存儲在播控系統(tǒng)的應用中有很大的優(yōu)勢:
第一,我們可以根據(jù)具體的需求來設計近線存儲設備。存儲時間長(若干月甚至一年不等),存儲量大,提高反復播放的素材的利用率。
第二,為了滿足應急播出或者臨時更換節(jié)目的需要,當節(jié)目資源從近線存儲區(qū)往播出服務器遷移時,其速度要遠快于上載的速度。
第三,保證播出系統(tǒng)的網(wǎng)絡資源的安全和穩(wěn)定非常重要,系統(tǒng)制定了使素材只在播出系統(tǒng)空閑時執(zhí)行遷移的策略。
第四,摒棄了服務器在上載時由主到備的拷貝過程,真正做到節(jié)目素材向主備播出視頻服務器的同時傳輸。
第五,一方面實現(xiàn)和其他業(yè)務平臺節(jié)目素材的共享;另一方面為了保證磁盤播出數(shù)據(jù)的安全,將播出服務器和其他網(wǎng)絡分開。
第六,可以在任何地方進行節(jié)目素材的上載和傳送,因為網(wǎng)絡連接對設備的物理位置沒有要求。
第七,跟服務器的本地存儲相比,大大的降低了成本。
在播控系統(tǒng)中,在線存儲(online)表現(xiàn)為日常中播出和上載連續(xù)訪問大量數(shù)據(jù)的狀態(tài),因為可以直接、實時的讀寫存放在磁盤上的數(shù)據(jù),所以在線存儲很安全也很有效率。離線存儲(off-line)表現(xiàn)為將日常節(jié)目內(nèi)容備份進磁帶的狀態(tài),存取需要人工介入,實時性較差。因為它具有存儲容量大和成本低的優(yōu)點,所以在某些領域使用頻率也不低。第三種狀態(tài)需要克服離線存儲實時訪問速度低,并適應不需連續(xù)訪問大容量的環(huán)境,最理想的解決方案是近線存儲(near-line)。
為了讓近線存儲系統(tǒng)發(fā)揮最大作用,在引入到播控系統(tǒng)中需要注意一些設計原則:
第一,為了使數(shù)據(jù)在近線存儲系統(tǒng)與播出視頻服務器遷移的流程更有效率,必須保證它們之間存在多個通道并且鏈接暢通。
第二,為了簡化離線存儲步驟,需要使近線存儲實現(xiàn)離線存儲的功能。
第三,根據(jù)遷移服務器的處理能力以及外設的磁帶機數(shù)量,近線存儲應具有良好的可擴展性和兼容更高的擴展容量。
以安徽電視臺近線存儲和遷移為例,從下圖中可以看出不論是光纖交換機或以太交換機,還是遷移服務器或播出、上載服務器,為了安全考慮全都是主備共存。萬一主機發(fā)生故障,備機可以立刻替補上去。不會造成系統(tǒng)的崩潰,滿足了在硬件上安全級別的要求。
在播出過程中經(jīng)常會要求多種不同類型的計算機可以同時訪問同一個文件,使用StorNext文件系統(tǒng)(StorNext File System)可以解決這個問題。
從圖中可以看出,每臺遷移服務器都包含一個SNFS服務器,當播出或者上載服務器需要訪問文件系統(tǒng)中的數(shù)據(jù)的時候,它首先要做的是向StorNext文件系統(tǒng)服務器發(fā)出請求,由它來判定該用戶是否有權限,該文件是否可用。隨后StorNext文件系統(tǒng)服務器找到所要傳輸?shù)臄?shù)據(jù)存儲位置,并將該位置響應給請求服務器,則該服務器就可以通過高速光纖來訪問這個文件了。當某一臺遷移服務器出現(xiàn)故障的時候,StorNext文件系統(tǒng)服務器會激活指令來指定另一臺遷移服務器去管理和維護元數(shù)據(jù)服務。
播出、上載服務器為獲得文件需發(fā)出請求,遷移服務器會產(chǎn)生一個包含文件元數(shù)據(jù)和其第一個塊數(shù)據(jù)的信息令牌。文件系統(tǒng)可以根據(jù)令牌來跟蹤和定位文件正在被某個播出、上載服務器使用,還可以指定節(jié)目數(shù)據(jù)存放在某個存儲器中。遷移服務器還用回叫功能來同步緩存,即時播出、上載服務器改動共享素材,數(shù)據(jù)的一致性不會被破壞。比如,我們的直播節(jié)目在重播時經(jīng)常會更改一些內(nèi)容,而原先內(nèi)容已經(jīng)在播出線上整裝待發(fā),新內(nèi)容在上載線上更改后,通過同步緩存后,保證播出和上載服務器的內(nèi)容一致,同時也保證了觀眾觀看到了更新的內(nèi)容。
StorNext文件系統(tǒng)是整個系統(tǒng)的基礎部分,StorNext存儲管理員(StorNext Storage Manager)擔負著實現(xiàn)在策略基礎上自動化管理的作用。它通過綜合近線和離線存儲資源形成一個虛擬的存儲池,這個存儲池是海量的和經(jīng)濟的。由此StorNext SM可以非常高效的管理存儲設備。StorNext SM具備一個實時策略引擎,它根據(jù)事先人工制定的策略自動將數(shù)據(jù)復制到不同級別的存儲設備中。
在不同級別的存儲設備之間移動數(shù)據(jù),磁盤存儲設備優(yōu)先級不是等同的。比如安徽廣播電視臺播控系統(tǒng)設計中,播出的內(nèi)容通常默認都是從主播出存儲模塊中調(diào)取,所以它的的優(yōu)先級最高。
StorNext存儲管理員(StorNext SM)復制策略可以始終保護StorNext文件系統(tǒng)中的數(shù)據(jù)。它使用預先定義的規(guī)則自動的將數(shù)據(jù)拷貝到其他大容量存儲介質中,比如備播出存儲模塊、近線存儲體等等。這些為每個存儲級別設置的策略是根據(jù):文件被復制另一種介質時,該文件未被改動的最少時間(單位為分鐘);數(shù)據(jù)可以存儲復制到什么類型的模塊;所復制文件的壽命時間,以及該文件是否被近線存儲使用。自動地將文件拷貝到備播出存儲模塊的功能,提供了播出線上若出現(xiàn)突發(fā)事故的應急保障。與文件系統(tǒng)集成,可以使文件發(fā)生改變后可以被立刻復制。
存儲模塊是播控系統(tǒng)設施建立的基礎,存儲網(wǎng)絡將成為整個電視臺一體化網(wǎng)絡的核心部分,因為近線存儲系統(tǒng)的出現(xiàn)。因此能大幅提高節(jié)目素材的再利用效率。本章對近線存儲的概念、應用、遷移理念、工作原理等方面進行了詳細的敘述。StorNext的數(shù)據(jù)管理方式,避免了每臺服務器上進行管理存儲的重復工作,同時也整合了存儲和數(shù)據(jù)資源,采用存儲策略在數(shù)據(jù)整個生命周期內(nèi)、在不同存儲介質之間移動和保護數(shù)據(jù)。這種方式的優(yōu)點在于將存儲系統(tǒng)、管理人員、用戶和數(shù)據(jù)有效地統(tǒng)一在一起。
[1] 郭杰.2011.近線存儲異構播出平臺的研究與實現(xiàn).[D].廣州:華南理工大學,27-29.
[2] 夏進.2006.電視臺硬盤播出系統(tǒng)關鍵技術的研究.[D].上海:上海交通大學,17-18