大存儲(chǔ)時(shí)代進(jìn)入數(shù)據(jù)至上竟?fàn)幐窬?/h1>
2019-07-17 11:26:16
中國(guó)公共安全 2019年5期
盛世之下的安防行業(yè)，在技術(shù)層面進(jìn)入一個(gè)百花齊放的全面競(jìng)爭(zhēng)時(shí)代，如果把存儲(chǔ)技術(shù)當(dāng)做一個(gè)微觀市場(chǎng)，那么，它在當(dāng)下有何市場(chǎng)百態(tài)呢？
盛世之下的安防行業(yè)，在技術(shù)層面進(jìn)入一個(gè)百花齊放的全面競(jìng)爭(zhēng)時(shí)代，如果把存儲(chǔ)技術(shù)當(dāng)做一個(gè)微觀市場(chǎng)，那么，它在當(dāng)下有何市場(chǎng)百態(tài)呢？
數(shù)據(jù)至上，三種主流IP存儲(chǔ)方式
視頻監(jiān)控在安防行業(yè)三十多年，其存儲(chǔ)也走過了幾代歷程。第一代存儲(chǔ)是早期的監(jiān)控系統(tǒng)采用的VCR存儲(chǔ)，VCR存儲(chǔ)實(shí)現(xiàn)了最基本的記錄功能或記憶功能。這個(gè)存儲(chǔ)技術(shù)在2000年初較為盛行，韓國(guó)品牌為主，國(guó)內(nèi)企業(yè)較少涉足。由于年代較于久遠(yuǎn)，而且磁盤存儲(chǔ)的諸多不足，在這里不做詳細(xì)介紹和點(diǎn)評(píng)。第二代的存儲(chǔ)是DVR，DVR產(chǎn)品的出現(xiàn)讓人們眼前一亮，DVR采用數(shù)字化視頻圖像處理方式，并應(yīng)用了計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)，視頻存儲(chǔ)在硬盤上，實(shí)現(xiàn)了存儲(chǔ)的數(shù)字化，錄像很容易在各種數(shù)字介質(zhì)上轉(zhuǎn)移和復(fù)制，而視頻的質(zhì)量不會(huì)因此有任何的降低。另外，DVR的存儲(chǔ)也可以實(shí)現(xiàn)遠(yuǎn)程網(wǎng)絡(luò)的管理。從DVR開始，引爆了當(dāng)時(shí)中國(guó)安防的數(shù)字化升級(jí)浪潮。杭州出現(xiàn)的上市部落那幾家企業(yè)，都是從DVR產(chǎn)品開始企業(yè)的技術(shù)與資金的原始積累。就到目前為止，DVR仍有市場(chǎng)。不過，從寵愛到邊緣化，只能說安防的演進(jìn)之路，它算是一個(gè)見證者。
以網(wǎng)絡(luò)為代表的第三代存儲(chǔ)技術(shù)是當(dāng)下最為關(guān)注和最主流的存儲(chǔ)方式，其分為三種：
前端存儲(chǔ)
所謂前端存儲(chǔ)，是在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的前端設(shè)備（如網(wǎng)絡(luò)視頻編碼器或網(wǎng)絡(luò)攝像機(jī)）中內(nèi)置存儲(chǔ)部件，由前端設(shè)備直接完成監(jiān)控圖像的本地錄制和保存。
前端存儲(chǔ)具有幾個(gè)方面的優(yōu)勢(shì)：一是可以通過分布式的存儲(chǔ)部署，來減輕集中存儲(chǔ)帶來的容量壓力;二是可以有效緩解集中存儲(chǔ)帶來的網(wǎng)絡(luò)流量壓力;三是可以避免集中存儲(chǔ)在網(wǎng)絡(luò)發(fā)生故障時(shí)的圖像丟失。對(duì)于前端存儲(chǔ)，由于單個(gè)前端編碼設(shè)備通常所帶監(jiān)控點(diǎn)路數(shù)不多，存儲(chǔ)時(shí)間也不長(zhǎng)，所以對(duì)存儲(chǔ)容量要求不高，網(wǎng)絡(luò)攝像機(jī)一般用CF卡或SD卡，視頻服務(wù)器一般用內(nèi)置硬盤。這與以往單機(jī)存儲(chǔ)相比，基本沒有區(qū)別。
而與以往單機(jī)存儲(chǔ)本質(zhì)上不同的是，為了保證用戶訪問的靈活性和便捷性，網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中的所有前端存儲(chǔ)除了要能夠提供點(diǎn)對(duì)點(diǎn)的單機(jī)訪問外，還要能夠通過一個(gè)統(tǒng)一的接口提供所有內(nèi)容的集中共享。為此，網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)通過中心業(yè)務(wù)平臺(tái)對(duì)所有前端存儲(chǔ)進(jìn)行統(tǒng)一管理和調(diào)度，并實(shí)現(xiàn)存儲(chǔ)空間和存儲(chǔ)內(nèi)容的網(wǎng)絡(luò)化。這樣，用戶既可以直接登錄單個(gè)前端設(shè)備進(jìn)行錄像資料的點(diǎn)播回放，也可以統(tǒng)一登錄中心業(yè)務(wù)平臺(tái)進(jìn)行所有前端錄像資料的集中檢索和回放。
中心存儲(chǔ)
在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中，部署得更多的是中心存儲(chǔ)。前端設(shè)備采集監(jiān)控點(diǎn)圖像并編碼壓縮處理成數(shù)字監(jiān)控碼流，然后通過網(wǎng)絡(luò)傳送到中心業(yè)務(wù)平臺(tái)，由中心業(yè)務(wù)平臺(tái)將碼流分發(fā)給網(wǎng)絡(luò)錄像單元進(jìn)行集中存儲(chǔ)。在很多大型的視頻監(jiān)控聯(lián)網(wǎng)應(yīng)用中，也可采用多級(jí)分布的中心存儲(chǔ)方式，即分中心存儲(chǔ)，這樣一方面可以降低一個(gè)中心點(diǎn)集中存儲(chǔ)帶來的存儲(chǔ)容量和網(wǎng)絡(luò)流量的壓力，一方面可以大幅度提升系統(tǒng)的可靠性。使用中心/分中心存儲(chǔ)，在以下幾個(gè)方面具有明顯優(yōu)勢(shì)：一是對(duì)于用戶而言，檢索和調(diào)用錄像資源更為方便;二是存儲(chǔ)內(nèi)容的完整性更容易保證，不會(huì)因?yàn)槟硞€(gè)前端設(shè)備失竊或損壞而導(dǎo)致重要內(nèi)容的丟失;三是可以合理的進(jìn)行資源調(diào)度，為前端設(shè)備按需分配存儲(chǔ)空間，從而節(jié)約資源;四是有利于制定多樣化的存儲(chǔ)策略，以滿足用戶的個(gè)性化需求;五是維護(hù)方便，便于集中檢測(cè)和及時(shí)排查問題。
對(duì)于監(jiān)控點(diǎn)路數(shù)比較少、存儲(chǔ)時(shí)間要求不長(zhǎng)的應(yīng)用場(chǎng)合，中心/分中心存儲(chǔ)可以采用服務(wù)器插硬盤或外接磁盤柜這種比較簡(jiǎn)單的方式進(jìn)行部署，稱DAS，與單機(jī)類似。而隨著網(wǎng)絡(luò)視頻監(jiān)控的優(yōu)勢(shì)被廣泛認(rèn)可，現(xiàn)在開始出現(xiàn)越來越多的大型甚至超大型視頻監(jiān)控系統(tǒng)，比如“平安城市”建設(shè)中的社會(huì)面治安監(jiān)控系統(tǒng)、中國(guó)電信和中國(guó)網(wǎng)通正在全面推進(jìn)的“全球眼”和“寬視界”這兩大運(yùn)營(yíng)級(jí)視頻監(jiān)控系統(tǒng)，這些監(jiān)控系統(tǒng)都面臨著前端設(shè)備的大規(guī)模接入和大容量集中存儲(chǔ)的需求。以往的單機(jī)存儲(chǔ)方式無法滿足這些系統(tǒng)在容量靈活擴(kuò)展方面的應(yīng)用需求，必須采用更為先進(jìn)的網(wǎng)絡(luò)存儲(chǔ)設(shè)備和存儲(chǔ)技術(shù)，其中典型的就是 SAN、NAS以及iSCSI。
SAN起源于上世紀(jì)九十年代中后期，與DAS不同，SAN基于光纖通道技術(shù)，服務(wù)器和存儲(chǔ)陣列之間通過光纖通道交換機(jī)連接，形成專用于數(shù)據(jù)存儲(chǔ)的區(qū)域網(wǎng)絡(luò)。SAN采用了面向網(wǎng)絡(luò)的存儲(chǔ)結(jié)構(gòu)，數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)分離，具有存儲(chǔ)空間易于擴(kuò)展、尋址靈活、可遠(yuǎn)距離傳輸數(shù)據(jù)、I/O性能高、存儲(chǔ)設(shè)備利用率高等特點(diǎn)，是一種全新的存儲(chǔ)體系結(jié)構(gòu)。
混合型存儲(chǔ)
對(duì)于視頻監(jiān)控網(wǎng)絡(luò)比較復(fù)雜，對(duì)存儲(chǔ)安全性和可靠性要求又非常高的應(yīng)用場(chǎng)合，可以采用既有集中存儲(chǔ)也有前端存儲(chǔ)的部署方式，兼有二者的優(yōu)勢(shì)，并規(guī)避可能存在的風(fēng)險(xiǎn)，是一種比較好的選擇。但會(huì)帶來管理的復(fù)雜度和高昂的建設(shè)成本，需要根據(jù)具體情況而定。這種存儲(chǔ)方式在視頻監(jiān)控行業(yè)應(yīng)用不多，平安城市中的智慧警務(wù)應(yīng)用是主要的應(yīng)用場(chǎng)景。
總之，網(wǎng)絡(luò)化存儲(chǔ)方式是在視頻監(jiān)控系統(tǒng)中的主流應(yīng)用，但也從兩個(gè)方面對(duì)存儲(chǔ)提出了網(wǎng)絡(luò)化的要求：一是部署和訪問上的網(wǎng)絡(luò)化，考慮到流量和存儲(chǔ)空間的合理分配，存儲(chǔ)設(shè)備在整個(gè)系統(tǒng)中的部署位置將趨于分布化和前端化，而從便于用戶統(tǒng)一訪問的角度，系統(tǒng)中所有存儲(chǔ)空間對(duì)用戶都應(yīng)該是透明的，用戶僅需通過一個(gè)接口即可訪問所有存儲(chǔ)資源；二是存儲(chǔ)設(shè)備本身的網(wǎng)絡(luò)化，網(wǎng)絡(luò)視頻監(jiān)控非常適合大型監(jiān)控聯(lián)網(wǎng)應(yīng)用，為了滿足大容量集中存儲(chǔ)的需求，存儲(chǔ)設(shè)備本身要采用先進(jìn)的網(wǎng)絡(luò)存儲(chǔ)技術(shù)以保證空間擴(kuò)展的靈活性。
邊緣存儲(chǔ)技術(shù)欲將成為IP小場(chǎng)景存儲(chǔ)應(yīng)用主流
可以明確，當(dāng)下視頻監(jiān)控的存儲(chǔ)技術(shù)依賴網(wǎng)絡(luò)，就此我們來探討一些新的亮點(diǎn)。隨著?？档腁I Cloud在2017年深圳安博會(huì)的發(fā)布，安防行業(yè)關(guān)于邊緣計(jì)算、邊緣AI的話題引發(fā)行業(yè)熱議。其實(shí)在存儲(chǔ)端的前端存儲(chǔ)也可以邊緣化。如今，大多數(shù) IP視頻監(jiān)控?cái)z像頭都有內(nèi)置的 microSD 卡插槽以支持邊緣存儲(chǔ)。機(jī)載存儲(chǔ)可實(shí)現(xiàn)直接視頻錄制，并提供遠(yuǎn)程應(yīng)用（例如網(wǎng)絡(luò)視頻錄像機(jī) [NVR]、帶視頻管理軟件 [VMS] 的中央監(jiān)控系統(tǒng)、移動(dòng)設(shè)備等），即可以通過網(wǎng)絡(luò)檢索存儲(chǔ)卡中存儲(chǔ)的視頻。
簡(jiǎn)單來看，邊緣存儲(chǔ)技術(shù)是指錄制視頻并存儲(chǔ)在攝像頭或直連存儲(chǔ)設(shè)備中，而不是通過網(wǎng)絡(luò)存儲(chǔ)到集中式記錄設(shè)施中。這項(xiàng)技術(shù)迅速得到了認(rèn)可，并在 IP 視頻監(jiān)控應(yīng)用中得到了廣泛的采用。通過在 IP 攝像頭中使用邊緣存儲(chǔ)，視頻監(jiān)控解決方案開發(fā)人員能夠更加靈活地進(jìn)行系統(tǒng)設(shè)計(jì)，并獲得更多成本優(yōu)勢(shì)。而系統(tǒng)集成商利用基于本地 microSD 卡的存儲(chǔ)，可以針對(duì) IP 網(wǎng)絡(luò)負(fù)載/可用容量、記錄冗余和移動(dòng)訪問來優(yōu)化設(shè)計(jì)。商業(yè)/工業(yè)視頻監(jiān)控是一種獨(dú)特的全天候錄制應(yīng)用，如果使用消費(fèi)級(jí)/零售 microSD 卡很有可能不夠可靠;因此，選擇為行業(yè)領(lǐng)先的攝像頭制造商設(shè)計(jì)并優(yōu)化了固件的高品質(zhì) microSD 卡，對(duì)于實(shí)現(xiàn)可靠、穩(wěn)健且對(duì)維護(hù)要求不高的系統(tǒng)設(shè)計(jì)來說至關(guān)重要。這種方式的存儲(chǔ)主要還是民用為主，但在一些中小企業(yè)（SMB）IP 攝像頭部署中，可以去掉中央 NVR 而只使用邊緣存儲(chǔ)，只需利用合適的監(jiān)控專用 microSD 卡并采用很多IP 攝像頭都具備的先進(jìn)視頻壓縮技術(shù)即可。用戶仍可以通過智能手機(jī)、PC 或平板電腦，觀看視頻直播或視頻存檔。在這種場(chǎng)景應(yīng)用中，邊緣存儲(chǔ)可優(yōu)化現(xiàn)場(chǎng)部署的設(shè)備規(guī)模、降低存儲(chǔ)成本（不需要額外的云存儲(chǔ)訂閱費(fèi)用，也不需要帶硬盤的 NVR），并降低隱私問題的不確定性（在本地 microSD 卡中記錄私人數(shù)據(jù)）。
在安防民用化風(fēng)行的當(dāng)下，邊緣存儲(chǔ)是一項(xiàng)新技術(shù)，大多數(shù) IP 監(jiān)控?cái)z像機(jī)頭支持 microSD卡插槽，因此無需更改系統(tǒng)或設(shè)計(jì)，即可集成邊緣存儲(chǔ)。既然已經(jīng)談及到了民用化和小場(chǎng)景的監(jiān)控存儲(chǔ)新方式，那么也可以綜合來看除了邊緣存儲(chǔ)之外，對(duì)于小場(chǎng)景視頻監(jiān)控存儲(chǔ)還依賴哪些新技術(shù)。
安全的外部存儲(chǔ)：民用化的視頻監(jiān)控將視頻存儲(chǔ)在安全的外部存儲(chǔ)器中。這種體系結(jié)構(gòu)使用邊緣存儲(chǔ)來填補(bǔ)由網(wǎng)絡(luò)與外部存儲(chǔ)中斷造成的內(nèi)容缺失。隨著邊緣存儲(chǔ)技術(shù)的改進(jìn)，可以解決更多的內(nèi)容丟失問題，但始終需要一個(gè)外部存儲(chǔ)。外部存儲(chǔ)就是一個(gè)解決方案集，包括存儲(chǔ)視頻和提供訪問這些視頻的所有軟件（包括VMS）。
雙重錄制：為了實(shí)現(xiàn)高可用性，外部存儲(chǔ)必須采用冗余架構(gòu)。理想情況下，構(gòu)成外部存儲(chǔ)的獨(dú)立組件的存儲(chǔ)介質(zhì)，相關(guān)的硬件和軟件（包括VMS組件）應(yīng)該單獨(dú)冗余，并具有智能互聯(lián)性。然而，市面上的解決方案將這些組件死死的聯(lián)系在一起。單個(gè)組件失效會(huì)導(dǎo)致外部存儲(chǔ)失敗。例如，服務(wù)器的硬件故障導(dǎo)致VMS組件故障和存儲(chǔ)故障。對(duì)于市場(chǎng)上的這些解決方案，可通過在部件故障期間增加額外的外部存儲(chǔ)部件來實(shí)現(xiàn)的。
總結(jié)而言，網(wǎng)絡(luò)存儲(chǔ)方式的邊緣存儲(chǔ)技術(shù)解決了目前行業(yè)痛點(diǎn)：其一，網(wǎng)絡(luò)鏈路容錯(cuò)差，監(jiān)控視頻直接上傳至中心云存儲(chǔ)，因鏈路路由和網(wǎng)絡(luò)抖動(dòng)等問題造成網(wǎng)絡(luò)容錯(cuò)性低，鏈路不可靠；其二，帶寬利用率低。監(jiān)控視頻直接上傳至云端會(huì)受到鏈路質(zhì)量影響無法提速，造成本地帶寬利用率低，成本浪費(fèi)；本地存儲(chǔ)受限，傳統(tǒng)監(jiān)控設(shè)備的 SD 或NVR 的本地存儲(chǔ)方案，空間有限，成本較高，讀寫壽命短，數(shù)據(jù)安全無法保障且運(yùn)維復(fù)雜。而該技術(shù)的優(yōu)點(diǎn)也很明顯：第一，就近高速上傳，選取就近邊緣節(jié)點(diǎn)，多維調(diào)度智能選取優(yōu)質(zhì)鏈路，保障監(jiān)控視頻數(shù)據(jù)上傳至邊緣。第二，自動(dòng)同步中心，邊緣數(shù)據(jù)自動(dòng)同步至中心備份，保證數(shù)據(jù)完整性及安全性，同時(shí)支持用戶主動(dòng)備份至云存儲(chǔ)。第三，全網(wǎng)實(shí)時(shí)查看，采用多策略多層次調(diào)度，智能選取優(yōu)質(zhì)線路，保障用戶可全網(wǎng)實(shí)時(shí)查看監(jiān)控視頻，且支持最高 64 倍速播放。第四，傳輸高速可靠，多維調(diào)度策略選取傳輸鏈路，保障傳輸高速可靠，可充分利用鏈路帶寬。第五，數(shù)據(jù)多重保護(hù)，對(duì)數(shù)據(jù)傳輸及存儲(chǔ)采用網(wǎng)銀級(jí)加密保護(hù)，邊緣可自定義處理敏感數(shù)據(jù)，及時(shí)脫敏。第六，兼容對(duì)象存儲(chǔ)已有功能特性及接口，支持與邊緣計(jì)算相結(jié)合，拓展邊緣智能。
其實(shí)這種存儲(chǔ)方式在安防行業(yè)應(yīng)用較少，隨著IP加速和網(wǎng)絡(luò)環(huán)境的改善，在5G時(shí)代的民用小場(chǎng)景應(yīng)用中，邊緣存儲(chǔ)技術(shù)將會(huì)成主流。
存儲(chǔ)技術(shù)在向智能靠近
因AI的到來，關(guān)乎智能化的聲音滲透到各行各業(yè)，而視頻監(jiān)控的存儲(chǔ)技術(shù)也能智能。那為什么安防行業(yè)需要存儲(chǔ)智能呢？就是因?yàn)榇鎯?chǔ)的數(shù)據(jù)量越來越大，與畫面質(zhì)量的要求、畫面尺寸的大小、畫面的幀率、存儲(chǔ)時(shí)間的長(zhǎng)短、訪問人數(shù)等因素有關(guān)，這就是從監(jiān)控圖像轉(zhuǎn)向視頻數(shù)據(jù)帶來的壓力。而智能視頻存儲(chǔ)具體做法是什么，當(dāng)下有兩種方案，一種是在中心存儲(chǔ)端努力實(shí)現(xiàn)擁有統(tǒng)一文件系統(tǒng)視圖的多層架構(gòu)。這是慣例實(shí)施多層、智能存儲(chǔ)基礎(chǔ)設(shè)施是管理視頻數(shù)據(jù)的最好方法。多層架構(gòu)被視為單一文件系統(tǒng)，它包含高性能磁盤、二級(jí)磁盤、磁帶和云存儲(chǔ)，能夠讓視頻文件在高成本效益的狀態(tài)下長(zhǎng)期保留，并快速提取，且在需要的時(shí)候容易進(jìn)行分析，因?yàn)樵撓到y(tǒng)管理著數(shù)據(jù)在層之間的移動(dòng)，保持了元數(shù)據(jù)的完整性。
另一種是2018年由華為提出的安防行業(yè)軟件定義的智能存儲(chǔ)方式。IT界巨頭浪潮也依托ICT技術(shù)，在去年年底成彭高速采用了軟件定義存儲(chǔ)AS13000系列解決方案，基于場(chǎng)景化定制，以高速交通數(shù)據(jù)存儲(chǔ)和應(yīng)用特點(diǎn)為基礎(chǔ)，解決成彭高速現(xiàn)有系統(tǒng)的難點(diǎn)、痛點(diǎn)。首先，通過軟件定義存儲(chǔ)構(gòu)建海量存儲(chǔ)平臺(tái)，并采用元數(shù)據(jù)集群避免性能瓶頸。系統(tǒng)共有7個(gè)AS13000M3節(jié)點(diǎn)，單節(jié)點(diǎn)配備2塊800GB數(shù)據(jù)中心級(jí)SSD、3.5英寸SATA3機(jī)械盤(單盤容量為4TB)，節(jié)點(diǎn)磁盤滿配置，系統(tǒng)裸容量達(dá)874T，使用容量達(dá)561T，充分滿足了成彭高速海量數(shù)據(jù)存儲(chǔ)需求。
結(jié)束語
在大存儲(chǔ)時(shí)代最為前沿和主流的云存儲(chǔ)技術(shù)，其實(shí)就是之前談到的中心存儲(chǔ)方式的一種。由于最近幾年存儲(chǔ)專題已經(jīng)在云存儲(chǔ)方面做了詳盡介紹，本文就不做重復(fù)。當(dāng)然，云存儲(chǔ)是基于IT架構(gòu)，是舶來品，在2019年安防行業(yè)的云存儲(chǔ)將會(huì)在完善多場(chǎng)景化應(yīng)用的整體系統(tǒng)架構(gòu)調(diào)整和視頻數(shù)據(jù)效率優(yōu)化兩方面大做文章，這也是考量傳統(tǒng)安防企業(yè)基于IT技術(shù)拓展安防業(yè)務(wù)應(yīng)用的技術(shù)指標(biāo)之一。
綜合而言，當(dāng)時(shí)間來到了2019，就存儲(chǔ)市場(chǎng)而言依然是百花齊放，一部分創(chuàng)新較弱的傳統(tǒng)安防存儲(chǔ)企業(yè)幾乎依靠NVR來競(jìng)爭(zhēng)，當(dāng)然競(jìng)爭(zhēng)勢(shì)頭漸趨式微；而傳統(tǒng)安防巨頭與IT巨頭在邊緣存儲(chǔ)、智能存儲(chǔ)和云存儲(chǔ)方面與外來者一較高下。
總之這對(duì)于行業(yè)是件幸事，畢竟百花齊放才是春！
猜你喜歡
The Great Barrier Reef shows coral comeback瘋狂英語·新讀寫(2021年10期)2021-12-07 02:41:30 你被監(jiān)控了嗎？新世紀(jì)智能(英語備考)(2019年4期)2019-06-26 00:49:04 Zabbix在ATS系統(tǒng)集中監(jiān)控中的應(yīng)用鐵道通信信號(hào)(2019年11期)2019-05-21 03:06:06 關(guān)于計(jì)算機(jī)網(wǎng)絡(luò)存儲(chǔ)技術(shù)分析電子制作(2018年16期)2018-09-26 03:27:08 看監(jiān)控?cái)z像機(jī)的4K之道中國(guó)公共安全(2017年8期)2017-10-13 08:12:17 基于FAT文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)技術(shù)的研究電子測(cè)試(2017年23期)2017-04-04 05:07:16 一張圖看懂邊緣計(jì)算通信產(chǎn)業(yè)報(bào)(2016年44期)2017-03-13 08:41:45 數(shù)據(jù)存儲(chǔ)技術(shù)的應(yīng)用山東工業(yè)技術(shù)(2016年15期)2016-12-01 05:31:14 基于FPGA的并行測(cè)試高速存儲(chǔ)技術(shù)現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化(2016年4期)2016-05-17 05:35:38 在邊緣尋找自我雕塑(1999年2期)1999-06-28 05:01:42
盛世之下的安防行業(yè)，在技術(shù)層面進(jìn)入一個(gè)百花齊放的全面競(jìng)爭(zhēng)時(shí)代，如果把存儲(chǔ)技術(shù)當(dāng)做一個(gè)微觀市場(chǎng)，那么，它在當(dāng)下有何市場(chǎng)百態(tài)呢？
盛世之下的安防行業(yè)，在技術(shù)層面進(jìn)入一個(gè)百花齊放的全面競(jìng)爭(zhēng)時(shí)代，如果把存儲(chǔ)技術(shù)當(dāng)做一個(gè)微觀市場(chǎng)，那么，它在當(dāng)下有何市場(chǎng)百態(tài)呢？
數(shù)據(jù)至上，三種主流IP存儲(chǔ)方式
視頻監(jiān)控在安防行業(yè)三十多年，其存儲(chǔ)也走過了幾代歷程。第一代存儲(chǔ)是早期的監(jiān)控系統(tǒng)采用的VCR存儲(chǔ)，VCR存儲(chǔ)實(shí)現(xiàn)了最基本的記錄功能或記憶功能。這個(gè)存儲(chǔ)技術(shù)在2000年初較為盛行，韓國(guó)品牌為主，國(guó)內(nèi)企業(yè)較少涉足。由于年代較于久遠(yuǎn)，而且磁盤存儲(chǔ)的諸多不足，在這里不做詳細(xì)介紹和點(diǎn)評(píng)。第二代的存儲(chǔ)是DVR，DVR產(chǎn)品的出現(xiàn)讓人們眼前一亮，DVR采用數(shù)字化視頻圖像處理方式，并應(yīng)用了計(jì)算機(jī)及網(wǎng)絡(luò)技術(shù)，視頻存儲(chǔ)在硬盤上，實(shí)現(xiàn)了存儲(chǔ)的數(shù)字化，錄像很容易在各種數(shù)字介質(zhì)上轉(zhuǎn)移和復(fù)制，而視頻的質(zhì)量不會(huì)因此有任何的降低。另外，DVR的存儲(chǔ)也可以實(shí)現(xiàn)遠(yuǎn)程網(wǎng)絡(luò)的管理。從DVR開始，引爆了當(dāng)時(shí)中國(guó)安防的數(shù)字化升級(jí)浪潮。杭州出現(xiàn)的上市部落那幾家企業(yè)，都是從DVR產(chǎn)品開始企業(yè)的技術(shù)與資金的原始積累。就到目前為止，DVR仍有市場(chǎng)。不過，從寵愛到邊緣化，只能說安防的演進(jìn)之路，它算是一個(gè)見證者。
以網(wǎng)絡(luò)為代表的第三代存儲(chǔ)技術(shù)是當(dāng)下最為關(guān)注和最主流的存儲(chǔ)方式，其分為三種：
前端存儲(chǔ)
所謂前端存儲(chǔ)，是在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的前端設(shè)備（如網(wǎng)絡(luò)視頻編碼器或網(wǎng)絡(luò)攝像機(jī)）中內(nèi)置存儲(chǔ)部件，由前端設(shè)備直接完成監(jiān)控圖像的本地錄制和保存。
前端存儲(chǔ)具有幾個(gè)方面的優(yōu)勢(shì)：一是可以通過分布式的存儲(chǔ)部署，來減輕集中存儲(chǔ)帶來的容量壓力;二是可以有效緩解集中存儲(chǔ)帶來的網(wǎng)絡(luò)流量壓力;三是可以避免集中存儲(chǔ)在網(wǎng)絡(luò)發(fā)生故障時(shí)的圖像丟失。對(duì)于前端存儲(chǔ)，由于單個(gè)前端編碼設(shè)備通常所帶監(jiān)控點(diǎn)路數(shù)不多，存儲(chǔ)時(shí)間也不長(zhǎng)，所以對(duì)存儲(chǔ)容量要求不高，網(wǎng)絡(luò)攝像機(jī)一般用CF卡或SD卡，視頻服務(wù)器一般用內(nèi)置硬盤。這與以往單機(jī)存儲(chǔ)相比，基本沒有區(qū)別。
而與以往單機(jī)存儲(chǔ)本質(zhì)上不同的是，為了保證用戶訪問的靈活性和便捷性，網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中的所有前端存儲(chǔ)除了要能夠提供點(diǎn)對(duì)點(diǎn)的單機(jī)訪問外，還要能夠通過一個(gè)統(tǒng)一的接口提供所有內(nèi)容的集中共享。為此，網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)通過中心業(yè)務(wù)平臺(tái)對(duì)所有前端存儲(chǔ)進(jìn)行統(tǒng)一管理和調(diào)度，并實(shí)現(xiàn)存儲(chǔ)空間和存儲(chǔ)內(nèi)容的網(wǎng)絡(luò)化。這樣，用戶既可以直接登錄單個(gè)前端設(shè)備進(jìn)行錄像資料的點(diǎn)播回放，也可以統(tǒng)一登錄中心業(yè)務(wù)平臺(tái)進(jìn)行所有前端錄像資料的集中檢索和回放。
中心存儲(chǔ)
在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中，部署得更多的是中心存儲(chǔ)。前端設(shè)備采集監(jiān)控點(diǎn)圖像并編碼壓縮處理成數(shù)字監(jiān)控碼流，然后通過網(wǎng)絡(luò)傳送到中心業(yè)務(wù)平臺(tái)，由中心業(yè)務(wù)平臺(tái)將碼流分發(fā)給網(wǎng)絡(luò)錄像單元進(jìn)行集中存儲(chǔ)。在很多大型的視頻監(jiān)控聯(lián)網(wǎng)應(yīng)用中，也可采用多級(jí)分布的中心存儲(chǔ)方式，即分中心存儲(chǔ)，這樣一方面可以降低一個(gè)中心點(diǎn)集中存儲(chǔ)帶來的存儲(chǔ)容量和網(wǎng)絡(luò)流量的壓力，一方面可以大幅度提升系統(tǒng)的可靠性。使用中心/分中心存儲(chǔ)，在以下幾個(gè)方面具有明顯優(yōu)勢(shì)：一是對(duì)于用戶而言，檢索和調(diào)用錄像資源更為方便;二是存儲(chǔ)內(nèi)容的完整性更容易保證，不會(huì)因?yàn)槟硞€(gè)前端設(shè)備失竊或損壞而導(dǎo)致重要內(nèi)容的丟失;三是可以合理的進(jìn)行資源調(diào)度，為前端設(shè)備按需分配存儲(chǔ)空間，從而節(jié)約資源;四是有利于制定多樣化的存儲(chǔ)策略，以滿足用戶的個(gè)性化需求;五是維護(hù)方便，便于集中檢測(cè)和及時(shí)排查問題。
對(duì)于監(jiān)控點(diǎn)路數(shù)比較少、存儲(chǔ)時(shí)間要求不長(zhǎng)的應(yīng)用場(chǎng)合，中心/分中心存儲(chǔ)可以采用服務(wù)器插硬盤或外接磁盤柜這種比較簡(jiǎn)單的方式進(jìn)行部署，稱DAS，與單機(jī)類似。而隨著網(wǎng)絡(luò)視頻監(jiān)控的優(yōu)勢(shì)被廣泛認(rèn)可，現(xiàn)在開始出現(xiàn)越來越多的大型甚至超大型視頻監(jiān)控系統(tǒng)，比如“平安城市”建設(shè)中的社會(huì)面治安監(jiān)控系統(tǒng)、中國(guó)電信和中國(guó)網(wǎng)通正在全面推進(jìn)的“全球眼”和“寬視界”這兩大運(yùn)營(yíng)級(jí)視頻監(jiān)控系統(tǒng)，這些監(jiān)控系統(tǒng)都面臨著前端設(shè)備的大規(guī)模接入和大容量集中存儲(chǔ)的需求。以往的單機(jī)存儲(chǔ)方式無法滿足這些系統(tǒng)在容量靈活擴(kuò)展方面的應(yīng)用需求，必須采用更為先進(jìn)的網(wǎng)絡(luò)存儲(chǔ)設(shè)備和存儲(chǔ)技術(shù)，其中典型的就是 SAN、NAS以及iSCSI。
SAN起源于上世紀(jì)九十年代中后期，與DAS不同，SAN基于光纖通道技術(shù)，服務(wù)器和存儲(chǔ)陣列之間通過光纖通道交換機(jī)連接，形成專用于數(shù)據(jù)存儲(chǔ)的區(qū)域網(wǎng)絡(luò)。SAN采用了面向網(wǎng)絡(luò)的存儲(chǔ)結(jié)構(gòu)，數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)分離，具有存儲(chǔ)空間易于擴(kuò)展、尋址靈活、可遠(yuǎn)距離傳輸數(shù)據(jù)、I/O性能高、存儲(chǔ)設(shè)備利用率高等特點(diǎn)，是一種全新的存儲(chǔ)體系結(jié)構(gòu)。
混合型存儲(chǔ)
對(duì)于視頻監(jiān)控網(wǎng)絡(luò)比較復(fù)雜，對(duì)存儲(chǔ)安全性和可靠性要求又非常高的應(yīng)用場(chǎng)合，可以采用既有集中存儲(chǔ)也有前端存儲(chǔ)的部署方式，兼有二者的優(yōu)勢(shì)，并規(guī)避可能存在的風(fēng)險(xiǎn)，是一種比較好的選擇。但會(huì)帶來管理的復(fù)雜度和高昂的建設(shè)成本，需要根據(jù)具體情況而定。這種存儲(chǔ)方式在視頻監(jiān)控行業(yè)應(yīng)用不多，平安城市中的智慧警務(wù)應(yīng)用是主要的應(yīng)用場(chǎng)景。
總之，網(wǎng)絡(luò)化存儲(chǔ)方式是在視頻監(jiān)控系統(tǒng)中的主流應(yīng)用，但也從兩個(gè)方面對(duì)存儲(chǔ)提出了網(wǎng)絡(luò)化的要求：一是部署和訪問上的網(wǎng)絡(luò)化，考慮到流量和存儲(chǔ)空間的合理分配，存儲(chǔ)設(shè)備在整個(gè)系統(tǒng)中的部署位置將趨于分布化和前端化，而從便于用戶統(tǒng)一訪問的角度，系統(tǒng)中所有存儲(chǔ)空間對(duì)用戶都應(yīng)該是透明的，用戶僅需通過一個(gè)接口即可訪問所有存儲(chǔ)資源；二是存儲(chǔ)設(shè)備本身的網(wǎng)絡(luò)化，網(wǎng)絡(luò)視頻監(jiān)控非常適合大型監(jiān)控聯(lián)網(wǎng)應(yīng)用，為了滿足大容量集中存儲(chǔ)的需求，存儲(chǔ)設(shè)備本身要采用先進(jìn)的網(wǎng)絡(luò)存儲(chǔ)技術(shù)以保證空間擴(kuò)展的靈活性。
邊緣存儲(chǔ)技術(shù)欲將成為IP小場(chǎng)景存儲(chǔ)應(yīng)用主流
可以明確，當(dāng)下視頻監(jiān)控的存儲(chǔ)技術(shù)依賴網(wǎng)絡(luò)，就此我們來探討一些新的亮點(diǎn)。隨著?？档腁I Cloud在2017年深圳安博會(huì)的發(fā)布，安防行業(yè)關(guān)于邊緣計(jì)算、邊緣AI的話題引發(fā)行業(yè)熱議。其實(shí)在存儲(chǔ)端的前端存儲(chǔ)也可以邊緣化。如今，大多數(shù) IP視頻監(jiān)控?cái)z像頭都有內(nèi)置的 microSD 卡插槽以支持邊緣存儲(chǔ)。機(jī)載存儲(chǔ)可實(shí)現(xiàn)直接視頻錄制，并提供遠(yuǎn)程應(yīng)用（例如網(wǎng)絡(luò)視頻錄像機(jī) [NVR]、帶視頻管理軟件 [VMS] 的中央監(jiān)控系統(tǒng)、移動(dòng)設(shè)備等），即可以通過網(wǎng)絡(luò)檢索存儲(chǔ)卡中存儲(chǔ)的視頻。
簡(jiǎn)單來看，邊緣存儲(chǔ)技術(shù)是指錄制視頻并存儲(chǔ)在攝像頭或直連存儲(chǔ)設(shè)備中，而不是通過網(wǎng)絡(luò)存儲(chǔ)到集中式記錄設(shè)施中。這項(xiàng)技術(shù)迅速得到了認(rèn)可，并在 IP 視頻監(jiān)控應(yīng)用中得到了廣泛的采用。通過在 IP 攝像頭中使用邊緣存儲(chǔ)，視頻監(jiān)控解決方案開發(fā)人員能夠更加靈活地進(jìn)行系統(tǒng)設(shè)計(jì)，并獲得更多成本優(yōu)勢(shì)。而系統(tǒng)集成商利用基于本地 microSD 卡的存儲(chǔ)，可以針對(duì) IP 網(wǎng)絡(luò)負(fù)載/可用容量、記錄冗余和移動(dòng)訪問來優(yōu)化設(shè)計(jì)。商業(yè)/工業(yè)視頻監(jiān)控是一種獨(dú)特的全天候錄制應(yīng)用，如果使用消費(fèi)級(jí)/零售 microSD 卡很有可能不夠可靠;因此，選擇為行業(yè)領(lǐng)先的攝像頭制造商設(shè)計(jì)并優(yōu)化了固件的高品質(zhì) microSD 卡，對(duì)于實(shí)現(xiàn)可靠、穩(wěn)健且對(duì)維護(hù)要求不高的系統(tǒng)設(shè)計(jì)來說至關(guān)重要。這種方式的存儲(chǔ)主要還是民用為主，但在一些中小企業(yè)（SMB）IP 攝像頭部署中，可以去掉中央 NVR 而只使用邊緣存儲(chǔ)，只需利用合適的監(jiān)控專用 microSD 卡并采用很多IP 攝像頭都具備的先進(jìn)視頻壓縮技術(shù)即可。用戶仍可以通過智能手機(jī)、PC 或平板電腦，觀看視頻直播或視頻存檔。在這種場(chǎng)景應(yīng)用中，邊緣存儲(chǔ)可優(yōu)化現(xiàn)場(chǎng)部署的設(shè)備規(guī)模、降低存儲(chǔ)成本（不需要額外的云存儲(chǔ)訂閱費(fèi)用，也不需要帶硬盤的 NVR），并降低隱私問題的不確定性（在本地 microSD 卡中記錄私人數(shù)據(jù)）。
在安防民用化風(fēng)行的當(dāng)下，邊緣存儲(chǔ)是一項(xiàng)新技術(shù)，大多數(shù) IP 監(jiān)控?cái)z像機(jī)頭支持 microSD卡插槽，因此無需更改系統(tǒng)或設(shè)計(jì)，即可集成邊緣存儲(chǔ)。既然已經(jīng)談及到了民用化和小場(chǎng)景的監(jiān)控存儲(chǔ)新方式，那么也可以綜合來看除了邊緣存儲(chǔ)之外，對(duì)于小場(chǎng)景視頻監(jiān)控存儲(chǔ)還依賴哪些新技術(shù)。
安全的外部存儲(chǔ)：民用化的視頻監(jiān)控將視頻存儲(chǔ)在安全的外部存儲(chǔ)器中。這種體系結(jié)構(gòu)使用邊緣存儲(chǔ)來填補(bǔ)由網(wǎng)絡(luò)與外部存儲(chǔ)中斷造成的內(nèi)容缺失。隨著邊緣存儲(chǔ)技術(shù)的改進(jìn)，可以解決更多的內(nèi)容丟失問題，但始終需要一個(gè)外部存儲(chǔ)。外部存儲(chǔ)就是一個(gè)解決方案集，包括存儲(chǔ)視頻和提供訪問這些視頻的所有軟件（包括VMS）。
雙重錄制：為了實(shí)現(xiàn)高可用性，外部存儲(chǔ)必須采用冗余架構(gòu)。理想情況下，構(gòu)成外部存儲(chǔ)的獨(dú)立組件的存儲(chǔ)介質(zhì)，相關(guān)的硬件和軟件（包括VMS組件）應(yīng)該單獨(dú)冗余，并具有智能互聯(lián)性。然而，市面上的解決方案將這些組件死死的聯(lián)系在一起。單個(gè)組件失效會(huì)導(dǎo)致外部存儲(chǔ)失敗。例如，服務(wù)器的硬件故障導(dǎo)致VMS組件故障和存儲(chǔ)故障。對(duì)于市場(chǎng)上的這些解決方案，可通過在部件故障期間增加額外的外部存儲(chǔ)部件來實(shí)現(xiàn)的。
總結(jié)而言，網(wǎng)絡(luò)存儲(chǔ)方式的邊緣存儲(chǔ)技術(shù)解決了目前行業(yè)痛點(diǎn)：其一，網(wǎng)絡(luò)鏈路容錯(cuò)差，監(jiān)控視頻直接上傳至中心云存儲(chǔ)，因鏈路路由和網(wǎng)絡(luò)抖動(dòng)等問題造成網(wǎng)絡(luò)容錯(cuò)性低，鏈路不可靠；其二，帶寬利用率低。監(jiān)控視頻直接上傳至云端會(huì)受到鏈路質(zhì)量影響無法提速，造成本地帶寬利用率低，成本浪費(fèi)；本地存儲(chǔ)受限，傳統(tǒng)監(jiān)控設(shè)備的 SD 或NVR 的本地存儲(chǔ)方案，空間有限，成本較高，讀寫壽命短，數(shù)據(jù)安全無法保障且運(yùn)維復(fù)雜。而該技術(shù)的優(yōu)點(diǎn)也很明顯：第一，就近高速上傳，選取就近邊緣節(jié)點(diǎn)，多維調(diào)度智能選取優(yōu)質(zhì)鏈路，保障監(jiān)控視頻數(shù)據(jù)上傳至邊緣。第二，自動(dòng)同步中心，邊緣數(shù)據(jù)自動(dòng)同步至中心備份，保證數(shù)據(jù)完整性及安全性，同時(shí)支持用戶主動(dòng)備份至云存儲(chǔ)。第三，全網(wǎng)實(shí)時(shí)查看，采用多策略多層次調(diào)度，智能選取優(yōu)質(zhì)線路，保障用戶可全網(wǎng)實(shí)時(shí)查看監(jiān)控視頻，且支持最高 64 倍速播放。第四，傳輸高速可靠，多維調(diào)度策略選取傳輸鏈路，保障傳輸高速可靠，可充分利用鏈路帶寬。第五，數(shù)據(jù)多重保護(hù)，對(duì)數(shù)據(jù)傳輸及存儲(chǔ)采用網(wǎng)銀級(jí)加密保護(hù)，邊緣可自定義處理敏感數(shù)據(jù)，及時(shí)脫敏。第六，兼容對(duì)象存儲(chǔ)已有功能特性及接口，支持與邊緣計(jì)算相結(jié)合，拓展邊緣智能。
其實(shí)這種存儲(chǔ)方式在安防行業(yè)應(yīng)用較少，隨著IP加速和網(wǎng)絡(luò)環(huán)境的改善，在5G時(shí)代的民用小場(chǎng)景應(yīng)用中，邊緣存儲(chǔ)技術(shù)將會(huì)成主流。
存儲(chǔ)技術(shù)在向智能靠近
因AI的到來，關(guān)乎智能化的聲音滲透到各行各業(yè)，而視頻監(jiān)控的存儲(chǔ)技術(shù)也能智能。那為什么安防行業(yè)需要存儲(chǔ)智能呢？就是因?yàn)榇鎯?chǔ)的數(shù)據(jù)量越來越大，與畫面質(zhì)量的要求、畫面尺寸的大小、畫面的幀率、存儲(chǔ)時(shí)間的長(zhǎng)短、訪問人數(shù)等因素有關(guān)，這就是從監(jiān)控圖像轉(zhuǎn)向視頻數(shù)據(jù)帶來的壓力。而智能視頻存儲(chǔ)具體做法是什么，當(dāng)下有兩種方案，一種是在中心存儲(chǔ)端努力實(shí)現(xiàn)擁有統(tǒng)一文件系統(tǒng)視圖的多層架構(gòu)。這是慣例實(shí)施多層、智能存儲(chǔ)基礎(chǔ)設(shè)施是管理視頻數(shù)據(jù)的最好方法。多層架構(gòu)被視為單一文件系統(tǒng)，它包含高性能磁盤、二級(jí)磁盤、磁帶和云存儲(chǔ)，能夠讓視頻文件在高成本效益的狀態(tài)下長(zhǎng)期保留，并快速提取，且在需要的時(shí)候容易進(jìn)行分析，因?yàn)樵撓到y(tǒng)管理著數(shù)據(jù)在層之間的移動(dòng)，保持了元數(shù)據(jù)的完整性。
另一種是2018年由華為提出的安防行業(yè)軟件定義的智能存儲(chǔ)方式。IT界巨頭浪潮也依托ICT技術(shù)，在去年年底成彭高速采用了軟件定義存儲(chǔ)AS13000系列解決方案，基于場(chǎng)景化定制，以高速交通數(shù)據(jù)存儲(chǔ)和應(yīng)用特點(diǎn)為基礎(chǔ)，解決成彭高速現(xiàn)有系統(tǒng)的難點(diǎn)、痛點(diǎn)。首先，通過軟件定義存儲(chǔ)構(gòu)建海量存儲(chǔ)平臺(tái)，并采用元數(shù)據(jù)集群避免性能瓶頸。系統(tǒng)共有7個(gè)AS13000M3節(jié)點(diǎn)，單節(jié)點(diǎn)配備2塊800GB數(shù)據(jù)中心級(jí)SSD、3.5英寸SATA3機(jī)械盤(單盤容量為4TB)，節(jié)點(diǎn)磁盤滿配置，系統(tǒng)裸容量達(dá)874T，使用容量達(dá)561T，充分滿足了成彭高速海量數(shù)據(jù)存儲(chǔ)需求。
結(jié)束語
在大存儲(chǔ)時(shí)代最為前沿和主流的云存儲(chǔ)技術(shù)，其實(shí)就是之前談到的中心存儲(chǔ)方式的一種。由于最近幾年存儲(chǔ)專題已經(jīng)在云存儲(chǔ)方面做了詳盡介紹，本文就不做重復(fù)。當(dāng)然，云存儲(chǔ)是基于IT架構(gòu)，是舶來品，在2019年安防行業(yè)的云存儲(chǔ)將會(huì)在完善多場(chǎng)景化應(yīng)用的整體系統(tǒng)架構(gòu)調(diào)整和視頻數(shù)據(jù)效率優(yōu)化兩方面大做文章，這也是考量傳統(tǒng)安防企業(yè)基于IT技術(shù)拓展安防業(yè)務(wù)應(yīng)用的技術(shù)指標(biāo)之一。
綜合而言，當(dāng)時(shí)間來到了2019，就存儲(chǔ)市場(chǎng)而言依然是百花齊放，一部分創(chuàng)新較弱的傳統(tǒng)安防存儲(chǔ)企業(yè)幾乎依靠NVR來競(jìng)爭(zhēng)，當(dāng)然競(jìng)爭(zhēng)勢(shì)頭漸趨式微；而傳統(tǒng)安防巨頭與IT巨頭在邊緣存儲(chǔ)、智能存儲(chǔ)和云存儲(chǔ)方面與外來者一較高下。
總之這對(duì)于行業(yè)是件幸事，畢竟百花齊放才是春！
猜你喜歡
瘋狂英語·新讀寫(2021年10期)2021-12-07 02:41:30
新世紀(jì)智能(英語備考)(2019年4期)2019-06-26 00:49:04
鐵道通信信號(hào)(2019年11期)2019-05-21 03:06:06
電子制作(2018年16期)2018-09-26 03:27:08
中國(guó)公共安全(2017年8期)2017-10-13 08:12:17
電子測(cè)試(2017年23期)2017-04-04 05:07:16
通信產(chǎn)業(yè)報(bào)(2016年44期)2017-03-13 08:41:45
山東工業(yè)技術(shù)(2016年15期)2016-12-01 05:31:14
現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化(2016年4期)2016-05-17 05:35:38
雕塑(1999年2期)1999-06-28 05:01:42
