張松鈿 熊紫梁

（1.廣東省公安廳科技信息化處，廣東廣州510050；2.廣州市公安局科技通信處，廣東廣州501130）

媒體中心庫在電子案卷多媒體材料存儲中應用的思考與實踐

張松鈿1熊紫梁2

（1.廣東省公安廳科技信息化處，廣東廣州510050；2.廣州市公安局科技通信處，廣東廣州501130）

公安網在我國公安工作中發(fā)揮著越來越重要的作用。本文分析了當前形勢下公安網存在的各種安全威脅，結合網絡安全、系統安全和制度法規(guī)，提出了公安網信息安全保障策略。多媒體材料作為電子案卷中的重要組成部分，對反映執(zhí)法活動的合法性、真實性具有重要作用，必須力爭全面納入電子案卷管理。本文從某局域網內執(zhí)法辦案系統數據庫效率及安全問題進行分析，引出對電子案卷多媒體材料常用存儲方式的討論，提出了建設媒體中心庫統一存儲管理的解決思路，并對建設中需要重點考慮的內容進行思考及分析。最后，通過實踐證明媒體中心庫在電子案卷多媒體存儲中的應用解決了數據庫原有問題。

電子案卷多媒體材料媒體中心庫

近年來，隨著公安機關執(zhí)法信息化、執(zhí)法規(guī)范化的不斷推進，電子案卷成為執(zhí)法活動的重要體現載體，其涵蓋材料內容的完整性越來越高，尤其是圖片、音頻、視頻、大文件等多媒體材料更是保證執(zhí)法活動合法性、真實性的重要內容。但是，多媒體材料的存儲方式一直以來是實現電子案卷的關鍵。本文以某局域網執(zhí)法辦案系統數據庫備份問題引出多媒體材料存儲方式帶來的連鎖問題，對多媒體常用存儲方式進行分析，提出建設媒體中心庫的解決思路，并對建設要點進行思考及分析，最后通過比較建設前后的數據庫狀態(tài)，驗證媒體中心庫解決問題的實際效果。

1 現狀及問題

某局域網執(zhí)法辦案系統采用單一數據庫存儲模式，以BLOB類型存儲在Oracle數據庫中，形成多媒體數據與文字數據混合存儲的狀態(tài)。隨著執(zhí)法辦案系統的深入應用，Oracle數據庫中的多媒體數據記錄數380多萬，數據量達7TB。

1.1 磁盤吞吐量大造成業(yè)務系統運行緩慢

經技術監(jiān)測，應用高峰時段從Oracle讀取多媒體文件的吞吐量達到1GB/s，超過現有存儲系統90%的理論吞吐量；再用小型機UNIX命令sar查詢waitio（waitio也稱IOWait，指小型機數據IO等待所占cpu時間的百分比）數據發(fā)現，高峰時段waitio持續(xù)在20%～30%區(qū)間，處于IO繁忙狀態(tài)，造成執(zhí)法辦案系統出現頻繁卡頓；在Oracle數據庫中進行多表連接統計查詢多媒體數據狀態(tài)，所用時間為46min。前端等待圖片顯示時間一般為8s，有時甚至達到十幾秒。

1.2 數據庫體量大造成安全和成本問題

系統的備份恢復，由于數據中存有多媒體數據，數據庫備份工作量大，該執(zhí)法辦案系統執(zhí)行一次全庫數據備份需要1天以上時間，并逐步發(fā)展到超過2天時間，形成數據庫全庫備份時間窗口過小而無法完成全庫備份的問題，而數據庫恢復也需要幾天時間才能完成，數據庫存在嚴重的安全隱患。此外，傳統數據庫存儲一般采用性能較穩(wěn)定的小型機和速度較快的存儲設備，難以對數據進行分類存儲，建設運維成本高。

1.3 掃描材料劇增造成數據存儲壓力增大

進一步統計發(fā)現，近年來該執(zhí)法辦案系統匯總多媒體材料中的人像、現場照片、PDF文件等材料與案件總數呈線性增長，而多媒體材料中的掃描材料存儲量出現迅猛增長勢頭，每個案件的掃描材料的存儲量均持續(xù)增長；近三年數據分別是：2013年是3.3MB/案，2014年是4.5MB/案，2015年是6.5MB/案，增長趨勢明顯。主要原因是執(zhí)法規(guī)范化不斷強化，電子案卷網上流轉、審核的要求，造成基層辦案民警加強了材料掃描工作，每個案件的掃描材料劇增加重了該執(zhí)法辦案系統數據存儲壓力。（如圖1所示）

圖1 近3年每個案件的掃描材料存儲量增長

綜上所述，單一數據庫的圖像存儲模式已不能適應該局域網執(zhí)法辦案系統電子案卷多媒體材料的存儲要求［1］，必須應用新技術手段對現有的多媒體存儲模式進行改造。

2 常用存儲方式分析

目前，視頻、圖片、大文件主要采用三種方式存儲管理：第一種是采用目錄文件存儲，簡稱目錄模式；第二種是采用數據庫存儲，簡稱數據庫模式；第三種是采用“數據庫+目錄”存儲，即數據庫存目錄位置，文件存在目錄中。當文件和數據量不大時，以上三種模式均可勝任工作；但當文件和文件數據量達到一定閥值時會存在許多問題［2］［3］。

第一種模式，采用簡單的目錄文件存儲，基本沒有什么管理，只要有目錄即可存儲，且目錄訪問權限難以分配管理。所以，此模式在管理，共享，安全性，查找使用方便性等方面都存在很多問題。

第二種模式，采用數據庫單一存儲對多媒體數據可以做到完全管理，尤其是在安全方面，但仍存在以下問題：1）整個系統性能降低。由于多媒體的處理占用大量的CPU資源、多媒體的存儲和讀取占用大量的I/O通道，在面臨大量數據管理和大量訪問的時候，整個系統性能急劇下降；2）數據備份/恢復困難。由于多媒體數據增長快，數據量巨大，原始數據備份模式下，每次的全庫備份往往要幾天時間才能完成，數據恢復的時間更長，造成數據的備份和恢復都很困難，一旦數據庫有問題，很可能導致數據無法恢復，損失難以估量；3）系統運行成本增加。由于傳統數據庫模式下系統數據需要頻繁訪問，傳統建設模式采用穩(wěn)定性能較好的小型機和速度較快的高端存儲設備，直接導致了建設、維護的高成本。由于數據和多媒體同庫存儲，因此，必須全部采用小型機和高端存儲設備，系統運行成本較高。

第三種模式，可以部分解決第二種模式的問題，但第三種模式同樣存在多媒體數據的安全問題，對共享目錄的訪問，訪問管理不方便，安全性不能保證，特別對網頁類應用，數據與客戶端的交互效率低下，使用不方便。

3 解決思路

為改善該局域網的數據庫存儲狀況，可從兩方面加以解決：一是針對多媒體材料中案件掃描材料劇增的情況，考慮加快推進電子筆錄、電子簽名、電子捺印等技術應用，進一步從文書制作源頭減少掃描材料；二是采取一種新型非結構化分布式集群數據系統，即媒體中心庫系統，解決單一數據庫存儲問題并實現各個層面的管理功能，而且媒體中心庫系統必須獨立考慮安全、可靠、性能、拓展等方面的要求［4］［5］。本文重點對采用媒體中心庫系統的解決思路進行闡述。

3.1 系統邏輯架構

由于采用媒體中心庫系統替代原有存儲模式，且必須作為多個系統的存儲管理中心，不再依托數據庫和原有執(zhí)法辦案系統封閉的管理體系，在系統邏輯架構要全面考慮。按照該局域網內部系統的建設應用情況，可將系統邏輯架構分為五層，即數據源層、數據接入層、數據管理層、服務層和應用層。數據源層指各系統辦理業(yè)務產生的圖片、音視頻、大文件等多媒體數據；數據接入層對外提供大數據媒體文件的統一上傳接口；數據管理層主要規(guī)劃媒體文件在存儲硬件中的存儲策略，并將元數據保存到關系型數據庫；服務層提供數據訪問服務、存儲集群服務和運行監(jiān)控等功能［6］；應用層是指使用媒體中心庫的各個業(yè)務應用系統，如該局域網內的執(zhí)法辦案系統或其他業(yè)務系統。（如圖2所示）

圖2 多媒體中心庫系統架構設想圖

3.2 存儲組成

有別于Oracle數據庫單一存儲模式，媒體中心庫系統在存儲的分級、安全、吞吐，以及數據生命周期、用戶管理操作界面友好方面要全面考慮，確保更便捷、更安全、更高效地管理及應用多媒體數據。

3.2.1 采用分級存儲系統降低成本

針對存儲成本增高的問題，重點考慮數據種類、緊急程度、安全等級等方面，通過分級存儲系統存儲數據節(jié)省整套系統數據的總體成本。具體實現可以通過高可靠性高性能磁盤系統和高性價比磁盤系統混搭構成，實現數據管理模塊統一調配，確保數據可以在不同等級的磁盤系統間動態(tài)遷移與回遷。根據定制好的數據管理策略，針對某些類型數據或針對一定周期內數據進行智能化存儲管理，數據遷移后會釋放原數據占用的磁盤空間，同時在原目錄下保留數據文件的存根（快捷訪問方式），需要訪問已經從高性能存儲系統遷移至高性價比存儲系統中的數據時，可以直接訪問原數據目錄中的快捷訪問方式。

3.2.2 采用文件級實時同步鏡像提高可用性

針對單點安全、數據備份、訪問帶寬等方面，系統可以考慮采用后端磁盤陣列的文件級鏡像配置，根據實際需求將兩個獨立磁盤陣列中各自的空間配置為實時同步鏡像，其他空間正常使用。設置為鏡像模式的兩臺磁盤陣列中一臺磁盤陣列發(fā)生故障后，前端應用服務器數據IO會自動寫入另一磁盤陣列；應用服務器讀取數據時可以同時從兩臺鏡像陣列中讀取，提高數據帶寬；由于磁盤陣列間是文件級鏡像，可保證數據的安全性和一致性，并對前端業(yè)務無影響，保障業(yè)務的連續(xù)性。存儲系統各關鍵功能模塊要采用全冗余設計，文件服務器節(jié)點可實現自動故障切換功能，充分保障數據訪問連續(xù)性以外，存儲陣列依托模塊化、高可用的設計方式，最大程度提高系統的易用性及易維護性。后端磁盤陣列系統要兼容多種RAID保護方式，具備磁盤介質自動掃描功能和文件系統動態(tài)碎片整理功能。

3.2.3 采用離線存儲實現數據生命周期管理

針對數據離線數據和備份問題，可考慮配置離線設備，即物理磁帶庫，主要用于保存需要歸檔的離線數據。這些數據保存到磁帶設備后，可以長期安全保存，需要再次讀取歷史數據時，可以通過數據生命周期管理系統通過智能化策略啟動數據回遷或使用遠程讀取直接訪問數據，體現數據生命周期中不同階段的管理及存儲，提高安全性和性價比。

3.2.4 采用智能監(jiān)控管理終端提高管理效率

傳統IT環(huán)境中，管理人員往往需要針對不同廠家、不同類型的產品配備，精通不同領域技術。因此，要針對管理人員可視化操作習慣，重點降低管理人員的技術門檻，從而提升系統監(jiān)控、管理的易操作性。在設計系統時要提供全中文化管理工具，降低存儲設備運營、監(jiān)控、管理的復雜度。通過統一的管理界面，可以避免管理人員需要參加不同廠商、不同設備的大量技術培訓，降低管理過程編寫技術腳本的出錯可能，有效提升效率、規(guī)避風險。

4 實踐情況及效果

為檢驗以上思路的實踐效果，在做好相關備份工作后搭建了一個媒體中心庫系統試運行，上文所述某局域網執(zhí)法辦案系統未采用媒體中心庫時，多媒體數據記錄數380萬，數據量7TB。高峰時段從Oracle讀取多媒體文件的吞吐量達到1GB/s，在Oracle數據庫中進行多表連接統計查詢多媒體數據狀態(tài)，所用時間為46min，前端多媒體的打開顯示時間一般大于7s，有時甚至達10多秒。采用媒體中心庫后，原有數據庫中的多媒體數據被轉存至媒體中心庫，新增的多媒體數據被直接存儲于媒體中心庫系統中。原有Oracle數據庫存儲量變?yōu)?.5TB，高峰時段讀取多媒體文件的吞吐量僅為100MB/s。采用媒體中心庫后，由于在Oracle數據庫中只存儲多媒體的元數據，在Oracle數據庫中作同樣查詢，只需要12min。前端多媒體的顯示時間一般為1s至2s。系統數據的備份恢復方面，未采用媒體中心庫時數據庫備份需要1天以上；采用媒體中心庫后，數據庫全庫備份在24h內就完成。（如表所示）

應用媒體中心庫前、后的對比表

從以上實踐效果看，采用媒體中心庫系統后，原有系統存在的數據庫體量過大，高峰IO吞吐量大、系統IO等待過高、多表連接查詢太慢、全庫備份時間太長、前端頁面顯示緩慢等問題均得到很好解決和改善。

5 結語

媒體中心庫系統對多媒體數據的存儲管理模式與傳統數據庫存儲模式相比，具有業(yè)務與數據分離，系統安全、可靠并能線性擴容等特點。此外，媒體中心庫系統與云存儲具有兼容性，可以進一步結合云平臺建設在其他非結構化大容量數據存儲方面得到推廣應用。

［1］方華，盛蕾.Oracle中LOB字段的存儲管理和優(yōu)化［J］.微計算機信息，2010，26（4-3）:179-181.

［2］馮周，左鵬飛，劉進軍.大數據存儲技術進展［J］.科研信息化技術與應用，2015,6（1）:18-28.

［3］王冠珠，李浩川，黃非.基于要素類的多數據中心數據一體化存儲模型研究［J］.計算科學與應用，2016，6（2）：77-84.

［4］趙見.高性能高可用鍵值存儲系統的設計與實現［J］.電子科技大學碩士論文，2010，5.

［5］Chen H B,Liu CY.Network attached storage:U.S.Pat?entD563,994［P］.2008.

［6］徐魯，楊德志，黃華，等.大容量、高性能、高擴展能力的藍鯨分布式文件系統［J］.計算機研究與發(fā)展，2015，42（6）：1028-1033.