尚健廷，于紅雪，尹建新，汪 帥

（中國電子科技集團公司第三研究所，北京 100016）

1 媒資系統(tǒng)現(xiàn)狀

當前，在媒體融合發(fā)展的大背景下，媒體內容不斷豐富，節(jié)目形式多種多樣，節(jié)目資料包括大量的文字、圖片、圖像、聲音等各種形式的信息。同時，隨著云計算、超高清、人工智能（Artificial Intelligence，AI）、大數(shù)據(jù)等技術的快速發(fā)展，傳統(tǒng)媒資管理系統(tǒng)已無法支撐當前及未來的大數(shù)據(jù)量、多媒體類型、4K/8K 超高清等新業(yè)務形態(tài)的需求[1]。

為適應媒體生產(chǎn)業(yè)務發(fā)展需要，依托人工智能、云計算等新興技術，為傳統(tǒng)媒體資產(chǎn)管理系統(tǒng)搭建一個智能處理中心，構建一個面向媒體融合、超高清業(yè)務的全新型智能媒體資產(chǎn)管理系統(tǒng)，進一步拓展媒體資料數(shù)據(jù)的匯聚、開放、共享能力，就顯得尤為迫切與重要。

2 構建智能處理中心賦能傳統(tǒng)媒資系統(tǒng)整體思路

針對媒資系統(tǒng)現(xiàn)狀，面對未來發(fā)展需求，本文提出為傳統(tǒng)媒資管理系統(tǒng)構建智能處理中心，賦能傳統(tǒng)媒資系統(tǒng)。整體思路是：為傳統(tǒng)媒資管理系統(tǒng)搭建智能處理中心，提供人臉識別、語音識別、物體識別、OCR 識別、場景識別、圖像增強以及語義理解等智能能力，并將其封裝為多模態(tài)內容分析、跨模態(tài)智能檢索、智能編目及智能審核等智能應用服務，為整個媒資業(yè)務網(wǎng)絡提供智能服務支撐，提升媒資生產(chǎn)及業(yè)務流轉效率[2]。

2.1 智能處理中心系統(tǒng)架構設計

構建智能處理中心賦能傳統(tǒng)媒資系統(tǒng)，既要考慮現(xiàn)有智能技術的適配能力，又要考慮傳統(tǒng)媒資系統(tǒng)的實際業(yè)務情況，進而做到智能技術與媒資業(yè)務的有效融合[3]。在設計功能架構時，需綜合考慮以上因素，以形成一個成熟、穩(wěn)定、實用的智能處理中心。本文設計的智能處理中心功能架構如圖1 所示。

圖1 智能處理中心功能架構設計

智能處理中心整體上分為基礎層、數(shù)據(jù)層、能力層、應用層及運營層。

基礎層為智能處理中心的運行提供基礎環(huán)境，主要包括網(wǎng)絡服務器、網(wǎng)絡存儲及網(wǎng)絡交換等設備。這些資源既可以由公有云提供，也可以由私有云提供。需要注意的是，考慮到媒資系統(tǒng)中有大量的視音頻內容，基礎環(huán)境中需要配置高性能圖形處理器（Graphics Processing Unit，GPU）運算節(jié)點，為智能處理中心能力層提供圖形圖像高性能算力支撐。

數(shù)據(jù)層為智能處理中心提供豐富的媒體支撐服務，是智能處理中心的數(shù)據(jù)倉庫，包括視、音、圖、文等不同形態(tài)的數(shù)據(jù)，以及元數(shù)據(jù)信息、標簽數(shù)據(jù)等，可為智能處理中心能力層提供媒體數(shù)據(jù)處理分析對象支撐服務，同時也為應用層提供編目、檢索、下載等媒體業(yè)務數(shù)據(jù)支撐服務。

能力層是智能處理中心數(shù)據(jù)處理的核心層，包括現(xiàn)有較為成熟的人臉識別、語音識別、圖像識別、OCR 識別、圖像增強等具體的AI 技術能力。通過對這些具體的AI 技術能力有針對性的訓練與封裝，形成具有專業(yè)方向特點的能力引擎，如視頻處理與分析引擎、圖片處理與分析引擎、文字處理與分析引擎以及多模態(tài)內容處理與分析引擎等，便于對媒資庫中的視、音、圖、文等不同類型的數(shù)據(jù)進行智能化處理與分析，輸出更精細、更準確的數(shù)據(jù)，供媒資業(yè)務系統(tǒng)調用[4]。

智能處理中心的應用層直接面向用戶提供編目、檢索、下載等服務，建立在能力層之上，通過配置、調用能力層不同的服務引擎，實現(xiàn)語音檢索、跨模態(tài)檢索、智能編目及智能審核等智能化業(yè)務應用。

運營層作為智能處理中心的后臺管理系統(tǒng)，為用戶提供統(tǒng)一門戶展現(xiàn)、統(tǒng)一用戶登錄、任務調度管理及第三方接口對接等功能服務。通過運營層，智能處理中心可以與第三方媒資系統(tǒng)有效整合，實現(xiàn)智能處理中心與第三方媒資系統(tǒng)的整體、高效運營管理。

2.2 智能處理中心工作模式

傳統(tǒng)媒資系統(tǒng)在內容處理、編目、審核、檢索等業(yè)務流程中可直接調用智能處理中心的智能應用和能力服務。智能處理中心接收到調用信息，創(chuàng)建并下發(fā)智能任務，根據(jù)任務類型匹配相應的智能能力模塊或應用服務模塊，按需智能分配相應的算力資源進行智能化處理，并對其結果進行存儲、管理、應用，實現(xiàn)傳統(tǒng)媒資系統(tǒng)對系統(tǒng)內資源的跨模態(tài)智能檢索、智能編目、智能審核等多業(yè)務應用能力。

用戶可以清晰、直觀、實時地監(jiān)控智能處理中心各項任務的運行狀態(tài)，并能對相關任務進行管理，如任務優(yōu)先級調整、暫停、刪除等常規(guī)操作。同時，智能處理中心也可將任務處理消息、任務執(zhí)行消息反饋至媒資系統(tǒng)。智能處理中心的信息流程如圖2 所示。

圖2 智能處理中心信息流程圖

媒資用戶終端可以在統(tǒng)一門戶界面直接上傳媒體文件進行智能處理，并將結果輸出到指定位置，同時提供糾錯、打分、評價等功能，結合系統(tǒng)業(yè)務統(tǒng)計數(shù)據(jù)，實現(xiàn)對智能服務和能力進行效能評估，為后續(xù)智能處理中心服務和能力的提升、優(yōu)化提供數(shù)據(jù)依據(jù)。

2.3 媒資具體業(yè)務賦能應用場景

2.3.1 跨模態(tài)智能檢索

智能處理中心基于圖像特征、視頻特征、事件標注、OCR 識別、NLP 等AI 技術能力，對視頻、語音、文本、圖像等內容的多維理解，對媒體資源進行特征和結構化標簽提取，存儲在對應的庫中，實現(xiàn)對視頻、音頻、圖片、文字等多種類型數(shù)據(jù)的跨語種語義檢索，實現(xiàn)以圖搜圖、搜視頻等跨模態(tài)智能檢索功能，提升資源利用的精準度以及用戶檢索的體驗感[5]?？缒B(tài)智能檢索示意如圖3 所示，主要包括以視頻搜、以音頻搜、以圖搜及以文搜4 種檢索方式。

圖3 跨模態(tài)檢索示意圖

（1）以視頻搜。輸入視頻，快速查詢其所屬哪個節(jié)目內容或媒資素材，以及出現(xiàn)的時間片段；同時可搜索與視頻中的人物、場景等元素相關的媒資。

（2）以音頻搜。輸入音頻，根據(jù)音頻的聲學特征，搜索其所在的視頻和音頻。

（3）以圖搜。輸入圖像，快速查詢其所屬媒資內容以及出現(xiàn)的時間點，幫助用戶更便捷地搜索感興趣的媒資內容；同時可搜索與圖片中的人物、場景等元素相關的媒資。

（4）以文搜。輸入人物、地點、場景等關鍵詞，快速找出相關的視頻、圖片、音頻等內容。

2.3.2 智能編目

智能處理中心遵循國家音像資料編目原則，基于多模態(tài)內容分析，為媒體內容提供智能編目功能，對媒資內容中的視頻畫面、語音和文字等信息進行分析推理，輸出題名、內容摘要、關鍵詞等編目信息，方便后續(xù)業(yè)務使用及系統(tǒng)數(shù)據(jù)管理。

通過人臉識別和OCR 識別，智能處理中心對所管理的視音頻、圖片類資源進行自動化預處理，自動標識關鍵人物、敏感人物信息，提取畫面中的字幕、標題、彈幕等文字內容的關鍵詞，自動形成部分編目信息；通過語音識別，實現(xiàn)對普通話連續(xù)語音的文字轉寫，自動提取出關鍵詞、內容簡介、分類等信息，自動完善資源編目信息，減少人工編目工作的投入。智能編目標注流程如圖4 所示。

圖4 智能編目標注流程圖

基于對視頻、語音及圖像的綜合分析理解，智能處理中心還可精細化識別視頻、圖片等媒體內容中出現(xiàn)的物體和場景，形成物體分類和場景分類標簽，更好地支撐編目、檢索等基礎應用服務。

2.3.3 智能審核

內容審核是對具體的媒體內容進行審核。針對內容審核環(huán)節(jié)單純依靠人工審核存在的效率低、質量差、成本高的痛點，可將內容審核分為人工觀看判斷和智能審核兩部分。

智能審核主要是對敏感信息審核，基于視覺AI技術，通過機器學習結合深度學習，為用戶提供針對音視頻、圖片、文本的內容審核能力，主要涉及涉政、色情、暴恐、違禁等審核場景，提高音視頻內容審核的效率，降低人工審核漏審風險，縮減平臺的人力成本，助力媒體行業(yè)進行產(chǎn)業(yè)升級，賦能媒體行業(yè)的內容審核環(huán)節(jié)，保障內容傳播的監(jiān)管，杜絕違規(guī)內容，減少低質內容。智能審核服務流程如圖5 所示。

圖5 智能審核服務流程圖

3 結 語

本文基于AI 技術，構建智能處理中心，賦能傳統(tǒng)媒資系統(tǒng)。該設計可將傳統(tǒng)媒資系統(tǒng)依靠人力編目生成元數(shù)據(jù)、手動進行素材初始化的功能模式，轉變?yōu)橄到y(tǒng)智能化、自動化完成，全方位提升媒資系統(tǒng)在內容處理、編目、審核以及檢索等環(huán)節(jié)的業(yè)務能力。該設計遵循實效原則，充分進行組件和資源利舊，在保障用戶現(xiàn)有媒資系統(tǒng)平穩(wěn)運行的前提下，通過部署智能化音視頻處理引擎及可視化操作界面，同時為相關聯(lián)系統(tǒng)提供標準接口對接能力，實現(xiàn)系統(tǒng)間業(yè)務對接，為整個媒體業(yè)務網(wǎng)絡提供智能服務支撐。