高雅萍，安 鈞

（浙江廣播電視集團(tuán)，浙江 杭州 310005）

0 引 言

對(duì)于手握海量音視圖文資源的廣播電視行業(yè)，如何高效且最大化地挖掘資源價(jià)值，一直是值得探索的一個(gè)課題。國(guó)家廣播電視總局通過(guò)制定相關(guān)編目規(guī)范，以確保編目數(shù)據(jù)的規(guī)范性和通用性。目前，廣播電視行業(yè)普遍采用人工的方式進(jìn)行媒資編目，存在較多問(wèn)題，比如編目成本高，編目質(zhì)量完全依靠編目人員自身素質(zhì)，對(duì)于熱點(diǎn)信息無(wú)法做到實(shí)時(shí)編輯，滯后性較強(qiáng)[1]。隨著大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)陸續(xù)普及并賦能廣大傳統(tǒng)行業(yè)，深圳、浙江、湖南、北京等地電視臺(tái)紛紛建設(shè)智能媒資系統(tǒng)，利用先進(jìn)的人工智能（Artificial Intelligence，AI）技術(shù)，深入挖掘資源信息，讓媒資煥發(fā)青春。本文以浙江廣播電視集團(tuán)（以下簡(jiǎn)稱浙江廣電）智能媒資為例，分析智能技術(shù)與人工編目深度融合的流程設(shè)計(jì)與實(shí)踐成果，以期為媒資智能編目研究提供思路和參考案例。

1 智能技術(shù)在媒資系統(tǒng)中的應(yīng)用

目前，智能技術(shù)在媒資系統(tǒng)中的應(yīng)用，主要是對(duì)音視圖文進(jìn)行智能識(shí)別，自動(dòng)分析和提取關(guān)鍵信息，并以此為基礎(chǔ)，對(duì)節(jié)目進(jìn)行智能層級(jí)切分（分為節(jié)目層、片段層、場(chǎng)景層、鏡頭層），形成可用標(biāo)簽。

1.1 智能識(shí)別

在節(jié)目生產(chǎn)過(guò)程中，有價(jià)值的信息通常集中在人物、場(chǎng)景地點(diǎn)、語(yǔ)音以及畫(huà)面中出現(xiàn)的文字等。浙江廣電智能媒資通過(guò)人臉識(shí)別、語(yǔ)音識(shí)別、文字識(shí)別（Optical Character Recognition，OCR）等智能技術(shù)，將視頻內(nèi)容轉(zhuǎn)換成文本，提取智能標(biāo)簽。通過(guò)建立人物庫(kù)、機(jī)構(gòu)庫(kù)、事件庫(kù)、敏感庫(kù)等多維度庫(kù)，對(duì)各庫(kù)數(shù)據(jù)進(jìn)行歸一化處理。

1.1.1 人臉識(shí)別

人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種技術(shù)。識(shí)別前，需要先建立人物庫(kù)，存儲(chǔ)待識(shí)別人物的人臉圖片、姓名以及人物信息，通過(guò)對(duì)圖片進(jìn)行人臉特征提取，將人臉圖像轉(zhuǎn)換成特征向量值，并與人物庫(kù)信息進(jìn)行關(guān)聯(lián)，以便在識(shí)別時(shí)進(jìn)行人物信息輸出。浙江廣電智能媒資采用逐幀識(shí)別的方式，對(duì)每一幀畫(huà)面進(jìn)行人臉定位和特征提取，遍歷、比對(duì)人物庫(kù)中的人臉特征值，計(jì)算出人臉相似度，通過(guò)設(shè)置閾值來(lái)判定人物。若遍歷人物庫(kù)后仍無(wú)法匹配上，系統(tǒng)會(huì)記錄為未知人物，若后續(xù)該人物增加到人物庫(kù)中，系統(tǒng)會(huì)自動(dòng)更新所有識(shí)別到該人物的素材，避免重復(fù)識(shí)別占用計(jì)算資源。該技術(shù)在系統(tǒng)中的應(yīng)用包括人臉檢索、人臉定位以及敏感人物提示[2]。在實(shí)際使用中，人臉識(shí)別準(zhǔn)確率整體較高，但對(duì)于表情夸張的人臉信息，也存在誤識(shí)別的情況。

1.1.2 字幕識(shí)別

字幕識(shí)別技術(shù)對(duì)視頻幀進(jìn)行分析處理以獲取文字信息，可支持對(duì)中英文、數(shù)字、標(biāo)點(diǎn)符號(hào)等多內(nèi)容識(shí)別。系統(tǒng)根據(jù)視頻中字幕的變化提取視頻關(guān)鍵幀圖片，通過(guò)對(duì)圖片的全幅定位（也可以指定區(qū)域）進(jìn)行文字提取，精準(zhǔn)獲取文字及時(shí)碼信息，同時(shí)關(guān)聯(lián)敏感庫(kù)，對(duì)敏感信息進(jìn)行標(biāo)紅提示。在實(shí)際使用中，字幕識(shí)別還存在著信息重復(fù)的問(wèn)題，造成信息冗余，還需要優(yōu)化改進(jìn)。

1.1.3 語(yǔ)音識(shí)別

語(yǔ)音識(shí)別技術(shù)是讓機(jī)器通過(guò)識(shí)別和理解把語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本，主要包括特征提取、信號(hào)建模和模型訓(xùn)練。特征提取主要是從語(yǔ)音信號(hào)中提取相關(guān)參數(shù)來(lái)識(shí)別主要信息，信號(hào)建模主要用的是模式匹配法；模型訓(xùn)練主要是基于聲學(xué)模型訓(xùn)練方法和人工神經(jīng)元網(wǎng)絡(luò)模型法，獲得最佳匹配，提高聲學(xué)模型的準(zhǔn)確率[3]。浙江廣電智能媒資系統(tǒng)在將語(yǔ)音轉(zhuǎn)換成文字及對(duì)應(yīng)時(shí)碼的同時(shí)，關(guān)聯(lián)敏感庫(kù)，對(duì)敏感信息進(jìn)行標(biāo)紅提示。在實(shí)際使用中，語(yǔ)音識(shí)別對(duì)新聞?lì)惞?jié)目的識(shí)別率較高，而對(duì)于方言、戲曲、外語(yǔ)類節(jié)目，以及背景音干擾較大的節(jié)目，識(shí)別效果相對(duì)較差。

1.1.4 自然語(yǔ)言處理

自然語(yǔ)言處理（Natural Language Processing，NLP）技術(shù)旨在幫助機(jī)器理解和分析人類語(yǔ)言。浙江廣電智能媒資對(duì)音視頻節(jié)目進(jìn)行智能識(shí)別后，對(duì)提取的文字內(nèi)容進(jìn)行分析，獲取到人物、關(guān)鍵詞、新聞?wù)?、機(jī)構(gòu)、地點(diǎn)等智能標(biāo)簽。自然語(yǔ)言處理與系統(tǒng)知識(shí)圖庫(kù)關(guān)聯(lián)，通過(guò)對(duì)標(biāo)簽、機(jī)構(gòu)、地點(diǎn)等知識(shí)庫(kù)的管理，提高標(biāo)簽提取的有效性和準(zhǔn)確率。NLP標(biāo)簽提取效果如圖1 所示。在實(shí)際使用中，自然語(yǔ)言處理對(duì)新聞?lì)惞?jié)目的標(biāo)簽提取效果較好，對(duì)綜藝和晚會(huì)節(jié)目效果相對(duì)較差，而對(duì)于空鏡類素材，則無(wú)法獲取到有效信息。

圖1 NLP 標(biāo)簽提取效果

1.2 智能切分

對(duì)新聞成片進(jìn)行智能層級(jí)切分，是浙江廣電智能媒資的核心功能之一。系統(tǒng)采用基于場(chǎng)景分類的切分技術(shù)，結(jié)合人臉、字幕、語(yǔ)音識(shí)別結(jié)果，通過(guò)搜索視頻鏡頭的邊界幀，將視頻切分成一個(gè)個(gè)鏡頭，并獲取相關(guān)場(chǎng)景及鏡頭信息，再通過(guò)場(chǎng)景相關(guān)度聚合為場(chǎng)景層，最后結(jié)合新聞?wù)脱莶ナ覉?chǎng)景的提取聚合為片段層，形成類似傳統(tǒng)編目節(jié)目層-片段層-場(chǎng)景層-鏡頭層的四層編目結(jié)構(gòu)。每個(gè)層級(jí)都有不同的標(biāo)簽提取，為用戶檢索和人工編目提供參考[4]。新聞節(jié)目智能切分效果如圖2 所示。

圖2 新聞節(jié)目智能切分效果

2 智能編目與人工編目的融合實(shí)踐

智能技術(shù)的發(fā)展，為提高傳統(tǒng)廣播電視音像資料編目效率提供了可能，但仍存在一些問(wèn)題。一是目前的智能技術(shù)仍有待提升，比如本文前面提到的人臉誤識(shí)別、語(yǔ)音優(yōu)化、內(nèi)容去重等，需要人工進(jìn)行審校和優(yōu)化；二是部分信息仍存在主觀性，智能提取的標(biāo)簽無(wú)法完全覆蓋原有的編目規(guī)范要求。因此，只有將智能編目與人工編目進(jìn)行深度融合，以智能輔助人工，以人工優(yōu)化智能，才能探索出一套符合自身特色的編目邏輯。

2.1 基于策略的編目流程設(shè)計(jì)

基于策略的編目流程設(shè)計(jì)可在不同條件下對(duì)智能編目和人工編目進(jìn)行多種組合。傳統(tǒng)的編目流程主要包括編目、一審、二審以及終審等環(huán)節(jié)，各電視臺(tái)根據(jù)自身業(yè)務(wù)實(shí)際進(jìn)行適當(dāng)?shù)脑龈摹Ｕ憬瓘V電集團(tuán)在符合編目規(guī)范的基礎(chǔ)上，結(jié)合自身特點(diǎn)，針對(duì)不同類型的資源，通過(guò)策略來(lái)控制智能和人工編目的調(diào)用。比如，對(duì)新聞?lì)惞?jié)目采用智能切分+人工編目的策略，對(duì)其他類型的音視頻資源則采用智能識(shí)別+人工編目的策略。隨著智能識(shí)別能力的不斷優(yōu)化，對(duì)于部分新聞單條和素材已經(jīng)不再進(jìn)行人工編目，智能識(shí)別提取的標(biāo)簽就能滿足用戶日常使用需要[5]。

2.2 智能編目與人工編目的融合

系統(tǒng)對(duì)節(jié)目進(jìn)行智能切分時(shí)，會(huì)產(chǎn)生上百個(gè)場(chǎng)景層和鏡頭層，如果全部進(jìn)行人工審校，人工編目的工作量不減反增。對(duì)此，結(jié)合實(shí)際編目場(chǎng)景，系統(tǒng)將編目區(qū)域分成了智能展示區(qū)和人工編目區(qū)。對(duì)于智能切分的片段層，系統(tǒng)自動(dòng)將其挑選入人工編目區(qū)，而場(chǎng)景和鏡頭層則需要人工挑選。人工編目時(shí)，通過(guò)校準(zhǔn)層級(jí)的入出點(diǎn)，系統(tǒng)會(huì)將結(jié)果反饋到融合推理引擎中進(jìn)行模型更新，而對(duì)智能標(biāo)簽的增改則會(huì)反饋到標(biāo)簽庫(kù)中進(jìn)行優(yōu)化。智能編目和人工編目結(jié)合的流程如圖3 所示。

圖3 智能編目和人工編目相結(jié)合的流程

3 結(jié) 語(yǔ)

隨著智能技術(shù)的不斷迭代發(fā)展，智能識(shí)別的準(zhǔn)確性越來(lái)越高，適用性越來(lái)越強(qiáng)。近年來(lái)，互聯(lián)網(wǎng)公司更是致力于研究針對(duì)特定領(lǐng)域探索處理復(fù)雜場(chǎng)景的通用智能技術(shù)。盡管在廣電媒資領(lǐng)域，智能編目仍無(wú)法覆蓋實(shí)際編目所需，但作為輔助技術(shù)，其已經(jīng)為人工編目減輕了很大的壓力。同時(shí)，敏感庫(kù)和人物庫(kù)的設(shè)置，可實(shí)現(xiàn)對(duì)已編目資源人物和敏感標(biāo)簽的自動(dòng)更新，彌補(bǔ)人工編目完成后無(wú)法及時(shí)更新最新信息的不足。

浙江廣電智能媒資自2021 年12 月上線以來(lái)，新入庫(kù)資源13 萬(wàn)余條，其中約10 萬(wàn)條資源采用智能+人工的方式進(jìn)行編目，約3 萬(wàn)條資源則直接采用智能編目，不再進(jìn)行人工編目。在智能變革的趨勢(shì)下，隨著傳統(tǒng)編目的智能化實(shí)踐逐步深入，對(duì)于編目的深層次經(jīng)驗(yàn)和探索變得尤為重要，簡(jiǎn)單的人工智能疊加無(wú)法滿足用戶的智能化預(yù)期，相信隨著智能編目和人工編目的深度融合，廣電媒資管理將更加科學(xué)化，同時(shí)也將強(qiáng)有力地提升我國(guó)文化建設(shè)水平，實(shí)現(xiàn)文化大繁榮和大發(fā)展。