徐進(jìn)苗，郭國(guó)輝，王春輝，尚健廷

（中國(guó)電子科技集團(tuán)公司第三研究所，北京 100016）

0 引 言

近年來(lái)，語(yǔ)音識(shí)別、場(chǎng)景識(shí)別等依托智能引擎的應(yīng)用技術(shù)在音視頻領(lǐng)域得到廣泛的應(yīng)用。高質(zhì)量的長(zhǎng)、短視頻節(jié)目在社交平臺(tái)、視頻網(wǎng)站等傳播渠道的吸粉程度最高。社交平臺(tái)和視頻網(wǎng)站等傳播渠道不受頻道、時(shí)間限制，對(duì)內(nèi)容的需求是海量的，傳統(tǒng)的節(jié)目制作模式已經(jīng)無(wú)法支撐[1]。如何利用智能化技術(shù)提高內(nèi)容生產(chǎn)效率，媒體行業(yè)也在不斷地進(jìn)行探討。

由于社交平臺(tái)和視頻網(wǎng)站等傳播渠道對(duì)內(nèi)容多樣性、海量性的要求，媒體行業(yè)的內(nèi)容生產(chǎn)機(jī)構(gòu)在內(nèi)容制作流程中需要投入大量人力、物力。其中，風(fēng)格迥異的視頻節(jié)目模板是節(jié)目制作流程的重要環(huán)節(jié)，也是設(shè)計(jì)成分最高的環(huán)節(jié)[2]。例如，人為地對(duì)諸多不同的視頻節(jié)目?jī)?nèi)容、風(fēng)格、背景、時(shí)長(zhǎng)等進(jìn)行觀察和分析，然后進(jìn)行模板制作。這種人工制作模板的方式，在應(yīng)對(duì)單一的或少量的節(jié)目生產(chǎn)時(shí)，基本能夠滿足節(jié)目?jī)?nèi)容生產(chǎn)需求，但在應(yīng)對(duì)當(dāng)前多個(gè)不同社交平臺(tái)、視頻網(wǎng)站的不同視頻節(jié)目時(shí)，就會(huì)顯得力不從心，且誤差明顯、效率一般，不能滿足視頻節(jié)目?jī)?nèi)容生產(chǎn)高質(zhì)量、高效性的要求，也不能滿足視頻節(jié)目?jī)?nèi)容發(fā)布及時(shí)性的要求。

對(duì)此，可以利用語(yǔ)音識(shí)別、場(chǎng)景識(shí)別、語(yǔ)義理解等智能化技術(shù)提供的能力，應(yīng)用于視頻模板制作場(chǎng)景，構(gòu)建視覺(jué)信息智能化提取應(yīng)用技術(shù)、視頻劇本智能語(yǔ)義理解應(yīng)用技術(shù)、視頻畫(huà)面優(yōu)質(zhì)信息理解及重構(gòu)應(yīng)用技術(shù)，從而形成視頻模板智能生成系統(tǒng)[3]。視頻模板智能生成系統(tǒng)能夠?qū)Σ煌瑑?nèi)容、不同風(fēng)格的視頻信息進(jìn)行學(xué)習(xí)和理解，自動(dòng)重構(gòu)出不同內(nèi)容、不同風(fēng)格的視頻制作模板樣式，為視頻節(jié)目編輯包裝提供模板應(yīng)用支撐，滿足多樣性、復(fù)雜性的節(jié)目制作需求，同時(shí)滿足內(nèi)容發(fā)布及時(shí)性的要求。

1 視頻模板智能生產(chǎn)技術(shù)剖析

視頻模板智能生成，首先要對(duì)視頻節(jié)目進(jìn)行智能識(shí)別與分析理解，同時(shí)也需要對(duì)視頻劇本進(jìn)行智能語(yǔ)義理解，其次進(jìn)行綜合性優(yōu)質(zhì)信息分析與提煉，梳理出視頻信息風(fēng)格與特點(diǎn)，最后重構(gòu)出通用化的視頻節(jié)目制作模板[4]。與之對(duì)應(yīng)，這里主要涉及基于視覺(jué)信息智能化提取技術(shù)、視頻劇本智能語(yǔ)義理解技術(shù)以及視頻畫(huà)面優(yōu)質(zhì)信息理解及重構(gòu)技術(shù)。

1.1 基于視覺(jué)信息智能化提取技術(shù)

面對(duì)當(dāng)下社交平臺(tái)、視頻網(wǎng)站的視頻節(jié)目豐富多樣的環(huán)境，各式各樣的視頻制作模板需求越來(lái)越高。傳統(tǒng)人工制作多樣化模板時(shí)，需要理解分析大量視頻資源，通過(guò)提取時(shí)長(zhǎng)、畫(huà)幅、風(fēng)格等生產(chǎn)要素，然后人工制作模板。面對(duì)多樣化的視頻節(jié)目需求，人工制作模板生產(chǎn)過(guò)程效率較低，質(zhì)量標(biāo)準(zhǔn)也參差不齊，而人工智能（Artificial Intelligence，AI）技術(shù)的出現(xiàn)和發(fā)展，使視覺(jué)信息智能化提取工程化和規(guī)范化變得可以實(shí)現(xiàn)。

視覺(jué)信息智能化提取是利用人臉識(shí)別、物體識(shí)別、場(chǎng)景識(shí)別以及智能化標(biāo)簽提取等技術(shù)，對(duì)視頻節(jié)目的名稱、編目、來(lái)源以及節(jié)目里的人物、場(chǎng)景等重要信息進(jìn)行綜合分析處理，實(shí)現(xiàn)視頻節(jié)目模板生產(chǎn)要素識(shí)別、歸納、提取及結(jié)構(gòu)化管理[5]。結(jié)構(gòu)化管理的生產(chǎn)要素可以支持AI 視覺(jué)信息智能化標(biāo)簽篩選檢索，方便對(duì)視頻中的生產(chǎn)要素進(jìn)行定位和調(diào)整，優(yōu)化生產(chǎn)要素信息提取的準(zhǔn)確性。具體提取層面，主要涉及畫(huà)面構(gòu)成重要信息識(shí)別與標(biāo)記、視頻生產(chǎn)要素提取。

（1）畫(huà)面構(gòu)成重要信息識(shí)別與標(biāo)記，基于場(chǎng)景識(shí)別、OCR 識(shí)別、語(yǔ)音識(shí)別、智能標(biāo)簽等AI 技術(shù)，構(gòu)建畫(huà)面構(gòu)成重要信息識(shí)別與標(biāo)記應(yīng)用引擎，對(duì)視頻節(jié)目的畫(huà)面進(jìn)行理解與區(qū)分，對(duì)視頻內(nèi)容構(gòu)成信息進(jìn)行識(shí)別與定位，包括畫(huà)面的LOGO 區(qū)域、畫(huà)面的背景區(qū)域、畫(huà)面的視頻播放區(qū)域、字幕區(qū)域、視頻場(chǎng)景切換時(shí)間點(diǎn)、背景音樂(lè)等信息，以及畫(huà)面構(gòu)成基礎(chǔ)信息進(jìn)行有效的識(shí)別，并將重要信息進(jìn)行標(biāo)記，記錄視頻中生產(chǎn)要素的獲取時(shí)間點(diǎn)與位置，為視頻生產(chǎn)要素的提取提供基礎(chǔ)支撐。

（2）視頻生產(chǎn)要素提取，基于智能摳像、字幕替換、渲染模型等技術(shù)，面向標(biāo)記完成的視頻模板要素，進(jìn)行拆解與提取，包括但不限于背景音樂(lè)提取、背景圖片提取、視頻畫(huà)面疊加圖片提取、視頻播放時(shí)間點(diǎn)標(biāo)記信息提取、視頻轉(zhuǎn)場(chǎng)時(shí)間點(diǎn)提取以及視頻字幕位置信息提取等，為后續(xù)視頻模板重構(gòu)提供基礎(chǔ)支撐。

1.2 基于視頻劇本智能語(yǔ)義理解技術(shù)

視頻節(jié)目中的畫(huà)面、音頻以及字幕等內(nèi)容，都存在大量的有效信息。在視頻節(jié)目生產(chǎn)過(guò)程中，節(jié)目特效、轉(zhuǎn)場(chǎng)也與視頻傳達(dá)的信息緊密相關(guān)，而音頻的內(nèi)容完全是視頻傳達(dá)信息構(gòu)成的具象化體現(xiàn)。因此，對(duì)視頻中的音頻信息進(jìn)行識(shí)別與深度分析，有利于生產(chǎn)制作人員對(duì)節(jié)目?jī)?nèi)容及邏輯結(jié)構(gòu)的理解[6]。然而，目前生產(chǎn)制作人員只能依賴個(gè)人經(jīng)驗(yàn)對(duì)音頻內(nèi)容及字幕進(jìn)行深度理解，從而復(fù)制應(yīng)用。受人員和時(shí)間的限制，這種模式只能生產(chǎn)少量?jī)?yōu)質(zhì)模板，無(wú)法批量產(chǎn)出大量?jī)?yōu)質(zhì)的視頻模板，不能高效輔助媒體內(nèi)容的快速生產(chǎn)制作。

針對(duì)以上問(wèn)題，可以采用語(yǔ)音識(shí)別技術(shù)、機(jī)器翻譯技術(shù)、自然語(yǔ)言理解技術(shù)，構(gòu)建視頻劇本智能語(yǔ)義理解應(yīng)用引擎，實(shí)現(xiàn)對(duì)視頻內(nèi)容中音頻信息的識(shí)別、糾正、理解以及轉(zhuǎn)化。通過(guò)自然語(yǔ)言的深度理解，完成對(duì)視頻內(nèi)在故事線、劇本的邏輯理解與拆解，有利于對(duì)視頻模板的轉(zhuǎn)場(chǎng)時(shí)間點(diǎn)、視頻模板分配時(shí)間線位置、視頻模板播放時(shí)長(zhǎng)等視頻模板生產(chǎn)要素的精準(zhǔn)化輸出。

利用語(yǔ)音識(shí)別技術(shù)，對(duì)視頻素材中的音頻內(nèi)容進(jìn)行識(shí)別，將其轉(zhuǎn)化為文字，可以為下一步對(duì)音頻內(nèi)容的語(yǔ)義理解做好準(zhǔn)備。如有外文，可利用機(jī)器翻譯技術(shù)，進(jìn)行統(tǒng)一文字規(guī)范，能夠基于中文內(nèi)容進(jìn)行語(yǔ)義理解。然后利用自然語(yǔ)言理解技術(shù)，通過(guò)分詞、詞性標(biāo)注、句法分析、文本相似度等處理，對(duì)文本內(nèi)容進(jìn)行語(yǔ)義分析與理解，并與對(duì)應(yīng)的視頻畫(huà)面關(guān)聯(lián)，間接分析出視頻類(lèi)型、風(fēng)格等特點(diǎn)。例如，通過(guò)分析語(yǔ)音內(nèi)容，可得到此視頻素材畫(huà)面風(fēng)格屬于具體哪一類(lèi)視頻，視頻具有什么樣的風(fēng)格特點(diǎn)，視頻畫(huà)面中有哪些信息需要保留、有哪些冗余信息需要去除，有利于視頻畫(huà)面生產(chǎn)要素的精準(zhǔn)提取和視頻模板輸出。

1.3 基于視頻畫(huà)面要素優(yōu)質(zhì)信息理解及重構(gòu)生成技術(shù)

視頻制作模板的智能生產(chǎn)，需要對(duì)大量視頻節(jié)目信息進(jìn)行分析和理解，對(duì)視頻中的生產(chǎn)要素進(jìn)行分析和理解，然后進(jìn)行去冗存精，才可以重新構(gòu)造出預(yù)期的視頻制作模板，并對(duì)模板進(jìn)行結(jié)構(gòu)化管理，便于模板查找和調(diào)用。

在基于視覺(jué)信息智能化提取結(jié)果、視頻劇本智能語(yǔ)義理解結(jié)果基礎(chǔ)之上，可以利用AI 技術(shù)，構(gòu)建視頻畫(huà)面要素優(yōu)質(zhì)信息理解及重構(gòu)生成應(yīng)用引擎，把視頻畫(huà)面和語(yǔ)音內(nèi)容相互結(jié)合進(jìn)行綜合分析與理解，對(duì)視頻內(nèi)容進(jìn)行畫(huà)面分析、多元語(yǔ)義理解，歸納出視頻畫(huà)面特征和風(fēng)格?；诠?jié)目制作生產(chǎn)系統(tǒng)的時(shí)間線邏輯，結(jié)合視頻內(nèi)容中提取的模板構(gòu)成要素以及在視頻內(nèi)容中識(shí)別到的關(guān)鍵要素時(shí)間點(diǎn)信息，進(jìn)行模板劇本的構(gòu)建。按照模板劇本調(diào)用時(shí)間線工程，匹配視頻模板生產(chǎn)要素，形成視頻模板工程時(shí)間線文件，重構(gòu)輸出視頻畫(huà)面，形成面向社交平臺(tái)或視頻網(wǎng)站的視頻制作模板。批量化生成后的模板自動(dòng)保存到模板庫(kù)中進(jìn)行統(tǒng)一管理，便于視頻生產(chǎn)系統(tǒng)直接調(diào)用。

2 視頻模板在智能節(jié)目生成中的應(yīng)用設(shè)計(jì)

2.1 應(yīng)用架構(gòu)設(shè)計(jì)

視頻模板在智能節(jié)目生成中的應(yīng)用架構(gòu)設(shè)計(jì)，如圖1 所示，主要包含基礎(chǔ)支撐層、數(shù)據(jù)要素層、能力供給層及能力生成層。

圖1 視頻模板應(yīng)用架構(gòu)

基礎(chǔ)資源層包含計(jì)算資源、存儲(chǔ)資源及網(wǎng)絡(luò)資源等，為上層技術(shù)引擎和應(yīng)用業(yè)務(wù)提供基礎(chǔ)環(huán)境支撐。本次應(yīng)用設(shè)計(jì)能夠適應(yīng)在公有云、私有云、傳統(tǒng)機(jī)架式服務(wù)器等不同基礎(chǔ)環(huán)境的部署與運(yùn)行，保障技術(shù)層面先進(jìn)性的同時(shí)，也有利于新舊計(jì)算資源的充分綜合利用。

數(shù)據(jù)要素層對(duì)元數(shù)據(jù)、實(shí)體數(shù)據(jù)關(guān)聯(lián)關(guān)系及數(shù)據(jù)庫(kù)集等數(shù)據(jù)進(jìn)行分類(lèi)、定義，為視頻模板智能化生成提供充足的數(shù)據(jù)資源，主要包括數(shù)據(jù)分析要素和實(shí)體數(shù)據(jù)要素。數(shù)據(jù)分析要素包括畫(huà)面使用度、畫(huà)面共性度、畫(huà)面背景、視頻元素及視頻動(dòng)作等。實(shí)體數(shù)據(jù)要素包括人臉數(shù)據(jù)庫(kù)、場(chǎng)景數(shù)據(jù)類(lèi)型庫(kù)、動(dòng)作類(lèi)型庫(kù)、字幕類(lèi)型庫(kù)、語(yǔ)音類(lèi)型庫(kù)及視頻素材庫(kù)等不同的數(shù)據(jù)資源。

能力供給層為視頻模板智能生成業(yè)務(wù)應(yīng)用提供能力供給支撐，包括視覺(jué)信息智能化提取、視頻劇本智能語(yǔ)義理解、視頻畫(huà)面優(yōu)質(zhì)信息理解及重構(gòu)。視覺(jué)信息智能化提取主要是對(duì)視頻畫(huà)面處理、視頻畫(huà)面構(gòu)成重要信息識(shí)別與標(biāo)記以及視頻生產(chǎn)要素提取。視頻劇本智能語(yǔ)義理解主要進(jìn)行視頻語(yǔ)音轉(zhuǎn)化處理、視頻內(nèi)容語(yǔ)義理解以及劇本要素信息提取。視頻畫(huà)面優(yōu)質(zhì)信息理解及重構(gòu)是在視覺(jué)信息智能化提取、視頻劇本智能語(yǔ)義理解的基礎(chǔ)上，進(jìn)行綜合性的視頻畫(huà)面結(jié)構(gòu)理解，提取視頻畫(huà)面生產(chǎn)要素，進(jìn)行視頻畫(huà)面重構(gòu)，并進(jìn)行視頻模板的管理。

能力生成層是體現(xiàn)業(yè)務(wù)能力的應(yīng)用，包括視頻模板生成、模板編輯及系統(tǒng)管理等應(yīng)用，主要是合成輸出多頻率元素、多頻率模塊以及同款對(duì)應(yīng)風(fēng)格的制作模板。

整個(gè)應(yīng)用設(shè)計(jì)提供規(guī)范化、開(kāi)放式接口，便于信息資源管理系統(tǒng)的接入，快速調(diào)用圖片、短視頻、網(wǎng)絡(luò)媒體視頻等媒體資源，以及生產(chǎn)系統(tǒng)的接入，能夠調(diào)用智能化生成的視頻節(jié)目模板。

2.2 應(yīng)用流程設(shè)計(jì)

在應(yīng)用流程設(shè)計(jì)方面，充分考慮信息制作業(yè)務(wù)流程需求，并與現(xiàn)有技術(shù)相互結(jié)合，進(jìn)行整體規(guī)劃設(shè)計(jì)，以提高信息制作整體生產(chǎn)能力和效率，為行業(yè)用戶提供快速高效的視頻生產(chǎn)能力支撐。設(shè)計(jì)的應(yīng)用流程如圖2 所示。

圖2 應(yīng)用流程

視覺(jué)信息智能化節(jié)目模板重構(gòu)可與信息資源管理系統(tǒng)對(duì)接，調(diào)用不同的多媒體成品節(jié)目，進(jìn)行不同視頻畫(huà)面生產(chǎn)要素的提取與分析，然后根據(jù)生產(chǎn)要素進(jìn)行畫(huà)面重構(gòu)，渲染輸出生成不同風(fēng)格、不同樣式的制作模板，供生產(chǎn)系統(tǒng)進(jìn)行模板調(diào)用，全流程下在必要時(shí)可進(jìn)行人工調(diào)整。

3 結(jié) 語(yǔ)

本文圍繞視頻模板智能生產(chǎn)技術(shù)的應(yīng)用設(shè)計(jì)，通過(guò)對(duì)視覺(jué)信息智能化提取技術(shù)、視頻劇本智能語(yǔ)義理解技術(shù)、視頻畫(huà)面要素優(yōu)質(zhì)信息理解及重構(gòu)技術(shù)等三個(gè)方面的智能技術(shù)應(yīng)用分析，可以預(yù)知，人工智能技術(shù)在視頻模板制作方面的應(yīng)用是可行的，但人工智能技術(shù)受限于材料學(xué)習(xí)與訓(xùn)練，并不能完全按照制作人員的期望或要求去生產(chǎn)模板。這就需要不斷地對(duì)智能模型或算法進(jìn)行進(jìn)化訓(xùn)練，提升視頻畫(huà)面智能識(shí)別的準(zhǔn)確率和模板重構(gòu)轉(zhuǎn)化率，迭代提高制作模板生成質(zhì)量，才可以逐步向視頻制作人員的預(yù)期效果靠攏。

智能化視頻模板重構(gòu)的創(chuàng)新應(yīng)用，不僅能夠提升內(nèi)容創(chuàng)作人員的生產(chǎn)效率，也可以為內(nèi)容創(chuàng)作者提供更多的創(chuàng)意參考。未來(lái)，更高質(zhì)量、高效率、高智能化地輔助創(chuàng)作者進(jìn)行制作模板的輸出，也有很大的發(fā)展空間，也是智能技術(shù)一個(gè)重要的應(yīng)用研究方向。只有通過(guò)不斷的理論探索與操作實(shí)踐，才能穩(wěn)步推進(jìn)智能化技術(shù)在媒體行業(yè)不同業(yè)務(wù)層面的創(chuàng)新應(yīng)用。