羅 莉，苗 方，吳 敏

(1.中國傳媒大學(xué) 信息工程學(xué)院，北京100024;2.中國國際廣播電臺 技術(shù)管理辦公室，北京100040)

隨著數(shù)字技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，信息傳播進(jìn)入了融合媒體時(shí)代。媒體內(nèi)容的采集、匯聚、生產(chǎn)、分發(fā)和呈現(xiàn)形式發(fā)生了巨大的轉(zhuǎn)變。傳統(tǒng)的媒體傳播形式已不能充分滿足廣大用戶的需求，新興的視頻網(wǎng)站、IPTV、手機(jī)電視等視聽媒體的出現(xiàn)，使得媒體內(nèi)容更多地通過互聯(lián)網(wǎng)渠道發(fā)布，并通過電視、手機(jī)、平板、計(jì)算機(jī)等多終端方式呈現(xiàn)。電視臺紛紛設(shè)立網(wǎng)絡(luò)電視臺，新興視頻網(wǎng)站如愛奇藝、優(yōu)酷土豆等也紛紛自制電視節(jié)目涉足廣電行業(yè)，電視觀眾轉(zhuǎn)變?yōu)槎嗥粱?dòng)下的用戶，線上的節(jié)目內(nèi)容與線下的互動(dòng)結(jié)合日益緊密。

融合媒體環(huán)境下，媒體內(nèi)容碎片化和媒體數(shù)據(jù)的異構(gòu)化趨勢使它們之間的語義關(guān)聯(lián)更加復(fù)雜。如何實(shí)現(xiàn)媒體內(nèi)容資源的有效聚合、存儲、管理、利用，如何在海量異構(gòu)的媒體數(shù)據(jù)和多樣的用戶需求之間進(jìn)行匹配，形成信息的精準(zhǔn)高效的分發(fā)和傳遞是亟待解決的問題。海量的媒體數(shù)據(jù)價(jià)值仍有待挖掘，對視頻、圖片、文本等異構(gòu)數(shù)據(jù)的管理和利用顯得日趨重要。一方面，對海量視頻內(nèi)容的檢索技術(shù)并不像簡單文本檢索，對資料文本標(biāo)注進(jìn)行索引，目前應(yīng)用中主要側(cè)重于對視頻的文本描述的元數(shù)據(jù)檢索。而對視頻的內(nèi)容檢索主要是對視頻底層特性的提取，而缺乏對視頻語義信息的提取。因此語義信息的檢索和聚合成為近年來研究的熱點(diǎn);另一方面，為了方便有效地對資源進(jìn)行管理、檢索、聚合，傳統(tǒng)的元數(shù)據(jù)編目規(guī)范有待改進(jìn)。因此，在媒體資產(chǎn)管理系統(tǒng)中，需要構(gòu)建視頻內(nèi)容的關(guān)聯(lián)信息庫，利用網(wǎng)絡(luò)訪問和交互的用戶行為數(shù)據(jù)以及視頻內(nèi)容關(guān)聯(lián)信息等異構(gòu)元數(shù)據(jù)，進(jìn)行深層次的關(guān)聯(lián)聚合，進(jìn)而通過智能挖掘與推薦形成用戶個(gè)性化互動(dòng)的新業(yè)務(wù)模式。

1 海量媒體信息管理技術(shù)

對海量媒體信息的管理主要包括信息的檢索過濾、編目描述以及數(shù)據(jù)挖掘。視頻的信息檢索即基于內(nèi)容的視頻檢索，包括對特征信息的提取、高層語義的分析、建立索引等;融合媒體的元數(shù)據(jù)需要更加全面地對內(nèi)容及其關(guān)聯(lián)信息進(jìn)行描述;此外還需要利用分類、聚類等數(shù)據(jù)處理技術(shù)，進(jìn)一步挖掘視頻內(nèi)容資源的價(jià)值。

1.1 基于內(nèi)容視頻檢索技術(shù)

基于內(nèi)容的視頻檢索是自動(dòng)地對視頻數(shù)據(jù)進(jìn)行分析和處理，提取視頻的底層特征和語義信息，并將特征和語義信息存入到數(shù)據(jù)庫，建立索引。這包括四個(gè)過程［1］:鏡頭分割、關(guān)鍵幀提取、特征提取和形成索引。其中，涉及到視頻內(nèi)容關(guān)聯(lián)信息的過程是特征提取。

特征提取是在鏡頭分割和關(guān)鍵幀提取的基礎(chǔ)上，對視頻中描述的信息分布進(jìn)行提取。視頻內(nèi)容關(guān)聯(lián)信息分布在三個(gè)層次［2］:

1)底層特性。從原始視頻數(shù)據(jù)中利用自動(dòng)分析技術(shù)提取出來的特性，如顏色、紋理、形狀、運(yùn)動(dòng)等。2)物理對象時(shí)空信息。包括從視頻中提取出來的物體、它們的運(yùn)動(dòng)軌跡以及它們之間的時(shí)空關(guān)系。3)語義信息。是人類在觀看視頻時(shí)所感知到的信息，反映人們對于視頻內(nèi)容的理解，如對象、行為、場景或者感情色彩等高層語義。

3 層信息中，底層特性和物體對象時(shí)空特性能利用特征提取的方法，一方面，可以在鏡頭和關(guān)鍵幀層次上進(jìn)行特征提取。對鏡頭的特征提取一般是提取鏡頭中的運(yùn)動(dòng)信息(物理對象時(shí)空信息)。對關(guān)鍵幀的特征提取，一般是提取關(guān)鍵幀的視覺特征(顏色、紋理、形狀等)信息。另一方面，可以在提取的鏡頭特征與關(guān)鍵幀特征的基礎(chǔ)上，對鏡頭進(jìn)行聚類，從而形成較高層次的視頻描述即場景。而語義信息，需要單獨(dú)構(gòu)建底層特性與語義描述的映射。

1.2 媒體元數(shù)據(jù)編目描述規(guī)范

國內(nèi)媒體元數(shù)據(jù)描述應(yīng)用主要采用兩種方式。一種是傳統(tǒng)電視臺音像資料編目和大部分互聯(lián)網(wǎng)視聽媒體網(wǎng)絡(luò)公司采用的元數(shù)據(jù)規(guī)范“Dublin Core Metadata”。該規(guī)范提供了易于掌握和使用的網(wǎng)絡(luò)資源著錄格式和的檢索途徑，較全面概括了電子資源的主要特征。原國家廣電總局采用Dublin Core Metadata 制定了GYT202.1—2004《廣播電視音像資料編目規(guī)范 第1 部分:電視資料》［3］，該規(guī)范定義了電視節(jié)目資料編目的元數(shù)據(jù)框架，使用DC 的15 個(gè)元數(shù)據(jù)項(xiàng)分配編目項(xiàng)目，根據(jù)電視節(jié)目資料本身的特點(diǎn)，將編目分為4 個(gè)層次，從上到下依次是節(jié)目層、片段層、場景層、鏡頭層。

另一種媒體元數(shù)據(jù)描述借鑒國外網(wǎng)絡(luò)運(yùn)營商應(yīng)用于同類業(yè)務(wù)所采用的元數(shù)據(jù)定義標(biāo)準(zhǔn)，如美國Cable Television Laboratories 制定的視頻點(diǎn)播業(yè)務(wù)VOD 標(biāo)準(zhǔn)及資產(chǎn)分發(fā)接口ADI定義標(biāo)準(zhǔn)。制定GYT259—2012《下一代廣播電視網(wǎng)(NGB)視頻點(diǎn)播系統(tǒng)元數(shù)據(jù)規(guī)范》［4］吸取了ADI 規(guī)范的長處，適用于各有線電視網(wǎng)絡(luò)公司新部署的NGB 視頻點(diǎn)播系統(tǒng)業(yè)務(wù)。優(yōu)點(diǎn)是包含了點(diǎn)播業(yè)務(wù)的互動(dòng)設(shè)置，如拆條信息、打點(diǎn)信息等內(nèi)容標(biāo)記，缺點(diǎn)是國外的編目元數(shù)據(jù)定義方式與國內(nèi)業(yè)務(wù)運(yùn)營的實(shí)際應(yīng)用存在較大出入，不能夠與互聯(lián)網(wǎng)視聽媒體數(shù)據(jù)交換。元數(shù)據(jù)交換統(tǒng)一采用XML 格式，滿足傳統(tǒng)媒體和新媒體的異構(gòu)平臺的數(shù)據(jù)交換。

1.3 數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘，就是從大量無序的數(shù)據(jù)中發(fā)現(xiàn)隱含的、有價(jià)值的知識，根據(jù)特點(diǎn)的情況建立模型，得到所需的信息。聚類、分類技術(shù)作為數(shù)據(jù)挖掘的主要方法之一，對于建立高效的數(shù)據(jù)庫索引、實(shí)現(xiàn)快速準(zhǔn)確的信息檢索具有重要的理論和現(xiàn)實(shí)意義。聚類分析是一種把數(shù)據(jù)對象劃分為許多簇，使得簇內(nèi)的對象之間相似度盡可能高的過程，常用的聚類方法有kmeans 算法、層次聚類方法、基于統(tǒng)計(jì)學(xué)或神經(jīng)網(wǎng)絡(luò)等模型的方法等。分類是一種重要的數(shù)據(jù)分析形式，它提取和刻畫重要數(shù)據(jù)類的模型，形成分類器，通常分為兩個(gè)階段，一是訓(xùn)練數(shù)據(jù)集學(xué)習(xí)來構(gòu)造分類器，二是使用訓(xùn)練得到的分類器對每個(gè)數(shù)據(jù)對象進(jìn)行分類。常用的分類方法有決策樹、神經(jīng)網(wǎng)絡(luò)、樸素貝葉斯分類、支持向量機(jī)等。

2 視頻內(nèi)容關(guān)聯(lián)

視頻內(nèi)容的關(guān)聯(lián)信息主要是指人們觀看視頻時(shí)所理解的信息，即視頻中發(fā)生的事件、對象以及場景等語義信息，與其他內(nèi)容資源形成關(guān)聯(lián)映射。這樣用戶能夠通過信息主題詞關(guān)聯(lián)到視頻，從視頻關(guān)聯(lián)到下鉆信息。因此，需要建立語義信息庫，同時(shí)完善元數(shù)據(jù)的描述規(guī)范。

2.1 建立視頻語義信息庫

視頻語義信息庫對于視頻內(nèi)容的描述，反映了人們觀看視頻時(shí)對視頻內(nèi)容的理解，如對象、行為、場景或者感情色彩等。特征提取的算法只能自動(dòng)提取出視頻內(nèi)容關(guān)聯(lián)信息的底層特性和物理對象時(shí)空信息，目前基于內(nèi)容的視頻檢索還未做到基于語義信息的檢索，建立視頻語義信息庫可以利用特征提取與機(jī)器學(xué)習(xí)技術(shù)提取視頻低層特征、高層語義，再采用統(tǒng)一的視頻內(nèi)容描述標(biāo)注對低層和語義信息標(biāo)注。

2.1.1 利用特征提取和機(jī)器學(xué)習(xí)提取視頻關(guān)聯(lián)信息

視頻低層特性通過特征提取技術(shù)，提取視頻中關(guān)鍵幀、鏡頭層的圖像的顏色、空間、場景特征。而視頻語義信息的提取是從底層特征中采用機(jī)器學(xué)習(xí)抽象出視頻的語義特征。具體過程是待檢索視頻入庫后，首先提取視頻中關(guān)鍵幀的圖像的底層特征，采用一定的分析方法，如使用HSV 顏色模型分析運(yùn)動(dòng)對象的顏色，使用背景建模分析輪廓特征、場景特征，使用小波變換分析文字特征等;其次將圖像的底層特征存入數(shù)據(jù)庫，通過機(jī)器學(xué)習(xí)的方法訓(xùn)練分類器，如貝葉斯分類器、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等監(jiān)督學(xué)習(xí)，對待檢索的視頻進(jìn)行處理，生成相應(yīng)的圖像幀的語義信息庫。

2.1.2 利用MPEG－7 統(tǒng)一標(biāo)準(zhǔn)描述視頻內(nèi)容

MPEG－7 是動(dòng)態(tài)圖像專家組提出的視頻描述接口標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)利用結(jié)構(gòu)化文本，如XML 的形式來描述視頻的低層特性、高層語義信息［5］。MPEG－7 描述的底層特性包括顏色描述子、紋理描述子和形狀描述子。對于底層特性的描述方案，可以通過自動(dòng)分析、分段、特征提取工具而獲得，而對視頻高層語義上的問題，目前研究階段需要人工參與標(biāo)注才能完成。通過對所有入庫視頻進(jìn)行預(yù)處理，入庫前對視頻資源進(jìn)行編輯、壓縮、格式轉(zhuǎn)換，結(jié)合視頻低層特征對語義標(biāo)注。這樣就建立了視頻的底層特征與高層語義信息的關(guān)聯(lián)，使得計(jì)算機(jī)能識別圖像中的語義內(nèi)容，實(shí)現(xiàn)視頻的語義檢索。建立視頻語義信息庫的框架如圖1 所示。

圖1 視頻語義信息庫框架

2.2增加關(guān)聯(lián)信息的規(guī)范描述

視聽媒體元數(shù)據(jù)庫主要分布在各大電視臺和互聯(lián)網(wǎng)視聽媒體，由于它們均采用的都柏林核心元數(shù)據(jù)集DC，從媒體融合的角度出發(fā)，本文充分考慮對廣播電視音像資料編目規(guī)范的繼承和對互聯(lián)網(wǎng)視聽新媒體元數(shù)據(jù)的應(yīng)用，擴(kuò)展DC 元數(shù)據(jù)項(xiàng)和擴(kuò)展DC 元數(shù)據(jù)的修辭詞(標(biāo)簽)來增加視頻內(nèi)容關(guān)聯(lián)信息的描述。

2.2.1 擴(kuò)展DC 元數(shù)據(jù)的修辭詞

DC 規(guī)范包括的15 個(gè)元數(shù)據(jù)項(xiàng)包括三類，其中資源內(nèi)容描述類元素屬于對視音頻節(jié)目信息的描述。借鑒NGB 視頻點(diǎn)播的拆條信息、打點(diǎn)信息元數(shù)據(jù)項(xiàng)互動(dòng)設(shè)置［4］，可增加視頻關(guān)聯(lián)信息的互動(dòng)，具體是通過在資源內(nèi)容描述類元素“描述”的修辭詞類別中，增加視頻拆條信息、視頻打點(diǎn)信息、視頻對象信息，具體如圖2 所示。視頻拆條信息對應(yīng)視頻片段，視頻打點(diǎn)信息對應(yīng)圖像，視頻對象信息對應(yīng)視頻圖像某區(qū)域，以此建立了描述視頻內(nèi)容關(guān)聯(lián)信息的標(biāo)簽。

圖2 擴(kuò)展“描述”元數(shù)據(jù)項(xiàng)結(jié)構(gòu)

2.2.2 擴(kuò)展DC 元數(shù)據(jù)項(xiàng)

將互聯(lián)網(wǎng)視聽媒體交易運(yùn)營模式加入到原有的DC15 元數(shù)據(jù)項(xiàng)中，添加“運(yùn)營”元數(shù)據(jù)項(xiàng)，其標(biāo)簽包括:收藏、點(diǎn)播、推薦、收益、評論、記錄、分級［6］。

16 個(gè)元數(shù)據(jù)項(xiàng)的元素修飾詞(標(biāo)簽)根據(jù)融合媒體的特點(diǎn)限定和表示，部分元數(shù)據(jù)項(xiàng)如類型、來源、相關(guān)資源、運(yùn)營等由URL 描述。

應(yīng)用擴(kuò)展的媒體元數(shù)據(jù)規(guī)范，在電視臺和視頻網(wǎng)站電視節(jié)目制作中，對節(jié)目媒資靈活編目，不用涵蓋電視臺規(guī)范的四層體系，對節(jié)目層、片段層等關(guān)鍵字段編目。編目內(nèi)容涉及視頻內(nèi)容關(guān)聯(lián)信息的部分如圖2 所示，描述了對視頻片段、視頻圖像、視頻圖像某區(qū)域的標(biāo)簽。

3 視頻關(guān)聯(lián)信息服務(wù)平臺

視頻關(guān)聯(lián)信息服務(wù)平臺是對媒體內(nèi)容的關(guān)聯(lián)信息形成管理、利用、聚合、分發(fā)的整體架構(gòu)。媒體信息采集入媒資庫，進(jìn)到媒體內(nèi)容資源管理平臺后，構(gòu)建出與視頻內(nèi)容關(guān)聯(lián)的信息庫，包括自動(dòng)特征提取的視頻底層特性庫、視頻語義信息庫和來自電視臺和互聯(lián)網(wǎng)視聽網(wǎng)站的媒體元數(shù)據(jù)庫。有線電視運(yùn)營系統(tǒng)和互聯(lián)網(wǎng)門戶網(wǎng)站后臺提供用戶行為數(shù)據(jù)庫。通過高效數(shù)據(jù)匯聚索引技術(shù)，將這些存儲于數(shù)據(jù)庫中結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的異構(gòu)數(shù)據(jù)的存取地址形成一個(gè)索引目錄，可采用非關(guān)系型數(shù)據(jù)庫，如NoSQL，構(gòu)建分布式存儲和管理平臺。當(dāng)有請求到達(dá)時(shí)，能快速訪問視頻及相關(guān)數(shù)據(jù)?？刹捎没诿襟w大數(shù)據(jù)的智能挖掘算法［7］對視頻內(nèi)容的關(guān)聯(lián)信息進(jìn)行分析挖掘和智能推薦。由多渠道發(fā)布為用戶提供個(gè)性化服務(wù)，如電視互動(dòng)、電視電商T2O、社交互動(dòng)以及各門戶網(wǎng)站的消費(fèi)、評價(jià)等。電視終端和移動(dòng)終端的數(shù)據(jù)分別通過有線電視運(yùn)營系統(tǒng)后臺和互聯(lián)網(wǎng)門戶網(wǎng)站系統(tǒng)后臺進(jìn)行反饋并更新用戶行為數(shù)據(jù)庫，視頻內(nèi)容關(guān)聯(lián)的信息庫通過多渠道內(nèi)容匯聚及時(shí)更新，這些反饋數(shù)據(jù)將進(jìn)一步影響媒體內(nèi)容的生產(chǎn)和管理。總體來看，視頻關(guān)聯(lián)信息服務(wù)平臺是對視頻內(nèi)容關(guān)聯(lián)信息的管理、利用、聚合、分發(fā)一體化的閉環(huán)架構(gòu)(見圖3)。

圖3 視頻關(guān)聯(lián)信息服務(wù)平臺架構(gòu)

4 結(jié)束語

融合媒體環(huán)境下海量的媒體內(nèi)容以及豐富多樣的信息關(guān)聯(lián)，使得對內(nèi)容的深度挖掘和高效智能管理愈發(fā)重要。各種創(chuàng)新的業(yè)務(wù)模式，需要建立以用戶為核心的運(yùn)營體系，主要包括媒體內(nèi)容實(shí)時(shí)、智能編排，異構(gòu)元數(shù)據(jù)自動(dòng)歸類、識別，大規(guī)模用戶數(shù)據(jù)分析挖掘，高效索引匯聚，多渠道發(fā)布，反饋體制完善等方面構(gòu)建。建立視頻關(guān)聯(lián)信息服務(wù)平臺，有利于實(shí)現(xiàn)電視媒體和用戶的深層互動(dòng)，使得傳統(tǒng)廣電媒體真正具有互聯(lián)網(wǎng)思維。

［1］曹長青.基于內(nèi)容的視頻檢索技術(shù)中關(guān)鍵幀提取算法研究［D］.太原:太原理工大學(xué)，2012.

［2］王煜，周立柱，邢春曉.視頻語義模型及評價(jià)準(zhǔn)則［J］.計(jì)算機(jī)學(xué)報(bào)，2007，3(30):337－351.

［3］GYT202.1—2004，廣播電視音像資料編目規(guī)范 第1 部分:電視資料［S］.2004.

［4］GYT259—2012，下一代廣播電視網(wǎng)(NGB)視頻點(diǎn)播系統(tǒng)元數(shù)據(jù)規(guī)范［S］.2012.

［5］劉峻峰.基于MPEG－7 與內(nèi)容的圖像檢索技術(shù)的研究［D］.西安:西安科技大學(xué)，2008.

［6］張偉.網(wǎng)絡(luò)視聽新媒體內(nèi)容元數(shù)據(jù)研究［J］.廣播與電視技術(shù)，2013，12(8):42－44.

［7］紀(jì)海，曹三省. 基于互聯(lián)網(wǎng)融合媒體的大數(shù)據(jù)應(yīng)用技術(shù)分析［J］.電視技術(shù)，2014，38(21):76－78.