曾文獻(xiàn)，李 偉，郭兆坤

(河北經(jīng)貿(mào)大學(xué)，河北 石家莊 050061)

視頻數(shù)據(jù)挖掘技術(shù)綜述

曾文獻(xiàn)，李 偉，郭兆坤

(河北經(jīng)貿(mào)大學(xué)，河北 石家莊 050061)

視頻數(shù)據(jù)挖掘技術(shù)旨在挖掘出視頻數(shù)據(jù)中隱藏的、有價(jià)值的信息，來實(shí)現(xiàn)對(duì)視頻的充分利用。通過對(duì)國(guó)內(nèi)外視頻數(shù)據(jù)挖掘的研究與分析，對(duì)視頻數(shù)據(jù)挖掘技術(shù)進(jìn)行了概述，詳細(xì)闡述了基于特征和基于內(nèi)容的視頻挖掘技術(shù)，最后總結(jié)了視頻數(shù)據(jù)挖掘系統(tǒng)所面臨的挑戰(zhàn)以及對(duì)全景視頻挖掘的展望。

視頻挖掘； 基于特征視頻挖掘； 基于內(nèi)容視頻挖掘

0 前言

隨著科技的進(jìn)步，人們現(xiàn)在越來越容易獲取和存儲(chǔ)各種視頻，如何對(duì)視頻進(jìn)行處理，獲取視頻中蘊(yùn)含的、有價(jià)值的信息，以實(shí)現(xiàn)對(duì)視頻數(shù)據(jù)的充分利用，已引起廣大數(shù)據(jù)挖掘研究者的興趣。視頻是一組連續(xù)的圖像并常伴有音頻、文字等信息，對(duì)視頻來說，往往具有圖像特征、音頻特征、文本特征和物理特征等，圖像特征包括顏色、紋理、形狀和運(yùn)動(dòng)特征等，音頻特征包括音色特征、音質(zhì)特征等，文本特征包括字幕、簡(jiǎn)介等，物理特征包括視頻大小、格式等，根據(jù)視頻所具有的特征可以對(duì)視頻進(jìn)行挖掘，從而發(fā)現(xiàn)視頻中隱藏的知識(shí)和模式。視頻種類的不同，其所表達(dá)的內(nèi)容也不同，如新聞視頻主要對(duì)時(shí)事進(jìn)行播報(bào)，電影視頻以表達(dá)故事情節(jié)和人物發(fā)展為主，監(jiān)控視頻主要表達(dá)同一場(chǎng)景不同時(shí)刻的變化情況。根據(jù)視頻所表達(dá)的內(nèi)容信息可以對(duì)視頻進(jìn)行挖掘，挖掘出視頻中所潛在的內(nèi)容信息用于視頻索引、視頻摘要、視頻瀏覽的建立等。近年來已有不少國(guó)內(nèi)外研究工作者對(duì)視頻數(shù)據(jù)挖掘進(jìn)行研究，并相繼的提出了視頻結(jié)構(gòu)挖掘、視頻運(yùn)動(dòng)挖掘、視頻關(guān)聯(lián)規(guī)則挖掘等相關(guān)技術(shù)和方法。本文在對(duì)國(guó)內(nèi)外視頻挖掘技術(shù)研究和總結(jié)的基礎(chǔ)上，將視頻挖掘歸納為基于特征的視頻挖掘和基于內(nèi)容的視頻挖掘，并給出基于特征和基于內(nèi)容的視頻挖掘的挖掘框架及相應(yīng)的挖掘技術(shù)和方法。隨著VR技術(shù)的不斷發(fā)展，全景視頻逐漸滲入到生活中，文章最后對(duì)全景視頻數(shù)據(jù)挖掘進(jìn)行了展望并對(duì)全景視頻挖掘所面臨的相應(yīng)技術(shù)難點(diǎn)進(jìn)行了簡(jiǎn)要總結(jié)。

1 視頻挖掘概述

根據(jù)對(duì)國(guó)內(nèi)外視頻挖掘技術(shù)的研究和總結(jié)，歸納視頻挖掘就是根據(jù)原始視頻數(shù)據(jù)所具有的特征或所表達(dá)的內(nèi)容，從視頻中提取出視頻具有的特征、結(jié)構(gòu)和所表達(dá)的內(nèi)容等信息，基于提取的數(shù)據(jù)采用相關(guān)數(shù)據(jù)挖掘方法挖掘出視頻中事件趨勢(shì)、構(gòu)造模式等隱藏的、有價(jià)值的信息并解釋，呈現(xiàn)給用戶[1-12]。

從上述視頻挖掘的概念可以得出視頻挖掘一般由數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果解釋和表示三部分組成，視頻數(shù)據(jù)挖掘流程如圖1所示。

圖1 視頻數(shù)據(jù)挖掘流程圖

(1) 數(shù)據(jù)準(zhǔn)備部分分為數(shù)據(jù)選擇和數(shù)據(jù)預(yù)處理，數(shù)據(jù)選擇為知識(shí)發(fā)現(xiàn)的目標(biāo)搜集和選擇有關(guān)的數(shù)據(jù)，縮小處理范圍，提高數(shù)據(jù)挖掘質(zhì)量。數(shù)據(jù)預(yù)處理針對(duì)不同類型的視頻及不同的挖掘用途其視頻處理方法也不盡相同，通常分為視頻建模、視頻結(jié)構(gòu)化和特征提取三類。

視頻數(shù)據(jù)建模是建立一個(gè)適當(dāng)?shù)臄?shù)據(jù)模型來表示視頻基本的內(nèi)容、特點(diǎn)和應(yīng)用場(chǎng)合，供后續(xù)數(shù)據(jù)挖掘部分對(duì)其數(shù)據(jù)模型中內(nèi)容進(jìn)行有效挖掘。Petkovic,Jonker提出一種基于內(nèi)容檢索的四層數(shù)據(jù)模型[13]，分別為原始數(shù)據(jù)層、特征層、對(duì)象層和事件層；Zhu等人提出了一種獲取視頻結(jié)構(gòu)和語義的視頻數(shù)據(jù)模型，自動(dòng)將高層語義和低層特征進(jìn)行映射[14]。

視頻結(jié)構(gòu)化是將復(fù)雜的、非結(jié)構(gòu)化的視頻數(shù)據(jù)分割成一系列的鏡頭并為每個(gè)鏡頭提取一個(gè)關(guān)鍵幀。鏡頭是由視頻幀通過鏡頭分割技術(shù)得到的結(jié)構(gòu)挖掘輸入單元[15,16]，對(duì)其采用聚類、分類等相關(guān)方法可將視頻再分割成場(chǎng)景和視頻結(jié)構(gòu)單元，將原始視頻分成視頻幀、鏡頭、場(chǎng)景和視頻四層結(jié)構(gòu)單元。付暢儉提出自適應(yīng)雙直方圖兩次判別鏡頭分割算法，利用雙閾值兩次比較來判斷鏡頭幀[17]；付暢儉根據(jù)視頻鏡頭序列合并與分割提出兩種場(chǎng)景構(gòu)造方法[17]，一是基于鏡頭多特征聚類場(chǎng)景構(gòu)造,二是基于競(jìng)爭(zhēng)力的視頻場(chǎng)景構(gòu)造；雷夏提出劇烈運(yùn)動(dòng)容忍的鏡頭邊界檢測(cè)算法[18]，引入過濾機(jī)制，通過當(dāng)前幀與候選鏡頭門限數(shù)幀的二次幀差比較，來分離突擊鏡頭和非突變鏡頭；

特征提取是指從視頻幀中提取出顏色、紋理、運(yùn)動(dòng)對(duì)象和運(yùn)動(dòng)特征等特征，除提取視頻圖像特征外還可以提取視頻中音頻特征、文本特征及其他特征形成多特征數(shù)據(jù)集。Choudhary等人提出了一個(gè)從視頻幀或高層有意義的語義概念中提取對(duì)象類低層特征的框架，如提取對(duì)象的位置、對(duì)象的大小及對(duì)象的顏色直方圖等特征[19]；Fu等人提取了視頻幀的顏色直方圖、域顏色、邊緣顏色和紋理，并將提取的特征保存到XML文檔中，被后續(xù)的挖掘過程所使用[20]。

(2)數(shù)據(jù)挖掘是采用與視頻相關(guān)的數(shù)據(jù)挖掘方法對(duì)處理所得的視頻數(shù)據(jù)進(jìn)行挖掘，常見的數(shù)據(jù)挖掘方法有聚類、分類、關(guān)聯(lián)規(guī)則、趨勢(shì)分析等。

(3)根據(jù)最終用戶的決策目的對(duì)提取的信息進(jìn)行分析，把最有價(jià)值的信息區(qū)分出來，并且通過決策支持工具呈現(xiàn)給決策者。

2 視頻挖掘技術(shù)

視頻挖掘?qū)嶋H上是對(duì)視頻特征及視頻內(nèi)容的挖掘，而可用于挖掘的特征是多方面的，如顏色、紋理、形狀、運(yùn)動(dòng)特征、目標(biāo)行為特征等圖像特征，除此之外還有音頻特征、字幕特征、音色特征等等，采用不同的特征對(duì)視頻進(jìn)行挖掘獲得不同的視頻知識(shí)；對(duì)于不同內(nèi)容的視頻，其可挖掘的視頻內(nèi)容信息大致分為視頻內(nèi)容結(jié)構(gòu)、視頻內(nèi)容主題和視頻內(nèi)容事件三方面，根據(jù)挖掘?qū)ο蟮牟煌瑢⒁曨l挖掘技術(shù)歸納為基于特征的視頻挖掘和基于內(nèi)容的視頻挖掘，基于特征視頻挖掘主要是對(duì)視頻中的相關(guān)特征進(jìn)行挖掘得出用戶感興趣的知識(shí),而基于內(nèi)容視頻挖掘主要是對(duì)視頻中所表達(dá)的相關(guān)內(nèi)容信息進(jìn)行挖掘得出用戶感興趣的知識(shí)。由于特征是視頻或圖像的最低層信息，是信息獲取的基礎(chǔ)，因此在基于內(nèi)容視頻挖掘過程中會(huì)用到視頻的特征信息來獲取視頻內(nèi)容并對(duì)視頻相關(guān)內(nèi)容進(jìn)行挖掘。

2.1 基于特征的視頻挖掘

視頻特征由圖像特征、字幕特征、音頻特征、音色特征、語音特征和其他特征組成，基于特征的視頻挖掘可歸納為基于圖像特征進(jìn)行挖掘和基于多特征組合進(jìn)行挖掘，基于特征的視頻挖掘框圖如圖2所示。

2.1.1 基于單特征視頻挖掘

基于圖像特征進(jìn)行挖掘使用較為廣泛，常用于對(duì)視頻進(jìn)行分類挖掘、視頻運(yùn)動(dòng)挖掘、視頻結(jié)構(gòu)挖掘等，圖像特征主要從視頻幀中提取顏色、紋理、邊緣和運(yùn)動(dòng)對(duì)象等特征，視頻分類挖掘根據(jù)不同視頻類型及不同分類目的可提取視頻幀中顏色特征、紋理特征、形狀特征和主對(duì)象特征等，對(duì)形成特征集采用SVM、決策樹算法、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等數(shù)據(jù)分類方法即可對(duì)視頻進(jìn)行分類，可用于比賽視頻中長(zhǎng)鏡頭、短鏡頭及特寫鏡頭的分類[21]，車輛監(jiān)控中車輛類型的分類[22]等；視頻運(yùn)動(dòng)挖掘是提取攝像機(jī)的運(yùn)動(dòng)和視頻序列中的運(yùn)動(dòng)，將視頻的運(yùn)動(dòng)特征以數(shù)據(jù)序列的形式表示出來，采用視頻摘要、聚類和異常檢測(cè)等方法對(duì)提取數(shù)據(jù)進(jìn)行挖掘， 挖掘出視頻中的運(yùn)動(dòng)模式供用戶進(jìn)行分析和評(píng)估，可用于對(duì)監(jiān)控視頻運(yùn)動(dòng)對(duì)象的異常行為檢測(cè)和體育賽事運(yùn)動(dòng)員行為習(xí)慣的挖掘等；視頻結(jié)構(gòu)挖掘是根據(jù)視頻在形成過程中拍攝、剪輯、制作等定性特征及視頻幀特征，利用鏡頭分割、關(guān)鍵幀提取及場(chǎng)景構(gòu)造等結(jié)構(gòu)化方法挖掘出視頻的結(jié)構(gòu)層次，更利于視頻索引及視頻摘要的建立。

圖2 基于特征的視頻挖掘框圖

基于單特征視頻挖掘多為基于圖像運(yùn)動(dòng)特征挖掘，近年相關(guān)研究如下：Wu等人檢測(cè)視頻圖像中運(yùn)動(dòng)對(duì)象全局運(yùn)動(dòng)和目標(biāo)軌跡進(jìn)行挖掘，用于視頻檢索[23]；謝浩亮將輸入的視頻切分成圖片，運(yùn)用BUFD算法進(jìn)行背景建模并將當(dāng)前幀圖像與背景模型進(jìn)行對(duì)比，完成運(yùn)動(dòng)對(duì)象的檢測(cè)和分割，最后提取運(yùn)行對(duì)象的相關(guān)特征進(jìn)而描繪運(yùn)動(dòng)對(duì)象整體運(yùn)動(dòng)量[24]；馬超等人提出一種利用頻繁出現(xiàn)的特定局部特征空間布局對(duì)視頻中運(yùn)動(dòng)目標(biāo)進(jìn)行挖掘的方法，首先對(duì)視頻幀預(yù)處理分割出運(yùn)動(dòng)目標(biāo)，然后提取運(yùn)動(dòng)目標(biāo)的精簡(jiǎn)描述子，最后由描述子空間布局構(gòu)建運(yùn)動(dòng)目標(biāo)描述以形成事物[25]；馮向玲將模糊概念格與MPEG-7標(biāo)準(zhǔn)的運(yùn)動(dòng)活動(dòng)性描述子相結(jié)合，利用MPEG-7標(biāo)準(zhǔn)中運(yùn)動(dòng)活動(dòng)性描述子對(duì)視頻運(yùn)動(dòng)特征的多角度刻畫，然后利用模糊概念格生成運(yùn)動(dòng)特征關(guān)聯(lián)規(guī)則，實(shí)現(xiàn)視頻運(yùn)動(dòng)特征的快速挖掘[26]；馮向玲將模糊概念格與灰度共生矩陣相結(jié)合，通過灰度共生矩陣計(jì)算得到14個(gè)紋理特征向量，實(shí)現(xiàn)對(duì)視頻紋理特征的多角度描述，再利用模糊概念格生成視頻紋理特征關(guān)聯(lián)規(guī)則，從而進(jìn)一步根據(jù)紋理特征關(guān)聯(lián)規(guī)則有效的對(duì)視頻紋理特征挖掘[26]。

2.1.2 基于多特征視頻挖掘

基于多特征組合進(jìn)行挖掘是近幾年興起的研究方向，基于多特征視頻挖掘主要提取視頻中圖像幀、音頻和文本相關(guān)特征，將提取的多種特征形成多特征數(shù)據(jù)集，采用相關(guān)數(shù)據(jù)挖掘方法對(duì)視頻挖掘，多用于視頻分類、視頻識(shí)別和視頻檢測(cè)等方面，對(duì)視頻中圖像特征、音頻特征及文本特征進(jìn)行提取形成數(shù)據(jù)集再對(duì)形成的多特征處理以得出用于數(shù)據(jù)挖掘的數(shù)據(jù)集，根據(jù)應(yīng)用不同可采用分類算法對(duì)視頻分類，其分類效果經(jīng)實(shí)驗(yàn)證明要優(yōu)于基于圖像特征的分類[27]、采用識(shí)別算法對(duì)視頻中對(duì)象進(jìn)行識(shí)別和采用異常檢測(cè)方法對(duì)視頻中運(yùn)動(dòng)對(duì)象進(jìn)行行為檢測(cè)和異常行為檢測(cè)，種種研究表明基于多特征的視頻挖掘效果要優(yōu)于單單基于圖像特征的挖掘效果，雖然精度提高了但其復(fù)雜度及處理時(shí)間也大大增加了，如何進(jìn)行快速有效的基于多特征視頻挖掘是未來的研究熱點(diǎn)之一。

近年基于多特征視頻挖掘研究較少，相關(guān)研究如下：陳芬等人通過實(shí)驗(yàn)證明將視頻圖像特征和文本特征相結(jié)合，取顏色和紋理特征的均值和標(biāo)準(zhǔn)差與文本特征結(jié)合能夠取得較好的視頻分類結(jié)果[27]；丁欣對(duì)用戶的視頻瀏覽行為、觀看行為和打分行為以及視頻的部分屬性作參考，對(duì)數(shù)據(jù)進(jìn)行聚類劃分，實(shí)現(xiàn)基于多特征向量混合挖掘的個(gè)性化視頻推薦系統(tǒng)[28]。

2.2 基于內(nèi)容的視頻挖掘

視頻內(nèi)容主要為視頻幀中故事、情節(jié)、人物信息和音頻、字幕中包含的對(duì)視頻內(nèi)容的語音和文字的介紹、講解等，由于視頻低層特征與高層語義信息之間存在的“語義鴻溝”，導(dǎo)致對(duì)視頻中內(nèi)容信息的挖掘成為視頻挖掘中一難點(diǎn)，基于內(nèi)容的視頻挖掘技術(shù)流程大體為對(duì)輸入原始視頻進(jìn)行預(yù)處理，提取視頻中圖像、文本、音頻等相關(guān)低層特征形成特征數(shù)據(jù)集，根據(jù)挖掘目的不同可選擇是否進(jìn)行基本層次結(jié)構(gòu)化處理，然后對(duì)預(yù)處理后所得數(shù)據(jù)進(jìn)行視頻內(nèi)容挖掘并將所得結(jié)果及模式信息解釋、呈現(xiàn)給用戶，基于內(nèi)容的視頻挖掘流程如圖3所示?；趦?nèi)容的視頻挖掘可歸納為對(duì)內(nèi)容結(jié)構(gòu)、內(nèi)容主題及內(nèi)容事件三方面進(jìn)行挖掘。

圖3 基于內(nèi)容的視頻挖掘框圖

2.2.1 視頻內(nèi)容結(jié)構(gòu)挖掘

視頻內(nèi)容結(jié)構(gòu)挖掘是在視頻基本層次結(jié)構(gòu)的基礎(chǔ)上，根據(jù)視頻中鏡頭、場(chǎng)景的語義相似性，采用自動(dòng)分析和相關(guān)挖掘方法，挖掘出視頻基本層次結(jié)構(gòu)中鏡頭、場(chǎng)景及整個(gè)視頻的構(gòu)造模式，獲得通用的構(gòu)造規(guī)則，并對(duì)獲得的構(gòu)造模式和規(guī)則進(jìn)行建模和描述。視頻基本層次結(jié)構(gòu)間的構(gòu)造模式常用關(guān)聯(lián)規(guī)則方法對(duì)各層次單元的頻繁構(gòu)造模式進(jìn)行關(guān)聯(lián)性挖掘，近年廣大研究者在傳統(tǒng)關(guān)聯(lián)規(guī)則算法基礎(chǔ)上增加時(shí)間序列、關(guān)聯(lián)概念等信息對(duì)視頻結(jié)構(gòu)關(guān)聯(lián)規(guī)則進(jìn)行挖掘，如付暢儉在傳統(tǒng)關(guān)聯(lián)規(guī)則挖掘中增加考慮項(xiàng)數(shù)、事務(wù)次序及事務(wù)概念等信息對(duì)視頻結(jié)構(gòu)中關(guān)聯(lián)規(guī)則進(jìn)行挖掘[29]；Vijayakumar等人提出基于時(shí)間加權(quán)概念的視頻關(guān)聯(lián)挖掘，能夠利用時(shí)間加權(quán)概念發(fā)現(xiàn)視頻序列間顯著的關(guān)聯(lián)關(guān)系，通過改變關(guān)聯(lián)模型可以獲取視頻集關(guān)聯(lián)的權(quán)重，并將該算法應(yīng)用到實(shí)際的數(shù)據(jù)集并給出實(shí)驗(yàn)結(jié)果[30]；李國(guó)輝等人提出利用時(shí)基窗來計(jì)算支持度并對(duì)視頻關(guān)聯(lián)規(guī)則的評(píng)價(jià)進(jìn)行了完善，時(shí)基窗就是視頻序列中長(zhǎng)度為T+L的窗口，其中T為設(shè)定的最大時(shí)基距離閾值，L為關(guān)聯(lián)集的項(xiàng)數(shù)，時(shí)基支持度是根據(jù)某個(gè)關(guān)聯(lián)集出現(xiàn)的次數(shù)來計(jì)算其支持度[31]。

2.2.2 視頻內(nèi)容主題挖掘

視頻內(nèi)容主題挖掘是從大量的視頻物理特征、所提取的視頻圖像特征、獲取的視頻文本特征以及伴隨的音頻特征等高維視頻特征中進(jìn)行降維分析挖掘出潛在的視頻語義主題信息，以便對(duì)視頻進(jìn)行有效的分類、檢索等。提取的高維多特征數(shù)據(jù)集通常采用主成分分析、獨(dú)立成分分析和費(fèi)舍爾線性判別式等常用數(shù)據(jù)降維方法對(duì)其進(jìn)行降維，再對(duì)降維后數(shù)據(jù)利用潛在語義索引方法、潛在猶利克雷分配建?；蚋怕誓Ｐ徒５确椒纯色@得潛在的內(nèi)容主題信息，近年對(duì)于視頻多模態(tài)的語義模型建立已有不少進(jìn)展，如Smolensky提出Harmoniums模型可以從獲得數(shù)據(jù)中發(fā)掘潛在的主題信息[32]；徐新文提出了基于多翼Harmoniums的新聞視頻語義主題模型對(duì)語義主題進(jìn)行挖掘，分別對(duì)圖像、文本和語音進(jìn)行建模，采用模型參數(shù)估計(jì)方法獲取潛在語義主題[33]。

2.2.3 視頻內(nèi)容事件挖掘

視頻內(nèi)容事件挖掘是在視頻內(nèi)容結(jié)構(gòu)模型的基礎(chǔ)上，根據(jù)獲取的視頻結(jié)構(gòu)單元、構(gòu)造模式及構(gòu)造規(guī)則等信息采用多概念融合、事件推理、事件探測(cè)和事件關(guān)聯(lián)等方法，挖掘出視頻中的事件，便于對(duì)視頻進(jìn)行相關(guān)內(nèi)容查找和有效管理。付暢儉通過對(duì)鏡頭建立廣義多概念判別隨機(jī)場(chǎng)來抽取若干事件相關(guān)概念并構(gòu)造和訓(xùn)練各事件的HMM模型來推理出視頻中的事件[29]；徐新文采用Single-pass方法對(duì)樣本進(jìn)行初始聚類，然后根據(jù)回溯探測(cè)和在線探測(cè)機(jī)理對(duì)增量K均值算法進(jìn)行改進(jìn)實(shí)現(xiàn)對(duì)新聞事件探測(cè)[33]；徐新文基于擴(kuò)展的Apriori性質(zhì)的剪枝策略并設(shè)計(jì)、創(chuàng)建多維索引術(shù)對(duì)新聞事件多維頻繁模式挖掘；張承德利用視頻片段相似性及文本相似性對(duì)視頻事件進(jìn)行多模態(tài)融合挖掘[33]；欒悉道等人對(duì)新聞視頻挖掘技術(shù)進(jìn)行研究，將挖掘過程分為低層挖掘和高層挖掘兩個(gè)層次，低層挖掘主要對(duì)新聞視頻的內(nèi)容和結(jié)構(gòu)進(jìn)行挖掘，高層挖掘采用數(shù)據(jù)挖掘方法對(duì)低層挖掘所得內(nèi)容進(jìn)行挖掘[34]。

3 總結(jié)

隨著全景視頻的興起，未來的視頻挖掘技術(shù)會(huì)趨于對(duì)全景視頻進(jìn)行挖掘，目前視頻挖掘的總體框架依然適用于全景視頻挖掘，由于全景視頻具有全方位視角，其所隱藏的知識(shí)和模式相比于普通視頻更豐富，相應(yīng)的挖掘技術(shù)會(huì)比普通視頻挖掘更復(fù)雜，例如提取顏色、紋理、形狀等底層視頻幀特征，由于全景視頻幀具有全方位立體視角，導(dǎo)致全景視頻幀每個(gè)方向的圖像互相之間存在一定的關(guān)聯(lián)性，提取哪個(gè)方向的底層特征及底層特征的選取標(biāo)準(zhǔn)需進(jìn)一步研究。隨著視頻數(shù)據(jù)挖掘技術(shù)系統(tǒng)的不斷成熟，全景視頻挖掘技術(shù)會(huì)漸漸被廣大研究者提取，而目前形成實(shí)用的視頻數(shù)據(jù)挖掘系統(tǒng)還存在著許多的挑戰(zhàn)和難點(diǎn)，總結(jié)主要難點(diǎn)如下：

(1)如何有效的提取視頻底層特征：視頻底層特征是視頻數(shù)據(jù)挖掘的基礎(chǔ)，直接關(guān)系到后續(xù)對(duì)視頻數(shù)據(jù)挖掘結(jié)果，由于視頻種類繁多及其每種視頻復(fù)雜性高，故如何有效的提取出視頻底層特征成為了視頻數(shù)據(jù)挖掘的難點(diǎn)。

(2)如何確定準(zhǔn)確的評(píng)價(jià)規(guī)則：視頻挖掘系統(tǒng)中每一個(gè)環(huán)節(jié)都會(huì)產(chǎn)生挖掘所得數(shù)據(jù)，如何確定準(zhǔn)確的評(píng)價(jià)規(guī)則來篩選出有效的、有價(jià)值的數(shù)據(jù)，剔除無用的、冗余的數(shù)據(jù)是視頻挖掘系統(tǒng)中的難點(diǎn)。

(3)如何可視化呈現(xiàn)挖掘結(jié)果：挖掘出視頻中所隱藏的、有價(jià)值的數(shù)據(jù)后，如何對(duì)其進(jìn)行表示和解釋從而可視化的呈現(xiàn)給用戶，供用戶理解并輔助用戶決策是一難點(diǎn)。

(4)如何評(píng)估視頻挖掘系統(tǒng)的性能：視頻挖掘系統(tǒng)是否具有實(shí)用性，往往需要一個(gè)評(píng)估標(biāo)準(zhǔn)對(duì)其進(jìn)行評(píng)估，針對(duì)于環(huán)節(jié)復(fù)雜的視頻挖掘系統(tǒng)而言如何評(píng)估其是否具有實(shí)用性和可靠性是一難點(diǎn)。

[1] Aloimonos Y.DIMACS Workshop on Video Mining November 4-6,2002[J].Dimacs.rutgers.edu.

[2] Radhakrishan R,Xiong Z,Divakaran A,et al.Generation of sports highlights using a combination of supervised & unsupervised learning in audio domain[C]//Joint Conference of the Fourth International Conference on Information,Communications and Signal Processing,2003 and Fourth Pacific Rim Conference on Multimedia.IEEE,2003:935-939 vol.2.

[3] Divakaran A,Peker K A,Radhakrishnan R.Video mining using combinations of unsupervised and supervised learning techniques[C]//DBLP,2004:235-243.

[4] Goh K S,Miyahara K,Radhakrishnan R,et al.Audio-visual event detection based on mining of semantic audio-visual labels[J].2004,5307:292-299.

[5] Goh K S,Miyahara K,Radhakrishnan R,et al.Audio-visual event detection based on mining of semantic audio-visual labels[J].SPIE,2004,5307:292-299.

[6] Latecki L J,Wildt D D.Automatic Recognition of Unpredictable Events in Videos[J].Pattern Recognition,2002,2:889-892.

[7] Oh J H.Video Data Mining[J].Data Warehousing & Mining Concepts Methodologies Tools & Applications,2005,1(3):153-172.

[8] Divakaan A,Peker K,Chang S,Radhakrishnan R,Xie L (2004) VideoMining: pattern discovery versus pattern recognition.In: Proceedings IEEE international conference on image processing (ICIP’2004).Mitsubishi Electric Research Laboratories

[9] R Kaur，S Aggarwal.Review on Video Mining[J].IJCST,2014.2(3).

[10] 代科學(xué),付暢儉,武德峰,等.視頻挖掘:概念、技術(shù)與應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2006,23(1):1-4.

[11] 冀中,蘇育挺,安欣.視頻數(shù)據(jù)挖掘——框架、方法及趨勢(shì)[J].計(jì)算機(jī)工程,2007,33(18):81-83.

[12] 李晶.視頻數(shù)據(jù)挖掘技術(shù)研究[J].今日湖北:理論版,2007(4):170-171.

[13] Petkovic M,Jonker W (2001) Content-based retrieval of spatiotemporal video events.In: Proceedings of multimedia computing and information management track of IRMA international conference

[14] Zhu X,Wu X,Elmagarmid A,Feng Z,Wu L (2005) Video data mining:semantic indexing and event detection from the association perspective.IEEE Trans Knowl Data Eng 17(5):1-14

[15] Tao D,Tao D,Xu D,et al.Semantic Mining Technologies for Multimedia Databases[C]/Information Science Reference-Imprint of:IGI Publishing,2009.

[16] Naphide H R,Huang T S.A probabilistic framework for semantic video indexing,filtering,and retrieval[J].IEEE Transactions on Multimedia,2001,3(1):141-151.

[17] 付暢儉.基于內(nèi)容的視頻結(jié)構(gòu)挖掘方法研究[D].國(guó)防科學(xué)技術(shù)大學(xué),2008.

[18] 雷夏.基于特征的視頻挖掘技術(shù)研究與應(yīng)用[D].大連理工大學(xué),2007.

[19] Fu C-J,Li G-H,Dai K-X (2005) A framework for video structure mining.In: Proceedings of the fourth international conference on machine learning and cybernetics,vol 3,1524-1528

[20] Choudhary A,Chaudhury S,Basnerjee S (2008) A framework for analysis of surveillance videos.In:Proceedings of sixth Indian conference on computer vision,graphics & image processing,344-350

[21] 陳芬，蘇新寧.視頻主對(duì)象特征抽取與分類挖掘研究[J].現(xiàn)代圖書情報(bào)技術(shù)，2013(10)：31-35.

[22] Kafai M,Bhanu B.Dynamic Bayesian Networks for Vehicle Classification in Video[J].IEEE Transactions on Industrial Informatics,2012,8(1):100-109.

[23] Wu C,He Y,Zhao L,Zhong Y (2002) Motion feature extraction scheme for content-based video retrieval,storage and retrieval for media databases.Proc SPIE 4676:296-305.

[24] 謝浩亮.基于運(yùn)動(dòng)特征的監(jiān)控視頻挖掘關(guān)鍵技術(shù)研究[D].石家莊經(jīng)濟(jì)學(xué)院,2011.

[25] 馬超,沈微.基于特定局部特征布局的視頻運(yùn)動(dòng)目標(biāo)挖掘[J].計(jì)算機(jī)工程,2013,39(6):236-238.

[26] 馮向玲.基于模糊概念格的視頻特征挖掘算法研究[D].西安電子科技大學(xué),2012.

[27] 陳芬,賴茂生.多特征視頻分類挖掘?qū)嶒?yàn)研究[J].現(xiàn)代圖書情報(bào)技術(shù),2012,28(5):76-80.

[28] 丁欣.基于多特征向量混合挖掘的個(gè)性化視頻推薦系統(tǒng)的研究與實(shí)現(xiàn)[D].北京郵電大學(xué),2013.

[29] 付暢儉.基于內(nèi)容的視頻結(jié)構(gòu)挖掘方法研究[D].國(guó)防科學(xué)技術(shù)大學(xué),2008.

[30] V.Vijayakumar and R.Nedunchezhian,“Mining Video Association Rules Based on Weighted Temporal Concepts” IJCSI International Journal of Computer Science Issues,Vol.9,Issue 4,No 2,July 2012.

[31] 李國(guó)輝,付暢儉,徐新文,等.NBA視頻中關(guān)聯(lián)規(guī)則挖掘[C]//和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議.2008.

[32] Smolensky P.Information processing in dynamical systems: foundations of harmony theory[M]//Parallel distributed processing: explorations in the microstructure of cognition,vol.1.MIT Press,1986:194-281.

[33] 徐新文.基于內(nèi)容的新聞視頻挖掘方法研究[D].國(guó)防科學(xué)技術(shù)大學(xué),2009.

[34] 欒悉道,謝毓湘,韓智廣,等.新聞視頻挖掘技術(shù)研究[J].計(jì)算機(jī)科學(xué),2007,34(2):1-6.

[35] 代科學(xué),武德峰,付暢儉,等.視頻挖掘技術(shù)綜述[J].中國(guó)圖象圖形學(xué)報(bào),2006,11(4):451-457.

[36] 代科學(xué),李強(qiáng),李國(guó)輝.視頻挖掘研究進(jìn)展[J].計(jì)算機(jī)科學(xué),2010,37(10):11-15.

[37] Vijayakumar V,Nedunchezhian R.A study on video data mining[J].International Journal of Multimedia Information Retrieval,2012,1(3):153-172.

[38] Yuan J.Image and video data mining[C]// Northwestern University,2009.

[39] Quack T,Ferrari V,Gool L V.Video Mining with Frequent Itemset Configurations[J].Lecture Notes in Computer Science,2006,4071:360-369.

[40] 楊西平,寧亞寧.視頻結(jié)構(gòu)挖掘的一種改進(jìn)算法[J].醫(yī)學(xué)信息,2007,20(11):1901-1904.

Review of video mining technology

ZENG Wen-xian,LI Wei,GUO Zhao-kun

(HebeiUniversityofEconomicsandBusiness,ShijiazhuangHebei050061,China)

The purpose of video data mining is to dig out the hidden and valuable information in video data,and to make full use of video.Through the research and analysis of video data mining at home and abroad,the video data mining technology are summarized,elaborated based on the features and video data mining technology based on the content,finally summarizes the video data mining system challenges and prospects for panoramic video mining.

Video mining； Feature based video mining； Content based video mining

2017-01-05

曾文獻(xiàn)(1971-)，男，陜西旬陽人，教授，主要從事計(jì)算機(jī)軟件技術(shù)，高速數(shù)據(jù)采集研究.

1001-9383(2017)01-0001-07

TP311.13

A