邢 玲，馬 強(qiáng)，胡金軍

(1.河南科技大學(xué)信息工程學(xué)院，河南洛陽(yáng) 471023；2.西南科技大學(xué)信息工程學(xué)院，四川綿陽(yáng) 621010)

?

基于場(chǎng)景分割的視頻內(nèi)容語(yǔ)義管理機(jī)制

邢 玲1,2，馬 強(qiáng)2，胡金軍2

(1.河南科技大學(xué)信息工程學(xué)院，河南洛陽(yáng) 471023；2.西南科技大學(xué)信息工程學(xué)院，四川綿陽(yáng) 621010)

針對(duì)視頻內(nèi)容管理在不同層面存在語(yǔ)義鴻溝的問(wèn)題，提出基于UCL(Uniform Content Locater )的視頻語(yǔ)義描述框架，該框架包含了三個(gè)層次的語(yǔ)義：內(nèi)容語(yǔ)義、控制語(yǔ)義以及物理屬性信息.而視頻場(chǎng)景的分割則通過(guò)視頻內(nèi)容基于時(shí)空上的相似性實(shí)現(xiàn).對(duì)于每個(gè)視頻場(chǎng)景，結(jié)合局部紋理復(fù)雜度、背景亮度和場(chǎng)景復(fù)雜度，選擇最佳參考幀(I幀)與非最佳參考幀(非I幀)以嵌入不同的語(yǔ)義信息：控制語(yǔ)義、物理屬性信息嵌入I幀，內(nèi)容語(yǔ)義嵌入非I幀.利用數(shù)字語(yǔ)義水印技術(shù)來(lái)實(shí)現(xiàn)視頻內(nèi)容的語(yǔ)義管理，完成語(yǔ)義信息和載體信號(hào)的一體傳輸和存儲(chǔ).實(shí)驗(yàn)中采用JM參考模型進(jìn)行數(shù)字水印方法的驗(yàn)證，結(jié)果表明該方法魯棒性強(qiáng)，且不會(huì)造成視頻資源質(zhì)量顯著下降.

視頻描述；語(yǔ)義管理；語(yǔ)義水?。粓?chǎng)景分割；UCL

1 引言

作為互聯(lián)網(wǎng)絡(luò)中最主要應(yīng)用之一的視頻業(yè)務(wù)，由于其內(nèi)容具有易復(fù)制、易分發(fā)、難管理、難監(jiān)控等特性，視頻內(nèi)容的有效管理成為了近年來(lái)的研究熱點(diǎn).最早提出視頻內(nèi)容語(yǔ)義管理機(jī)制的是由ETSI等300多家工業(yè)組織制定使用的EPG(Electronic Program Guide)，它為數(shù)字視頻內(nèi)容創(chuàng)建了一組特有的表格，且使用單獨(dú)的TS流進(jìn)行傳輸[1]；后續(xù)的研究如基于內(nèi)容情感選項(xiàng)的視頻建模與檢索方法[2]、基于網(wǎng)絡(luò)對(duì)于視頻內(nèi)容的分發(fā)與存儲(chǔ)管理[3]、體育視頻內(nèi)容標(biāo)志鏡頭分類(lèi)與管理[4].與EPG有類(lèi)似的特點(diǎn)，這些方法都是將視頻數(shù)據(jù)和語(yǔ)義管理數(shù)據(jù)進(jìn)行單獨(dú)傳輸和存儲(chǔ)，無(wú)法實(shí)現(xiàn)高效地信息一體化傳輸.

數(shù)字視頻內(nèi)容管理的困難主要集中在三個(gè)方面：(1)無(wú)內(nèi)容語(yǔ)義描述集，導(dǎo)致視頻內(nèi)容重復(fù)冗余度高；(2)無(wú)傳輸控制語(yǔ)義集，導(dǎo)致視頻傳播管控難度加大；(3)無(wú)安全語(yǔ)義集，造成了源端回溯不可信，缺乏認(rèn)證安全性.視頻數(shù)字水印技術(shù)的出現(xiàn)使得視頻內(nèi)容的版權(quán)信息得到了保證，且版權(quán)信息與載體同步傳輸，視頻通信效率得以提高，如基于水印的開(kāi)發(fā)式視頻管理管理框架[5].但該方法輸出端只能檢測(cè)水印是否存在，以完成視頻片段的認(rèn)證，在無(wú)法獲得水印原始信息的條件下，難以達(dá)到對(duì)視頻內(nèi)容的智能管理.由于視頻資源仍然使用統(tǒng)一資源定位符(Uniform Resource Locator，URL)標(biāo)識(shí)其引用，導(dǎo)致同一內(nèi)容視頻本體因無(wú)強(qiáng)制語(yǔ)義計(jì)算而得以重復(fù)冗余發(fā)布.因此，研究可靠的視頻語(yǔ)義模型，結(jié)合數(shù)字水印技術(shù)，將提高視頻內(nèi)容的有效管理.

本文提出了一種基于語(yǔ)義水印的視頻內(nèi)容管理機(jī)制.在UCL(Uniform Content Locater,UCL)的基礎(chǔ)上[6]，結(jié)合視頻檢索、內(nèi)容管控等要求，提出UCL視頻語(yǔ)義描述框架，框架中包括內(nèi)容語(yǔ)義、控制語(yǔ)義以及物理屬性信息；結(jié)合H.264視頻具體編碼算法，采用基于場(chǎng)景分割的視頻語(yǔ)義水印算法，將控制語(yǔ)義、物理屬性信息和內(nèi)容語(yǔ)義信息分別嵌入所選視頻場(chǎng)景中不同的視頻幀中，以提高水印嵌入容量和水印的魯棒性.利用數(shù)字語(yǔ)義水印技術(shù)實(shí)現(xiàn)視頻內(nèi)容的語(yǔ)義管理，完成語(yǔ)義信息和載體信號(hào)的一體傳輸和存儲(chǔ).最后基于JM10.2參考模型，對(duì)語(yǔ)義水印方法可見(jiàn)性、和魯棒性進(jìn)行了驗(yàn)證.

2 基于場(chǎng)景分割的視頻語(yǔ)義水印方法

2.1 基于UCL的視頻語(yǔ)義描述框架

視頻數(shù)字水印信息針對(duì)不同的應(yīng)用有不同的語(yǔ)義要求，如針對(duì)視頻檢索，有根據(jù)節(jié)目?jī)?nèi)容提出的語(yǔ)義要求，有根據(jù)節(jié)目名稱(chēng)提出的語(yǔ)義要求；針對(duì)網(wǎng)絡(luò)可控，有對(duì)發(fā)布者、接收者、節(jié)目分級(jí)等方面的語(yǔ)義要求.這些多樣的語(yǔ)義需求，要求提出相對(duì)普適的語(yǔ)義模型，以實(shí)現(xiàn)內(nèi)容識(shí)別、選擇、以及業(yè)務(wù)監(jiān)管的功能.結(jié)合語(yǔ)義的物理特征(如摘要等純文本信息量大，且對(duì)控制語(yǔ)義等信息魯棒性較低)，構(gòu)建基于UCL的視頻語(yǔ)義描述框架，如圖1所示.其中包括：內(nèi)容語(yǔ)義，控制語(yǔ)義和可選的物理屬性信息.

令視頻的UCL語(yǔ)義模型為U{U1x，U2y，U3z}，其中U1x屬于內(nèi)容語(yǔ)義，為純文本信息，U2y為控制語(yǔ)義，為映射編碼信息，U3z為可選的物理屬性信息，為映射編碼信息，x，y，z分別為信息的元素個(gè)數(shù).U1x包括的語(yǔ)義信息有：摘要、作者、標(biāo)題、出版者、日期、關(guān)鍵詞、擴(kuò)充項(xiàng)；U2y包括的語(yǔ)義信息有：分類(lèi)、格式、時(shí)間、點(diǎn)擊量、語(yǔ)言、類(lèi)型、文件大小、權(quán)限、擴(kuò)充項(xiàng)；U3z包括的語(yǔ)義信息有：輪廓、存儲(chǔ)剪切、拷貝許可、目標(biāo)跟蹤、擴(kuò)充項(xiàng).語(yǔ)義模型U中元素的大小或多少，與視頻的具體應(yīng)用背景有關(guān)，但并不影響視頻內(nèi)容的語(yǔ)義管理機(jī)制.

2.2 視頻場(chǎng)景分割

場(chǎng)景指一個(gè)鏡頭所包含的視頻幀序列.同一個(gè)場(chǎng)景，幀之間具有很強(qiáng)的相關(guān)性，因此可以利用這種時(shí)域和空域的相關(guān)性對(duì)一個(gè)場(chǎng)景進(jìn)行壓縮編碼.另外，針對(duì)傳輸過(guò)程中的主動(dòng)攻擊，如幀刪除、幀重組、幀平均，很難對(duì)整個(gè)場(chǎng)景進(jìn)行完全刪除或破壞的毀滅性的攻擊.因此，論文通過(guò)利用場(chǎng)景分割技術(shù)來(lái)增強(qiáng)水印信號(hào)的魯棒性，以提高針對(duì)時(shí)間同步攻擊的自適應(yīng)抵抗力.

目前，對(duì)于視頻場(chǎng)景分割的研究，主要有像素比較、模板比較、直方圖等方法，但他們有些共同的弊端，如算法復(fù)雜度較高，實(shí)時(shí)性不夠強(qiáng)[7～11].考慮到視頻數(shù)字水印實(shí)時(shí)性和視頻解碼同步的性能需求，論文提出了基于DCT系數(shù)變化量比較方法實(shí)現(xiàn)對(duì)視頻場(chǎng)景的分割.由于圖像的能量主要集中在變換域的DC系數(shù)上，相對(duì)離散的像素點(diǎn)具有更穩(wěn)定的對(duì)應(yīng)關(guān)系.結(jié)合視頻編解碼的子塊結(jié)構(gòu)，選擇針對(duì)16×16宏塊變換域DC系數(shù)做比較，如式(1)：

(1)

其中D(i,a,b)表示第i幀圖像宏塊(a,b)的DC系數(shù)，Var(i)表示則第i幀圖像相對(duì)于前一幀圖像的DC系數(shù)改變量，其中N=(a+b)*16.由于DC系數(shù)表示子塊圖像像素點(diǎn)的均值，所以用宏塊像素均值取代宏塊的整數(shù)DCT變換，從而進(jìn)一步降低算法的復(fù)雜度.

空間相似性Var(i)越小，表示相鄰兩幀屬于同一場(chǎng)景的可能性就越大，而Var(i)值較大時(shí)，既可表示相鄰兩幀屬于不同場(chǎng)景，也可表示同一場(chǎng)景中物體運(yùn)動(dòng)較為劇烈或背景變化較快，因此需要進(jìn)一步計(jì)算他們的時(shí)間相似性.

Var(i)本身也可表示當(dāng)前幀變化的劇烈程度，所以通過(guò)計(jì)算這種劇烈程度的放大或縮小的倍數(shù)來(lái)表示時(shí)間相似性，如式(2)：

(2)

一個(gè)場(chǎng)景序列的第二幀相對(duì)于第一幀DC系數(shù)的改變量要小得多，Var(x,2)<β2，變換的劇烈程度顯著下降，α(x,2)<-η；同理，下一個(gè)場(chǎng)景的第一幀相對(duì)于上個(gè)場(chǎng)景的最后一幀DC系數(shù)變化值很大，Var(x-1,1)>β1，變換的劇烈程度顯著增加，α(x-1,1)>η，其中(x,2)為場(chǎng)景x第二幀的圖像.因此，綜合考慮空間相似性和時(shí)間相似性，一個(gè)場(chǎng)景分割過(guò)程的首幀F(xiàn)f和末幀F(xiàn)l的判斷式如式(3)、(4)，其中η表示時(shí)間相似性的閾值，β2表示場(chǎng)景中第二幀圖像的空間相似性閾值，β1為下一個(gè)場(chǎng)景中第一幀圖像的空間相似性閾值.

Ff={i-1|α(i)<-η||Var(i)<β2}

(3)

Fl={i-1|α(i)>η||Var(i)>β1}

(4)

根據(jù)人眼的視覺(jué)特性，為了提高水印的不可見(jiàn)性，選擇圖像紋理復(fù)雜度高和幀間變化比較劇烈的場(chǎng)景嵌入視頻數(shù)字水印信息.將場(chǎng)景第二幀DC系數(shù)的梯度能量與第一幀DC系數(shù)改變量的乘積為場(chǎng)景復(fù)雜度P，如式(5)，

P=T(i)×Var(i)

(5)

T(i)

(6)

其中式(6)為DC系數(shù)的梯度能量，D(i,a,b)表示第i幀圖像宏塊(a,b)的DC系數(shù)，即像素均值，根據(jù)P的定義，其中i=2，即為本場(chǎng)景序列中的第二幀，通過(guò)對(duì)P值與閾值的比較來(lái)選擇適合嵌入水印的場(chǎng)景.

2.3 目標(biāo)矩陣生成

由于人眼對(duì)嵌入水印變化域的敏感性較低，所以水印信息不僅和幀內(nèi)紋理復(fù)雜度和背景亮度有關(guān)，幀間變化劇烈程度也同樣影響著水印信息的不可見(jiàn)性.為了使水印信息更接近于噪聲信號(hào)，具有更好的不可見(jiàn)性，論文引入了場(chǎng)景復(fù)雜度，即綜合考慮背景亮度、幀內(nèi)空間復(fù)雜度、場(chǎng)景復(fù)雜度三要素來(lái)決定水印嵌入強(qiáng)度S，形成一個(gè)目標(biāo)矩陣M.

針對(duì)所選中的分割場(chǎng)景，首先計(jì)算圖像中每個(gè)16×l6宏塊的背景亮度、幀內(nèi)紋理復(fù)雜度，得出宏塊的局部圖像復(fù)雜度H；然后，結(jié)合場(chǎng)景復(fù)雜度P得到水印嵌入強(qiáng)度Sa,b，判斷與閾值Sth關(guān)系，當(dāng)小于閾值時(shí)，水印的目標(biāo)矩陣項(xiàng)Ma,b=0，表示在此宏塊不適合水印信息的嵌入；相反，Ma,b=1.在視頻解碼端根據(jù)密鑰再次生成目標(biāo)矩陣，進(jìn)行視頻數(shù)字水印信息的檢測(cè)與提取.

局部圖像復(fù)雜度H的客觀描述，來(lái)自于該宏塊的灰度均值和紋理復(fù)雜度的加權(quán)組成的線性函數(shù)，如式(7)：

(7)

(8)

?(ea,b)=(1/ea,b)β

(9)

其中?(ea,b)為加權(quán)系數(shù)，它作為修正因子來(lái)使宏塊的紋理復(fù)雜度和灰度均值在同一個(gè)數(shù)量級(jí)成線性關(guān)系，論文中取值范圍為0.5～0.8.

為了減低過(guò)多修正因子給算法帶來(lái)額外的計(jì)算復(fù)雜度，故將局部圖像復(fù)雜度Ha,b與場(chǎng)景復(fù)雜度P進(jìn)行“×”操作得出水印嵌入強(qiáng)度，如式(10)：

Sa,b=P×Ha,b

(10)

其中，Sa,b的值隨α1、α2和β取值而各異，從而生成不同的目標(biāo)矩陣M，因此可以將這三個(gè)參數(shù)作為水印算法中的密鑰使用.

2.4 語(yǔ)義水印的嵌入與提取

H.264中一個(gè)宏塊包括一個(gè)16×16亮度分量Y和兩個(gè)8×8的色差分量Cb、Cr.由于人眼對(duì)視頻的色度較敏感，故算法僅考慮亮度分量Y信息.首先，將視頻圖像的亮度分量Y分割成16×16塊，則水印目標(biāo)矩陣M的結(jié)構(gòu)為N1/16×N2/16，其中Ma,b∈{0,1}，1≤a≤N1/16，1≤b≤N2/16.當(dāng)Ma,b=1表示Ya,b為水印信息的載體，然后，將Ya,b塊劃分為16個(gè)4×4子塊，對(duì)每個(gè)子塊進(jìn)行整數(shù)DCT變換，如圖2所示，左上角的DCT0為DC系數(shù).

經(jīng)過(guò)DCT變換后，4×4子塊能量如圖2中的第1子帶到第7子帶逐漸遞減.其中AC高頻系數(shù)(第6、7子帶)多數(shù)為零不適合水印的嵌入，故選擇第2子帶到第5子帶的12中頻系數(shù)進(jìn)行水印信息的嵌入，則嵌入規(guī)則如式(11)、(12)和式(13)：

(11)

(12)

(13)

其中，DCTmean為12個(gè)中頻系數(shù)的均值，DCTmean1為第3子帶和第5子帶6個(gè)中頻系數(shù)的均值，DCTmean2為第2子帶和第4子帶6個(gè)中頻系數(shù)均值，通過(guò)調(diào)整12個(gè)中頻系數(shù)來(lái)改變DCTmean、DCTmean1和DCTmean2三者之間的關(guān)系進(jìn)行水印信息(wx,y)的嵌入，即為水印信息的編碼，如式(14)和(15)：

DCTmean1>DCTmean>DCTmean2,wx,y=1

(14)

DCTmean2>DCTmean>DCTmean1,wx,y=-1

(15)

本文采用基于場(chǎng)景的語(yǔ)義水印算法，故將水印信息U中的U1x內(nèi)容語(yǔ)義信息、U2y控制語(yǔ)義信息和U3z可選的物理屬性信息，采用相同的水印嵌入方案在不同的嵌入點(diǎn)進(jìn)行水印嵌入操作，所以即使采用相同的水印嵌入方案，其生成目標(biāo)矩陣的參數(shù)P、α1、α2、β及其閾值Sth也不相同，這些都可作為密鑰以提高水印的安全性.

結(jié)合壓縮域水印嵌入量小和原始域水印魯棒性較差的各自弊端，針對(duì)H.264編碼標(biāo)準(zhǔn)和JM實(shí)驗(yàn)的仿真平臺(tái)，視頻水印嵌入的流程為圖3所示.

(1)對(duì)視頻原始序列(YUV格式文件)進(jìn)行UCL標(biāo)引并采用擴(kuò)頻技術(shù)生成視水印語(yǔ)義模型信息集U，其中U1x屬于內(nèi)容語(yǔ)義，U2x是控制語(yǔ)義，U3x為可選的物理屬性信息；

(2)對(duì)視頻原始序列進(jìn)行場(chǎng)景分割，形成基于場(chǎng)景的視頻信息集F，元素F(i,j,k)中的i表示場(chǎng)景編號(hào)，j表示幀圖像相對(duì)場(chǎng)景的序號(hào)，k表示在原始視頻序列中幀編號(hào)；

(3)計(jì)算視頻場(chǎng)景中場(chǎng)景復(fù)雜度，來(lái)選擇適合進(jìn)行水印嵌入的場(chǎng)景F′(i,j,k)；

(4)將場(chǎng)景的第y′幀作為最佳參考幀(I幀)，當(dāng)一個(gè)場(chǎng)景的幀圖像數(shù)大于15，按照GOP標(biāo)準(zhǔn)生成I幀，其中滿足式(16)，其中y表示場(chǎng)景中視頻幀的數(shù)量.

y′=α*15，α∈0,1,2…，y″￡y

(16)

(7)將含有水印信息的I幀和B、P幀重新組合生成含水印的場(chǎng)景H.264壓縮碼流；

(8)結(jié)合第(4)步的最佳參考幀選擇算法，對(duì)第(3)步篩選出不適合水印嵌入的場(chǎng)景，借助JM編碼器進(jìn)行幀內(nèi)和幀間編碼，生成未含水印的壓縮碼流.

將第(7)步和第(8)步生成的壓縮碼流進(jìn)行排序整合，生成基于H.264的視頻壓縮碼流.

水印的檢測(cè)與提取在H.264解碼端完成，根據(jù)編碼端對(duì)應(yīng)的密鑰生成目標(biāo)矩陣M確定含水印的宏塊位置，對(duì)含水印的宏塊按照式(11)、(12)和(13)計(jì)算出DCTmean、DCTmean1和DCTmean2的值，以重構(gòu)水印信息，如式(17):

(17)

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中在VS2008開(kāi)發(fā)環(huán)境中完成JM10.2最佳參考幀選擇算法的移植和優(yōu)化、原始視頻序列的場(chǎng)景分割、水印的嵌入和含水印的H.264碼流的解碼工作，由MatlabR2010b對(duì)原始視頻序列和含水印的視頻序列進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，最后針對(duì)數(shù)字水印的性能指標(biāo)得對(duì)算法進(jìn)行性能評(píng)估.視頻采用標(biāo)準(zhǔn)視頻序列News、Foreman和Akiyo，所有視頻序列都是QCIF格式(176×144)，YUV(4∶2∶0)，序列長(zhǎng)度均為300幀，視頻場(chǎng)景分割時(shí)參數(shù)選擇為η=2，β1=500，β2=50.

對(duì)于重構(gòu)視頻圖像質(zhì)量的判斷，選擇PSNR(Peak Signal to Noise Ratio)峰值信噪比作為評(píng)判標(biāo)準(zhǔn).PSNR表示視頻載體信號(hào)嵌入水印后的視頻質(zhì)量變化情況，其值越高表示其透明性越好，其計(jì)算過(guò)程如式(18)：

(18)

其中max?(x,y)f2(x,y)為原始視頻圖像f上所有像素點(diǎn)中的最大像素值，針對(duì)8bit的灰度圖像，其最大值為255，則典型算法的PSNR值主要集中在20～40dB之間.

采用歸一化互相關(guān)系數(shù)NC(Normalized Correlation)用來(lái)度量重構(gòu)的水印和原始水印之間的相似程度，如式(19)：

(19)

其中，W表示原始水印信息，W′表示提取出來(lái)的水印信息，N為水印信號(hào)的長(zhǎng)度，通常情況下，當(dāng)NC>0.9時(shí)，認(rèn)為重構(gòu)水印是可識(shí)別的.

3.1 水印的不可見(jiàn)性

視頻數(shù)字水印的不可見(jiàn)性指確保人眼無(wú)法察覺(jué)，由于水印嵌入造成圖像質(zhì)量的下降.實(shí)驗(yàn)中對(duì)Akiyo視頻第150幀和151幀圖像的原始序列圖像、壓縮后的圖像、含水印的視頻圖像量的質(zhì)量變化進(jìn)行展示，其中第150幀為H.264編碼中的最佳參考幀I幀，前者采用基于壓縮域的視頻水印嵌入方案，后者為基于原始域的視頻數(shù)字水印嵌入方案.從圖4中很難察覺(jué)到由于壓縮和水印的嵌入引起視頻圖像質(zhì)量的變化.

Akiyo視頻序列壓縮后和嵌入水印后的視頻圖像前90幀的PSNR值如圖5所示.一般情況下，當(dāng)PSNR值大于30dB以上，人眼就難以辨別兩幅圖像差別.從圖5可見(jiàn)，Akiyo視頻原始序列壓縮后和嵌入水印后第y’(y=i*15)幀的PSNR值較高，主要是由于第y’幀在H.264視頻編碼中作為最佳參考幀，編碼準(zhǔn)確率最高.總體上兩曲線非常接近，且PSNR最小值為35.91，說(shuō)明本文提出的視頻數(shù)字水印具有很好的不可見(jiàn)性.

3.2 水印的魯棒性

實(shí)驗(yàn)中若NC>0.9，則認(rèn)為該幀內(nèi)含有水印信息，同一場(chǎng)景內(nèi)有一幅圖像含有水印信息，認(rèn)為該場(chǎng)景為水印信號(hào)的載體.實(shí)驗(yàn)對(duì)象為Akiyo、News、Foreman、Sum四個(gè)視頻序列，其中Sum為前三者視頻拼接序列.對(duì)其分別統(tǒng)計(jì)視頻序列的場(chǎng)景數(shù)(SC)，含有水印信息的場(chǎng)景數(shù)(SCw)，檢測(cè)到水印載體場(chǎng)景數(shù)(DSCw)，錯(cuò)誤檢測(cè)到的場(chǎng)景數(shù)(ESCw)，如表1所示.

表1 嵌入水印的場(chǎng)景檢查

從表1中可看出，在未受攻擊的狀態(tài)下，實(shí)驗(yàn)中嵌入信息的場(chǎng)景都能準(zhǔn)確的檢查出來(lái).由于在同一場(chǎng)景中嵌入相同內(nèi)容，故實(shí)驗(yàn)中采用的水印場(chǎng)景檢測(cè)標(biāo)準(zhǔn)(NC>0.9)足以重構(gòu)出原水印信息.且由于采用原始域與壓縮相結(jié)合的水印算法，所以為了進(jìn)一步說(shuō)明一個(gè)場(chǎng)景中關(guān)于內(nèi)容語(yǔ)義水印信息的魯棒性，以News視頻序列為例，統(tǒng)計(jì)其前90幀(第90幀為第2個(gè)場(chǎng)景頭幀)的NC值，如圖6所示.

從圖6中可知，第y′(y=i*15)幀圖像的NC值要明顯高于其他圖像，這是由于y幀為編碼參考幀(I幀)，其量化后的非零DCT系數(shù)較多，且采用基于壓縮域的水印方案，避免了由于視頻信息的頻繁解壓縮，造成的水印信息丟失.雖然非I幀域的NC值相對(duì)較低，但該域采用基于原始域的水印嵌入方案大大增加了水印信息的嵌入量，且該域的純文本水印信息(摘要、關(guān)鍵詞等)在NC>0.7的情況下不會(huì)對(duì)語(yǔ)義理解造成歧義，一般情況下，NC>0.6就可以重構(gòu)出水印信息.

3.3 抗噪聲攻擊能力

視頻載體信號(hào)在傳輸和處理的過(guò)程中，最常見(jiàn)的攻擊方式就是噪聲攻擊，因此水印算法抗噪能力是其性能評(píng)判的重要指標(biāo).實(shí)驗(yàn)同樣對(duì)Foreman視頻序列的前90幀圖像分別加載了密度為0.005、0.01、0.03的椒鹽噪聲，計(jì)算出重構(gòu)視頻圖像的PSNR值和重構(gòu)水印信息的NC值，其中PSNR值如圖7所示.可以看出，相對(duì)密度為0.005、0.01、0.03的椒鹽噪聲，水印信息對(duì)視頻幀質(zhì)量的影響反而更小，說(shuō)明該算法對(duì)視頻原始圖像的影響幾乎忽略不計(jì).在密度為0.03的椒鹽噪聲下PSNR最小值為31.21，故重構(gòu)的視頻圖像相對(duì)于原始圖像的變化在人眼察覺(jué)范圍之外.

視頻數(shù)字水印信息受到不同程度的噪聲攻擊后，NC值變化情況如圖8所示.NC值出現(xiàn)很大程度的衰減，特別是非I幀(y≠i*15)中的水印信息.由于非I幀采用幀間預(yù)測(cè)編碼，只保留部分殘差信息，且該域水印信息經(jīng)過(guò)JM10.2的重壓縮編碼，使該域水印信息的NC值衰減的相對(duì)比較厲害.如在密度為0.03椒鹽噪聲下，最小NC值為第5幀(非I幀)的0.4943，但經(jīng)過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)發(fā)現(xiàn)，在相同強(qiáng)度噪聲攻擊下該場(chǎng)景中非I幀的最大NC值為0.6357，由于同一場(chǎng)景內(nèi)嵌入相同的水印信息，所以即使在較高密度的噪聲攻擊下，仍然可以重構(gòu)出不影響人們觀看的水印信息.由此可見(jiàn)，對(duì)于噪聲攻擊，I幀的魯棒性表現(xiàn)的比較滿意，故將I幀作為控制語(yǔ)義信息和物理屬性語(yǔ)義信息的載體.

3.4 抗其它主動(dòng)攻擊能力

同時(shí)對(duì)Akiyo、News、Foreman三個(gè)視頻分別進(jìn)行重量化、中值濾波和幀刪除攻擊，視頻數(shù)字水印受到攻擊后的NC值如表2所示，結(jié)果為三段含水印的視頻序列前300幀中，有效NC的均值.由于同一場(chǎng)景中嵌入相同的水印信息，當(dāng)NC值<0.5時(shí)，視該幀水印信息為無(wú)效水印.

表2 水印信息魯棒性分析

從表2中看出，I幀中水印信息在遭受重量化、中值濾波和幀刪除等攻擊時(shí)，表現(xiàn)出較好的魯棒性.其中幀刪除攻擊對(duì)水印信息沒(méi)有任何影響，主要是幀刪除很難實(shí)現(xiàn)完全刪除整個(gè)視頻場(chǎng)景.

4 結(jié)論

數(shù)字視頻內(nèi)容的有效管理有助于互聯(lián)網(wǎng)中視頻業(yè)務(wù)高效、可靠的開(kāi)展.本文提出一種基于場(chǎng)景分割的視頻內(nèi)容語(yǔ)義管理機(jī)制，將語(yǔ)義模型從特性上分為三個(gè)子集：內(nèi)容語(yǔ)義、控制語(yǔ)義以及物理屬性信息；對(duì)視頻內(nèi)容按照時(shí)間與空間相似性，構(gòu)建基于DCT系數(shù)變化比較方法來(lái)實(shí)現(xiàn)視頻的場(chǎng)景分割；并且按照背景亮度、幀內(nèi)空間復(fù)雜度和場(chǎng)景復(fù)雜度三要素來(lái)決定語(yǔ)義水印嵌入位置即目標(biāo)矩陣，通過(guò)修改DCT中AC系數(shù)實(shí)現(xiàn)水印的嵌入.將內(nèi)容語(yǔ)義信息嵌入到場(chǎng)景中的非最佳參考幀，語(yǔ)義信息、物理屬性信息則嵌入到最佳參考幀，利用數(shù)字語(yǔ)義水印技術(shù)實(shí)現(xiàn)了視頻內(nèi)容的語(yǔ)義管理，完成語(yǔ)義信息和載體信號(hào)的一體傳輸和存儲(chǔ).

[1]Basic R,Mocinic M.User′s requirements for electronic program guide (EPG) in interactive television (iTV)[A].Region 8 International symposium on video/image processing and multimedia communication[C].Zadar :IEEE,2002.457-462.

[2]Alan H，Xu L Q.Affective video content representation and modeling[J].IEEE transactions on multi-media,2005,7(1),143-154.

[3]吳宣夠，熊焰，印鳳行.樹(shù)形網(wǎng)絡(luò)中的一種有效視頻內(nèi)容分發(fā)算法[J].小型微型計(jì)算機(jī)系統(tǒng),2013,34(8):1728-1731.

Wu Xuan-gou,Xiong Yan,Yin Feng-hang.An Efficient video content distribution algorithm for tree networks[J].Journal of Chinese computer systems,2013,34(8),1728-1731.(in Chinese)

[4]朱映映，朱艷艷，文振焜.基于類(lèi)型標(biāo)志鏡頭與詞袋模型的體育視頻分類(lèi)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013,25(9),1375-1383.

Zhu Ying-ying,Zhu Yan-yan,Wen Zhen-kun.Sports video classification based on marked genre shots and bag of words model[J].Journal of computer-aided design and computer graphics,2013,25(9),1375-1383.(in Chinese)

[5]劉宇馳,等.一種開(kāi)放式視頻管理框架[J].國(guó)防科技大學(xué)學(xué)報(bào),2006(28),73-76.

Liu Yu Chi,et al.An open framework for video management[J].Journal of national university of defence technology,2006(28),73-76.(in Chinese)

[6]XING Ling,MA Qiang,ZHU Min.Tensor semantic model for an audio classification system.SCIENCE CHINA Information Sciences,2013,56(6):1-9.

[7]Yun Z,Mubarak S.A General Framework for Temporal Video Scene Segmentation[A].International Conference on Computer Vision[C].Beijing:IEEE,2005.1111-1116.

[8]Panagiotis S,Vasileios M,Ioannis K,et al.Temporal video segmentation to scenes using high-level audiovisual features[J].IEEE Transactions on Circuits and Systems for Video Technology,2011,21(8),1051-8215.

[9]Zhu S H,Liu Y C.Scene Segmentation and Semantic Representation for High-Level Retrieval[J].IEEE Signal Processing Letters,2013,15,713-716.

[10]Mostafa T,Mahmood K,Shohreh K.Event Detection and Summarization in Soccer Videos Using Bayesian Network and Copula[J],IEEE Transactions on circuits and Systems for Video Technology,2014,24(2),291-304.

[11]He Hu,Ben U.Automatic object segmentation of unstructured scenes using colour and depth maps[J],IET computer vision,2014,8(1),45-53.

邢 玲 女,1978年11月生，四川攀枝花人，河南科技大學(xué)信息工程學(xué)院教授，碩士生導(dǎo)師，主要研究方向?yàn)榫W(wǎng)絡(luò)信息智能處理與主動(dòng)服務(wù)技術(shù).

E-mail:xingling-my@163.com

馬 強(qiáng) 男，1982年9月生，四川綿陽(yáng)人，西南科技大學(xué)信息工程學(xué)院講師，主要研究方向?yàn)槎嗝襟w安全認(rèn)證、語(yǔ)義計(jì)算.

E-mail:maqiang-my@163.com

胡金軍 男，1986年6月生，河南信陽(yáng)人，西南科技大學(xué)信息工程學(xué)院碩士，主要研究方向?yàn)橐曨l編解碼、視頻質(zhì)量評(píng)估.

E-mail:hujingjun-my@163.com

A Semantic Management Mechanism for Video Resources Based on Scene Segmentation

XING Ling1,2,MA Qiang2,HU Jin-jun2

(1.SchoolofInformationEngineering,HenanUniversityofScienceandTechnology,Luoyang,Henan471023;2.SchoolofInformationEngineering,SouthwestUniversityofScienceandTechnology,Mianyang,Sichuan621010,China)

To tackle video management problem of semantics gap existing in different aspects,a video semantic description framework based on UCL (Uniform Content Locator) is proposed.The semantic description framework consists of three levels,i.e.,content,control and physical.Video to be semantically managed is divided into different scenes based on spatial-temporal similarities of frames.For every scene,the most optimal reference frame (I-frames) and non-optimal reference frames (non I-frames) are selected based on local texture complexity,background luminance and scene complexity.Content semantic are imbedded into non I-frames while control and physical semantics are imbedded into I-frames.A semantic watermarking algorithm is incorporated into the management to realize the efficient storage and transmission of video content and its video semantics.JM reference model is adopted for experiments to verify the watermarking technique and results show that the method is robust and has little side effect on video quality.

video description;semantic management;semantic watermark;scene segmentation;UCL(uniform content locater)

2014-12-17;

2015-01-30；責(zé)任編輯：郭游

國(guó)家自然科學(xué)基金(No.61171109);四川省科技廳應(yīng)用基礎(chǔ)項(xiàng)目(No.2014JY0215);西南科技大學(xué)科研項(xiàng)目(No.2014JY0215)

TN911.7

A

0372-2112 (2016)10-2357-07

??學(xué)報(bào)URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.10.011