劉 菲 孟祥增

【摘要】Flash動畫是網(wǎng)絡(luò)上流行的媒體,由文本、圖形、圖像、聲音等多種媒體元素組成,文章基于Flash動畫的文件結(jié)構(gòu),通過分析Flash動畫的內(nèi)容特征,建立內(nèi)容特征提取平臺,完成圖像信息的提取,為Flash動畫的圖像特征建立索引庫,是基于內(nèi)容的Flash動畫檢索系統(tǒng)的研發(fā)工作的一部分。

【關(guān)鍵詞】 Flash動畫;基于內(nèi)容;特征分析;圖像提取

【中圖分類號】 G434 【文獻標識碼】 A 【論文編號】1009—8097(2009)12—0091—04

Flash是一個基于矢量的交互性影片格式,集各類媒體元素、動態(tài)效果、用戶交互于一體,通過內(nèi)部對象及其屬性特征表達豐富的語義信息,是Internet上高效傳遞矢量圖形、文本、視頻和聲音的媒體格式,在教學領(lǐng)域發(fā)揮著越來越重要的作用?，F(xiàn)階段Flash動畫檢索的研究主要集中在基于Flash動畫外部特征和網(wǎng)頁上下文信息的檢索(比如Google),包括Flash動畫的文件名、元數(shù)據(jù)信息、創(chuàng)作時間、所在網(wǎng)頁的超鏈接和錨文本等[1],檢索結(jié)果的效率和準確性都不高,因此,如何提取Flash動畫的內(nèi)容特征、建立基于內(nèi)容的Flash動畫檢索模型、提高Flash動畫檢索的效率和準確性,成為近年來多媒體研究領(lǐng)域的新課題。

香港城市大學楊駿教授等提出FLAME框架,將Flash動畫按對象、事件和交互三個層次進行內(nèi)容表征,這種方法能夠比較全面地描述Flash的內(nèi)容結(jié)構(gòu),促進了基于內(nèi)容的Flash動畫檢索的發(fā)展。本文從Flash動畫的文件結(jié)構(gòu)出發(fā),建立了Flash動畫內(nèi)容特征提取平臺,并完成了Flash動畫中圖像信息的提取。

一 Flash動畫的結(jié)構(gòu)分析

Flash動畫有FLA和SWF兩類,FLA文件是Flash動畫的源文件(*.fla),SWF文件是嵌入網(wǎng)頁或獨立播放的Flash影片壓縮格式(*.swf),我們研究的是SWF文件。SWF文件使用一系列二進制標簽來定義各種對象、事件和交互,與XML文件有著相似的內(nèi)部結(jié)構(gòu),前者是二進制文件,后者是ASCII文本文件。隨著Flash研究的深入和XML文件格式的迅速發(fā)展,應用JaveSWF或SWFmill[2]可以將一個SWF文件轉(zhuǎn)換為XML文件(如圖1),SWF文件的每個標簽數(shù)據(jù)塊都映射到XML文件對應的標簽中,在XML標簽中采用屬性和參數(shù)值來表征SWF標簽的結(jié)構(gòu)化數(shù)據(jù),XML文件的可讀性便于我們挖掘和理解Flash動畫的存儲結(jié)構(gòu)和內(nèi)容信息。

圖1Flash-To-XML

由圖1所示,SWF文件由文件頭、文件主體、文件結(jié)束標記三部分組成,文件主體由順序排列的定義型標簽(Definition tag)和控制型標簽(Control tag)組成。文件頭定義了SWF文件的基本信息,包括壓縮標識、文件版本、文件長度、舞臺大小、幀率和幀數(shù)。文件主體中,定義型標簽定義了所有組成元素的屬性及特征參數(shù),控制型標簽控制各類組成元素的屬性變化、動態(tài)效果和人機交互等。比如,DefineShape和DefineText都是定義型標簽,分別用來定義形狀和文本;PlaceObject和ShowFrame都是控制型標簽,前者在舞臺上放置一個對象,后者顯示一幀的內(nèi)容。文件結(jié)束標記即END標簽,標識著動畫文件的結(jié)束。SWF動畫文件中的標簽遵循“先定義,后使用”的原則,如果動畫文件有File Attributes標簽,則File Attributes標簽必須是第一個標簽[3]。

在SWF動畫文件中,首先由定義型標簽定義不同的媒體對象,比如文本、圖形、聲音等,并為每個對象分配唯一的ID值;Flash播放器在解析SWF文件時,將各種媒體對象放到一個稱為“Dictionary”的庫中;控制型標簽根據(jù)對象的ID在對象庫中搜索,找到該對象并施加特定的動作,比如顯示、旋轉(zhuǎn)、縮放對象或改變整個動畫的播放流程等。定義型標簽、對象庫和控制型標簽是SWF文件實現(xiàn)豐富的動態(tài)效果必不可少的組成部分,三者相互配合、相互作用形成了Flash動畫。

二 Flash動畫的內(nèi)容特征分析

1 Flash動畫特征描述

Flash動畫的特征包括外部特征和內(nèi)部特征,外部特征指文件名、創(chuàng)建日期等外部屬性,內(nèi)部特征指文本、圖形、圖像等組成元素的參數(shù)及屬性值,要實現(xiàn)基于內(nèi)容的Flash動畫檢索就必須提取Flash動畫的內(nèi)部特征。Flash動畫的文本可以由關(guān)鍵詞、功能描述,圖形通過模式識別分為圓形、橢圓、正方形、長方形、凹多邊形、凸多邊形和復雜形狀等,圖像由位置、大小、效果等屬性描述,效果包括旋轉(zhuǎn)、縮放、漸變、運動。與基于像素點的視頻及圖像的對象不同,Flash動畫的媒體對象是矢量格式的,可以根據(jù)SWF文件的結(jié)構(gòu)特征,利用內(nèi)容分析的方法,通過數(shù)學計算從定義型標簽中提取出來,而各種動態(tài)效果可以從控制型標簽中提取出來[4]。Flash動畫的各種媒體元素特征描述如表1。

表1Flash動畫媒體元素特征描述

表1中,文本的“內(nèi)容”指從該文本中提取的關(guān)鍵詞,“功能”指該文本在Flash中所起的作用,如標題、目錄、正文、隱現(xiàn)提示等;圖形的“形狀”根據(jù)圖形在SWF文件中的存儲數(shù)據(jù),通過模式識別分為圓形、橢圓、正方形、長方形、凹多邊形、凸多邊形和復雜形狀等;圖像的“位置、大小、效果”是指應用于形狀填充時,圖像在舞臺上的位置、大小、效果等屬性;圖像、視頻、影片剪輯的“效果”指旋轉(zhuǎn)、縮放、漸變、運動等;所有媒體對象的“所在幀號”都是指該對象在SWF文件中的哪一幀。

2 Flash動畫內(nèi)容特征提取平臺

SWF文件格式是開源的,通過閱讀SWF文件格式說明書,分析Flash動畫的形成原理,我們建立了Flash動畫內(nèi)容特征提取平臺(如圖2)。同時,利用SWFmill工具將SWF文件轉(zhuǎn)換為XML文件作為評估標準,如果Flash動畫內(nèi)容特征提取平臺提取的內(nèi)容信息與XML文件的標簽內(nèi)容能完全吻合,說明實驗結(jié)果完全正確,再進一步提取Flash動畫中組成元素的內(nèi)容特征描述參數(shù),建立Flash動畫內(nèi)容特征索引庫,實現(xiàn)基于內(nèi)容的Flash動畫檢索平臺。

圖2 Flash動畫內(nèi)容特征提取平臺

首先提取SWF的文件頭信息,包括文件頭、壓縮標識、文件版本、文件長度、舞臺大小、幀數(shù)、幀率,描述Flash動畫的總體特征;然后提取文件主體包含的所有標簽,直到標識文件結(jié)束的END標簽。Flash動畫的內(nèi)容特征采用標簽類型、編碼、標簽長度、幀號、幀的位置來描述,標簽類型指動畫文件中定義型標簽和控制型標簽的名稱,通過標簽的編碼值來標識;標簽長度以字節(jié)為單位,指標簽的數(shù)據(jù)內(nèi)容所占的字節(jié)數(shù);幀號即處于動畫文件中的第幾幀;幀的位置以字節(jié)為單位,標識該幀所在的字節(jié)位置,當我們要修改或刪除一幀的內(nèi)容時,通過幀的位置來判斷。

SWF動畫文件中的標簽由兩部分組成:標簽頭和標簽內(nèi)容。根據(jù)標簽內(nèi)容的長度不同,標簽頭又分兩種:短型標簽頭和長型標簽頭[5]。當標簽的內(nèi)容長度不超過62個字節(jié)時,標簽采用短型標簽頭;大于等于63個字節(jié)時采用長型標簽頭。短型標簽頭占2個字節(jié),長型標簽頭占6個字節(jié),因此,計算幀的位置時需要加上標簽頭的字節(jié)數(shù)。圖2所示,橢圓(填充).swf動畫只有一幀內(nèi)容,幀率為每秒12幀,幀的位置是第292字節(jié),END標簽標簽長度為0,標簽頭占2個字節(jié),因此,文件長度為294個字節(jié)。

Flash動畫內(nèi)容特征提取平臺首先解析動畫的基本內(nèi)容,然后再針對不同的標簽,提取標簽中的數(shù)據(jù)信息,并通過基于內(nèi)容的分析方法獲取特征信息,比如圖形的形狀為圓形。我們通過解析相關(guān)的所有標簽,提取了Flash動畫中文本、圖形、圖像、聲音、視頻、影片剪輯、按鈕的特征描述參數(shù),并將其放到Flash動畫的特征索引庫中,采用一定匹配算法返回符合用戶請求的檢索結(jié)果,提高Flash動畫檢索的效率和準確率。

三 Flash動畫的圖像信息提取

SWF文件支持多種圖像格式,比如bmp、jpg、gif、png等,為了減小動畫文件大小,SWF嵌入的圖像都經(jīng)過壓縮,包括JPEG提供的有損壓縮和ZLIB提供的無損壓縮兩種壓縮圖像。JPEG采用的數(shù)據(jù)格式由ITU T.81或ISO/IEC 10918-1[6]文件描述,ZLIB庫采用的數(shù)據(jù)格式由1950-1952 RFCs[7]文件描述。對于精確度不高的圖像采用JPEG壓縮格式,如照片;對于精確圖像采用ZLIB壓縮算法,如圖表、圖示、屏幕截圖等,SWF動畫中的兩種壓縮圖像都可以選擇包含alpha通道信息。SWF動畫中的JPEG圖像采用JPEG Interchange 格式(即JFIF),Flash Player能夠友好地解析常用的JFIF格式。

JPEG格式是一個由獨立聯(lián)合圖像專家組(Joint Photographic Experts Group)開發(fā)的開放標準,被廣泛應用于多媒體和網(wǎng)絡(luò)中,是HTML語言支持的標準圖像格式之一。JPEG編碼采用YCbCr顏色系統(tǒng),Y是亮度信息,CbCr是色調(diào)信息,編碼時對Y進行細量化,對CbCr進行粗量化,以提高壓縮比。JPEG格式可分為基于離散余弦變換(DCT)的有失真壓縮和使用預測器的無失真壓縮,按編碼順序又分為順序式編碼(sequential encoding)和遞增式編碼(progressive encoding),順序式編碼按從左到右、從上到下編碼,遞增式編碼按從模糊到清晰的方式分次處理。基于DCT變換的有失真壓縮的編碼模式,分為僅能接受每像素點以8位標識的基本圖像處理模式(Baseline Process)和接受每像素點8位或12位表示的擴展圖像處理模式(Extended Process),我們依據(jù)基于DCT變換的順序式基本圖像處理模式(Baseline Process)分析Flash動畫的JPEG壓縮圖像,其編碼過程如圖3[8]。

圖3 基于DCT變換的JPEG壓縮編碼

在SWF動畫中,圖像的定義與存儲分別由DefineBits、JPEGTables、DefineBitsJPEG2、DefineBitsJPEG3、DefineBitsLossless、DefineBitsLossless2六個標簽完成,具體內(nèi)容及功能如表2。

表2 SWF動畫中的圖像定義及存儲格式

JPEG壓縮圖像的內(nèi)容結(jié)構(gòu)包括一個開始標識SOI、一個幀F(xiàn)rame(Baseline Process只有一幀)、一個結(jié)束標識EOI,Frame中包含編碼表和壓縮數(shù)據(jù)。DefineBits標簽中只包含JPEG圖像的壓縮數(shù)據(jù),即Frame Header(幀頭)后面的內(nèi)容,JPEGTables標簽中包含了用來編碼圖像所使用的編碼表和量化表等,即Tables/Misc的內(nèi)容,因此必須綜合DefineBits和JPEGTabels的數(shù)據(jù)內(nèi)容才能提取SWF動畫中的某些圖像。一個SWF動畫只能有一個JPEGTables標簽,所有DefineBits標簽定義的圖像都必須共享相同的編碼表和量化表。DefineBitsJPEG2標簽不同于DefineBits,它既包含JPEG編碼表,也包含JPEG圖像壓縮數(shù)據(jù),支持采用不同編碼表的多類JPEG圖像。DefineBitsJPEG3標簽是DefineBitsJPEG2的擴展,增加了alpha通道數(shù)據(jù),alpha通道信息(即透明度)不是JPEG圖象的標準特征,與JPEG圖像的數(shù)據(jù)分開存儲,alpha通道采用ZLIB標準壓縮存儲。

SWF動畫中的無損壓縮圖像由DefineBitsLossless和DefineBitsLossless2定義。DefineBitsLossless定義了采用ZLIB壓縮的RGB位圖數(shù)據(jù),支持8位colormapped圖像和15位或24位direct圖像,colormapped圖像定義了一個包含256種顏色的調(diào)色板,每一種顏色由一個24位RGB值表示,圖像的每一個像素采用8位索引值來關(guān)聯(lián)調(diào)色板;direct圖像采用15位或24位存儲實際的像素顏色值。DefineBtisLossless2是DefineBitsLossless的擴展,增加了alpha通道信息,支持8位colormapped圖像和32位direct圖像,colormapped圖像的調(diào)色板顏色采用RGBA值定義,direct圖像每個像素采用32位ARGB顏色值描述。

綜上所述,通過分析Flash動畫的圖像定義標簽(見表2),提取不同壓縮格式的圖像的內(nèi)容數(shù)據(jù),依據(jù)不同的編碼格式,將提取的圖像數(shù)據(jù)信息寫成特定格式的圖像,就完成了Flash動畫中的圖像對象的提取。需要注意的是,DefineBits、JPEGTables、DefineBitsJPEG2、DefineBitsJPEG3標簽中定義圖像數(shù)據(jù)的字段以JPEG圖像的SOI 開始標記0xFF、0xD8開始,以EOI結(jié)束標記0xFF、0xD9結(jié)束,但是SWF8之前的版本,在SOI標識之前有一個錯誤的頭,即0xFF、0xD9、0xFF、0xD8。因此,在提取圖像數(shù)據(jù)時,必須排除這4個字節(jié)的錯誤頭。再者,DefineBitsLossless和DefineBitsLossless2提供的無損壓縮,記錄的是圖像每個像素的顏色信息,例如RGB、RGBA、ARGB等,包含這些像素顏色信息的每個數(shù)據(jù)結(jié)構(gòu)都是作為一個單獨的數(shù)據(jù)塊壓縮的,因此,圖像行寬必須是24位或32位位齊的。

四 結(jié)束語

基于內(nèi)容的Flash動畫檢索將促進Flash動畫的發(fā)展與應用,為教育資源的獲取和管理帶來新的活力,使教學活動更好地適應數(shù)字時代的要求。隨著研究的深入,Flash動畫的內(nèi)容特征提取還將包括媒體對象的動態(tài)特征和交互特征,對動畫中媒體對象的運動軌跡、運動方式等動態(tài)特征進行提取。在媒體對象、動態(tài)特征和交互特征提取的基礎(chǔ)上,將來還可以自動提取交互程度、動畫節(jié)奏、動畫類別等高層語義特征,從而根據(jù)這些高層語義特征在一定程度上能夠推斷出動畫的創(chuàng)作者創(chuàng)作動畫的意圖。用戶檢索動畫關(guān)注的每一個特征都要包含在檢索平臺中,為教師和學生更好地應用Flash動畫,充分發(fā)揮Flash的功能提供保證。

——————————

參考文獻

[1] Yang Jun, Qing Li, et al. FLAME: A Generic Framework for Content-Based Flash Retrieval [EB/OL].

[2] Jun Yang, Qing Li, Liu Wenyin, Yueting Zhuang. Searching for Flash Movies on the Web: A Content and Context Based Framework[EB/OL].

[3] SWF File Format Specification (Version 10)[EB/OL].

[4] 劉磊. Flash動畫的內(nèi)容分析與特征提取研究[D].山東:山東師范大學,2008.

[5] Meng Xiang-zeng,Liu Lei. On Retrieval of Flash Animations based on Visual Features[J].Lecture Notes of Computer Science,2007:5093, 270-277.

[6] Internet RFC/FYI/STD/BCP Archives Search[EB/OL].

[7] RFC 1950[EB/OL].

[8] 張益貞,劉滔.Visual C++實現(xiàn)MPEG/JPEG編解碼技術(shù)[M].北京:人民郵電出版社,2002:134-135.