吳潔明，周正喜，史建宜

（北方工業(yè)大學(xué) 信息工程學(xué)院，北京100144）

本文依托“基于視頻素材的虛擬場景生成系統(tǒng)及其關(guān)鍵技術(shù)研究”課題，圖1是該課題的部分框架。

通過視頻場景內(nèi)容標(biāo)注工具對視頻幀進(jìn)行標(biāo)注，根據(jù)知識表達(dá)集生成視頻的描述標(biāo)注信息，并且通過視頻數(shù)據(jù)庫保存起來。輸入的檢索文本通過視頻場景內(nèi)容檢索工具，檢索返回用戶所需要的視頻。

文本解析模塊需面向視頻場景內(nèi)容，基于語義對文本進(jìn)行解析，以匹配視頻語義標(biāo)注集，從而獲得更好的檢索效果。本文主要描述了面向視頻場景內(nèi)容檢索的文本解析工具的設(shè)計思想和實現(xiàn)原理。

1 相關(guān)工作

1.1 中文分詞

中文分詞是將中文字序列按照一定的規(guī)則重新組合成詞序列的過程[1]。在對文本進(jìn)行解析時，詞是最小的能夠獨立活動的有意義的語言成分。沒有中文分詞，其他一切深入的中文信息處理都無從談起[2]。

在中文分詞方面已經(jīng)有精確度很高的分詞算法和工具，特別是中國科學(xué)院計算所推出的ICTCLAS(Institute of Computing Technology，Chinese Lexical Analysis System)，是由中科院計算所的張華平、劉群所開發(fā)的一套分詞系統(tǒng)，其漢語分詞、未定義詞識別、詞性標(biāo)注和人名識別的效果廣受好評[3-4]。

1.2 關(guān)鍵詞提取

關(guān)鍵詞能夠以最簡潔的形式概括表達(dá)文章主體大意，可用來檢索海量信息。

目前大部分的關(guān)鍵詞提取算法都是基于機(jī)器學(xué)習(xí)的方法。在這些算法中，同一篇文檔中的同一個詞在不同的地方或許有不同的意思，例如“蘋果”能夠表示水果的一種或者蘋果產(chǎn)品的意思。同樣地，不同的詞能夠表示相同的意思。這些現(xiàn)象產(chǎn)生的原因在于詞匯層面(代表意思的詞)和概念層面(意思本身)的差別，這樣將會導(dǎo)致關(guān)鍵詞提取的不準(zhǔn)確[5]。

國內(nèi)外對于文本關(guān)鍵詞的提取研究主要是針對文檔、Web頁面等大文本，而本系統(tǒng)針對的是小文本。本文采取基于漢語語法規(guī)則和中文分詞系統(tǒng)分詞的詞性，進(jìn)行關(guān)鍵詞的提取。如對于主體而言，在經(jīng)過分詞后，詞性被確定為“nr”或“r”(如“貝克漢姆”詞性為“nr”，“他”詞性為“r”)，則該詞語為主體；如對于行為而言，詞性被確定為“v”(如“射”詞性為“v”)，則該詞語為行為的一部分。

1.3 加權(quán)算法

一般的文本具有有限的結(jié)構(gòu)或根本沒有結(jié)構(gòu)，文本解析的目的是抽取出該文本的結(jié)構(gòu)特征并用結(jié)構(gòu)化的形式保存。本文選用經(jīng)典的TF-IDF算法表示特征的權(quán)重。

在一份給定的文件里，詞頻（TF）指某一個給定的詞語在該文件中出現(xiàn)的次數(shù)，對于在某一特定文件里的詞語ti來說，它的重要性為：

其中，ni，j是該詞在文件 dj中的出現(xiàn)次數(shù)，而分母是在文件dj中所有字詞的出現(xiàn)次數(shù)之和。逆向文件頻率(IDF)是一個詞語普遍重要性的度量。某一特定詞語的IDF為：

其中，|D|為語料庫中的文件總數(shù)，|d：ti∈d|表示包含詞語 ti的文件數(shù)目（即ni≠0的文件數(shù)目）。再由

計算出某一特定文件內(nèi)的高頻率詞語。過濾常見的詞語，保留重要的詞語[6]。

1.4 關(guān)鍵詞映射技術(shù)

視頻檢索文本經(jīng)過中文分詞后，提取了關(guān)鍵詞及其權(quán)重，并且生成了視頻檢索結(jié)構(gòu)，但是，其與知識表達(dá)集中的信息不一定完全符合，需要將關(guān)鍵詞映射到知識表達(dá)集，然后進(jìn)行檢索。例如輸入的視頻檢索文本“范尼斯特魯伊小禁區(qū)內(nèi)右腳射門”經(jīng)過關(guān)鍵詞提取與權(quán)重排序模塊之后，生成了關(guān)鍵詞“范尼斯特魯伊”，但是知識表達(dá)集里沒有定義“范尼斯特魯伊”，而只是定義了“人”或者是“運(yùn)動員”，所以，要依據(jù)一定的技術(shù)（如數(shù)據(jù)字典、人名識別等）將“范尼斯特魯伊”映射為知識表達(dá)集中的“人”或者“運(yùn)動員”，再生成到知識表達(dá)集的檢索結(jié)構(gòu)，供檢索算法調(diào)用。在這部分工作中，涉及到三方面的問題：

(1)實例到概念的映射。如“羅納爾多”是“運(yùn)動員”這個概念的一個實例，則在檢索過程中，應(yīng)該將“羅納爾多”映射成為“運(yùn)動員”。

(2)同義詞匹配。如果檢索語句中有“門將”關(guān)鍵詞，而知識表達(dá)集中只有相對應(yīng)的“守門員”這個本體，則應(yīng)該將二者匹配起來。

(3)未登錄詞映射。當(dāng)檢索語句中有知識表達(dá)集中沒有涉及到的概念或本體時，則需要做關(guān)鍵詞映射，例如將“球員”映射為“運(yùn)動員”。

2 面向視頻場景內(nèi)容檢索的文本解析工具

2.1 總體設(shè)計

面向視頻場景內(nèi)容檢索的文本解析工具主要包括4個模塊：中文分詞模塊、關(guān)鍵詞提取模塊、關(guān)鍵詞權(quán)重排序模塊和關(guān)鍵詞映射模塊，如圖2所示。輸入的視頻檢索文本經(jīng)中文分詞模塊生成詞語及詞性序列，關(guān)鍵詞提取模塊生成主體、行為、場景、身體部位等關(guān)鍵詞，經(jīng)過關(guān)鍵詞權(quán)重排序模塊生成帶有權(quán)值的關(guān)鍵詞結(jié)構(gòu)，最后做關(guān)鍵詞到知識表達(dá)集的映射，優(yōu)化檢索。

2.2 中文分詞模塊

對于輸入的檢索文本，漢語分詞系統(tǒng)ICTCLAS能分解出各個成分，并且確定各個成分的詞性。如檢索文本“范尼斯特魯伊小禁區(qū)內(nèi)右腳射門”，分詞的最終結(jié)果為“范尼斯特魯伊/nr小/h 禁區(qū)/n 內(nèi)/f右/f腳/n 射門/v”。 其中，“nr”表示“人名”，“h”代表“前綴”，“n”表示“名詞”，“f”表示“方位詞”，“v”表示“動詞”。

2.3 關(guān)鍵詞提取模塊

本文應(yīng)用背景主要是對足球運(yùn)動視頻的檢索。關(guān)鍵詞提取模塊基于中文分詞模塊的切分句子和分出各個成分詞性的分詞結(jié)果，通過漢語語法規(guī)則，提取能表現(xiàn)足球運(yùn)動視頻幀的主體、行為、場景和身體部位等關(guān)鍵詞。

設(shè)檢索文本中第i個詞稱為詞i，其詞性用partOf-Speech[i]表示。

2.3.1 主體關(guān)鍵詞提取

(1)當(dāng) partOfSpeech[i]為“nr”（人名，如“貝克漢姆”）或“r”（代詞，如“我”）時，詞 i是主體；

(2)當(dāng) partOfSpeech[i]為 “pbei” （ 被 動 詞 ）， 且 partOf-Speech[i+1]為“n”時，詞 i+1 是主體；

(3)當(dāng) partOfSpeech[i]為 “pbei”， 且 partOfSpeech[i+1]為“v”時，被動詞后應(yīng)有一個主體，主體類型（運(yùn)動員、守門員，裁判）由“v”的類型發(fā)出者決定，此時的主體為補(bǔ)充主體。

2.3.2 行為關(guān)鍵詞提取

行為關(guān)鍵詞主要涉及到動詞及其賓語，本文中，行為主要是動詞+賓語。

當(dāng) partOfSpeech[i]為 “v”或 “vg”或 “vn”或 “vd” 或“vJudge_word”（自定義詞性），且詞 i+1 詞性為“v”或“n”或“ng”，且詞 i+2 詞性為“v”或“n”時，行為=詞 i+詞(i+1)+詞(i+2)。 如果詞 i+2詞性不為“v”且不為“n”時，行為=詞 i+詞(i+1)。如果詞 i+2詞性不為“v”且不為“n”，且詞 i+1 詞性不為“v”且不為“n”且不為“ng”時，行為=詞 i。

2.3.3 場景關(guān)鍵詞提取

(1)當(dāng) partOfSpeech[i]為 “p”， 且 partOfSpeech[i+1]為“n”或“s”時，詞 i+1 是場景；

(2)當(dāng) partOfSpeech[i]為 “n”，且 partOfSpeech[i+1]為“f”，且詞 i-1 的詞性為“a”時，場景=詞(i-1)+詞 i+詞(i+1)。 如果 partOfSpeech[i-1]不為“a”，則場景=詞 i+詞(i+1)；

(3)當(dāng) partOfSpeech[i]為 “f”，且 partOfSpeech[i+1]為“q”，則場景=詞 i+詞(i+1)；

(4)當(dāng) partOfSpeech[i]為 “scene_word” （ 自 定 義 詞 性)，則詞i是場景。

2.3.4 身體部位關(guān)鍵詞提取

(1)當(dāng) partOfSpeech[i]為“pyong”，則詞 i是身體部位；

(2)當(dāng) partOfSpeech[i]為 “f”， 且 partOfSpeech[i+1]為“n”，則身體部位=詞 i+詞(i+1)；

(3)當(dāng) partOfSpeech[i]為 “f”， 且 partOfSpeech[i+1]為“q”，則身體部位=詞 i+詞(i+1)；

(4)當(dāng) partOfSpeech[i]為 “bodyPart_word”(自 定 義 詞性)，則詞 i是身體部位。

2.3.5 關(guān)鍵詞提取模塊的實現(xiàn)

關(guān)鍵詞提取模塊為了存取4類關(guān)鍵詞，涉及了兩種數(shù)據(jù)結(jié)構(gòu)。第一種是存儲分詞后各詞的名稱及詞性的一個二維數(shù)組，具體為String deletedSymbolResult[][]=new String[TEXTNO][2]，其中，TEXTNO表示一次分詞過程中可能涉及到的最多的詞語數(shù)目，deletedSymbolResult[i][0]存取詞語的名稱，deletedSymbolResult[i][1]存取詞語的詞性。 第二種數(shù)據(jù)結(jié)構(gòu)是類 KeywordStruct、subject、action、scene和bodyPart，分別存取主體、行為、場景和身體部位關(guān)鍵詞。由于每個主體的行為可能有多個，因此，行為action以數(shù)組形式存?。簆ublic String action[]=new String[127]。因為關(guān)鍵詞提取模塊是在中文分詞基礎(chǔ)上進(jìn)行，所以，要對中文分詞進(jìn)行優(yōu)化以將分詞結(jié)果存于合適的數(shù)據(jù)結(jié)構(gòu)中，加載自定義詞典以彌補(bǔ)原有詞典的不足，然后進(jìn)行4類關(guān)鍵詞的提取。關(guān)鍵詞提取模塊對關(guān)鍵詞的提取分為以下幾個部分：

(1)中文分詞處理結(jié)果的優(yōu)化，包括刪除分詞結(jié)果中標(biāo)點符號和以空格和“/”分隔符分割的分詞結(jié)果，抽取詳細(xì)分詞信息這兩部分。中文分詞的結(jié)果以字符串wordSegResult（如“范尼斯特魯伊/nr小/h 禁區(qū)/n 內(nèi)/f右/f 腳/n 射門/v”）表示，調(diào)用 split("\s")和 split("/")方法，可以以空格和“/”分割分詞結(jié)果，并且將分割的結(jié)果存入deletedSymbolResult中，分詞結(jié)果中標(biāo)點符號的刪除以循環(huán)deletedSymbolResult數(shù)組、剔除標(biāo)點的方法實現(xiàn)。

(2)加載自定義字典，重新定義部分詞語的詞性。在中文分詞處理結(jié)果優(yōu)化的基礎(chǔ)上，調(diào)用類KeywordStruct中plusDictionary()方法，包括將“守門員”這類普通名詞“n”重新定義為能識別出其主體特征的“nr”詞性，將“黃牌警告”重新定義為“vJudge_word”這類能識別出主體發(fā)出者為“裁判”的詞性等。

(3)進(jìn)行主體、行為、場景和身體部位關(guān)鍵詞的識別和提取，包括存儲關(guān)鍵詞信息的類KeywordStruct實例化和各個關(guān)鍵詞的存取。本文考慮到輸入的視頻檢索文本中可能對應(yīng)多個主體，將類KeywordStruct實例化為一個字符串?dāng)?shù)組變量。數(shù)組的每個元素對應(yīng)一條信息（主體、行為、場景和身體部位等信息）。KeywordStruct keyword[]=new KeywordStruct[3]，下面以代碼結(jié)合實例“何塞·保羅·格雷羅經(jīng)過連續(xù)傳球精密配合丹尼·墨菲助攻西蒙·戴維斯破門得分”說明。調(diào)用GetKeywords類的insertSubject()方法，調(diào)用 Getter和 Setter方法存取主體，Keyword[0].setSubject(“何塞·保羅·格雷羅”);Keyword[1].setSubject(“丹尼·墨菲”);Keyword[2].setSubject(“西蒙·戴維斯”)。調(diào)用key.insertAction()方法，調(diào)用Getter和Setter方法提取行為。如對于主體“何塞·保羅·格雷羅”，存入行為Keyword[0].setAction(0，“傳球”);Keyword[0].setAction(1,“配合”);對于主體“丹尼·墨菲”，存入行為Keyword[1].setAction(0,“助攻”)。 調(diào)用 key.insertScene()方法 和 key.insertBodyPart()方法相應(yīng)地獲得對應(yīng)主體行為發(fā)生的場景和該行為發(fā)生時所用的身體部位。

2.4 關(guān)鍵詞權(quán)重排序模塊

關(guān)鍵詞權(quán)重排序主要是為了確定4類關(guān)鍵詞對于輸入的視頻檢索語句的重要程度，即檢索時與視頻的相關(guān)度。

設(shè)計存取主體、行為、場景和身體部位這4類關(guān)鍵詞 個 數(shù) 的 類 Item， 其 中 subjectNo、actionNo、sceneNo和bodyPartNo分別表示4類關(guān)鍵詞的個數(shù)，sub_act_sce_bod_No表示一個句子中主體、行為、場景和身體部位關(guān)鍵詞總個數(shù)，allSentencesNo表示總的句子數(shù)。

為了計算逆向文件頻率IDF，首先調(diào)用countWord-Frequency()讀取 Text4TF-IDF.txt中的測試語句（文本中每一行為一個測試語句），統(tǒng)計allSentencesNo，同時調(diào)用tfidf.Item類中的Getter和Setter方法，存取每個句子中subjectNo、actionNo、sceneNo 和 bodyPartNo。 這 樣，可以 得出allSentencesNo和包含某個關(guān)鍵詞的句子個數(shù)sentenceWithWord[i](i=0表示包含主體的句子總數(shù)；i=1表示包含行為的句子總數(shù)；i=2表示包含場景的句子總數(shù)；i=3表示包含身體部位的句子總數(shù))。由 idf[i]=log(allSentencesNo/sentenceWithWord[i])計算出某個關(guān)鍵詞的逆向文件頻率IDF。詞頻TF針對某個特定語句。對于輸入的測試文本，獲取該語句中 subjectNo、actionNo、sceneNo和bodyPartNo，通過計算獲得各關(guān)鍵詞的詞頻，結(jié)合IDF，計算各個關(guān)鍵詞的重要性排序。

2.5 關(guān)鍵詞映射模塊

2.5.1 同義詞匹配映射

關(guān)鍵詞檢索時，若關(guān)鍵詞與視頻庫中標(biāo)注的視頻幀信息不同，則首先與視頻庫中的知識表達(dá)集進(jìn)行同義詞(本體注釋)的匹配。在知識表達(dá)集中，對于每一個本體，其對應(yīng)著本體到本體注釋（同義詞）的一個結(jié)構(gòu)，當(dāng)關(guān)鍵詞與本體名稱不匹配時，就利用這個結(jié)構(gòu)去匹配本體注釋。

2.5.2 實例到概念的映射

關(guān)鍵詞檢索時，若關(guān)鍵詞與視頻庫中標(biāo)注的視頻幀信息不同，并且關(guān)鍵詞與匹配本體注釋也不匹配，則需要查詢本體樹結(jié)構(gòu)(本體樹定義在一個XML文檔中)。如圖3所示。

以上的關(guān)鍵詞到知識表達(dá)集的映射過程可以概括為如圖4所示的活動圖。首先進(jìn)行同義詞匹配，若匹配成功，則從視頻庫獲取視頻的名稱、URL等信息，輸出視頻信息；若匹配不成功，則進(jìn)行實例到概念的匹配，如果匹配成功，則從視頻庫里獲取并輸出視頻信息；如果匹配不成功，輸出“無對應(yīng)視頻信息”的提示。

2.6 文本解析工具

總體上，面向視頻場景內(nèi)容檢索的文本解析工具采用 B/S架構(gòu)[7-8]，后臺是中文分詞模塊、關(guān)鍵詞提取模塊、關(guān)鍵詞權(quán)重排序模塊和關(guān)鍵詞到知識表達(dá)集的映射模塊等組成的Web服務(wù)器。在Web瀏覽器上提交對視頻檢索文本的中文分詞、關(guān)鍵詞提取、關(guān)鍵詞權(quán)重排序、關(guān)鍵詞到知識表達(dá)集的映射請求，服務(wù)器接收到Servlet傳來的請求后依次通過中文分詞、關(guān)鍵詞提取、關(guān)鍵詞權(quán)重排序、關(guān)鍵詞到知識表達(dá)集的映射處理，對于中文分詞結(jié)果、關(guān)鍵詞提取結(jié)果和關(guān)鍵詞權(quán)重排序結(jié)果，直接以文本形式顯示在網(wǎng)頁上，對于關(guān)鍵詞到知識表達(dá)集的映射結(jié)果，以檢索到的視頻輸出到網(wǎng)頁上的形式間接反映。

當(dāng)輸入的檢索文本請求檢索頁面執(zhí)行時，如果檢索文本為空，則跳轉(zhuǎn)到錯誤處理頁面，返回檢索頁面繼續(xù)請求；當(dāng)檢索文本不為空時，跳轉(zhuǎn)到分詞結(jié)果、關(guān)鍵詞提取結(jié)果、關(guān)鍵詞權(quán)重結(jié)果顯示頁面，然后延遲一段時間（如3 s），跳轉(zhuǎn)到視頻輸出頁面，點擊視頻輸出頁面上的某個視頻（圖片或文字鏈接），則跳轉(zhuǎn)到視頻播放頁面進(jìn)行視頻播放。

3 實驗與分析

下面的實驗驗證面向視頻場景內(nèi)容檢索的文本解析工具的功能，分別包括關(guān)鍵詞提取模塊、關(guān)鍵詞權(quán)重排序模塊和整體工具的正確性和魯棒性的檢測。

3.1 實驗1

輸入檢索文本經(jīng)中文分詞后，提取面向足球視頻背景的主體、行為、場景和身體部位4類關(guān)鍵詞，見測試表1。

經(jīng)過統(tǒng)計可知關(guān)鍵詞提取模塊在提取關(guān)鍵詞時的正確率為93.5%，也可以看到，由于分詞模塊對某些人名（如“何塞·保羅”）的識別錯誤，導(dǎo)致提取關(guān)鍵詞時，將主體分為兩部分，而不是一個主體?？傮w上，關(guān)鍵詞提取模塊的關(guān)鍵詞提取功能具有可行性。

3.2 實驗2

輸入檢索文本經(jīng)關(guān)鍵詞提取后，通過關(guān)鍵詞權(quán)重排序模塊確定各個關(guān)鍵詞在不同大小的測試集中的權(quán)重。

在文件test4TFIDF.txt中放入不同數(shù)量的測試語句，調(diào)用 countWordFrequency()方法，統(tǒng)計主體、行為、場景和身體部位4類關(guān)鍵詞的IDF值。為了公平起見，計算TF時，設(shè)一個句子中4類關(guān)鍵詞都有且僅有一個，因此，可以用IDF代替TF-IDF。圖5中橫坐標(biāo)是測試文件中包含的測試語句的個數(shù)，縱坐標(biāo)是TF-IDF值。

表1 關(guān)鍵詞提取模塊功能測試表

由圖5可知，每個關(guān)鍵詞的TF-IDF值都隨著文本測試數(shù)據(jù)數(shù)量的增加而增加，對于不同數(shù)量的測試數(shù)據(jù)，涉及身體部位視頻的TF-IDF最高，其次是場景，主體和行為的TF-IDF值最低。說明對于一條視頻檢索語句，關(guān)鍵詞權(quán)重由大到小依次是身體部位、場景、行為和主體。

3.3 實驗3

對面向視頻場景內(nèi)容文本解析工具的整體功能進(jìn)行實驗。在主頁上輸入視頻檢索文本“范尼斯特魯伊小禁區(qū)內(nèi)右腳射門”并點擊“視頻搜索”按鈕時，顯示了輸入的視頻檢索文本、經(jīng)過中文分詞的結(jié)果、關(guān)鍵詞提取結(jié)果和關(guān)鍵詞權(quán)重排序的結(jié)果。3 s后，頁面自動跳轉(zhuǎn)到視頻檢索結(jié)果頁面，顯示檢索出的視頻。

通過實驗驗證了面向視頻場景內(nèi)容檢索的文本解析工具對視頻檢索文本的驗證性處理及錯誤處理功能，對中文分詞處理、關(guān)鍵詞提取處理、關(guān)鍵詞重要性排序處理的功能，對視頻顯示和播放的支持。因此，驗證了面向視頻場景內(nèi)容檢索的文本解析工具的整體功能。

本文設(shè)計并實現(xiàn)了面向視頻場景內(nèi)容檢索的文本解析工具，該工具包括中文分詞、關(guān)鍵詞提取、關(guān)鍵詞權(quán)值排序和關(guān)鍵詞到知識表達(dá)集的映射模塊。特別是關(guān)鍵詞提取部分創(chuàng)新性地利用了分詞詞性與漢語語法規(guī)則相結(jié)合的處理方式，效果顯著。

在中文分詞模塊，對于非著名球員的名字的識別率存在一定的問題，主要是人名庫沒有收錄；在關(guān)鍵詞到知識表達(dá)集的映射中，沒有考慮第三方面的問題——未登錄詞映射。下一步的工作將從這兩個方面對算法進(jìn)行改進(jìn)，以提高分詞和檢索的準(zhǔn)確度。

[1]張素智，劉放美.基于矩陣約束法的中文分詞研究[J].計算機(jī)工程，2007，33(15)：98-100.

[2]曹衛(wèi)峰.中文分詞關(guān)鍵技術(shù)研究[D].南京：南京理工大學(xué)，2009.

[3]劉群，張華平.ICTCLAS_簡介[EB/OL].(2008-12-20).[2012-03-10].http://ictclas.org/ictclas_introduction.html.

[4]Zhang Huaping，Liu Qun.Model of Chinese words rough segmentation based on N-shortest-paths method[J].Journal of Chinese Information Processing(in Chinese)，2002，16(5)：3-9.

[5]方俊，郭雷，王曉東.基于語義的關(guān)鍵詞提取算法[J].計算機(jī)科學(xué)，2008，35(6)：148-151.

[6]維基百科.TF-IDF[EB/OL].(2010-03-20).[2012-03-10].http://zh.wikipedia.org/wiki/TF-IDF.

[7]ECKEL B.Thinking in Java[M].北京：機(jī)械工業(yè)出版社，2007：1-600.

[8]HUNT A，THOMAS D.The pragmatic programmer[M].Boston，Massachusetts:Addison-Wesley Professional，2004：3-250.