朱 琦

（國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作湖北中心，湖北 武漢 430070）

視頻檢索專利技術(shù)分析

朱 琦

（國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作湖北中心，湖北 武漢 430070）

近年來，隨著多媒體編碼、計(jì)算機(jī)多媒體處理和網(wǎng)絡(luò)傳輸技術(shù)的飛速發(fā)展，人們可通過互聯(lián)網(wǎng)實(shí)時(shí)查詢、欣賞和產(chǎn)生豐富多彩的視頻信息?；ヂ?lián)網(wǎng)逐漸成為一個(gè)巨大的視頻倉庫，如何有效地組織和和檢索視頻信息已成為數(shù)據(jù)庫領(lǐng)域中研究的關(guān)鍵性問題。本文通過對(duì)視頻檢索技術(shù)相關(guān)的專利數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，然后從專利文獻(xiàn)的視角對(duì)視頻檢索技術(shù)的發(fā)展進(jìn)行全面的分析，進(jìn)而對(duì)視頻檢索領(lǐng)域內(nèi)的重要專利進(jìn)行總結(jié)。

視頻；檢索；運(yùn)動(dòng)；紋理；語義

1　視頻檢索概述

在現(xiàn)有技術(shù)中，傳統(tǒng)的基于文本的視頻檢索方法利用文本信息對(duì)視頻內(nèi)容進(jìn)行注釋，通過對(duì)關(guān)鍵字進(jìn)行抽取來描述視頻內(nèi)容的語義特征，但是由于目前的技術(shù)還不能對(duì)視頻內(nèi)容的語義特征進(jìn)行自動(dòng)描述，仍需要手工的方法對(duì)視頻進(jìn)行解釋和注釋。

于是為了能快捷地對(duì)海量視頻信息進(jìn)行過濾、瀏覽和檢索，人們提出了基于內(nèi)容的視頻檢索技術(shù)，并取得了一定的進(jìn)展，根據(jù)視頻的內(nèi)容和上下文的關(guān)系，鬼大規(guī)模視頻數(shù)據(jù)庫中的視頻數(shù)據(jù)進(jìn)行檢索。它在沒有人工參與的情況下，自動(dòng)提取并描述視頻的特征和內(nèi)容。現(xiàn)有的視頻內(nèi)容檢索大多是非語義層面的，由于低層特征和高層語義概念之間存在語義鴻溝，在語義概念層析進(jìn)行視頻內(nèi)容的描述和操縱面臨巨大困難。如何從視頻內(nèi)容中提取人類思維的語義概念成為視頻內(nèi)容檢索研究的新重點(diǎn)。

本文將基于專利文獻(xiàn)分析，對(duì)現(xiàn)有的視頻檢索技術(shù)做綜述性介紹，并對(duì)視頻檢索技術(shù)的關(guān)鍵內(nèi)容，以及重點(diǎn)企業(yè)進(jìn)行一定的分析。

2　視頻檢索技術(shù)專利分析

下面通過附圖的形式對(duì)視頻檢索專利進(jìn)行分析。圖1顯示視頻檢索技術(shù)專利申請(qǐng)量隨年份的變換情況。自2003年至2013年，視頻檢索專利申請(qǐng)基本保持穩(wěn)步增長的態(tài)勢。

圖1　

圖2則是對(duì)視頻檢索技術(shù)專利主要申請(qǐng)人進(jìn)行的分析。相關(guān)專利申請(qǐng)共涉及70個(gè)企業(yè)或院校。其中不乏知名IT企業(yè)與研究所，比如中星微電子公司、北京北大方正技術(shù)研究院有限公司、上海交通大學(xué)、浙江大學(xué)、公安部第三研究所。在本文第4部分，我將中星微電子公司作為重點(diǎn)企業(yè)進(jìn)行了概要性的分析。

在瀏覽大量專利文獻(xiàn)的基礎(chǔ)上，我對(duì)視頻檢索專利從關(guān)鍵幀的提取的方面進(jìn)行研究，并對(duì)相關(guān)專利進(jìn)行進(jìn)一步的分析。

3　視頻檢索專利技術(shù)的研究

視頻檢索技術(shù)可以分為低層和高層特征的檢索技術(shù)，低層特征即是識(shí)別和描述圖像的顏色、紋理、形狀或空間關(guān)系等基本技術(shù)，高層特征即是基于高層語義的檢索，是目前研究的新焦點(diǎn)。

①人工標(biāo)注：傳統(tǒng)的視頻檢索方法主要是通過對(duì)視頻資料的內(nèi)容進(jìn)行一定的文本標(biāo)注，形成索引，然后利用基于關(guān)鍵字的方法來進(jìn)行檢索。例如：【發(fā)明名稱】基于多媒體分析的視頻事件檢測方法。本發(fā)明是基于多媒體分析的視頻事件檢測方法，其包括：利用文本分析對(duì)視頻進(jìn)行分析，得到少量的自動(dòng)標(biāo)注視頻數(shù)據(jù)；建立時(shí)間模型，根據(jù)事件模型，對(duì)視頻的內(nèi)容進(jìn)行語義分析，得到視頻中事件的位置信息。

②運(yùn)動(dòng)特征、顏色、紋理、形狀或空間關(guān)系等檢索：對(duì)視頻進(jìn)行標(biāo)注會(huì)花費(fèi)大量的人力物力，接著提出一種基于運(yùn)動(dòng)特征、顏色、紋理、形狀或者空間等低層次的檢索，例如：【發(fā)明名稱】集成顏色和運(yùn)動(dòng)特征進(jìn)行鏡頭檢索的方法。本發(fā)明直接在壓縮域上提取鏡頭的運(yùn)動(dòng)特征，然后構(gòu)造鏡頭的運(yùn)動(dòng)直方圖度量兩個(gè)鏡頭的運(yùn)動(dòng)相似度。從關(guān)鍵幀中提取顏色運(yùn)動(dòng)等低級(jí)的特征，用于鏡頭的索引和檢索。這樣就把基于內(nèi)容的鏡頭檢索轉(zhuǎn)化為基于內(nèi)容的圖像來進(jìn)行檢索。另一種情形則是可以根據(jù)特征的融合來判斷壓縮視頻的相關(guān)性。例：【發(fā)明名稱】一種視頻檢索的方法和裝置。然而依據(jù)運(yùn)動(dòng)特征、顏色、紋理、形狀或者空間來進(jìn)行檢索，有針對(duì)性強(qiáng)且準(zhǔn)確的優(yōu)勢。然而這種方式存在局限性，應(yīng)用領(lǐng)域較窄。

圖2　視頻檢索技術(shù)分支

③關(guān)鍵幀提?。涸诩夹g(shù)發(fā)展初期，基于內(nèi)容的視頻檢索與挖掘，就是根據(jù)視頻的內(nèi)容的上下文關(guān)系等低層特征，對(duì)大規(guī)模的視頻數(shù)據(jù)庫中的視頻數(shù)據(jù)進(jìn)行分析和檢索。目前基于內(nèi)容的視頻檢索與挖掘，除了識(shí)別和描述圖像的顏色、紋理、形狀和空間關(guān)系等基本技術(shù)外，主要集中研究視頻鏡頭檢測和關(guān)鍵幀提取技術(shù)，例如：【發(fā)明名稱】海量視頻內(nèi)容檢索方法、系統(tǒng)及移動(dòng)終端。本發(fā)明公開了海量視頻內(nèi)容檢索方法、系統(tǒng)及移動(dòng)終端。其中所述方法為通過對(duì)視頻切分，切割成鏡頭，實(shí)現(xiàn)對(duì)各個(gè)鏡頭的特征提取，得到一個(gè)能夠充分反映視頻鏡頭內(nèi)容的特征空間，這個(gè)特征空間將作為海量視頻精確檢索的依據(jù)和基礎(chǔ)。它能夠處理海量視頻數(shù)據(jù)，同時(shí)能滿足用戶的精確檢索的視頻應(yīng)用特點(diǎn)。

④基于關(guān)鍵幀的快速檢索：正如之前提到的，基于用戶關(guān)鍵幀提取然后進(jìn)行視頻檢索存在實(shí)時(shí)性弱的缺陷。例如用戶有一小段視頻文件，想要獲得該視頻的對(duì)應(yīng)的完整視頻就要進(jìn)行快速檢索；例如：【發(fā)明名稱】一種視頻檢索方法及裝置。本發(fā)明公開了一種視頻檢索方法，用于基于視頻內(nèi)容的快速視頻檢索，該方法包括：預(yù)先建立倒排文檔，倒排文檔中包括標(biāo)準(zhǔn)特征分類與標(biāo)準(zhǔn)特征分類中對(duì)應(yīng)的標(biāo)準(zhǔn)視頻的索引該文章建立倒排索引?！景l(fā)明名稱】實(shí)現(xiàn)海量視頻快速檢索的方法。本發(fā)明涉及一種實(shí)現(xiàn)海量視頻快速檢索的方法，在空間特征向量中提取關(guān)鍵特征向量；根據(jù)視頻庫中所有視頻文件的關(guān)鍵特征向量建立分布式存儲(chǔ)索引庫；提取待檢索視頻的關(guān)鍵特征向量集并提取該待檢索視頻的視頻索引文件；根據(jù)待檢索視頻的索引文件在分布式存儲(chǔ)索引庫中進(jìn)行視頻相似度檢索并輸出相似度大于系統(tǒng)預(yù)設(shè)值視頻檢索結(jié)果。

⑤基于高層語義的視頻檢索與MPEG-7標(biāo)準(zhǔn)：利用視頻幀中的對(duì)象語義描述進(jìn)行檢索，因語義更能直觀的描述視頻對(duì)象。特別是隨著MPEG4和MPEG7的推廣與應(yīng)用，基于視頻對(duì)象的編碼方式得到了應(yīng)用。例如：【發(fā)明名稱】對(duì)視頻數(shù)據(jù)進(jìn)行管理的方法和裝置。利用本發(fā)明，可以得到視頻數(shù)據(jù)的幀圖像的深度信息，從而可以基于該深度信息提取出視頻數(shù)據(jù)的高層語義信息，并基于高層語義信息對(duì)視頻數(shù)據(jù)進(jìn)行有效地管理。

4　總結(jié)

近年來，隨著視頻檢索的快速發(fā)展，其專利申請(qǐng)量也隨之增加，為了對(duì)視頻檢索技術(shù)有全面的了解，本文通過對(duì)中文專利庫的相關(guān)專利的統(tǒng)計(jì)分析和對(duì)重要申請(qǐng)人的相關(guān)專利的分析，得出了以下結(jié)論：

傳統(tǒng)的視頻檢索技術(shù)主要通過人工的方法進(jìn)行標(biāo)注，形成索引，然后利用關(guān)鍵詞進(jìn)行檢索。發(fā)展到中期通過對(duì)視頻的低層次特征（運(yùn)動(dòng)、紋理、顏色、空間關(guān)系等）進(jìn)行檢索，其中這些檢索的關(guān)鍵即為關(guān)鍵幀提取的研究。目前許多技術(shù)方面已取得了一定的進(jìn)展，由于低層特征和高層語義概念之間存在語義鴻溝，在語義概念層析進(jìn)行視頻內(nèi)容的描述和操縱面臨巨大困難。如何消除“語義鴻溝”，從視頻內(nèi)容中提取人類思維的語義概念成為視頻內(nèi)容檢索研究的新重點(diǎn)。

［1］朱愛紅，李連.基于內(nèi)容的視頻檢索關(guān)鍵技術(shù)研究［J］.情報(bào)雜志，2004（1）：45-47.

［2］何立民，萬躍華.數(shù)字圖書館中基于內(nèi)容的視頻檢索關(guān)鍵技術(shù)［J］.中國圖書館學(xué)報(bào)，2003（2）：52-56.

［3］蘇新寧.視頻信息索引技術(shù)研究進(jìn)展［J］.信息可視化與知識(shí)管理——2003信息與信息資源管理學(xué)術(shù)研討會(huì)論文選，21-29.

［4］Barrow H G.Parametric Correspondence and Chamfer Matching［C］.Proc.5th Int.Joint Conf.Artificial Intelligence，1977：659-663.

［5］Tekalp A Murat.Digital Video Processing［M］.北京：清華大學(xué)出版社，1998.

［6］Patel Nilesh V，et al.Video Shot Detection and Characterizationfor Video Databases［J］.Pattern Recognition，1997，30：112-116.

Analysison thePatent Technology of VideoRetrieval

Zhu qi
（Patent Examination Cooperation Hubei Center of the Patent Office，State Intellectual Property Office，Wuhan Hubei 430070）

In recent years，with the rapid development of multimedia coding，computer multimedia processing and network transmission technology，people can query，enjoy and produce colorful video information in real time through the Internet.The Internet has gradually become a huge video warehouse.How to effectively organize and retrieve video information has become a key issue in the field of database research.Through patent data statistics related to video retrieval technology，a comprehensive analysis on the video retrieval technology development is carried out from the perspective of patent literature，and the important patents in the field of video retrieval are further summarized in this paper.

video；retrieval；motion；texture；semanti

TP319.3

A

1003-5168（2015）12-0004-3

2015-12-5

朱琦（1987.3-），男，研究生，專利審查員，研究方向：圖像識(shí)別與計(jì)算機(jī)信息檢索。