朱 琦

（國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作湖北中心，湖北 武漢 430070）

視頻檢索專利技術(shù)分析

朱 琦

（國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作湖北中心，湖北 武漢 430070）

近年來，隨著多媒體編碼、計算機多媒體處理和網(wǎng)絡(luò)傳輸技術(shù)的飛速發(fā)展，人們可通過互聯(lián)網(wǎng)實時查詢、欣賞和產(chǎn)生豐富多彩的視頻信息。互聯(lián)網(wǎng)逐漸成為一個巨大的視頻倉庫，如何有效地組織和和檢索視頻信息已成為數(shù)據(jù)庫領(lǐng)域中研究的關(guān)鍵性問題。本文通過對視頻檢索技術(shù)相關(guān)的專利數(shù)據(jù)進行統(tǒng)計，然后從專利文獻的視角對視頻檢索技術(shù)的發(fā)展進行全面的分析，進而對視頻檢索領(lǐng)域內(nèi)的重要專利進行總結(jié)。

視頻；檢索；運動；紋理；語義

1　視頻檢索概述

在現(xiàn)有技術(shù)中，傳統(tǒng)的基于文本的視頻檢索方法利用文本信息對視頻內(nèi)容進行注釋，通過對關(guān)鍵字進行抽取來描述視頻內(nèi)容的語義特征，但是由于目前的技術(shù)還不能對視頻內(nèi)容的語義特征進行自動描述，仍需要手工的方法對視頻進行解釋和注釋。

于是為了能快捷地對海量視頻信息進行過濾、瀏覽和檢索，人們提出了基于內(nèi)容的視頻檢索技術(shù)，并取得了一定的進展，根據(jù)視頻的內(nèi)容和上下文的關(guān)系，鬼大規(guī)模視頻數(shù)據(jù)庫中的視頻數(shù)據(jù)進行檢索。它在沒有人工參與的情況下，自動提取并描述視頻的特征和內(nèi)容?，F(xiàn)有的視頻內(nèi)容檢索大多是非語義層面的，由于低層特征和高層語義概念之間存在語義鴻溝，在語義概念層析進行視頻內(nèi)容的描述和操縱面臨巨大困難。如何從視頻內(nèi)容中提取人類思維的語義概念成為視頻內(nèi)容檢索研究的新重點。

本文將基于專利文獻分析，對現(xiàn)有的視頻檢索技術(shù)做綜述性介紹，并對視頻檢索技術(shù)的關(guān)鍵內(nèi)容，以及重點企業(yè)進行一定的分析。

2　視頻檢索技術(shù)專利分析

下面通過附圖的形式對視頻檢索專利進行分析。圖1顯示視頻檢索技術(shù)專利申請量隨年份的變換情況。自2003年至2013年，視頻檢索專利申請基本保持穩(wěn)步增長的態(tài)勢。

圖1　

圖2則是對視頻檢索技術(shù)專利主要申請人進行的分析。相關(guān)專利申請共涉及70個企業(yè)或院校。其中不乏知名IT企業(yè)與研究所，比如中星微電子公司、北京北大方正技術(shù)研究院有限公司、上海交通大學(xué)、浙江大學(xué)、公安部第三研究所。在本文第4部分，我將中星微電子公司作為重點企業(yè)進行了概要性的分析。

在瀏覽大量專利文獻的基礎(chǔ)上，我對視頻檢索專利從關(guān)鍵幀的提取的方面進行研究，并對相關(guān)專利進行進一步的分析。

3　視頻檢索專利技術(shù)的研究

視頻檢索技術(shù)可以分為低層和高層特征的檢索技術(shù)，低層特征即是識別和描述圖像的顏色、紋理、形狀或空間關(guān)系等基本技術(shù)，高層特征即是基于高層語義的檢索，是目前研究的新焦點。

①人工標(biāo)注：傳統(tǒng)的視頻檢索方法主要是通過對視頻資料的內(nèi)容進行一定的文本標(biāo)注，形成索引，然后利用基于關(guān)鍵字的方法來進行檢索。例如：【發(fā)明名稱】基于多媒體分析的視頻事件檢測方法。本發(fā)明是基于多媒體分析的視頻事件檢測方法，其包括：利用文本分析對視頻進行分析，得到少量的自動標(biāo)注視頻數(shù)據(jù)；建立時間模型，根據(jù)事件模型，對視頻的內(nèi)容進行語義分析，得到視頻中事件的位置信息。

②運動特征、顏色、紋理、形狀或空間關(guān)系等檢索：對視頻進行標(biāo)注會花費大量的人力物力，接著提出一種基于運動特征、顏色、紋理、形狀或者空間等低層次的檢索，例如：【發(fā)明名稱】集成顏色和運動特征進行鏡頭檢索的方法。本發(fā)明直接在壓縮域上提取鏡頭的運動特征，然后構(gòu)造鏡頭的運動直方圖度量兩個鏡頭的運動相似度。從關(guān)鍵幀中提取顏色運動等低級的特征，用于鏡頭的索引和檢索。這樣就把基于內(nèi)容的鏡頭檢索轉(zhuǎn)化為基于內(nèi)容的圖像來進行檢索。另一種情形則是可以根據(jù)特征的融合來判斷壓縮視頻的相關(guān)性。例：【發(fā)明名稱】一種視頻檢索的方法和裝置。然而依據(jù)運動特征、顏色、紋理、形狀或者空間來進行檢索，有針對性強且準(zhǔn)確的優(yōu)勢。然而這種方式存在局限性，應(yīng)用領(lǐng)域較窄。

圖2　視頻檢索技術(shù)分支

③關(guān)鍵幀提取：在技術(shù)發(fā)展初期，基于內(nèi)容的視頻檢索與挖掘，就是根據(jù)視頻的內(nèi)容的上下文關(guān)系等低層特征，對大規(guī)模的視頻數(shù)據(jù)庫中的視頻數(shù)據(jù)進行分析和檢索。目前基于內(nèi)容的視頻檢索與挖掘，除了識別和描述圖像的顏色、紋理、形狀和空間關(guān)系等基本技術(shù)外，主要集中研究視頻鏡頭檢測和關(guān)鍵幀提取技術(shù)，例如：【發(fā)明名稱】海量視頻內(nèi)容檢索方法、系統(tǒng)及移動終端。本發(fā)明公開了海量視頻內(nèi)容檢索方法、系統(tǒng)及移動終端。其中所述方法為通過對視頻切分，切割成鏡頭，實現(xiàn)對各個鏡頭的特征提取，得到一個能夠充分反映視頻鏡頭內(nèi)容的特征空間，這個特征空間將作為海量視頻精確檢索的依據(jù)和基礎(chǔ)。它能夠處理海量視頻數(shù)據(jù)，同時能滿足用戶的精確檢索的視頻應(yīng)用特點。

④基于關(guān)鍵幀的快速檢索：正如之前提到的，基于用戶關(guān)鍵幀提取然后進行視頻檢索存在實時性弱的缺陷。例如用戶有一小段視頻文件，想要獲得該視頻的對應(yīng)的完整視頻就要進行快速檢索；例如：【發(fā)明名稱】一種視頻檢索方法及裝置。本發(fā)明公開了一種視頻檢索方法，用于基于視頻內(nèi)容的快速視頻檢索，該方法包括：預(yù)先建立倒排文檔，倒排文檔中包括標(biāo)準(zhǔn)特征分類與標(biāo)準(zhǔn)特征分類中對應(yīng)的標(biāo)準(zhǔn)視頻的索引該文章建立倒排索引?！景l(fā)明名稱】實現(xiàn)海量視頻快速檢索的方法。本發(fā)明涉及一種實現(xiàn)海量視頻快速檢索的方法，在空間特征向量中提取關(guān)鍵特征向量；根據(jù)視頻庫中所有視頻文件的關(guān)鍵特征向量建立分布式存儲索引庫；提取待檢索視頻的關(guān)鍵特征向量集并提取該待檢索視頻的視頻索引文件；根據(jù)待檢索視頻的索引文件在分布式存儲索引庫中進行視頻相似度檢索并輸出相似度大于系統(tǒng)預(yù)設(shè)值視頻檢索結(jié)果。

⑤基于高層語義的視頻檢索與MPEG-7標(biāo)準(zhǔn)：利用視頻幀中的對象語義描述進行檢索，因語義更能直觀的描述視頻對象。特別是隨著MPEG4和MPEG7的推廣與應(yīng)用，基于視頻對象的編碼方式得到了應(yīng)用。例如：【發(fā)明名稱】對視頻數(shù)據(jù)進行管理的方法和裝置。利用本發(fā)明，可以得到視頻數(shù)據(jù)的幀圖像的深度信息，從而可以基于該深度信息提取出視頻數(shù)據(jù)的高層語義信息，并基于高層語義信息對視頻數(shù)據(jù)進行有效地管理。

4　總結(jié)

近年來，隨著視頻檢索的快速發(fā)展，其專利申請量也隨之增加，為了對視頻檢索技術(shù)有全面的了解，本文通過對中文專利庫的相關(guān)專利的統(tǒng)計分析和對重要申請人的相關(guān)專利的分析，得出了以下結(jié)論：

傳統(tǒng)的視頻檢索技術(shù)主要通過人工的方法進行標(biāo)注，形成索引，然后利用關(guān)鍵詞進行檢索。發(fā)展到中期通過對視頻的低層次特征（運動、紋理、顏色、空間關(guān)系等）進行檢索，其中這些檢索的關(guān)鍵即為關(guān)鍵幀提取的研究。目前許多技術(shù)方面已取得了一定的進展，由于低層特征和高層語義概念之間存在語義鴻溝，在語義概念層析進行視頻內(nèi)容的描述和操縱面臨巨大困難。如何消除“語義鴻溝”，從視頻內(nèi)容中提取人類思維的語義概念成為視頻內(nèi)容檢索研究的新重點。

［1］朱愛紅，李連.基于內(nèi)容的視頻檢索關(guān)鍵技術(shù)研究［J］.情報雜志，2004（1）：45-47.

［2］何立民，萬躍華.數(shù)字圖書館中基于內(nèi)容的視頻檢索關(guān)鍵技術(shù)［J］.中國圖書館學(xué)報，2003（2）：52-56.

［3］蘇新寧.視頻信息索引技術(shù)研究進展［J］.信息可視化與知識管理——2003信息與信息資源管理學(xué)術(shù)研討會論文選，21-29.

［4］Barrow H G.Parametric Correspondence and Chamfer Matching［C］.Proc.5th Int.Joint Conf.Artificial Intelligence，1977：659-663.

［5］Tekalp A Murat.Digital Video Processing［M］.北京：清華大學(xué)出版社，1998.

［6］Patel Nilesh V，et al.Video Shot Detection and Characterizationfor Video Databases［J］.Pattern Recognition，1997，30：112-116.

Analysison thePatent Technology of VideoRetrieval

Zhu qi
（Patent Examination Cooperation Hubei Center of the Patent Office，State Intellectual Property Office，Wuhan Hubei 430070）

In recent years，with the rapid development of multimedia coding，computer multimedia processing and network transmission technology，people can query，enjoy and produce colorful video information in real time through the Internet.The Internet has gradually become a huge video warehouse.How to effectively organize and retrieve video information has become a key issue in the field of database research.Through patent data statistics related to video retrieval technology，a comprehensive analysis on the video retrieval technology development is carried out from the perspective of patent literature，and the important patents in the field of video retrieval are further summarized in this paper.

video；retrieval；motion；texture；semanti

TP319.3

A

1003-5168（2015）12-0004-3

2015-12-5

朱琦（1987.3-），男，研究生，專利審查員，研究方向：圖像識別與計算機信息檢索。