于彬 張皓翔 徐明輝 張高青 王金鵬

摘要：隨著機(jī)器視覺的發(fā)展，信息檢索作為機(jī)器學(xué)習(xí)中的重要課題，各個領(lǐng)域發(fā)揮了至關(guān)重要的作用，基于圖像內(nèi)容的信息檢索技術(shù)通過對圖像進(jìn)行特征提取，然后依靠度量的計算方式來實(shí)現(xiàn)最終結(jié)果。本文主要研究的是基于極值曲率和相關(guān)圖圖像信息檢索方法。對圖像的內(nèi)在曲率特征進(jìn)行了研究，并融合顏色相關(guān)圖提高魯棒性，最后提出了基于極值曲率和相關(guān)圖檢索算法。

關(guān)鍵詞： 極值曲率? 信息檢索? 相關(guān)圖? 內(nèi)在曲率

中圖分類號：TP391.41

Abstract： With the development of machine vision， information retrieval， as an important subject in machine learning， has played a vital role in various fields. The information retrieval technology based on image content extracts the features of the image， and then relies on the calculation method of measurement to achieve the final result. This article mainly studies image information retrieval methods based on extreme curvatures and correlation graph. The inherent curvature characteristics of the image are studied， and the color correlation map is integrated to improve the robustness. Finally， a retrieval algorithm based on extreme curvatures and correlation map is proposed.

Key Words： Extreme curvatures; Information retrieval; Correlation graph; Intrinsic curvature

一直以來，信息檢索技術(shù)都活躍在工業(yè)及學(xué)術(shù)界研究舞臺，如相似物推薦系統(tǒng)，圖書檢索系統(tǒng)等都采用了圖像檢索的相關(guān)技術(shù)。特別信息化、網(wǎng)絡(luò)化的今天，各種規(guī)模龐大的數(shù)字圖像每天都在更新，因此對數(shù)字圖像的檢索需求也越來越大[1-3]。圖像檢索技術(shù)首先需要獲取圖像信息，進(jìn)而進(jìn)行特征提取，隨后采用相似度匹配機(jī)制，最后返回查詢結(jié)果。圖像檢索技術(shù)目前有兩種：一種是基于文本的圖像檢索TBIR（Text-based Image Retrieval）;另一種是基于內(nèi)容的圖像檢索CBIR（Content-based Image Retrieval）。[4-10]TBIR是利用文本描述的方式描述圖像的特征來進(jìn)行檢索，如繪畫作品的作者、年代、流派、尺寸等。

目前，圖像檢索技術(shù)主要研究方向在于精度的提升，以及在保證精度的同時提高檢索效率兩個方面。由于影響檢索質(zhì)量的外部條件千變?nèi)f化，檢索的效果也會直接影響使用者對查詢結(jié)果的判斷，如醫(yī)學(xué)圖像的檢索質(zhì)量影響醫(yī)生對病情診斷[11];在數(shù)字網(wǎng)絡(luò)推薦系統(tǒng)中，推薦系統(tǒng)響應(yīng)速度同樣也是不可忽略的重要因素，系統(tǒng)的響應(yīng)速度直接影響用戶的使用體驗(yàn)。因此，在滿足精度的同時，保證檢索效率是本文研究的重點(diǎn)。本文提出了一種融合極值曲率及相關(guān)圖的檢索方法，該方法僅提取圖像曲率的極值部分，摒棄冗余極值，提高算法的提取效率，同時結(jié)合圖像顏色特征進(jìn)一步改善算法魯棒性。

1.相關(guān)工作

2018年，Pavithra[12]等人將基于LBP的方法和基于顏色直方圖的方法相結(jié)合來提取圖像的特征信息進(jìn)行檢索，2019年，Ahmed[13]提出了一種基于詞袋的圖像檢索方法，該方法通過將局部圖像形狀特征和顏色空間信息進(jìn)行特征融合以提高其在復(fù)雜環(huán)境下的魯棒性?；谝陨响`感，本文提出了融合極值曲率及相關(guān)圖的檢索方法，該方法僅提取極值曲率，保證算法的高效性，另外，由于圖像的顏色屬性是表達(dá)圖像內(nèi)在的直觀性屬性，提取該屬性作為圖像的特征表達(dá)可改善圖像檢索魯棒性。

2.顏色相關(guān)圖

顏色相關(guān)圖的優(yōu)點(diǎn)是它包含了顏色的空間相關(guān)性，而且如果選擇的對象是局部的，它可用于描述顏色的局部空間相關(guān)性的全局[14]。設(shè)置兩種顏色之間的距離為，那我們將生成這樣的一個直方圖：它的的個數(shù)為的平方（顏色的組合數(shù)目），對于每個的大小為：

3.極值曲率計算

圖像中所有像素點(diǎn)處的主曲率信息可以通過計算海森矩陣的特征值來得到，海森矩陣是一個多元函數(shù)的二階偏導(dǎo)數(shù)構(gòu)成的方陣。給定一個灰度圖像，在像素點(diǎn)（x，y）處的Hessian矩陣如下式：

4.特征融合

顏色信息屬于全局特征，它直觀地反映了圖像區(qū)域的表面性質(zhì)，圖像表面的極值曲率信息屬于圖像的紋理信息。本文將顏色信息和紋理信息進(jìn)行融合以得到更加魯棒的圖像檢索結(jié)果。

5.實(shí)驗(yàn)

為了對提出的圖像檢索算法性能進(jìn)行測試和評估，并將測試結(jié)果可視化，數(shù)據(jù)庫中采用的度量方法為歐幾里得距離。檢索結(jié)果如圖1所示，圖中上下部分分別為查詢圖像及查詢結(jié)果。

6.結(jié)論

本文提出了一種基于極值曲率信息和顏色信息的信息檢索算法。構(gòu)造海森矩陣以提取圖像的偏導(dǎo)數(shù)，并在偏導(dǎo)數(shù)的基礎(chǔ)上利用行列式以及跡提取曲率信息，進(jìn)一步地，提取主曲率信息。使得算法同時具有圖像的宏觀信息以及微觀信息。將極值曲率與顏色相關(guān)圖進(jìn)行串聯(lián)，提高算法魯棒性。在公開數(shù)據(jù)庫進(jìn)行了測試，顯出了較好的結(jié)果。

參考文獻(xiàn)

[1]張明霞，徐金東.數(shù)字圖像檢索研究進(jìn)展概述[J].圖書館工作與研究，2011（10）：34-37.

[2]徐沛華.淺談數(shù)字圖像檢索技術(shù)的應(yīng)用現(xiàn)狀與未來展望[J].數(shù)碼設(shè)計（下），2019（1）：207-208.

[3]徐倩.車牌識別中去噪與邊緣檢測算法的研究[D].湖南：湖南大學(xué)，2013.

[4]劉麗萍.顏色描述符提取算法在圖像檢索算法中的應(yīng)用[J].科技資訊，2015，13（8）：21.

[5]楊紅菊，陳庚峰.基于卷積神經(jīng)網(wǎng)絡(luò)約束編碼的圖像檢索方法[J].山西大學(xué)學(xué)報：自然科學(xué)版，2020，43（2）：280-286.

[6]龍春琳.基于顏色信息熵的圖像檢索技術(shù)研究[J].貴州廣播電視大學(xué)學(xué)報，2013（4）：67-71.

[7]Jia B，Meng B，Zhang W，et al.Query Rewriting and Semantic Annotation in Semantic-Based Image Retrieval under Heterogeneous Ontologies of Big Data[J].Traitement du Signal： signal image parole，2020，37（1）：101-105.

[8]Ge Y， Yang Z ， Huang Z ， et al. A multi-level feature fusion method based on pooling and similarity for HRRS image retrieval[J]. Remote Sensing Letters， 2021， 12（11）：1090-1099.

[9]Zheng Z， Zhong Z. Low Dimensional Discriminative Representation of Fully Connected Layer Features Using Extended LargeVis Method for High-Resolution Remote Sensing Image Retrieval[J]. Sensors，2020，20（17）：4718.

[10]Pavithra L K，Sharmila T S.A new multi-level radial difference encoded pattern for image classification and retrieval[J]. Multidimensional Systems and Signal Processing， 2020， 31（3）：1411–1433 .

[11]王梓琪.基于內(nèi)容的圖像檢索系統(tǒng)設(shè)計與實(shí)現(xiàn)[D].哈爾濱：黑龍江大學(xué)，2019.

[12]Pavithra L K，Sharmila T S. An efficient framework for image retrieval using color， texture and edge features[J]. Computers and Electrical Engineering，2018，70：580-593. DOI：10.1016/j.compeleceng.2017.08.030.

[13]AHMED， KHAWAJA TEHSEEN， UMMESAFI， SHAHIDA， IQBAL， AMJAD. Content based image retrieval using image features information fusion[J]. Information Fusion，2019，51：76-99. DOI：10.1016/j.inffus.2018.11.004.

[14]Ashwini V. Malviya，Siddharth A. Ladhake. Pixel Based Image Forensic Technique for Copy-move Forgery Detection Using Auto Color Correlogram[J]. Procedia Computer Science，2016，79：383-390.

3858500338238