◆姜 雪

?

教學資源平臺中的圖像檢索策略研究

◆姜 雪

（東北師范大學信息科學與技術學院 吉林 130000）

為了解決教育資源平臺中海量圖片、視頻、Flash動畫等資源的檢索問題，本文提出一種結合Hadoop技術和基于內容的圖像檢索技術的教學圖像檢索方法。利用MapReduce并行化編程模型，提取圖像顏色、紋理、形狀三種底層視覺特征，實現圖像資源的檢索。實驗表明，使用多特征綜合描述圖像資源的效果優(yōu)于單一特征。在處理大規(guī)模圖像檢索時，與單節(jié)點相比，集群環(huán)境能夠有效地減少特征提取和檢索的時間，提高檢索速度。

Hadoop；MapReduce；基于內容圖像檢索技術；教育圖像檢索；教育資源平臺

0 引言

近年來，隨著網絡技術和多媒體技術的快速發(fā)展，其在教育領域的應用逐步深入，成為了現代化教育發(fā)展的強大動力。教學資源平臺作為現代教育技術的重要組成部分，包含了多種類型的數字化資源，如文本、圖像、音頻、視頻等。其為廣大師生提供了知識獲取、交流的平臺，在教學過程中發(fā)揮著不可替代的作用。尤其是云計算技術的出現，有效地解決了教學資源分配不均衡、難以共享、海量數據存儲以及數據安全等問題[1]?，F階段，教育資源平臺的推進過程中還存在一些問題，尤其是海量資源的檢索問題。

目前，基于內容的圖像技術是圖像、視頻檢索領域的主流方法。該技術根據媒體內容提取信息，解決了基于文本的圖像檢索過程中人工標引工作不充分、具有主觀性、費時費力等問題，被廣泛應用于國防安全、醫(yī)學圖像管理、衛(wèi)星遙感圖像、地理信息系統(tǒng)、電子商務等領域[2]。

本文結合云計算平臺Hadoop的海量存儲能力和并行計算能力，探究基于內容的圖像檢索技術在教育資源平臺建設中的應用。旨在解決教育工作者使用資源平臺檢索圖像時面臨的問題。由于視頻中的每一幀都可以視為一張圖片，因此還可以通過提取視頻、Flash動畫中的關鍵幀信息形成圖像集合，與師生提供圖像信息進行對比，實現視頻、動畫等資源的檢索[2]。

1 相關背景

1.1基于內容的圖像檢索（Content-Based Image Retrieval, CBIR）

基于內容的圖像檢索技術是20世紀90年代被研究者提出，解決了早期基于文本的圖像檢索技術（Text-Based Image Retrieval, TBIR）存在的需要人工標注關鍵詞以及檢索精度受關鍵詞質量影響等問題[3]。其基本思路是根據圖像本身的物理內容，由計算機自動提取出視覺特征，形成描述圖像的特征空間；查詢圖像時，通過特征空間進行相似度計算，返回與檢索圖像在視覺內容上最為相似的若干副圖像。面對日益增長的圖像數據，CBIR技術區(qū)別于TBIR技術，存在以下特點[4]：

（1）檢索以圖像底層特征為依據。通過分析、提取圖像的視覺特征。例如顏色、紋理、形狀等, 或將多種特征進行融合，形成表示圖像的綜合特征向量。

（2）以特征向量的相似度為度量準則。CBIR系統(tǒng)的目標是找出與查詢圖像視覺相似的圖像，并不要求準確匹配。因此，即使用戶提供的查詢內容本身是不準確、不完全的，系統(tǒng)也能夠按照圖像間的相似性返回可能滿足要求的圖像集合。

（3）海量圖像數據的快速檢索。特征提取過程由計算機完成，替代了關鍵詞檢索的人工標引工作，檢索結果不再受人工標引主觀性的影響，檢索過程更高效，適應性更強。

1.2 Hadoop云計算平臺

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺[5]，能夠為用戶提供可靠、可擴展的、高效、高容錯性的分布式基礎架構，簡化了集群環(huán)境的搭建工作。其核心包括Hadoop分布式文件系統(tǒng)（HDFS）和MapReduce并行化編程模型，分別負責大規(guī)模數據存儲和處理的工作。

HDFS 是一個可以運行在普通硬件集群上的分布式文件系統(tǒng)，可存儲超大文件并使用流對文件進行高速讀寫。該文件系統(tǒng)是一個主從結構，包含一個NameNode和多個DataNode。NameNode作為主服務器，是集群環(huán)境的調度中心，負責存放系統(tǒng)元數據以及處理客戶端讀寫訪問的工作。集群中的多個DataNode節(jié)點則用于存放文件數據。當文件進行存儲時，文件會被分割成若干個數據塊，被存放在集群中的各個DataNode節(jié)點，進而保證了數據的高可用。

MapReduce是一個可用于大數據處理的分布式計算框架，主要用于解決海量離線數據的計算問題。其基本思想是“分而治之，迭代匯總”。把一個大的任務拆解成多個子任務，并根據一定的分配策略將子任務分發(fā)到集群中的機器節(jié)點上運行，結果返回后再進行合并處理，從而實現Hadoop的并行任務處理功能。

2 CBIR在教學資源平臺的應用現狀

教育部在《教育信息化十年發(fā)展規(guī)劃（2011－2020年）》中提出了建立國家教育云服務模式的目標[6]：充分整合現有資源，采用云計算技術，形成資源配置與服務的集約化發(fā)展途徑，構建穩(wěn)定可靠、低成本的國家教育云服務模式。經過幾年的不懈努力，目前全國、各省都已基本完成教學資源平臺的建設工作，真正實現了教育資源共建和共享。教育資源平臺在教學過程中也發(fā)揮著越來越重要的作用。在教育資源平臺的應用中，還存在一些問題，如資源建設沒有遵循標準規(guī)范、資源審核、管理方面不健全等[7]。其中，隨著資源數量的飛速增長，如何在海量資源中快速準確地檢索到所需的資源，成為了師生目前面臨的首要問題，也是教育資源平臺推進過程中亟待解決的難題。

在國家教育資源公共服務平臺、國家精品課程資源網等建設較為完備的平臺中，圖像資源的檢索均使用基于文本的方式。通過資源名稱或關鍵詞與待查詢關鍵詞進行精準匹配，最終將包含資源關鍵詞的圖像集合進行展示。該方法雖然技術成熟、應用廣泛，但由于目前資源的命名沒有統(tǒng)一標準，對于同一張圖像，尤其當圖像中包含多個目標時，人們對圖像內容的理解也不盡相同，導致一些相似資源無法被查詢。此外，有些資源平臺還提供了目錄樹形式管理資源。師生通過定位學年-學科-教材-章節(jié)的方式上傳或檢索資源，雖然在一定程度上解決了基于文本檢索不準確、不全面的問題，但這種方式不但增加了教師管理資源的工作量，還阻斷了學科、章節(jié)之間資源的互通性，檢索常常無法滿足師生的需求。雖然基于內容的圖像檢索技術還未能在教育資源平臺中發(fā)揮重要作用，但已有一些學者對此問題進行研究探討，為CBIR技術在教育領域的應用奠定了理論基礎。

柳青、魏春燕[8]從圖像的形狀特征出發(fā)，使用Hu不變矩算法，設計了教育圖像檢索系統(tǒng)。針對蘋果、蝙蝠等5類較為簡單圖像進行實驗，取得了較好的檢索效果。周勇[9]結合基于內容圖像檢索技術的原理與特點，探討該技術在教學資源庫中的應用。針對基于文本標引的圖像檢索方法更新慢，檢索結果不全面以及基于圖像底層特征檢索無法解決“語義鴻溝”的問題，提出了綜合文本標引和圖像內容的檢索方法。兩種檢索方法優(yōu)勢互補，有效提高了檢索準確率。韓立華，王學軍，王曉芬[10]使用分塊直方圖法，Gabor小波變換法，不變矩法描述了圖像顏色、紋理、形狀特征。使用多特征融合方法進行圖像初次檢索，然后利用基于SVM的相關反饋技術進行多次檢索。通過實驗表明，與單一特征相比，多特征融合方法能夠更加準確地描述圖像內容，提高檢索效果。在此基礎上，相關反饋技術的加入使檢索更接近用戶的檢索意圖。該方法有效地提高了教育資源中圖像檢索的查準率。

由此可見，目前基于內容的圖像檢索技術在教育資源平臺的應用仍然處于理論研究階段。隨著云計算技術的飛速發(fā)展以及其在教育領域的應用逐步深入，教育資源快速增長，基于單一服務器節(jié)點的圖像檢索技術不再適用于海量數據的處理，無法應用在當今的教育資源平臺中。因此結合Hadoop和CBIR技術處理圖像資源是完善教育資源平臺檢索功能的新策略。

3 結合Hadoop 和CBIR的圖像檢索

3.1 CBIR系統(tǒng)框架

一個完善的CBIR系統(tǒng)，需要包含特征提取、圖片檢索、用戶相關反饋三個重要模塊。由于圖像規(guī)模大，圖像特征向量維數高等原因，特征提取過程和圖像檢索過程計算量龐大，耗費時間長，這也是圖像檢索效率低的一個重要原因。因此本文借助Hadoop平臺的并行化計算模型MapReduce，提出了可應用于教育資源平臺的圖像檢索方案。結合Hadoop和CBIR的圖像檢索系統(tǒng)框架如圖1所示。

圖1 Hadoop和CBIR的圖像檢索系統(tǒng)框架

在特征提取階段，系統(tǒng)調用MapReduce作業(yè)，將存儲于HDFS中的海量圖像資源進行處理。分別提取顏色、紋理、形狀三種底層特征，形成表示圖像的特征向量和索引文件。在檢索階段，用戶提交待查詢圖片后，系統(tǒng)使用相同特征提取算法得到待查詢圖片的特征向量，調用MapReduce作業(yè)實現特征向量間相似度計算的并行化。

3.2圖像特征提取

本文借助LIRe (Lucene Image Retrieval )[11]圖像檢索框架，使用顏色自相關圖算法、Tamura算法提取圖像的顏色，紋理特征。并且考慮到形狀特征與顏色、紋理特征相比，更接近于目標的語義特征，在人們對圖像理解中起到重要作用。因此本文對LIRe框架進行擴展，使用Hu不變矩對圖像進行形狀特征的提取。該算法提取的特征值在圖像的縮放、平移和旋轉的情況下具有不變性[12]。

為縮短圖像特征提取的時間，本文使用MapReduce并行編程模型將任務分發(fā)至集群中的各個節(jié)點運行，實現了特征提取的并行化?；玖鞒倘缦拢?/p>

（1）將圖像上傳至分布式文件系統(tǒng)HDFS，使用圖像路徑作為圖像的唯一標識imageId；

（2）在Map階段，讀取HDFS中的圖像作為Map函數的輸入。分別提取顏色、紋理、形狀的三種特征值，并將三種特征融合，形成綜合特征向量imageFeature，以鍵值對的形式輸出；

（3）在Reduce階段，收集所有圖像特征，建立索引文件；

（4）將索引文件存儲在HDFS中。

其中Map函數和Reduce函數的定義如圖2、3所示。

圖2 特征提取Map函數定義

圖3 特征提取Reduce函數定義

3.3圖像檢索

為縮短檢索時間，在檢索階段同樣基于MapReduce中 Map函數和 Reduce 函數實現檢索的并行化，具體流程如下：

（1）提交待查詢圖像到HDFS中，提取其綜合特征；

（2）Map 階段，比較待查詢圖像的綜合特征和索引文件中存儲的綜合特征，結合三種特征的權重，計算特征之間相似性。并以<相似度，imageId>的鍵值對形式輸出；

（3）Reduce 階段，對 Map 階段輸出結果進行收集，按照相似度從高到底進行排序，并將查詢結果寫入 HDFS；

（4）根據用戶需求，返回與待檢索圖像最為相似的前M幅圖像。

在該階段，本文使用加權的相似度計算方法。將顏色、紋理和形狀三種特征的相似度融合，形成綜合相似度計算公式：

Sim = wc*Simc+ wt*Simt+ ws*Sims（1）

公式（1）中，wC表示顏色特征相似性權重值，wt表示紋理特征相似性權重值，wS表示形狀特征相似性權重值，且wC+ wt+ wS= 1。

隨著教育圖像越來越豐富，人們很難界定哪種特征在描述教育圖像時最為合適。但通過多特征融合和加權相似度計算方法，師生就可以結合個人檢索需求和圖像特點，可選擇地增大或降低某一特征對相似度的影響，檢索出更滿意的圖像。

4 實驗及結果分析

4.1實驗環(huán)境

實驗使用的Hadoop集群環(huán)境由4臺計算機組成：一個master節(jié)點，三個slave節(jié)點。集群運行使用的Hadoop版本為2.7.0，JDK版本為1.8.0。計算機的硬件配置如下：雙核CPU，8GB內存，200GB硬盤容量。

4.2檢索性能評價標準

本文使用在檢索領域應用最廣泛、有效的評價標準：查準率（P）和查全率（R），衡量系統(tǒng)檢索算法的性能。

其中，N表示檢索相關圖像個數，M表示檢索結果總數，S表示相關圖像總數。

此外，檢索耗時也是評價系統(tǒng)性能的重要指標。一般來說，圖像的特征向量越復雜，檢索效果就越好，相應的檢索時間就長。檢索時間和準確率是相互制約的。因此本文通過查準率和查全率衡量檢索的正確性，通過單節(jié)點和分布式環(huán)境下檢索時間的對比，驗證并行化檢索的效果。

4.3實驗結果

本文使用Corel 圖像庫作為測試數據集進行實驗。從中選取10類圖像，共1000幅進行檢索正確性的檢驗。在每一類圖像中隨機選取5張作為待檢索圖像進行實驗，取最為相似的30張圖像作為檢索結果。計算5次檢索的平均查準率和查全率，最終的實驗結果如表1所示。

由實驗數據可得，對于同類圖像，以單一特征進行檢索時，各個特征表現出的檢索效果不同。例如，對于建筑類圖像，顏色自相關圖算法的效果要明顯優(yōu)于Tamura算法。同時，多特征融合的方法在選取適當的權值分配情況下，在一定程度上提高了檢索的準確率。因此在教學資源平臺中，使用單一特征提取算法進行檢索是不能保證結果正確性的。而多特征融合的方法，用戶可依據自身對圖像的理解分配特征權值，檢索效果更佳。

此外，本實驗使用了不同規(guī)模的數據集對系統(tǒng)性能進行測試。將在單節(jié)點圖像檢索耗時與集群環(huán)境下的檢索耗時進行對比，實驗結果如圖4所示。

當數據量較少時，使用單節(jié)點進行圖像檢索的速度要快于Hadoop集群環(huán)境中的檢索。其原因主要是Hadoop集群進行任務分配調度工作需要耗費一定時間。隨著數據量的增長，Hadoop集群的海量數據處理能力得以發(fā)揮，與單節(jié)點相比，檢索速度有明顯的提升。

5 結束語

本文結合Hadoop平臺和CBIR技術，提出了一種適用于當今教育資源平臺的圖像檢索方法。利用 Hadoop 的MapReduce模型將任務分配到集群的各個節(jié)點執(zhí)行，提取圖像顏色、紋理、形狀特征，進行特征向量的相似度計算，最終將查詢結果記錄在HDFS中，并將圖像返給用戶。實驗結果證明，該方法有效提高了海量圖像檢索的準確性以及檢索效率。將其應用于教學資源平臺中，能夠豐富云計算技術在教育領域的應用，優(yōu)化平臺檢索功能，為師生提供更加便捷、完善的服務。

圖4 單機環(huán)境和集群環(huán)境檢索時間

[1]王鳳領.云計算環(huán)境下的高校數字化教育資源共享模式研究[J].工業(yè)和信息化教育，2014.

[2]陸文婷.圖像檢索中的特征表示模型和多信息源融合方式的研究[D].北京: 北京郵電大學，2012.

[3]徐曼，韋志輝.基于內容的圖像檢索技術[J].計算機應用， 2001.

[4]楊樹剛.基于內容的圖像檢索算法的研究與實現[D].遼寧:大連交通大學，2008.

[5]劉剛，侯賓，翟周偉.Hadoop開源云計算平臺[M].北京: 北京郵電大學出版社，2011.

[6]余勝泉.推進技術與教育的雙向融合---《教育信息化十年發(fā)展規(guī)劃（2011－2020年）》解讀[J].中國電化教育，2012.

[7]楊光.教育資源平臺建設中存在的主要問題研究[J].求知導刊，2017.

[8]柳青，魏春燕.基于形狀的圖像檢索系統(tǒng)及其在教育中的應用[J].中國現代教育裝備，2007.

[9]周勇，陳林海，黃水清.基于內容圖像檢索技術在教學資源平臺中的應用[J].現代教育技術，2011.

[10]韓立華，王學軍，王曉芬.多特征融合及SVM相關反饋技術在教育資源圖像檢索中的應用[J].河北科技大學學報，2010.

[11]Lux M, Chatzichristofis S A. Lire： lucene image retrieval：an extensible java CBIR library[C]// ACM International Conference on Multimedia. ACM，2008.

[12]黃勇，王崇駿，王亮等.基于形狀不變矩的圖像檢索算法的研究[J].計算機應用研究，2004.

[13]郭斌.對教學資源平臺建設的思考[J].寧夏教育科研，2011.

[14]朱為盛，王鵬.基于Hadoop云計算平臺的大規(guī)模圖像檢索方案[J].計算機應用，2014.

[15]王梅，朱信忠，趙建民等.基于Hadoop的海量圖像檢索系統(tǒng)[J].計算機技術與發(fā)展，2013.

[16]譚臺哲, 向云鵬.Hadoop平臺下海量圖像處理實現[J].計算機工程與設計，2017.

[17]張永庫，李云峰，孫勁光.基于多特征融合的圖像檢索[J].計算機應用，2015.