趙進(jìn)超，朱顥東，申 圳，李紅嬋

(鄭州輕工業(yè)學(xué)院 計算機與通信工程學(xué)院，河南 鄭州450002)

0 引言

基于人類對紋理視覺感知的心理學(xué)研究，Tamura 等［1］提出了一種新的紋理特征表達(dá)方法．該方法包含6 個分量，分別與心理學(xué)上對紋理特征定義的6 種屬性相對應(yīng)，它們依次是粗糙度(Coarseness)、對比度(Contrast)、方向度(Directionality)、線像度(Linelikeness)、規(guī)整度(Regularity)和粗略度(Roughness)． 這些特征中最重要的是粗糙度(Coarseness)、對比度(Contrast)、方向度(Directionality)．圖像分辨率越高，圖像細(xì)節(jié)部分的信息就會得到更好的體現(xiàn)，我們就能得到更好的紋理特征，但是隨之而來的是計算量和計算時間的增加．為了縮短紋理特征提取時間，筆者擬將Tamura 算法和Hadoop 相結(jié)合，提出一種基于云計算Hadoop 的Tamura 算法，以實現(xiàn)紋理特征快速提取．

1 Hadoop 簡介

Hadoop［2］是一個并行計算平臺，在與圖像相關(guān)的領(lǐng)域有廣泛應(yīng)用． 例如朱義明［3］在Hadoop上實現(xiàn)的圖像分類系統(tǒng);張良將等［4］在Hadoop平臺下實現(xiàn)的canny 邊緣檢測、尺寸調(diào)整運算;陳廣釗［5］以Hadoop 為基礎(chǔ)開發(fā)出海量圖像檢索平臺;李倩等［6］根據(jù)Hadoop 平臺對內(nèi)部數(shù)據(jù)類型的設(shè)計要求，實現(xiàn)了一種功能可擴展的支持圖像文件的Hadoop 數(shù)據(jù)類型;Ranajoy Malakar 等［7］將NVIDIA 開發(fā)的CUDA 技術(shù)與Hadoop 相結(jié)合實現(xiàn)了一個高性能圖像處理系統(tǒng);Liu 等［8］實現(xiàn)了一個基于HBase 和Hadoop 的海量圖像管理系統(tǒng)．

1．1 MapReduce

MapReduce［9］是谷歌開發(fā)的并行數(shù)據(jù)處理框架，該框架具備高可靠性和良好的容錯能力，基于它編寫的Hadoop 程序可以在由數(shù)千臺計算機構(gòu)成的大型集群上安全高效的運行，對海量數(shù)據(jù)進(jìn)行并行處理．Hadoop 能夠?qū)崿F(xiàn)對多種類型文件的處理，比如文本、圖像、視頻等．我們可以以特定需求為依據(jù)來編寫特定的應(yīng)用程序完成任務(wù)目標(biāo)．下面以Hadoop 自帶的WordCount 程序為例來說明MapReduce 執(zhí)行流程，如圖1 所示．

首先，由TextInputFormat 把目標(biāo)文件分割為邏輯上的split，每個split 會被應(yīng)用到一個單獨的Mapper 上;同時提供RecorderReader 的實現(xiàn)，用來對邏輯分片中的數(shù)據(jù)進(jìn)行處理并形成鍵值對＜key，value ＞，作為Mapper 任務(wù)的輸入．

其次，Map 接收RecorderReader 形成的＜key，value ＞對，根據(jù)程序設(shè)定的處理邏輯對數(shù)據(jù)進(jìn)行處理，生成新的＜key，value ＞對． 獲得map計算所得的＜key，value ＞對后，Mapper 會以key值大小為基礎(chǔ)，按照字典排序的方法對上述＜key，value ＞對進(jìn)行排序，并執(zhí)行Combine 過程，將key 值相同的value 值累加，從而得到Mapper的最終輸出結(jié)果Intermediate Files．

最后，Reducer 會先將接收到的Intermediate Files 進(jìn)行排序，再交由用戶自定義的reduce 方法進(jìn)行處理，得到新的＜key，value ＞對，并作為程序的處理結(jié)果，按照程序設(shè)計者設(shè)定的輸出格式，由RecordWriter 寫入指定位置．

圖1 MapReduce 執(zhí)行流程圖Fig．1 MapReduce Execution Process

1．2 HDFS

Hadoop 是一個能夠讓用戶輕松構(gòu)建和運行的開源并行云計算平臺，用戶可以在Hadoop 上實現(xiàn)對海量數(shù)據(jù)的高效處理，其中，Hadoop 分布式文件系統(tǒng)(HDFS)［3］扮演了非常基礎(chǔ)的作用，它以文件系統(tǒng)的形式為應(yīng)用提供海量數(shù)據(jù)存儲服務(wù)．HDFS 具備現(xiàn)有的分布式文件系統(tǒng)的很多共同點，例如高可用性、高安全性和負(fù)載均衡等，但是它也存在一些新的特點，例如支持超大文件、流式數(shù)據(jù)訪問等． 因此，HDFS 在高并發(fā)、高吞吐量的環(huán)境下得到了廣泛的應(yīng)用．

HDFS 的架構(gòu)如圖2 所示，整體上是以Master/Slave 架構(gòu)為主，主要包括包括4 個功能模塊:Client，NameNode，Secondary NameNode 和DataNode．

(1)Client:用戶與NameNode、DataNode 進(jìn)行信息交換，實現(xiàn)對HDFS 中文件的存?。?/p>

(2)NameNode:HDFS 文件系統(tǒng)的控制核心，負(fù)責(zé)對系統(tǒng)中文件目錄信息、元數(shù)據(jù)信息等進(jìn)行管理維護(hù)，隨時監(jiān)控各個DataNode 的健康狀態(tài)．

土墻日光溫室主要是指以板打墻和機械碾壓土墻為溫室墻體的日光溫室，我省目前數(shù)量為13萬棟以上，其中，機械碾壓土墻是現(xiàn)存量最大的日光溫室類型，占土墻溫室90%以上，占全省日光溫室數(shù)量總量的55%以上，主要分布在湟水谷地的大通、湟中、湟源、互助、樂都、平安、民和等縣，其次是黃河谷地貴德、共和、尖扎、同仁縣。土墻日光溫室(本文主要指機械碾壓土墻溫室)的好壞直接關(guān)系到冬季蔬菜生產(chǎn)狀況，維護(hù)保養(yǎng)和升級改造土墻日光溫室對高效利用該蔬菜生產(chǎn)設(shè)施具有重要作用。

(3)Secondary NameNode:定期合并fsimage和edits 日志，并傳輸給NameNode．

(4)DataNode:每個節(jié)點配置一個DataNode，數(shù)據(jù)以若干個大小固定的block 塊的形式在其上存儲，在規(guī)定時間內(nèi)與NameNode 進(jìn)行通信，匯報本節(jié)點內(nèi)的空間利用和數(shù)據(jù)存儲情況．

圖2 HDFS 架構(gòu)圖Fig．2 HDFS Framework

2 Tamura 紋理特征

2．1 粗糙度

粗糙度［1］是紋理最基本的特征之一，是反映紋理中顆粒度一個量．當(dāng)窗口大小不同時，具有較大窗口的紋理模式讓人覺得更為粗糙． 粗糙度的具體計算步驟如下:

首先，設(shè)定窗口大小為2k×2k，用公式(1)計算目標(biāo)圖像中窗口范圍內(nèi)像素的平均灰度值．

其中，k = 0，1，…，5;f(i，j)是坐標(biāo)(i，j)處像素的灰度值．

其次，分別計算當(dāng)前位置像素在水平和垂直方向上互不相交的窗口之間的平均灰度差值，如公式(2)所示．

Ek，h(x，y)=| Ak(x +2k-1，y)- Ak(x -2k-1，y)|;Ek，v(x，y)=| Ak(x，y +2k-1)-Ak(x，y -2k-1)|． (2)

最佳尺寸計算公式為Sbest(i，j)= 2k，若當(dāng)前k 值可以使差值E 達(dá)到最大，即為最佳尺寸．

其中m 和n 分別為圖像的長和寬．

2．2 對比度

對比度［1］是對目標(biāo)圖像的灰度值分布進(jìn)行統(tǒng)計得到的．一般情況下，可以通過α4= μ4/σ4來定義．對比度是通過公式(4)衡量的．

式中:μ4是四次矩;σ2是方差．Fcon給出整個圖像或區(qū)域內(nèi)對比度全局度量．

2．3 方向度

由于不同的紋理圖像具有不同的方向性，因此Tamura 用方向度［1］來描述紋理在某些方向上發(fā)散或者集中．首先，計算當(dāng)前像素位置的梯度向量．該向量的模和方向定義如公式(5)所示．

| ΔG| = (| ΔH| +| ΔV|)/2;

θ = tan-1(ΔV/ΔH)+ π/2． (5)

其中ΔH和ΔV是使用圖3 所示兩個3 ×3 算子與圖像做卷積得到的．

圖3 3 ×3 算子示意圖Fig．3 3 ×3Schematic diagram of operator

其次，利用公式(6)來獲得θ 的直方圖．

式中:n 為方向角度的量化等級;t 為閾值．Nθ(k)是當(dāng)| ΔG |≥t，(2k - 1)π/2n ≤θ ≤(2k +1)π/2n 時像素的數(shù)量．若當(dāng)前圖像的方向性并不突出，則直方圖HD比較平緩，反之會出現(xiàn)較為明顯的峰值．

最后，使用公式(7)來計算方向度．

式中:np是對直方圖HD中峰值數(shù)量的統(tǒng)計值;p為直方圖HD中的峰值，對于任意一個峰值p，wp為圖像中達(dá)到該峰值的所有區(qū)域;φp是wp中最大直方圖值中的波峰中心位置．

3 圖像紋理特征提取實現(xiàn)

筆者把一個圖像文件作為一個split，把整個圖像集合視為一個作業(yè)進(jìn)行處理，每個Map 任務(wù)對應(yīng)一個圖像文件，進(jìn)而可以同時提取集合內(nèi)圖像的紋理特征．還使用單獨一個Reduce 任務(wù)將計算結(jié)果按照設(shè)定格式寫入到指定輸出位置． 為了實現(xiàn)上述功能，首先，需要實現(xiàn)一個新的數(shù)據(jù)類型Image，用來存儲圖像像素信息;其次，與文件輸入相關(guān)的InputFormat 和RecordReader 也需要重定義，用于圖像文件和特定數(shù)據(jù)類型之間的轉(zhuǎn)化;最后，在Map 處理階段實現(xiàn)圖像紋理特征提?。?/p>

3．1 數(shù)據(jù)類型Image

Hadoop 本身沒有定義和圖像相關(guān)的類作為Key 和Value 的備選類型．Hadoop 規(guī)定，用戶自定義的類型只有通過實現(xiàn)Writable 接口才能使用．為解決上述問題，筆者自定義了數(shù)據(jù)類型Image，該數(shù)據(jù)類型是以Bufferimage 為基礎(chǔ)進(jìn)行擴展，對Hadoop 中Writable 所定義的用于輸入輸出的基本方法進(jìn)行了重寫．與其他類型相比，該類型在實現(xiàn)讀取圖像尺寸、圖像路徑等功能的基礎(chǔ)時，又根據(jù)實際需要增加了相應(yīng)的功能模塊，例如灰度變換、顏色空間變換等功能． 部分?jǐn)U展內(nèi)容如圖4所示．

圖4 Image 類型內(nèi)容縮略圖Fig．4 Image content thumbnail

3．2 圖像文件的輸入格式

InputFormat 描述了Hadoop 作業(yè)輸入的細(xì)節(jié)規(guī)范，而FileInputFormat 則是所有以文件作為其數(shù)據(jù)來源的InputFormat 實現(xiàn)的基礎(chǔ)類型．Hadoop提供的API 實現(xiàn)了下面兩個類:

(1)ImageFileInputFormat:繼承自ImageFileInputForma 類的實現(xiàn)，將一個圖像文件視為一個split，不再對圖像進(jìn)行分割．

(2)ImageRecordReader:繼承自RecordReader 類的實現(xiàn)，把輸入分片轉(zhuǎn)化為一個＜key，value＞對．

3．3 圖像文理特征中粗糙度計算

Tamura 對粗糙度計算中k 值設(shè)定描述為兩種情況:①k =0，1，2，3:圖像無噪聲，在該范圍內(nèi)Sbest恒定Max，計算量小;②k =0，1，…，5:圖像存在噪聲，Sbest結(jié)果表現(xiàn)不穩(wěn)定，不僅對計算結(jié)果造成影響，而且計算量與無噪聲情況下相比要大．因此在提取紋理特征前需要對輸入圖像進(jìn)行預(yù)處理以祛除噪聲，保證結(jié)果質(zhì)量的同時還可以減少計算．

4 對比實驗及結(jié)果分析

本Hadoop 實驗平臺由5 臺計算機組成，操作系統(tǒng)均為CentOS-6．4 64bit，配置均為八核Intel-Corei7 處理器，4GB 內(nèi)存，1TB 硬盤，Hadoop 版本為1．1．2，Java 版本為1．7．25，每個節(jié)點通過100 Mb/s 的局域網(wǎng)連接．

為了驗證該算法在不同圖像分辨率、不同圖像數(shù)量和不同節(jié)點數(shù)目情況下Hadoop 平臺的提取效率，筆者選用3 個數(shù)據(jù)集:Flavia，ICL 和ImageClef，下載網(wǎng)址如表1 所示．從3 個數(shù)據(jù)集中抽取2 000 張圖片，分100 張、200 張、500 張、1 000張、2 000 張5 組，分別使用3 節(jié)點和4 節(jié)點進(jìn)行紋理特征提取結(jié)果對比．所用時間如圖5、圖6 所示，算法加速比如圖7 和圖8 所示．

表1 數(shù)據(jù)集網(wǎng)址Tab．1 Data set website

圖5、圖6 說明隨著圖像數(shù)量的增加，Hadoop平臺的特征計算時間基本呈倍數(shù)級增長． 原因有如下兩點:①Flavia 庫中圖像分辨率均為800 ×600，ImageClef 的為500 ×800 左右，ICL 的為300×400 左右，Tamura 紋理特征中粗糙度的計算量和圖像分辨率密切相關(guān)，因此計算時間增長較為明顯;②計算特征時采用的是Hadoop 的默認(rèn)調(diào)度策略，并未針對并行圖像處理的特點對調(diào)度策略進(jìn)行調(diào)整．

圖5 3 節(jié)點時Hadoop 平臺計算時間Fig．5 Consumed Time of Hadoop Platform with Three Nodes

圖6 4 節(jié)點時Hadoop 平臺計算時間Fig．6 Consumed Time of Hadoop Platform with Four Nodes

圖7 3 節(jié)點時加速比Fig．7 Speedup ratio of hadoop platform with three nodes

將圖5 和圖6 對比，結(jié)合圖7、圖8 可以看出:在圖像數(shù)量較少和分辨率較低的情況下，不同的節(jié)點數(shù)量對處理時間的影響并未呈現(xiàn)出明顯的差異，加速比則表現(xiàn)出一定的差異;隨著圖像數(shù)量的增加和圖像分辨率的提高，不同節(jié)點數(shù)量的處理時間和加速比的差異尤為明顯． 實驗表明基于Hadoop 平臺的Tamura 算法可以有效地運用于大規(guī)模圖像數(shù)據(jù)集的特征提?。?/p>

圖8 4 節(jié)點時加速比Fig．8 Speedup ratio of hadoop platform with four nodes

5 結(jié)論

筆者主要基于Hadoop 平臺，利用Tamura 算法實現(xiàn)圖像紋理特征的快速提取，針對Hadoop 平臺無法直接讀取圖像文件的實際情況，設(shè)計實現(xiàn)了一種新的輸入格式ImageInputFormat 和數(shù)據(jù)類型Image 來滿足圖像輸入、數(shù)據(jù)處理的需要．該方法充分發(fā)揮了Hadoop 平臺對大數(shù)據(jù)并行處理的能力，在保證數(shù)據(jù)精度的同時也縮短了計算時間，對比實驗表明了該方法的有效性．然而，在實驗過程中，由于Hadoop 的Block 塊大小為64 MB，而實驗所用圖像大小不超過1 MB，浪費了大量的存儲空間．同時，受限于Hadoop 平臺的調(diào)度策略，使得算法的時效性受到影響．如何提高系統(tǒng)在存儲大量小尺寸文件時的存儲空間利用率，設(shè)計出更好的調(diào)度策略，是筆者下一步的研究重點．

［1］ TAMURA H，MORI S，YAMAWAKI T． Textural features corresponding to visual perception ［J］． IEEE Transactions on Systems，Man and Cybernetics，1978，8(6):460 -473．

［2］ ARMBRUST M，F(xiàn)OX A，GRIFFITH R，etal． A view of cloud computing［J］． Communications of the ACM，2010，53(4):50 -58．

［3］ 朱義明．基于Hadoop 平臺的圖像分類［J］． 西南科技大學(xué)學(xué)報，2011，26(2):70 -73．

［4］ 張良將，宦飛，王楊德．Hadoop 云平臺下的并行化圖像處理實現(xiàn)［J］． 信息安全與通信保密，2012，20(10):59 -62．

［5］ 陳廣釗． 基于MapReduce 的海量圖像檢索技術(shù)研究［D］． 西安:西安電子科技大學(xué)計算機學(xué)院，2012．

［6］ 李倩，施霞萍．基于Hadoop MapReduce 圖像處理的數(shù)據(jù)類型設(shè)計［J］． 軟件導(dǎo)刊，2012，11(4):182-183．

［7］ MALAKAR R，VYDYANATHAN N． A CUDA-enabled hadoop cluster for fast distributed image processing［C］//Proceedings of the 2013 National Conference on Parallel Computing Technologies． Bangalore，India:IEEE，2013:1 -5．

［8］ LIU Yue-hu，CHEN Bin，HE Wen-xi，et al． Massive image data management using hBase and mapreduce［C］//Proceedings of the 2013 21st International Conference on Geoinformat ics． Kaifeng，China:IEEE，2013:1 -5．

［9］ MARSTON S，LI Zhi，SUBHAJYOTI B，et al． Cloud computing the business perspective［J］． Decision Support Systems，2011，51(1):176 -189．