康文龍， 王廣楨， 蒲志新， 叢佩超

0 引 言

網(wǎng)絡(luò)圖片的日下載和上傳量較大，因而需要一種技術(shù)以滿足檢索需要。隨著互聯(lián)網(wǎng)的逐漸普及，僅僅依靠現(xiàn)有的單機(jī)離線識(shí)別技術(shù)已經(jīng)無(wú)法實(shí)現(xiàn)目前所需要的功能，因此,應(yīng)當(dāng)采取合適的方法，以云平臺(tái)為基礎(chǔ)研究圖像檢測(cè)系統(tǒng)。近年來(lái),以Hadoop為基礎(chǔ)的并行支持向量機(jī)(support vector machine,SVM)算法，在人臉識(shí)別、垃圾郵件檢測(cè)以及網(wǎng)絡(luò)入侵領(lǐng)域中得到了廣泛的應(yīng)用[1,2]。

本文通過(guò)應(yīng)用圖像處理技術(shù)、SVM算法以及Hadoop處理技術(shù)，將云平臺(tái)與SVM算法結(jié)合，以云計(jì)算平臺(tái)為基礎(chǔ)對(duì)圖像檢測(cè)技術(shù)進(jìn)行研究。在繼承云平臺(tái)高擴(kuò)展性以及高效性的基礎(chǔ)上，對(duì)于傳統(tǒng)圖像檢測(cè)系統(tǒng)在計(jì)算效率以及數(shù)據(jù)處理能力方面存在的問(wèn)題予以快速解決[3，4]。

1 基于云計(jì)算平臺(tái)的圖像識(shí)別技術(shù)

1.1 單機(jī)平臺(tái)的圖像識(shí)別技術(shù)

單機(jī)平臺(tái)的圖像識(shí)別框架如圖1所示。

圖1 單機(jī)平臺(tái)的圖像識(shí)別框架

1)圖像預(yù)處理模塊：用于轉(zhuǎn)換彩色圖像，并在內(nèi)存中存儲(chǔ)轉(zhuǎn)換后的灰度圖像，為后續(xù)的計(jì)算做準(zhǔn)備。

2)利用相關(guān)特征提取模塊在內(nèi)存中讀入的圖像數(shù)據(jù)進(jìn)行運(yùn)算，保證所獲取的圖像特征與用戶需求的一致性；量化用戶需求特征。

3)分類器訓(xùn)練分類模塊：通過(guò)對(duì)反向傳播(back propagation,BP)算法以及SVM等算法的應(yīng)用，該模塊能夠訓(xùn)練獲取的訓(xùn)練數(shù)據(jù)樣本。將通過(guò)訓(xùn)練得到的分類器儲(chǔ)存在本地文件系統(tǒng)中，用于圖像的類別判斷。

在圖像分類時(shí)應(yīng)用傳統(tǒng)的圖像分類系統(tǒng)，需要耗費(fèi)較長(zhǎng)的時(shí)間提取圖像特性，同時(shí)在計(jì)算數(shù)據(jù)量比較大的特征矩陣時(shí)需要對(duì)系統(tǒng)內(nèi)存和硬盤進(jìn)行讀寫，這對(duì)于程序的正確率產(chǎn)生了消極影響，降低了系統(tǒng)穩(wěn)定性以及可靠性[5,6]。

1.2 基于云計(jì)算平臺(tái)的圖像識(shí)別技術(shù)

基于云計(jì)算平臺(tái)的圖像識(shí)別框架如圖2所示。

圖2 基于云計(jì)算平臺(tái)的圖像識(shí)別框架

文獻(xiàn)[6]給出了Hadoop平臺(tái)上進(jìn)行圖像識(shí)別的過(guò)程：

1)用戶提交圖像分類請(qǐng)求：通過(guò)使用Tob client圖像分類作業(yè)ID從Hadoop的Iob Tracker中獲得。工程JAR包可以在圖像分類作業(yè)中運(yùn)行，通過(guò)應(yīng)用Job Client在復(fù)制程序依賴的配置文件以及圖像特征分類數(shù)據(jù)。 Job Client在完成以上過(guò)程以后就可以在Job Tracker中提交作業(yè)，Job Tracker首先對(duì)作業(yè)的相關(guān)信息進(jìn)行檢查，輸入數(shù)據(jù)的劃分信息，從分布式文件系統(tǒng)(hadoop distributed file system,HDFS)中獲取作業(yè)，準(zhǔn)備好作業(yè)的執(zhí)行工作。

2)初始化和分配圖像分類作業(yè)任務(wù)：Job Tracker在接收到提交的作業(yè)以后初始化作業(yè)，并將作業(yè)放置在內(nèi)部的任務(wù)隊(duì)列中；通過(guò)Hadoop的作業(yè)調(diào)度器調(diào)度該隊(duì)列中的任務(wù)；通過(guò)參考Job Tracker的心跳情況Job Tracker可以將作業(yè)任務(wù)向集群節(jié)點(diǎn)上分配，因?yàn)橐恍┨卣鲾?shù)據(jù)存放于Data Node中，所以，Job Tracker在進(jìn)行MapTask時(shí)可以直接獲取輸入數(shù)據(jù)，可有效減少數(shù)據(jù)傳輸過(guò)程中的網(wǎng)絡(luò)損耗。

3)圖像分類Map階段：當(dāng)Job Tracker 獲取所分配的任務(wù)后，程序的相關(guān)數(shù)據(jù)以及JAR文件即可從HDFS中自動(dòng)獲取，在本地的文件磁盤中存儲(chǔ)，通過(guò)本地虛擬機(jī)的執(zhí)行即可加載JAR數(shù)據(jù)和文件，這樣從運(yùn)行任務(wù)實(shí)例的Task Tracker中就能夠獲取數(shù)據(jù)塊。在執(zhí)行Map任務(wù)時(shí)需要計(jì)算對(duì)特征庫(kù)中圖像和輸入圖像特征之間的距離，數(shù)據(jù)結(jié)果的鍵值對(duì)就是圖像類別，并存儲(chǔ)于在本地磁盤中。

4)圖像分類任務(wù)的Reduce：根據(jù)對(duì)應(yīng)的鍵值Map Reduce框架分類特征向量，如果中間結(jié)果的鍵值相同，則需要充分整理以及合并這些鍵值對(duì)的特征向量，利用Reduce Task對(duì)合并之后的結(jié)果進(jìn)行處理。利用Reduce Task進(jìn)行Map Task的輸出排序，得到圖像分類的結(jié)果，并將結(jié)果寫入到HDFS中。

5)圖像分類任務(wù)完成：利用Job Tracker進(jìn)行識(shí)別，同時(shí)將完成結(jié)果表示出來(lái)，可以通過(guò)Job Tracker得到作業(yè)運(yùn)行的參數(shù)。利用Job Tracker得到所有作業(yè)狀態(tài)，利用Task Tracker刪除Map階段產(chǎn)生的中間結(jié)果。在HDFS上用戶可對(duì)結(jié)果文件進(jìn)行查看。

2 基于云計(jì)算平臺(tái)的 SVM 分類器

1)在Hadoop云平臺(tái)上上傳數(shù)據(jù)信息，作業(yè)完成提交以后從HDFS中獲取數(shù)據(jù)源，通過(guò)數(shù)據(jù)集群配置劃分處理數(shù)據(jù)，并分類處理作業(yè)的Reduce和Map，對(duì)于Reduce和Map過(guò)程中的節(jié)點(diǎn)信息可以進(jìn)行輸入；

2)操作過(guò)程，在系統(tǒng)中讀入儲(chǔ)存在HDFS中的圖像樣本，同時(shí)轉(zhuǎn)換數(shù)據(jù)樣本參數(shù)類型，使用遺傳算法優(yōu)化轉(zhuǎn)換后的組合參數(shù)，進(jìn)行svm_train函數(shù)的調(diào)入，通過(guò)樣本數(shù)據(jù)的訓(xùn)練來(lái)獲取支持向量，在Reduce中傳入處理結(jié)果。

3)實(shí)現(xiàn)Reduce的操作過(guò)程，用于分類和排序Map函數(shù)所轉(zhuǎn)換的數(shù)據(jù)形式key/value，將處理后的數(shù)據(jù)輸入到實(shí)現(xiàn)規(guī)定的路徑文件中[7]。文獻(xiàn)[8]給出了實(shí)現(xiàn)過(guò)程示意圖如圖3所示。

3 圖像識(shí)別實(shí)例分析

3.1 圖像識(shí)別對(duì)象分析

以1 000個(gè)交通標(biāo)志的圖像為實(shí)例進(jìn)行分析和驗(yàn)證本文方法。

不同的交通標(biāo)志燈存在著非常大的顏色差距，在對(duì)交通標(biāo)志燈進(jìn)行分割的過(guò)程中通過(guò)顏色來(lái)實(shí)現(xiàn)交通標(biāo)志的抽取和分離。

當(dāng)交通標(biāo)志和自然場(chǎng)景均具有比較復(fù)雜的背景時(shí)，根據(jù)顏色無(wú)法保證判定結(jié)果的精確性，可根據(jù)交通標(biāo)志以及復(fù)雜背景在特殊形狀上存在著非常明顯的差距進(jìn)行提取。

交通標(biāo)志有矩形、三角形和圓形三種類型，當(dāng)交通標(biāo)志不同時(shí)其屬性也存在著很大的差距，這些屬性主要包括與邊緣的距離、矩形度、圓形度以及伸長(zhǎng)度。伸長(zhǎng)度、矩形度以及圓形度的計(jì)算方法[9]為

C=4πF/L2,J=F/WT,E=min(W,T)/max(W,T)

(1)

本文利用Gabor濾波提取特征性向量：建立核函數(shù)模板，實(shí)現(xiàn)圖像卷積。對(duì)應(yīng)的核函數(shù)為[10]

(2)

3.2 實(shí)驗(yàn)平臺(tái)搭建

Hadoop中各個(gè)節(jié)點(diǎn)和主機(jī)以及單機(jī)所使用的計(jì)算機(jī)具有相同的配置：內(nèi)存為8GB、DDR3 1 333 MHz、1T硬盤以及Intel I5 4950的CPU。Ubuntu 14.10操作系統(tǒng)，clipse-jee-juno-SR2版本以及Hadoop 1.0.0版本IDE平臺(tái)，JDK1.7.0_07環(huán)境下執(zhí)行Java。

3.3 圖像識(shí)別結(jié)果分析

使用本文的圖像特征檢測(cè)方法得到的3個(gè)實(shí)例圖像處理結(jié)果如圖4所示。

可以看出:圖像特征檢測(cè)方法處理后圖像中雜點(diǎn)更少，更利于圖像的分類識(shí)別。

分別在單機(jī)環(huán)境下使用基于SVM算法和在所建立的Hadoop平臺(tái)上使用基于SVM算法、BP網(wǎng)絡(luò)算法的圖像識(shí)別技術(shù)對(duì)圖像樣本中的交通標(biāo)志進(jìn)行識(shí)別。得到各種識(shí)別技術(shù)的準(zhǔn)確率對(duì)比如表1。

表1 3種算法的識(shí)別結(jié)果對(duì)比

隨著迭代次數(shù)的增加，3種檢測(cè)方法的平均識(shí)別率如圖5所示?？梢钥闯?，3種算法中將云計(jì)算平臺(tái)與SVM分類器進(jìn)行結(jié)合實(shí)現(xiàn)圖像識(shí)別的準(zhǔn)確率最優(yōu)。對(duì)于多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，為了保證算法參數(shù)最優(yōu)需要訓(xùn)練和優(yōu)化多次，直接限制了其在云計(jì)算平臺(tái)中的應(yīng)用，如果將神經(jīng)網(wǎng)絡(luò)識(shí)別分類模型建立在云計(jì)算平臺(tái)上會(huì)使得計(jì)算效率降低，因此，神經(jīng)網(wǎng)絡(luò)模型并不適用MapReduce模型。

圖5 3種檢測(cè)方法的平均識(shí)別率隨迭代次數(shù)的變化

3.4 圖像識(shí)別效率實(shí)驗(yàn)研究

分別在單機(jī)平臺(tái)和Hadoop平臺(tái)上實(shí)驗(yàn)，SVM圖像分類器識(shí)別交通標(biāo)志的效率對(duì)比。在Hadoop平臺(tái)中設(shè)置節(jié)點(diǎn)數(shù)分別為2，3，4。Hadoop平臺(tái)中各節(jié)點(diǎn)計(jì)算機(jī)與單機(jī)平臺(tái)計(jì)算機(jī)配置完全一致。各實(shí)驗(yàn)條件下交通標(biāo)志的識(shí)別時(shí)間對(duì)比如圖6所示。

圖6 各實(shí)驗(yàn)條件圖像識(shí)別時(shí)間對(duì)比

通過(guò)識(shí)別效率對(duì)比曲線能夠發(fā)現(xiàn)，如果在圖像識(shí)別的過(guò)程中Hadoop圖像識(shí)別平臺(tái)上只有2個(gè)節(jié)點(diǎn)，數(shù)據(jù)交換消耗時(shí)間較長(zhǎng)，因此,兩臺(tái)計(jì)算機(jī)圖像識(shí)別消耗的時(shí)間會(huì)大于一臺(tái)計(jì)算機(jī)消耗的時(shí)間;如果Hadoop圖像識(shí)別平臺(tái)上具有更多數(shù)量的節(jié)點(diǎn)，隨著節(jié)點(diǎn)數(shù)量的增加,處理相同圖像所消耗的時(shí)間逐漸減少。

4 結(jié) 論

1)本文通過(guò)應(yīng)用圖像處理技術(shù)、SVM算法以及Hadoop處理技術(shù)，將云平臺(tái)與SVM算法結(jié)合起來(lái)，以云計(jì)算平臺(tái)為基礎(chǔ)對(duì)圖像檢測(cè)技術(shù)進(jìn)行研究。通過(guò)交通標(biāo)志識(shí)別實(shí)例驗(yàn)證此方法可行性。

2)利用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行圖像識(shí)別時(shí)需要運(yùn)算大量的矩陣，但為保證算法參數(shù)的最優(yōu)需要訓(xùn)練和優(yōu)化多次，使得神經(jīng)網(wǎng)絡(luò)算法任務(wù)無(wú)法在MapReduce中一次完成，需要讀寫操作反復(fù)進(jìn)行，因此，在進(jìn)行應(yīng)用的過(guò)程中會(huì)導(dǎo)致計(jì)算效率降低的問(wèn)題出現(xiàn)，在MapReduce模型中不適合應(yīng)用神經(jīng)網(wǎng)絡(luò)算法。

3)當(dāng)Hadoop平臺(tái)中的節(jié)點(diǎn)數(shù)較少時(shí)，由于數(shù)據(jù)交換消耗了較長(zhǎng)時(shí)間，使得Hadoop平臺(tái)的運(yùn)算效率低于單機(jī)平臺(tái)，所以，Hadoop平臺(tái)中節(jié)點(diǎn)數(shù)超過(guò)2個(gè)后，才能發(fā)揮云計(jì)算平臺(tái)的優(yōu)勢(shì)。

參考文獻(xiàn):

[1] 王剛毅.交通標(biāo)志檢測(cè)與分類算法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué),2013.

[2] 張 儼.一種云計(jì)算環(huán)境下人臉識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué),2013.

[3] 李仕釗.基于云計(jì)算的人臉識(shí)別系統(tǒng)研究與實(shí)現(xiàn)[D].廣州：華南理工大學(xué),2013.

[4] 李 潔.基于Hadoop的海量視頻的分布式存儲(chǔ)與檢索研究[D].南京：南京郵電大學(xué),2015.

[5] 陳永權(quán).基于Hadoop的圖像檢索算法研究與實(shí)現(xiàn)[D].廣州：華南理工大學(xué),2013.

[6] 李 彬.嵌入式車牌識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安工業(yè)大學(xué),2013.

[7] 廖周宇,謝曉蘭,劉建明.云計(jì)算環(huán)境下基于SVM的數(shù)據(jù)分類[J].桂林理工大學(xué)學(xué)報(bào),2013(4):765-769.

[8] 牛 科.基于Hadoop云平臺(tái)的分布式支持向量機(jī)研究[D].臨汾：山西師范大學(xué),2014.

[9] 鮑朝前.針對(duì)圓形和三角形交通標(biāo)志的檢測(cè)與識(shí)別[D].北京：北京工業(yè)大學(xué),2015.

[10] 周 欣.圓形和三角形交通標(biāo)志分割與識(shí)別算法研究[D].上海：華東理工大學(xué),2013.