摘 要:本文基于深度神經(jīng)網(wǎng)絡(luò)對(duì)多模態(tài)計(jì)算機(jī)圖像進(jìn)行識(shí)別。首先提出兩個(gè)削減規(guī)則。第一個(gè)削減規(guī)則用來(lái)減少鄰接頂點(diǎn)之間相似性計(jì)算次數(shù),第二個(gè)削減規(guī)則通過(guò)非精確計(jì)算鄰接頂點(diǎn)間的相似性來(lái)減少計(jì)算時(shí)間;其次提出一種基于Spark中GraphX的結(jié)構(gòu)化圖聚類算法GXDSGC。該算法在運(yùn)行期間不需要大量的磁盤I/O開(kāi)銷;最后通過(guò)在大量真實(shí)數(shù)據(jù)集和合成數(shù)據(jù)集上的實(shí)驗(yàn),證實(shí)本文提出的GXDSGC算法的有效性。GXDSGC算法比基于Hadoop中MapReduce框架的算法快30多倍,能夠顯著提高計(jì)算機(jī)圖像識(shí)別在大數(shù)據(jù)分析中的效率。
關(guān)鍵詞:云計(jì)算 GXDSGC算法 分布式結(jié)構(gòu)
一、引言
數(shù)字圖像處理的最終目的是用計(jì)算機(jī)代替人去認(rèn)識(shí)圖像和找出一副圖像中人們感興趣的目標(biāo),這是計(jì)算機(jī)模式識(shí)別的主要內(nèi)容。模式識(shí)別技術(shù)是用機(jī)器來(lái)模擬人的各種識(shí)別能力,當(dāng)前主要是模擬人的視覺(jué)和聽(tīng)覺(jué)能力(Li H et al. 2015)[1]。圖像模式識(shí)別是用機(jī)器對(duì)文字、圖像、圖片和景物等模式信息加以處理和識(shí)別,用以解決計(jì)算機(jī)與外部環(huán)境直接通信這一重要問(wèn)題。圖像識(shí)別由三個(gè)環(huán)節(jié)構(gòu)成,分別是數(shù)據(jù)獲取、數(shù)據(jù)處理、判別分類(Opieliński K J et al. 2017)[2]。解決圖像識(shí)別的方法概括起來(lái)可分為統(tǒng)計(jì)模式識(shí)別、結(jié)構(gòu)模式識(shí)別、模糊圖像識(shí)別與智能模式識(shí)別(Wu D et al. 2016)[3]。
二、實(shí)證分析
基于本文構(gòu)建的算法,以下通過(guò)實(shí)驗(yàn)來(lái)對(duì)算法進(jìn)行驗(yàn)證,本實(shí)驗(yàn)所用的軟硬件環(huán)境如下:集群由五臺(tái)服務(wù)器組成,每臺(tái)服務(wù)器的配置為:RedHat64位操作系統(tǒng),16核CPU,主頻1.9GHz,16G內(nèi)存,2T硬盤;Hadoop版本為2.6.0,Spark版本為1.6.0,Java版本為1.8.0,Scala版本為2.10.4。開(kāi)發(fā)環(huán)境配置:操作系統(tǒng)為Windows732位旗艦版,主頻3.10GHz,4G內(nèi)存,500G硬盤;開(kāi)發(fā)工具IntelliJIDEACommunityEdition15.0.2,Java版本為1.8.0, Scala 版本為 2.10.4。
本文實(shí)驗(yàn)所用數(shù)據(jù)集包括DBLP,Youtube,LiveJournal3個(gè)真實(shí)數(shù)據(jù)集和人工數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。其中,DBLP是一個(gè)作者協(xié)作網(wǎng)絡(luò);Youtube是一個(gè)用戶到用戶鏈接網(wǎng)絡(luò);LiveJournal是一個(gè)在線社交網(wǎng)絡(luò)。人工數(shù)據(jù)集使用前人文獻(xiàn)中的算法生成。數(shù)據(jù)集統(tǒng)計(jì)信息如表1。
下面將本文中提出的神經(jīng)網(wǎng)絡(luò)算法和Zhao等人提出的PSCAN算法進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)從運(yùn)行時(shí)間、削減策略和可擴(kuò)展性三個(gè)方面來(lái)進(jìn)行比較。PSCAN算法和神經(jīng)網(wǎng)絡(luò)算法在相同配置的集群上運(yùn)行,由于PSCAN算法并沒(méi)有指定聚類的最小尺寸,所以在實(shí)驗(yàn)中將神經(jīng)網(wǎng)絡(luò)算法的最小聚類尺寸設(shè)置為2,使得兩個(gè)算法的結(jié)果相同。下面分別從這三個(gè)方面對(duì)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行分析。首先我們比較了運(yùn)行時(shí)間,在該實(shí)驗(yàn)中,對(duì)于不同數(shù)據(jù)集,在相似性閾值分別取0.6,0.7,0.8,0.9四個(gè)值的情況下,分別運(yùn)行神經(jīng)網(wǎng)絡(luò)算法和PSCAN算法。算法在表1中數(shù)據(jù)集上的運(yùn)行時(shí)間如圖1所示。
三、研究結(jié)論
本文基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行多模態(tài)計(jì)算機(jī)圖像識(shí)別,當(dāng)前多模態(tài)計(jì)算機(jī)圖像識(shí)別是大圖數(shù)據(jù)分析的主要技術(shù)之一,在社區(qū)檢測(cè)、生物功能發(fā)現(xiàn)和圖可視化等許多實(shí)際應(yīng)用中具有重要意義。目前的多模態(tài)計(jì)算機(jī)圖像識(shí)別大多基于Hadoop的MapReduce框架,但該框架需要精確計(jì)算圖中所有鄰接頂點(diǎn)之間的相似性且需要大量的磁盤I/O開(kāi)銷,極大增加了算法的運(yùn)行時(shí)間。SCAN算法利用頂點(diǎn)之間的結(jié)構(gòu)信息不僅能夠?qū)D進(jìn)行聚類,還能識(shí)別出圖中頂點(diǎn)的不同角色,為用戶提供豐富的信息;而PSCAN算法是SCAN算法在分布式集群上的擴(kuò)展。
參考文獻(xiàn)
[1] Li H, Ding H, Huang D, et al. An efficient multimodal 2D + 3D feature-based approach to automatic facial expression recognition[J]. Computer Vision & Image Understanding, 2015, 140(45):83-92.
[2] Opieliński K J, Pruchnicki P, Szymanowski P, et al. Multimodal ultrasound computer-assisted tomography: An approach to the recognition of breast lesions[J]. Comput Med Imaging Graph, 2017, 39(16):136-142.
作者簡(jiǎn)介:伍梵,專業(yè):信息與計(jì)算科學(xué),學(xué)校:湖南人文科技學(xué)院。