王 軍，王 晶

（北京航空航天大學(xué) 經(jīng)濟(jì)管理學(xué)院，北京 100083）

0 引言

大數(shù)據(jù)應(yīng)用起源于互聯(lián)網(wǎng)，正在向以數(shù)據(jù)生產(chǎn)、流通和利用為核心的各個(gè)產(chǎn)業(yè)滲透，主要呈現(xiàn)兩種發(fā)展方向：一是積極整合行業(yè)和機(jī)構(gòu)內(nèi)部的各種數(shù)據(jù)源，通過(guò)對(duì)整合后的數(shù)據(jù)進(jìn)行挖掘分析 ，從而發(fā)展大數(shù)據(jù)應(yīng)用。二是積極借助外部數(shù)據(jù)，主要是互聯(lián)網(wǎng)數(shù)據(jù)，來(lái)實(shí)現(xiàn)相關(guān)應(yīng)用[1]。

傳統(tǒng)的制造業(yè)在向智慧生產(chǎn)邁進(jìn)的過(guò)程中采用了大量的傳感設(shè)備，構(gòu)建了企業(yè)物聯(lián)網(wǎng)。物聯(lián)網(wǎng)的興起使得當(dāng)前數(shù)據(jù)增長(zhǎng)比以往任何一個(gè)時(shí)期都要快，增長(zhǎng)速度也非常迅猛，其創(chuàng)造的數(shù)據(jù)將遠(yuǎn)多于傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)。物聯(lián)網(wǎng)所創(chuàng)造數(shù)據(jù)，描繪的是工廠設(shè)備、物質(zhì)運(yùn)動(dòng)的規(guī)律、狀態(tài)變化的規(guī)律等，更加真實(shí)、可靠、有價(jià)值，可以從中挖掘出更豐富、更有用的知識(shí)[2]。

有文獻(xiàn)介紹，大數(shù)據(jù)分析在國(guó)外制造業(yè)中顯示出巨大的潛力[3]。Gentrica是英國(guó)最大的燃?xì)?、供電企業(yè)。Gentrica該企業(yè)計(jì)劃到2014年上半年為止，為家用客戶和商用客戶安裝總計(jì)350萬(wàn)臺(tái)智能電表。Gentrica通過(guò)內(nèi)存型數(shù)據(jù)庫(kù)對(duì)每30分鐘的來(lái)自客戶的數(shù)據(jù)進(jìn)行分析，客戶通過(guò)家中安裝的顯示屏確認(rèn)電力、燃?xì)獾氖褂昧亢唾M(fèi)用，提高節(jié)約能源的意識(shí)。而Gentrica對(duì)客戶的能源消耗模式進(jìn)行分析，設(shè)置自動(dòng)電費(fèi)規(guī)則和基于用電需求的變化進(jìn)行用電需求進(jìn)行移峰操作。小松是居世界第二位的建筑機(jī)械制造商，建立了一個(gè)名為KOMRTAX的，能夠?qū)ㄖC(jī)械的工作狀況進(jìn)行遠(yuǎn)程監(jiān)控的系統(tǒng)。KOMRTAX系統(tǒng)通過(guò)安裝在建筑機(jī)械上的GPS和各種傳感器，對(duì)機(jī)械當(dāng)前所處位置、工作時(shí)間、工作狀況、燃油余量、耗材更換時(shí)間等數(shù)據(jù)進(jìn)行收集。通過(guò)數(shù)據(jù)分析給客戶提供設(shè)備優(yōu)化運(yùn)行的建議，并可受托監(jiān)控設(shè)備安全。

某特種印制企業(yè)是國(guó)家法定流通貨幣的定點(diǎn)生產(chǎn)單位。顯而易見(jiàn)，該企業(yè)對(duì)生產(chǎn)過(guò)程質(zhì)量控制及在制品跟蹤有嚴(yán)格的要求：在制品在整個(gè)生產(chǎn)過(guò)程中一定要確保數(shù)字不出任何差錯(cuò)，以及產(chǎn)品質(zhì)量的萬(wàn)無(wú)一失。由于印制過(guò)程中印制設(shè)備和印制材料的不完善以及一些不可避免的隨機(jī)因素的影響，在生產(chǎn)過(guò)程中經(jīng)常會(huì)出現(xiàn)顏色深淺失真、油墨污點(diǎn)、文字模糊、起皺、漏?。ㄈ卑妫⒐蝹?、套印不準(zhǔn)（走版）等各種缺陷。以往，企業(yè)使用大量有經(jīng)驗(yàn)的檢查工通過(guò)肉眼人工進(jìn)行缺陷檢查，但存在效率低、不穩(wěn)定、品質(zhì)不統(tǒng)一等致命的缺點(diǎn)[4]。且人工直接接觸產(chǎn)品，容易引發(fā)安全方面的事故。隨著機(jī)器視覺(jué)技術(shù)的快速發(fā)展，很多應(yīng)用案例將其應(yīng)用缺陷檢測(cè)中。為此，企業(yè)引進(jìn)了大量的在線圖像檢測(cè)設(shè)備。通過(guò)對(duì)每張產(chǎn)品噴寫標(biāo)識(shí)碼，并在后續(xù)生產(chǎn)過(guò)程中實(shí)時(shí)采集、跟蹤每張?jiān)谥破返臉?biāo)識(shí)碼、印制圖像，將圖像與缺陷特征信息進(jìn)行比對(duì)，提示生產(chǎn)過(guò)程中的存在的質(zhì)量缺陷。但系統(tǒng)大范圍投運(yùn)后，常規(guī)的技術(shù)架構(gòu)及關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)，不能有效及時(shí)處理系統(tǒng)所產(chǎn)生的大數(shù)據(jù)量，尤其是非結(jié)構(gòu)的圖像數(shù)據(jù)，也就無(wú)法形成全工序的質(zhì)量數(shù)據(jù)共享與打通。

本文采用基于Hadoop的大數(shù)據(jù)處理技術(shù)，通過(guò)分析業(yè)務(wù)需求，建立大數(shù)據(jù)存貯管理模型，并在此基礎(chǔ)上，建立數(shù)據(jù)分析、實(shí)時(shí)查詢模型，通過(guò)數(shù)據(jù)可視化技術(shù)進(jìn)行實(shí)時(shí)展現(xiàn)，實(shí)現(xiàn)全工序質(zhì)量信息的自動(dòng)采集、集成管理與質(zhì)量預(yù)警、分析即時(shí)化。并在此基礎(chǔ)上，針對(duì)產(chǎn)品的不同質(zhì)量等級(jí)，支持多生產(chǎn)工藝的動(dòng)態(tài)調(diào)度。

1 問(wèn)題描述

1.1 業(yè)務(wù)需求

特種印制生產(chǎn)多規(guī)格并線生產(chǎn)，生產(chǎn)投料及組織按批進(jìn)行，常規(guī)每批次約10000大張（每一大張包括多個(gè)數(shù)量的最終產(chǎn)品，簡(jiǎn)稱為小枚，包含數(shù)量取決于不同的小枚的尺寸規(guī)格）。典型的生產(chǎn)工藝如圖1所示。膠印工序會(huì)在每個(gè)大張上噴寫唯一的“大張ID碼”，這是實(shí)現(xiàn)每一大張的獨(dú)立跟蹤的基礎(chǔ)。包括膠印工序在內(nèi)的每個(gè)工序?qū)⑦M(jìn)行圖像采集，與各工序標(biāo)準(zhǔn)化缺陷特征模型進(jìn)行模式對(duì)比分析，產(chǎn)生該大張中每個(gè)小枚的工序質(zhì)量檢測(cè)信息，在物料流轉(zhuǎn)時(shí)同步傳送到下游工序。下游工序根據(jù)上游工序的質(zhì)量檢測(cè)信息來(lái)調(diào)整本工序的生產(chǎn)，或進(jìn)行全廢品兌換操作。同時(shí)，將前三個(gè)工序的質(zhì)量信息匯總起來(lái)，由人工對(duì)再對(duì)大張檢查機(jī)器的判廢信息進(jìn)行再次確認(rèn)（當(dāng)前，由于檢測(cè)及模式識(shí)別等因素，以及經(jīng)濟(jì)性的考慮，還不能做到完全由機(jī)器判廢），生成指導(dǎo)后續(xù)生產(chǎn)的綜合質(zhì)量信息報(bào)告。綜合質(zhì)量信息報(bào)告再結(jié)合印碼工序產(chǎn)生的新質(zhì)量信息，形成指導(dǎo)后續(xù)清分生產(chǎn)工序所需的質(zhì)量清單。根據(jù)該清單所表示的在制品質(zhì)量等級(jí)信息，由人工調(diào)度選擇后續(xù)裁封自動(dòng)線，或小張清分機(jī)全檢。其判斷依據(jù)是質(zhì)量等級(jí)高的產(chǎn)品執(zhí)行裁封自動(dòng)線，以提高生產(chǎn)效率。質(zhì)量等級(jí)低的產(chǎn)品執(zhí)行小張清分機(jī)全檢，防范廢品流出，但生產(chǎn)效率低。

在自動(dòng)線生產(chǎn)過(guò)程中，設(shè)備將根據(jù)傳遞來(lái)的質(zhì)量清單，自動(dòng)剔除有質(zhì)量缺陷的小枚產(chǎn)品，并用好品來(lái)補(bǔ)充生產(chǎn)數(shù)量。這一過(guò)程的效率及質(zhì)量完全取決于質(zhì)量清單。

圖1 質(zhì)量信息采集與生產(chǎn)工藝的選擇

生產(chǎn)質(zhì)量跟蹤要求簡(jiǎn)單明了，其基本思路是：流通貨幣上都有唯一的標(biāo)識(shí)號(hào)（業(yè)內(nèi)稱之為冠字），根據(jù)該標(biāo)識(shí)號(hào)能夠還原生產(chǎn)的全過(guò)程，包括產(chǎn)品裝箱的箱號(hào)、批次號(hào)、大張?zhí)?。根?jù)批次號(hào)，就能從相應(yīng)的生產(chǎn)系統(tǒng)準(zhǔn)確追溯出相關(guān)的生產(chǎn)機(jī)臺(tái)、人員、輔助物資批號(hào)、質(zhì)量信息、生產(chǎn)時(shí)間等。這對(duì)質(zhì)量改進(jìn)及提升服務(wù)水平具有重要意義。圖2為質(zhì)量跟蹤的框架。

圖2 全過(guò)程質(zhì)量跟蹤信息框架

1.2 大數(shù)據(jù)的挑戰(zhàn)

大數(shù)據(jù)的特征，可以用三個(gè)V開(kāi)頭的關(guān)鍵詞來(lái)描述：Volume（容量）、Variety（多樣性）、Velocity（速度）[5]。

每個(gè)路燈獲取隨機(jī)值，當(dāng)隨機(jī)值計(jì)算的時(shí)間到時(shí)，進(jìn)行入網(wǎng)或狀態(tài)上報(bào)，例如公式：上電時(shí)間+隨機(jī)值（不大于3秒）

1）Volume（容量）分析

表1 數(shù)據(jù)量評(píng)估表

從上表可以看到，日均產(chǎn)生10G的業(yè)務(wù)數(shù)據(jù)和130G圖像數(shù)據(jù)，年數(shù)據(jù)總計(jì)為51100G，約51T之巨。而該行業(yè)管理要求數(shù)據(jù)至少保存三年以上。因此，該數(shù)據(jù)量稱得上是大數(shù)據(jù)。

2）Variety（多樣性）分析

用于質(zhì)量跟蹤的數(shù)據(jù)主要有三種數(shù)據(jù)，兩大類型：一是表征生產(chǎn)組織及物料的結(jié)構(gòu)化數(shù)據(jù)，包括生產(chǎn)工單、批次號(hào)、物料清單、設(shè)備標(biāo)識(shí)號(hào)、大張標(biāo)識(shí)號(hào)、生產(chǎn)時(shí)間、生產(chǎn)數(shù)量等信息。二是結(jié)構(gòu)化的質(zhì)量缺陷類型數(shù)據(jù)。對(duì)于不同的模式的質(zhì)量缺陷給出結(jié)構(gòu)化的定義，通過(guò)人工預(yù)先設(shè)定，機(jī)器視覺(jué)設(shè)備將會(huì)與標(biāo)準(zhǔn)模型進(jìn)行比較后自動(dòng)給出。三是無(wú)法結(jié)構(gòu)化的原始圖像文件。由于數(shù)據(jù)量巨大，設(shè)備將只保留存在疑問(wèn)的局部細(xì)節(jié)圖像。

3）Velocity（速度）分析

受生產(chǎn)日歷及生產(chǎn)安排的影響，數(shù)據(jù)產(chǎn)生的速度也不均衡。一般來(lái)說(shuō)，生產(chǎn)時(shí)間為AM8:00～PM5:00，數(shù)據(jù)將會(huì)在AM8:00～AM9:00集中同步產(chǎn)生，形成每天的數(shù)據(jù)高峰。

從另一方面看，速度還表現(xiàn)在數(shù)據(jù)使用的高效性及實(shí)時(shí)性上。圖1所示的圖像判廢環(huán)節(jié)，人工檢查給定批次的圖像信息時(shí)，人機(jī)交互的時(shí)間不能大于3秒。在路徑選擇及后續(xù)裁封自動(dòng)線環(huán)節(jié)，系統(tǒng)將能夠?qū)崟r(shí)地、準(zhǔn)確地給出每批次在制品特定小枚的質(zhì)量信息，供生產(chǎn)線自動(dòng)處理。

2 技術(shù)總體框架

2.1 拓?fù)浼安渴鹗疽?/h3>

所設(shè)計(jì)的大數(shù)據(jù)平臺(tái)（圖3）部署于企業(yè)私有云環(huán)境上。主要的客戶端全部在企業(yè)局域網(wǎng)范圍內(nèi)，客戶應(yīng)用分兩類：一類是企業(yè)生產(chǎn)調(diào)度中心，進(jìn)行實(shí)時(shí)查詢及調(diào)度決策。二類是機(jī)臺(tái)上的操作人員，隨時(shí)查看生產(chǎn)產(chǎn)品的歷史質(zhì)量記錄。

圖3 拓?fù)浼安渴鹗疽鈭D

2.2 大數(shù)據(jù)平臺(tái)框架

Hadoop是Apache開(kāi)源組織的一個(gè)分布式計(jì)算框架，可以在大量廉價(jià)的硬件設(shè)備組成的集群上運(yùn)行應(yīng)用程序，構(gòu)建一個(gè)具有高可靠性和良好擴(kuò)展性的并行分布式系統(tǒng)，Hadoop分布式文件系統(tǒng)HDFS、MapReduce并行處理編程模型和HBase分布式數(shù)據(jù)庫(kù)是其三大核心技術(shù)[6]。本文采用該核心技術(shù)搭建適合特種印制質(zhì)量信息管理的大數(shù)據(jù)平臺(tái)系統(tǒng)。

設(shè)計(jì)的大數(shù)據(jù)平臺(tái)總體框架如圖4所示。

本文還采用Hive、Impala組成大數(shù)據(jù)查詢、統(tǒng)計(jì)、挖掘、分析平臺(tái)，分別應(yīng)用于不同的數(shù)據(jù)挖掘需求。采用Pentaho實(shí)現(xiàn)圖表展示平臺(tái)。

圖4 大數(shù)據(jù)平臺(tái)總體框架

數(shù)據(jù)遷移系統(tǒng)遷移分散數(shù)據(jù)到大數(shù)據(jù)平臺(tái)的HBase數(shù)據(jù)庫(kù)中，遷移過(guò)程中對(duì)數(shù)據(jù)進(jìn)行了初步的ETL。比如HBase中的表不能太多，也不能太大，要設(shè)計(jì)合理，一般在數(shù)據(jù)遷移過(guò)程合并一個(gè)月的相應(yīng)生產(chǎn)系統(tǒng)中業(yè)務(wù)數(shù)據(jù)庫(kù)表格數(shù)據(jù)到一張HBase表中。對(duì)于實(shí)時(shí)數(shù)據(jù)分析的場(chǎng)合則需要每隔數(shù)分鐘即遷移當(dāng)天的新增數(shù)據(jù)到HBase表中。

集群管理監(jiān)控系統(tǒng)對(duì)集群和任務(wù)進(jìn)行管理和監(jiān)控，通過(guò)Oozie可以對(duì)計(jì)算或處理任務(wù)進(jìn)行輪詢，從而保證能夠完成任務(wù)，這樣可以保證數(shù)據(jù)遷移和數(shù)據(jù)分析過(guò)程的穩(wěn)定性。

3 大數(shù)據(jù)管理

3.1 數(shù)據(jù)采集與遷移

針對(duì)特定數(shù)據(jù)源和數(shù)據(jù)特征設(shè)計(jì)的數(shù)據(jù)遷移系統(tǒng)實(shí)現(xiàn)從各機(jī)臺(tái)的機(jī)器視覺(jué)系統(tǒng)中遷移數(shù)據(jù)到大數(shù)據(jù)平臺(tái)的HBase數(shù)據(jù)庫(kù)中，并按照預(yù)定的模型進(jìn)行統(tǒng)一存儲(chǔ)與管理。遷移過(guò)程中數(shù)據(jù)結(jié)構(gòu)要發(fā)生變化，因而需要保證數(shù)據(jù)的完整性。

數(shù)據(jù)遷移系統(tǒng)需要實(shí)現(xiàn)一次性的歷史數(shù)據(jù)的遷移以及每天增量數(shù)據(jù)的遷移。遷移系統(tǒng)需要基于Sqoop和Flume這兩種建立在本Hadoop集群分布式計(jì)算環(huán)境下的分布式、高可用遷移系統(tǒng)的API進(jìn)行開(kāi)發(fā)。遷移系統(tǒng)支持反向操作，即從Hadoop中遷移數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫(kù)中。這一點(diǎn)將在裁封自動(dòng)線后自動(dòng)剔除出得到應(yīng)用。

圖5 數(shù)據(jù)遷移操作

針對(duì)部分BMP格式的圖像文件，由于數(shù)據(jù)量過(guò)大，在數(shù)據(jù)遷移過(guò)程中，直接通過(guò)JPEG編碼方法進(jìn)行了轉(zhuǎn)換[7]，壓縮比相當(dāng)可觀，但圖像人工辨識(shí)性沒(méi)有影響。

3.2 數(shù)據(jù)存貯模型

采用基于Hadoop的HBase數(shù)據(jù)庫(kù)來(lái)進(jìn)行存儲(chǔ)，HBase的一張Table通過(guò)劃分不同的Key區(qū)間可以有不同的Region Server來(lái)保存，類似如圖6所示。

缺陷圖像經(jīng)ETL處理后，JPEG格式的大小一般不足100K，是一系列小文件的集合。其存貯管理非常適合文獻(xiàn)[8]介紹的“海量圖片存貯技術(shù)”建立的數(shù)據(jù)存貯模型[8]。

圖6 分布在不同Server上的HBase表

HBase數(shù)據(jù)庫(kù)中表示印刷中作廢的缺陷幣表的邏輯結(jié)構(gòu)如圖7所示。

圖7 缺陷信息表數(shù)據(jù)模型

其中作廢幣信息列族存儲(chǔ)作廢幣的基礎(chǔ)信息，如小枚位置、生產(chǎn)日期、作廢類型、圖像大小、圖像序列號(hào)等。批次信息列族存儲(chǔ)作廢幣的批次信息，如發(fā)現(xiàn)缺陷幣的車號(hào)、時(shí)間等。機(jī)臺(tái)、工序信息列族存儲(chǔ)作廢幣的機(jī)臺(tái)和工序信息，如發(fā)現(xiàn)缺陷幣的機(jī)臺(tái)號(hào)、工序號(hào)、時(shí)間等。大張信息列族存儲(chǔ)作廢幣的大張信息，如大張?zhí)?，大張圖像序列號(hào)等。相關(guān)物料信息列族存儲(chǔ)質(zhì)量跟蹤的其他資源信息，如物料清單、機(jī)臺(tái)人員等。

在HBase表中以不同的關(guān)鍵字進(jìn)行排序統(tǒng)計(jì)，再對(duì)得到的統(tǒng)計(jì)信息進(jìn)行分析，就可以實(shí)現(xiàn)對(duì)缺陷幣的全程跟蹤。在HBase中查詢數(shù)據(jù)時(shí)，根據(jù)請(qǐng)求數(shù)據(jù)的不同會(huì)出現(xiàn)以下三種情況：全表掃描、區(qū)間掃描及行鍵掃描。其中行鍵掃描是根據(jù)所給的鍵值取得一張表中行鍵對(duì)應(yīng)的單條數(shù)據(jù)，所以具有非常高的查詢統(tǒng)計(jì)性能。

4 大數(shù)據(jù)分析與可視化

顯然，數(shù)據(jù)在表格中比在圖中更難讓人洞悉其中的關(guān)鍵信息。根據(jù)兩類客戶端對(duì)數(shù)據(jù)的訪問(wèn)需求，提供基于Impala的即席查詢和以Pertaho為核心技術(shù)的BI分析，技術(shù)路線如圖8所示。

圖8 即時(shí)查詢分析和可視化技術(shù)路線

Hive適合于長(zhǎng)時(shí)間的批處理查詢分析，而Impala適合于實(shí)時(shí)交互式SQL查詢，Impala給數(shù)據(jù)分析人員提供了快速實(shí)驗(yàn)、驗(yàn)證想法的大數(shù)據(jù)分析工具。對(duì)于經(jīng)常應(yīng)用查詢分析，可以先使用Hive進(jìn)行數(shù)據(jù)的ETL，之后使用Impala在Hive處理后的結(jié)果數(shù)據(jù)集上進(jìn)行快速的數(shù)據(jù)分析。利用Impala，通過(guò)使用熟悉的SQL，像操作傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)一樣，很容易給出復(fù)雜查詢、統(tǒng)計(jì)分析的SQL設(shè)計(jì)，同時(shí)用戶熟悉的傳統(tǒng)的數(shù)據(jù)分析工具也可以使用。

針對(duì)印制生產(chǎn)的特點(diǎn)，分析形成可視化的“大張生產(chǎn)路線跟蹤圖（跟蹤每一大張的生產(chǎn)路徑，形成準(zhǔn)確的質(zhì)量跟蹤，截圖略）”；分析形成“工序設(shè)備質(zhì)量缺陷熱點(diǎn)圖（以設(shè)備布局為背景，按質(zhì)量缺陷數(shù)量形成熱點(diǎn)，疊加在設(shè)備布局圖上，截圖略）”。產(chǎn)品分工序缺占比分析如圖9所示。

圖9 產(chǎn)品分工序缺陷占比圖

5 應(yīng)用效果

將本文的研究成果應(yīng)用于某特種印制企業(yè)生產(chǎn)管理中，改變了傳統(tǒng)上由于上下游工序質(zhì)量信息不暢，只能按工序的調(diào)度的策略，而是采取全工藝、大質(zhì)量的調(diào)度策略，切實(shí)將最終產(chǎn)品能夠落實(shí)分解到每個(gè)生產(chǎn)環(huán)節(jié)，提高了管理的精細(xì)化水平。主要效果體現(xiàn)在：一是提高質(zhì)量控制的精細(xì)化水平，盡可能杜絕廢品流出，減低漏廢率。二是提高客戶服務(wù)及質(zhì)量管理水平，實(shí)現(xiàn)全過(guò)程的質(zhì)量追溯。三是只針對(duì)機(jī)器判廢品二次人工確認(rèn)，有效降低人工工作強(qiáng)度，雖然印制行業(yè)的特殊性要求使得企業(yè)不能完全依賴計(jì)算機(jī)的判廢結(jié)果來(lái)生產(chǎn)，但人工確認(rèn)判廢工作則調(diào)整為通過(guò)計(jì)算機(jī)系統(tǒng)遠(yuǎn)程進(jìn)行，改善了工作環(huán)境，切實(shí)提升生產(chǎn)效率及穩(wěn)定了工作質(zhì)量。

6 結(jié)束語(yǔ)

傳統(tǒng)制造企業(yè)應(yīng)用物聯(lián)網(wǎng)后，產(chǎn)生了海量的數(shù)據(jù)。本文采用基于Hadoop的大數(shù)據(jù)處理技術(shù)，建立了面向特種印制生產(chǎn)的質(zhì)量跟蹤數(shù)據(jù)模型，進(jìn)行大數(shù)據(jù)采集、管理、與可視化分析，實(shí)踐結(jié)果證明設(shè)計(jì)合理、技術(shù)架構(gòu)可行，切實(shí)提升了企業(yè)調(diào)度與決策的智能化水平，是將大數(shù)據(jù)分析技術(shù)應(yīng)用于制造行業(yè)的典型示范。

[1] 工業(yè)和信息化部電信研究院.大數(shù)據(jù)應(yīng)用發(fā)展[R].大數(shù)據(jù)白皮書（2014年）,北京:工業(yè)和信息化部電信研究院,2014.

[2] 孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展,2013,01:146-169.

[3] 城田真琴.大數(shù)據(jù)的沖擊[M].北京:人民郵電出版社,2013.

[4] 吳煒.基于機(jī)器視覺(jué)的紙幣缺陷檢測(cè)系統(tǒng)[D].西安電子科技大學(xué),2011.

[5] 周品.云時(shí)代的大數(shù)據(jù)[M].北京:電子工業(yè)出版社,2013.

[6] 陳吉榮,樂(lè)嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計(jì)算機(jī)工程與科學(xué),2013,10:25-35.

[7] 邱磊.JPEG算法研究及實(shí)現(xiàn)[J].計(jì)算機(jī)時(shí)代,2009,9:57-58.

[8] 朱曉麗,趙志剛.一種基于HBase的海量圖片存儲(chǔ)技術(shù)[J].信息系統(tǒng)工程,2013,8:23-24.