胡新+黃佳彬+章波

【摘要】 隨著互聯(lián)網(wǎng)、移動(dòng)通訊技術(shù)的不斷發(fā)展，特別是電商、社交、即時(shí)通訊平臺(tái)的活躍，以及企業(yè)信息化、智慧城市、智能電網(wǎng)的快速建設(shè)，近幾年來(lái)，視頻、圖像數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，與此同時(shí)，圖像處理技術(shù)也得到快速發(fā)展，特別是大數(shù)據(jù)技術(shù)的應(yīng)用為大規(guī)模圖像處理提供了技術(shù)可行性。本文就圖像技術(shù)的現(xiàn)狀、大數(shù)據(jù)體系、大數(shù)據(jù)圖像處理技術(shù)進(jìn)行分析論述，并結(jié)合智能電網(wǎng)應(yīng)用場(chǎng)景進(jìn)行了思考與分析。

【關(guān)鍵詞】 圖像技術(shù) 大數(shù)據(jù) Hadoop 智能電網(wǎng)

引言

當(dāng)前，大數(shù)據(jù)分析已經(jīng)成為各行業(yè)的一個(gè)重要決策支撐手段，大數(shù)據(jù)技術(shù)能夠簡(jiǎn)化處理海量數(shù)據(jù)，其大規(guī)模集群數(shù)據(jù)處理開(kāi)源軟件框架Apache Hadoop，可以可靠地依靠成千上萬(wàn)規(guī)模節(jié)點(diǎn)處理PB級(jí)數(shù)據(jù)。利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)圖像處理，能夠突破傳統(tǒng)圖像處理技術(shù)瓶頸，快速實(shí)現(xiàn)大規(guī)模圖像數(shù)據(jù)的處理計(jì)算，給企業(yè)帶來(lái)巨大價(jià)值。

一、圖像技術(shù)現(xiàn)狀分析

1.1存儲(chǔ)技術(shù)現(xiàn)狀

目前國(guó)內(nèi)外圖像存儲(chǔ)解決方案有兩種，分別是圖像存儲(chǔ)至數(shù)據(jù)庫(kù)和圖像存儲(chǔ)至硬盤。在海量圖像規(guī)模下，傳統(tǒng)數(shù)據(jù)庫(kù)承載太多圖像會(huì)導(dǎo)致數(shù)據(jù)庫(kù)容量和效率成為極大的瓶頸，常見(jiàn)做法是圖像存儲(chǔ)在硬盤，圖像路徑存儲(chǔ)至數(shù)據(jù)庫(kù)。存儲(chǔ)容量方面常采用增加專業(yè)的磁盤陣列，磁盤柜或者高級(jí)的光纖盤陣、局域網(wǎng)盤陣等方式解決，而提升訪問(wèn)效率方面常采用squid緩存和鏡像方法。

1.2應(yīng)用技術(shù)現(xiàn)狀

圖像應(yīng)用技術(shù)隨著互聯(lián)網(wǎng)浪潮不斷發(fā)展，按應(yīng)用領(lǐng)域不同可歸納為物理設(shè)備應(yīng)用、基礎(chǔ)軟件應(yīng)用、智能分析應(yīng)用、智慧分析應(yīng)用四個(gè)應(yīng)用層次，其技術(shù)實(shí)現(xiàn)難度逐層增加。物理設(shè)備應(yīng)用、基礎(chǔ)軟件應(yīng)用是當(dāng)前主流應(yīng)用技術(shù)，智能分析應(yīng)用、智慧分析應(yīng)用是未來(lái)圖像應(yīng)用的演進(jìn)方向。

物理設(shè)備應(yīng)用。物理設(shè)備應(yīng)用是基于視頻采集設(shè)備的基礎(chǔ)應(yīng)用，表現(xiàn)為基于各類型攝像頭的監(jiān)控應(yīng)用。當(dāng)前視頻監(jiān)控?cái)?shù)據(jù)保存周期有限，監(jiān)控識(shí)別過(guò)程多為人工。目前市面上部分廠家將帶有特定算法的智能芯片集成到物理設(shè)備中，實(shí)現(xiàn)特定的分析功能，如：智能家居安防攝像頭，能夠監(jiān)測(cè)視頻畫面中的物體移動(dòng)實(shí)現(xiàn)遠(yuǎn)程預(yù)警；智能車庫(kù)解決方案，通過(guò)車牌識(shí)別算法實(shí)現(xiàn)車牌的快速識(shí)別。

基礎(chǔ)軟件應(yīng)用層。以社交網(wǎng)站、視頻網(wǎng)站為典型代表。主要實(shí)現(xiàn)圖像信息、視頻信息的海量存儲(chǔ)、快速讀取、分享交互。根據(jù)業(yè)務(wù)的不同需求，可靈活采用傳統(tǒng)圖像處理架構(gòu)或分布式圖像處理架構(gòu)，圖像信息的檢索主要以文字搜索為主。

智能分析應(yīng)用。智能分析應(yīng)用包括圖像智能分析，圖像檢索，視頻切片分析等高級(jí)應(yīng)用。目前淘寶、京東等電商企業(yè)圖像智能分析技術(shù)領(lǐng)先。如淘寶“拍立淘”功能便是圖像智能分析（以圖搜圖）的典型應(yīng)用，通過(guò)類目預(yù)測(cè)，主體檢測(cè)，圖像特征提取，檢索索引和排序5層算法框架、利用大數(shù)據(jù)、云計(jì)算、機(jī)器學(xué)習(xí)等先進(jìn)的信息技術(shù)實(shí)現(xiàn)用戶購(gòu)物方式的顛覆。

智慧分析應(yīng)用。智慧分析應(yīng)用是指對(duì)圖像信息處理的實(shí)時(shí)計(jì)算、深度學(xué)習(xí)和智慧決策。典型應(yīng)用為Google公司無(wú)人駕駛技術(shù)的應(yīng)用研究，實(shí)時(shí)對(duì)攝像傳感器采集的視頻信息進(jìn)行計(jì)算分析，實(shí)時(shí)決策。

二、Hadoop體系結(jié)構(gòu)

HDFS和MapReduce是Hadoop的兩大核心。而整個(gè)Hadoop的體系結(jié)構(gòu)主要是通過(guò)HDFS來(lái)實(shí)現(xiàn)對(duì)分布式存儲(chǔ)的底層支持的，通過(guò)MapReduce來(lái)實(shí)現(xiàn)對(duì)分布式并行任務(wù)處理的程序支持，HBase是Hadoop體系下基于Bigtable的分布式數(shù)據(jù)庫(kù)，其為大數(shù)據(jù)的存儲(chǔ)和應(yīng)用提供很好的底層支持。

HDFS

HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型，一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成的。其中NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對(duì)文件的訪問(wèn)操作；DataNode管理存儲(chǔ)的數(shù)據(jù)。HDFS允許用戶以文件的形式存儲(chǔ)數(shù)據(jù)。從內(nèi)部來(lái)看，文件被分成若干個(gè)數(shù)據(jù)塊，而且這若干個(gè)數(shù)據(jù)塊存放在一組DataNode上。NameNode執(zhí)行文件系統(tǒng)的命名空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄等，負(fù)責(zé)數(shù)據(jù)塊到具體DataNode的映射。DataNode負(fù)責(zé)處理文件系統(tǒng)客戶端的文件讀寫請(qǐng)求，并在NameNode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制工作。HDFS體系結(jié)構(gòu)如下：

MAPREDUCE

MapReduce是一種并行編程模式，這種模式使得軟件開(kāi)發(fā)者可以輕松地編寫出分布式并行程序。在Hadoop的體系結(jié)構(gòu)中，MapReduce是一個(gè)簡(jiǎn)單易用的軟件框架，基于它可以將任務(wù)分發(fā)到由上千臺(tái)商用機(jī)器組成的集群上，并以一種高容錯(cuò)的方式并行處理大量的數(shù)據(jù)集，實(shí)現(xiàn)Hadoop的并行任務(wù)處理功能。MapReduce框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的JobTracker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)上的TaskTracker共同組成的。主節(jié)點(diǎn)負(fù)責(zé)調(diào)度構(gòu)成一個(gè)作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的從節(jié)點(diǎn)上。主節(jié)點(diǎn)監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前失敗的任務(wù)；從節(jié)點(diǎn)僅負(fù)責(zé)由主節(jié)點(diǎn)指派的任務(wù)。當(dāng)一個(gè)Job被提交時(shí)，JobTracker接收到提交作業(yè)和配置信息之后，就會(huì)將配置信息等分發(fā)給從節(jié)點(diǎn)，同時(shí)調(diào)度任務(wù)并監(jiān)控TaskTracker的執(zhí)行。

HBASE

HBase是Apache Hadoop的數(shù)據(jù)庫(kù)，一個(gè)開(kāi)源的，分布式的，多版本的、面向列的存儲(chǔ)模型。能夠?qū)Υ髷?shù)據(jù)提供隨機(jī)、實(shí)時(shí)的讀寫訪問(wèn)功能。HBase可以直接使用本地文件系統(tǒng)，但在Hadoop HDFS的文件存儲(chǔ)系統(tǒng)中更能提高數(shù)據(jù)的可靠性和系統(tǒng)的健壯性，最大限度發(fā)揮HBase大數(shù)據(jù)處理能力。

HBase存儲(chǔ)松散型數(shù)據(jù)，數(shù)據(jù)介于映射（Key/value）和關(guān)系型數(shù)據(jù)之間。HBase向下提供存儲(chǔ)，向上提供計(jì)算，在HBase之上還可以使用Hadoop的MapReduce計(jì)算模型來(lái)并行處理大規(guī)模數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)和并行計(jì)算完美結(jié)合[1]。

三、大數(shù)據(jù)圖像技術(shù)

3.1 HADOOP圖像存取技術(shù)分析

Hadoop分布式存儲(chǔ)為海量圖像、視頻存儲(chǔ)提供了原始模型，其開(kāi)源性，高容錯(cuò)性符合圖像存儲(chǔ)業(yè)務(wù)發(fā)展的特性。

圖像信息存取架構(gòu)

1.圖像存儲(chǔ)：采用Hadoop中的HDFS存儲(chǔ)圖像，通過(guò)HDFS的冗余備份和心跳檢測(cè)保證存儲(chǔ)數(shù)據(jù)的安全性，設(shè)定負(fù)載均衡策略，保證各個(gè)存儲(chǔ)節(jié)點(diǎn)的運(yùn)行穩(wěn)定。

2.圖像索引：設(shè)計(jì)圖像URL，將圖像存儲(chǔ)信息設(shè)定在圖像URL中，通過(guò)解析URL快速定位存儲(chǔ)圖像Block的DataNode和Fileld。圖像元數(shù)據(jù)作為鍵值對(duì)存放在HBase中，保證海量數(shù)據(jù)擴(kuò)容和快速檢索。

3.采用MapReduce進(jìn)行圖像業(yè)務(wù)處理的編程實(shí)現(xiàn)，針對(duì)大數(shù)據(jù)的批量處理和存儲(chǔ)優(yōu)化制定相應(yīng)策略。

4.讀取服務(wù)：采用Nginx的Web服務(wù)器對(duì)圖像進(jìn)行讀取，Nginx的Redis模塊對(duì)緩存中的微型圖像進(jìn)行讀取。

5.負(fù)載均衡：采用HAProxy的RoundRobin負(fù)載均衡算法構(gòu)建負(fù)載均衡，分載前端用戶請(qǐng)求的壓力。

6.應(yīng)用服務(wù)器：Java應(yīng)用服務(wù)器完成圖像寫入的操作。

圖像信息寫流程

圖像寫請(qǐng)求由用戶發(fā)起后，通過(guò)負(fù)載均衡模塊過(guò)濾，到達(dá)應(yīng)用服務(wù)器排隊(duì)，等待進(jìn)入HDFS存儲(chǔ)系統(tǒng)，通過(guò)NameNode分配DataNode進(jìn)行存儲(chǔ)，圖像寫入過(guò)程中先確定寫入Block，再確定Sequence File，圖像元數(shù)據(jù)保存至HBase和Redis構(gòu)建的緩存系統(tǒng)[2]。

3.2 HADOOP圖像處理技術(shù)分析

在MapReduce計(jì)算框架中，Hadoop將輸入圖像數(shù)據(jù)劃分成等長(zhǎng)的作業(yè)分片，每個(gè)Map任務(wù)處理一個(gè)作業(yè)分片，Map任務(wù)并行執(zhí)行，定義Reduce任務(wù)，調(diào)用reduce函數(shù)實(shí)現(xiàn)結(jié)果數(shù)據(jù)的最終輸出。

圖像文件處理流程

MapReduce的工作過(guò)程分為兩個(gè)階段：Map階段和Reduce階段。（圖2）

圖像文件對(duì)應(yīng)路徑將作為MapReduce程序的輸入，ImageInputFormat對(duì)輸入進(jìn)行劃分，ImageRecordReader對(duì)輸入進(jìn)行記錄讀取，取得key值為ImageSplit對(duì)象的路徑，value值為ImageWritable。MapReduce框架把讀取的對(duì)傳遞給map程序進(jìn)行執(zhí)行，map程序?qū)D像進(jìn)行相關(guān)操作后，利用reduce程序?qū)⑻幚砗蟮膱D像分片進(jìn)行整合，得到處理后的整個(gè)圖像文件，Reduce程序?qū)?gòu)建的對(duì)象傳遞給ImageOutputFormat進(jìn)行輸出。

Hadoop通過(guò)Writable對(duì)消息進(jìn)行序列化。Writable接口定義了輸入流的基本方法，MapReduce程序用Writable來(lái)序列化鍵/值對(duì)。Writable接口定義DataOutput、DataInput方法。自定義的ImageWritable對(duì)方法進(jìn)行重寫，分別寫入和讀出圖像的高度和寬度，源圖像的y軸高度，圖像的路徑和圖像的像素信息。

1）ImageInputFormat。ImageInputFormat繼承FileInputFormat類，負(fù)責(zé)產(chǎn)生輸入分片并將它們分割成記錄。記錄大小小于或等于分片ImageSplit。Key（鍵）存儲(chǔ)該圖像在文件系統(tǒng)的路徑。Value（值）存儲(chǔ)ImageWritable類型的一個(gè)圖像分片記錄。

2）ImageRecordReader。Map任務(wù)使用ImageRecordReader來(lái)讀取記錄并且生成鍵/值對(duì)傳遞給map函數(shù)。ImageRecordReader方法重寫RecordReader函數(shù)，ImageRecordReader的nextKeyValue方法是得到下一個(gè)鍵/值對(duì)，getConfig方法用來(lái)接受用戶傳遞的數(shù)據(jù)信息。

圖像算法

圖像處理常用圖像縮放、圖像增強(qiáng)、圖像邊緣檢測(cè)方法。圖像縮放插值方法有最近鄰插值、雙線性插值、使用像素關(guān)系重采樣和立方插值。圖像邊緣檢測(cè)是進(jìn)行圖像分割、目標(biāo)區(qū)域識(shí)別、區(qū)域形狀提取等圖像分析的技術(shù)基礎(chǔ)。對(duì)于連續(xù)圖像f（x，y），邊緣檢測(cè)是求梯度的局部最大值和方向。利用Canny邊緣檢測(cè)算子，在map函數(shù)中實(shí)現(xiàn)對(duì)圖像的邊緣檢測(cè)，從而實(shí)現(xiàn)對(duì)圖像文件的并行化邊緣檢測(cè)。[3]

四、智能電網(wǎng)圖像技術(shù)應(yīng)用分析

4.1基于圖像的覆冰狀態(tài)監(jiān)測(cè)

目前輸電線路覆冰狀態(tài)監(jiān)測(cè)常用方法有覆冰觀測(cè)站觀測(cè)法、覆冰力學(xué)模型估算法二種。覆冰觀測(cè)站可以比較準(zhǔn)確了解覆冰信息，但投資巨大且需要人工操作，只適合于一些典型地區(qū)；覆冰力學(xué)模型估算法是建立覆冰厚度與桿塔載荷的關(guān)系，通過(guò)測(cè)量桿塔受力等參數(shù)間接測(cè)量覆冰厚度，該方法受限于風(fēng)載荷對(duì)弧垂、應(yīng)力等參數(shù)的影響，精準(zhǔn)性方面存在一定不足。

大數(shù)據(jù)、云計(jì)算的發(fā)展為基于圖像的覆冰狀態(tài)監(jiān)測(cè)提供另一有效途徑。通過(guò)無(wú)人機(jī)、固定采集攝像頭采集線路覆冰圖像信息，通過(guò)大數(shù)據(jù)計(jì)算框架快速實(shí)現(xiàn)對(duì)覆冰厚度的計(jì)算。

基于圖像大數(shù)據(jù)的覆冰狀態(tài)監(jiān)測(cè)分析包括覆冰狀態(tài)的圖像信息的采集，圖像的傳輸，圖像的計(jì)算與反饋等步驟，通過(guò)對(duì)圖像進(jìn)行二值化、去噪、邊緣檢測(cè)等處理，完成覆冰厚度的計(jì)算。具體計(jì)算流程如圖3。

4.2電力圖像大數(shù)據(jù)平臺(tái)

隨著國(guó)家電網(wǎng)公司SG186、SGERP信息化的不斷發(fā)展，業(yè)務(wù)數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)。針對(duì)于結(jié)構(gòu)化數(shù)據(jù)，國(guó)家電網(wǎng)公司于2015年開(kāi)始試點(diǎn)實(shí)施企業(yè)級(jí)大數(shù)據(jù)平臺(tái)，已開(kāi)展如“新型客戶服務(wù)業(yè)務(wù)型態(tài)應(yīng)用”、“配網(wǎng)故障搶修精益化管理”等結(jié)構(gòu)化大數(shù)據(jù)應(yīng)用研究。而針對(duì)圖像、視頻非結(jié)構(gòu)化數(shù)據(jù)，還未進(jìn)行有效的挖掘利用，數(shù)據(jù)存在孤島，共享不便。

基于HADOOP架構(gòu)構(gòu)建電力企業(yè)圖像大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)企業(yè)圖形圖像數(shù)據(jù)整合，挖掘數(shù)據(jù)價(jià)值，全面服務(wù)于電力生產(chǎn)。平臺(tái)架構(gòu)分為數(shù)據(jù)源層、平臺(tái)層、應(yīng)用層三個(gè)層面。

數(shù)據(jù)源層包含各類圖形圖像、視頻源數(shù)據(jù)，如工程施工圖、竣工圖、單線圖、間隔圖、檔案圖等，智能變電站各類監(jiān)控視頻等；平臺(tái)層基于Hadoop分布式存儲(chǔ)架構(gòu)實(shí)現(xiàn)海量存儲(chǔ)和計(jì)算；應(yīng)用層通過(guò)數(shù)據(jù)整合，挖掘，實(shí)現(xiàn)圖像信息的快速檢索、多終端展示、熱點(diǎn)圖像排序，圖像數(shù)據(jù)服務(wù)等高級(jí)應(yīng)用。

參 考 文 獻(xiàn)

[1]陸嘉恒. Hadoop實(shí)戰(zhàn)（第二版）.機(jī)械工業(yè)出版社.2012.

[2]李林，周曉慧.基于Hadoop的海量圖片存儲(chǔ)模型的分析和設(shè)計(jì).

[3]田進(jìn)華，張韌志.基于MapReduce數(shù)字圖像處理研究.電子設(shè)計(jì)工程.2014年8月.第15期.