李 杰，曹付斌

(長(zhǎng)春大學(xué) a.教務(wù)處；b.研究生部，長(zhǎng)春 130022)

基于Hadoop云平臺(tái)的無(wú)人機(jī)遙感圖像分割

李 杰a，曹付斌b

(長(zhǎng)春大學(xué) a.教務(wù)處；b.研究生部，長(zhǎng)春 130022)

針對(duì)現(xiàn)有的圖像分割方法對(duì)于無(wú)人機(jī)遙感圖像分割速度慢實(shí)時(shí)性差的問(wèn)題，本文展開(kāi)了對(duì)基于Hadoop平臺(tái)進(jìn)行無(wú)人機(jī)遙感圖像分割方法的研究。在分析了Hadoop云平臺(tái)的結(jié)構(gòu)特性以及其組件MapReduce編程思想的基礎(chǔ)上，提出了一種利用OpenCV和Hadoop云平臺(tái)相結(jié)合進(jìn)行圖像分割的方法。實(shí)驗(yàn)結(jié)果表明基于Hadoop云平臺(tái)的無(wú)人機(jī)遙感圖像分割，在保證較好的效果的前提下在分割速率上相比MATLAB有了很大提高，在圖像分割的實(shí)效性上有了很大的提升。

無(wú)人機(jī)遙感圖像；Hadoop平臺(tái)；圖像分割；MeanShift算法

0 引言

由于無(wú)人機(jī)遙感具有快速、便捷、不受天氣影響等特點(diǎn)[1]，使其廣泛應(yīng)用到海洋測(cè)繪、電力勘察設(shè)計(jì)、山區(qū)水利測(cè)繪、臺(tái)風(fēng)災(zāi)害監(jiān)測(cè)國(guó)民生產(chǎn)生活的多個(gè)領(lǐng)域[2]。無(wú)人機(jī)遙感圖像數(shù)據(jù)量巨大，必須將其圖像數(shù)據(jù)進(jìn)行分割和分類(lèi)才能進(jìn)行有效的利用。圖像分割是進(jìn)行圖像分析、識(shí)別、理解的基礎(chǔ)，圖像分割質(zhì)量的好壞和速度的快慢會(huì)對(duì)后續(xù)圖像處理產(chǎn)生重要的影響，甚至?xí)绊憻o(wú)人機(jī)遙感圖像數(shù)據(jù)采集任務(wù)的成敗[3-4],而借助于大數(shù)據(jù)平臺(tái)可以有效的提高信息處理的速度[5]。

Hadoop平臺(tái)具備優(yōu)秀的大規(guī)模數(shù)據(jù)處理能力、較高的容錯(cuò)性以及可靠性高、低成本等優(yōu)勢(shì)[6]，能夠提供分布式的數(shù)據(jù)存儲(chǔ)和分析的解決方案，為并行地處理海量圖像數(shù)據(jù)提供了基礎(chǔ)。目前，Hadoop云平臺(tái)在圖像處理相關(guān)的領(lǐng)域的應(yīng)用研究已有一定進(jìn)展，如圖像分類(lèi)系統(tǒng)[7]、字符識(shí)別系統(tǒng)[8]、圖像管理系統(tǒng)[9]、人臉檢測(cè)[10]等。

目前的圖像分割算法對(duì)于無(wú)人機(jī)遙感圖像的分割存在著各種問(wèn)題[11]，比如：分割邊緣模糊化、過(guò)分割、邊界解析不明顯等。MeanShift圖像分割算法是利用圖像的像素信息進(jìn)行分割圖像的具體空間坐標(biāo)，將收斂于同一極大值的所有像素點(diǎn)歸為一類(lèi)，將符合設(shè)定條件參數(shù)的類(lèi)合并為圖像分割的結(jié)果[12]。MeanShift圖像分割算法可以基本保留灰度圖像的特征，并且能較好地區(qū)分不同的區(qū)域，在彩色圖像分割上表現(xiàn)優(yōu)異，圖像邊界清晰分類(lèi)較為明顯，并且算法耗費(fèi)時(shí)間較短[12-13]。

本文主要研究基于大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)無(wú)人機(jī)遙感圖像分割問(wèn)題，采用MeanShift圖像分割算法，搭建基于MeanShift分割算法的Hadoop圖像處理平臺(tái)。實(shí)驗(yàn)表明：與傳統(tǒng)的MATLAB算法實(shí)現(xiàn)相比，在Hadoop圖像處理平臺(tái)上進(jìn)行圖像分割具有明顯的時(shí)效優(yōu)勢(shì)。

1 基于Hadoop云平臺(tái)的無(wú)人機(jī)遙感圖像分割算法

1.1 基于Hadoop的圖像處理

Hadoop是Apache基金會(huì)開(kāi)源的一套分布式存儲(chǔ)計(jì)算框架，是基于云體系中的一套云計(jì)算平臺(tái)，為用戶(hù)提供分布式存儲(chǔ)和計(jì)算的編程環(huán)境。Hadoop主要由兩大核心組件HDFS和MapReduce組成。HDFS是Hadoop Distributed FileSystem的簡(jiǎn)稱(chēng)，是Hadoop平臺(tái)的數(shù)據(jù)存儲(chǔ)基礎(chǔ)；MapReduce是一種分布式程序設(shè)計(jì)模型，用于在集群中對(duì)海量數(shù)據(jù)進(jìn)行并行處理[14]。

基于Hadoop的圖像處理平臺(tái)，輸入的圖像數(shù)據(jù)是存儲(chǔ)在HDFS上的遙感數(shù)據(jù)，MapReduce框架會(huì)從HDFS中加載圖像數(shù)據(jù)。MapReduce編程模型中包含程序開(kāi)發(fā)的各種實(shí)體類(lèi)和接口，其中InputFormat類(lèi)用于對(duì)輸入文件進(jìn)行有效性檢查，將文件進(jìn)行邏輯切片并分發(fā)給不同的mapper進(jìn)行處理，并且它還提供了RecordReader的實(shí)現(xiàn)，從數(shù)據(jù)切片中讀取數(shù)據(jù)并生成鍵值對(duì)[9]。

為了處理圖像數(shù)據(jù)，需要自定義改寫(xiě)圖像處理接口，即ImageInputFormat和ImageRecordReader。讓ImageInputFormat和ImageRecordReader分別繼承InputFormat和RecordReader，ImageInputFormat對(duì)輸入的圖像數(shù)據(jù)進(jìn)行檢查校驗(yàn)，重寫(xiě)isSplitable()方法，將該方法返回值設(shè)置為False以將整幅圖像作為一個(gè)split，不對(duì)圖像進(jìn)行切分，否則會(huì)對(duì)圖像的信息造成損壞。Hadoop框架會(huì)調(diào)用ImageRecordReader將讀入的每一個(gè)圖像文件生成相應(yīng)的鍵值對(duì)，map函數(shù)調(diào)用圖像處理的相關(guān)算法對(duì)圖像進(jìn)行處理。

圖像的讀入是以二進(jìn)制數(shù)據(jù)流的形式讀取的，而圖像輸出時(shí)我們需要將圖像以可視化的形式存儲(chǔ)，以便于查看，所以需要自定義圖像的輸出類(lèi)型，以便于圖像在HDFS中進(jìn)行存儲(chǔ)。自定義圖像的輸出類(lèi)，將ImageRecordWriter類(lèi)繼承抽象類(lèi)RecordWriter，在ImageRecordWriter類(lèi)中將二進(jìn)制字節(jié)流寫(xiě)入到新的圖像文件中，實(shí)現(xiàn)將輸出的鍵值對(duì)寫(xiě)入到HDFS上，實(shí)現(xiàn)其對(duì)圖像數(shù)據(jù)的存儲(chǔ)。

1.2 基于MeanShift的圖像分割算法

1.2.1 MeanShift圖像分割算法的原理

Mean Shift算法的原理對(duì)于數(shù)字圖像X像素為xi采用均值漂移算法，x點(diǎn)的均值漂移向量Mh(x)可以用下式表示：

(1)

式中：G表示核函數(shù)，w為權(quán)重。均值漂移向量的方向和核函數(shù)的概率密度方向是一致的。

Comaniciu已經(jīng)證明了MeanShift算法在滿(mǎn)足一定條件下最終一定可以收斂到最近的概率密度函數(shù)的穩(wěn)態(tài)點(diǎn)[15]，所以沿著均值漂移向量的方向不斷更換核函數(shù)的中心位置直至收斂，就會(huì)找到臨近模值點(diǎn)的位置。

而在彩色圖像分割中，MeanShift算法的特征空間通常包括二維的地理位置信息和三維的色度空間信息。因此在彩色圖像等額中，均值漂移算法的核函數(shù)可以定義為[16]：

(2)

式中：xr是三維值域中的三維彩色特征向量；xs是二維空間的位置坐標(biāo)；hs是空域窗寬；hr是色度域窗寬；C是歸一化常量。

不同hs和hr對(duì)圖像分割的細(xì)節(jié)以及色度有著不同的影響，所以對(duì)不同分辨率的圖像會(huì)選用不同的hs和hr的值。加入核函數(shù)后，x像素點(diǎn)處的均值飄移向量為[16]：

(3)

當(dāng)且僅當(dāng)mh,G(x)=0時(shí)可以得出新的圓心坐標(biāo)：

(4)

通過(guò)對(duì)圖像中的每一個(gè)像素點(diǎn)，利用均值飄移算法進(jìn)行計(jì)算偏移向量，不斷偏移直至收斂，就得到了各自特征的模式，實(shí)現(xiàn)對(duì)彩色圖像像素點(diǎn)特征空間的聚類(lèi)，進(jìn)而獲得分割圖像[17]。

1.2.2 基于Hadoop的MeanShift算法圖像分割

MeanShift算法是基于聚類(lèi)的迭代算法，其復(fù)雜性對(duì)計(jì)算機(jī)性能要求較高。而Hadoop集群是基于分布式的數(shù)據(jù)處理系統(tǒng)，在理論上可以無(wú)限擴(kuò)展其計(jì)算能力，這對(duì)于聚類(lèi)算法有著直接的好處[18]。在Hadoop上實(shí)現(xiàn)MeanShift算法分割圖像的步驟歸結(jié)如下：

(1)設(shè)計(jì)圖像的輸入類(lèi)型，自定義圖像輸入類(lèi)型ImageInputForamt，自定義圖像文件的切割方法；

(2)設(shè)計(jì)圖像的輸出類(lèi)型，自定義ImageRecordWriter類(lèi)，實(shí)現(xiàn)數(shù)據(jù)的圖像形式的存儲(chǔ)；

(3)在圖像數(shù)據(jù)特征空間中，以點(diǎn)x為中心，h為半徑作一個(gè)高緯球，得到落在球內(nèi)的所有點(diǎn)xi；

(4)利用公式(3)計(jì)算mh,G(x)；

(5)如果mh,G(x)<ε，退出程序(ε為容許誤差，取值范圍為0到1)；

(6)如果mh,G(x)>ε，利用公式(4)得到的新圓心坐標(biāo)x返回步驟(3)；

經(jīng)過(guò)上述步驟的迭代計(jì)算和賦值操作，均值漂移窗口不斷移動(dòng)，經(jīng)過(guò)窗口變換后收斂到數(shù)據(jù)峰值的所有點(diǎn)都會(huì)連通起來(lái)，形成圖像分割，并在Reduce階段將數(shù)據(jù)輸出至HDFS進(jìn)行保存。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 遙感圖像分割帶寬選取實(shí)驗(yàn)

圖像數(shù)據(jù)為無(wú)人機(jī)航拍圖像，圖像尺寸為7360×4912，大小為20M左右。實(shí)驗(yàn)設(shè)備為一臺(tái)Dell INSPIRON9518電腦，內(nèi)存12G。通過(guò)虛擬機(jī)安裝配置3個(gè)Linux系統(tǒng)，這里安裝的是centos6.4版本的系統(tǒng)。利用3個(gè)Linux系統(tǒng)搭建三個(gè)節(jié)點(diǎn)的Hadoop集群，一個(gè)master節(jié)點(diǎn)和兩個(gè)slaver節(jié)點(diǎn)，同時(shí)master節(jié)點(diǎn)也作為數(shù)據(jù)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)的系統(tǒng)物理配置都是一樣的，并且預(yù)裝實(shí)驗(yàn)所需要的軟件，在主節(jié)點(diǎn)上安裝OpenCV2.4.11，進(jìn)行Hadoop集群的搭建。Hadoop版本選擇的是原生Hadoop-2.6.0。

MeanShift算法的兩個(gè)關(guān)鍵參數(shù)是空間域半徑sr(即公式(2)中的hs)和顏色域半徑sp(公式(2)中的hr)，首先選取不同的空間半徑和色域半徑進(jìn)行圖像分割，以觀察兩者對(duì)分割結(jié)果的影響。

實(shí)驗(yàn)選取的是無(wú)人機(jī)航拍圖像，具有明確的分類(lèi)信息和邊緣特征信息，圖像中有道路、房屋、樹(shù)木、車(chē)子以及樹(shù)木的陰影等，信息量較為豐富，顏色對(duì)比以及過(guò)渡信息明顯，并且形狀特征明確。這樣的圖像選取出來(lái)的分割帶寬，無(wú)論對(duì)于特征簡(jiǎn)單還是特征信息復(fù)雜的圖像都具有很好的適應(yīng)性。

取sr為10、20、30，sp為20、30、40，得到9種組合，原始測(cè)試圖像及不同的sr和sp分割結(jié)果如圖1所示。

圖1-0 原始測(cè)試圖像

圖1-1 sr=10，sp=20

圖1-2 sr=10，sp=30

圖1-3 sr=10，sp=40

圖1-4 sr=20，sp=20

圖1-5 sr=20，sp=30

圖1-6 sr=20，sp=40

圖1-7 sr=30，sp=20

圖1-8 sr=30，sp=30

圖1-9 sr=30，sp=40

由上述分割結(jié)果圖可以看出，顏色域半徑sp對(duì)結(jié)果的影響比空間域半徑sr對(duì)結(jié)果的影響更大。sp和sr越小，細(xì)節(jié)保留得越多，sp和sr越大，平滑力度越大，邊緣和顏色突變的區(qū)域的特征保留的較好。

因?yàn)镸eanShift算法要對(duì)每個(gè)像素點(diǎn)進(jìn)行操作，所以花費(fèi)時(shí)間很多。對(duì)于本文所選用的遙感圖像(7360×4912)，分割時(shí)的顏色域半徑和空間域半徑選取為sr=20，sp=40時(shí)對(duì)圖像分割的效果最好，圖像清晰度、細(xì)節(jié)保留、邊緣特征以及顏色變換區(qū)域的特征更加豐富效果更好。

2.2 基于Hadoop和MATLAB平臺(tái)的圖像分割實(shí)驗(yàn)

為了比較基于Hadoop和MATLAB平臺(tái)的圖像分割實(shí)驗(yàn)，選取六幅圖像，其紋理特征復(fù)雜度、內(nèi)容信息豐富性、顏色對(duì)比強(qiáng)烈程度、分割的復(fù)雜性依次增大，以代表圖像分割圖像從簡(jiǎn)易到復(fù)雜的程度。

根據(jù)2.1的實(shí)驗(yàn)結(jié)果，取空間域半徑sr=20、顏色域半徑sp=40，用來(lái)對(duì)本文選取的無(wú)人機(jī)遙感圖像進(jìn)行分割。

由于灰度圖像可以更好的保持圖像的紋理特性，并且能夠節(jié)省圖像處理的時(shí)間，這里使用MATLAB進(jìn)行圖像分割是先將圖像進(jìn)行灰度化，忽略掉顏色特征信息。

原始圖像以及不同平臺(tái)分割的圖像結(jié)果如圖2所示。

圖2-1(a)原始圖像

圖2-1(b)Hadoop平臺(tái)

圖2-1(c)MATLAB平臺(tái)

圖2-2(a)原始圖像

圖2-2(b)Hadoop平臺(tái)

圖2-2(c)MATLAB平臺(tái)

圖2-3(a)原始圖像

圖2-3(b)Hadoop平臺(tái)

圖2-3(c)MATLAB平臺(tái)

圖2-4(a)原始圖像

圖2-4(b)Hadoop平臺(tái)

圖2-4(c)MATLAB平臺(tái)

圖2-5(a)原始圖像

圖2-5(b)Hadoop平臺(tái)

圖2-5(c)MATLAB平臺(tái)

圖2-6(a)原始圖像

圖2-6(b)Hadoop平臺(tái)

圖2-6(c)MATLAB平臺(tái)

從實(shí)驗(yàn)結(jié)果看，大數(shù)據(jù)平臺(tái)上運(yùn)行MeanShift算法對(duì)于圖像分割的效果顏色和邊緣信息保留較好分割區(qū)域較為明顯，而MATLAB分割的圖像在分割細(xì)節(jié)方面效果更好。

基于Hadoop平臺(tái)的圖像分割時(shí)間與MATLAB的圖像分割時(shí)間以及兩者比率對(duì)比如表1所示。

表1 不同平臺(tái)圖像分割耗時(shí)

從實(shí)驗(yàn)結(jié)果可以看出：在MATLAB平臺(tái)下，即使忽略掉了圖像的顏色特征信息，大數(shù)據(jù)平臺(tái)上運(yùn)行MeanShift算法速度仍然更快。

實(shí)驗(yàn)表明：在滿(mǎn)足實(shí)際需求情況下，在圖像分割細(xì)節(jié)不影響實(shí)際使用的情況下，基于Hadoop平臺(tái)的圖像分割有更好的實(shí)效性。從表1可以看出，實(shí)驗(yàn)中，在每一幅圖像的分割中基于Hadoop平臺(tái)的分割速度都比MATLAB平臺(tái)的分割速度快很多，基于Hadoop平臺(tái)的分割速度與MATLAB平臺(tái)分割速度的比值，平均為1：93。

3 結(jié)論

本文在Hadoop云平臺(tái)上實(shí)現(xiàn)了無(wú)人機(jī)遙感圖像的MeanShift分割算法，并與常用的MATLAB平臺(tái)進(jìn)行實(shí)驗(yàn)對(duì)比。結(jié)果表明：

(1)基于Hadoop平臺(tái)完成的圖像分割，處理后的圖像可以保持較為豐富的元數(shù)據(jù)信息，在紋理特征上表現(xiàn)更好，在色度明亮的區(qū)域表現(xiàn)更為突出，比如圖像中的道路、屋頂、農(nóng)田交接處等表現(xiàn)出了較好的分割效果。而MATLAB處理后的圖像在信息的豐富度上保留的不明顯，在兩種區(qū)域的分界處還有一些模糊，但在細(xì)節(jié)紋理上表現(xiàn)較好，對(duì)區(qū)域的分割表現(xiàn)更為細(xì)膩。

(2)本文實(shí)驗(yàn)統(tǒng)計(jì)Hadoop平臺(tái)上圖像的分割速度比MATLAB平臺(tái)平均快了93倍，如果在專(zhuān)業(yè)的Hadoop平臺(tái)上以本文的實(shí)驗(yàn)方法做圖像分割，在速率上會(huì)有更大的提升。

可見(jiàn)基于Hadoop平臺(tái)的無(wú)人機(jī)遙感圖像分割，在圖像分割效果和分割速率上都大大優(yōu)于單機(jī)MATLAB平臺(tái)的實(shí)驗(yàn)結(jié)果，很好的解決了傳統(tǒng)處理方法速度慢實(shí)效性低的問(wèn)題。

[1] 高奮生. 低空無(wú)人機(jī)遙感的應(yīng)用及發(fā)展[J]. 農(nóng)業(yè)網(wǎng)絡(luò)信息,2014(12):75-78.

[2] 龔明飛. 無(wú)人機(jī)影像處理技術(shù)在測(cè)繪工程中的應(yīng)用[J]. 黑龍江科技信息,2016(6):92.

[3] 王愛(ài)民,沈蘭蓀. 圖像分割研究綜述[J]. 測(cè)控技術(shù),2000(5):1-6+16.

[4] 王玉鵬. 無(wú)人機(jī)低空遙感影像的應(yīng)用研究[D].鄭州：河南理工大學(xué),2011.

[5] 田野,蘇紅旗,田棟. Hadoop下海量遙感數(shù)據(jù)的處理[J]. 軟件,2014(3):91-93.

[6] 霍樹(shù)民. 基于Hadoop的海量影像數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué),2010.

[7] 朱義明. 基于Hadoop平臺(tái)的圖像分類(lèi)[J]. 西南科技大學(xué)學(xué)報(bào),2011(2):70-73.

[8] 楊超. 基于Hadoop平臺(tái)的字符識(shí)別的研究[D].西安：西安電子科技大學(xué),2012.

[9] 安春燕. 基于云計(jì)算的數(shù)字圖像處理平臺(tái)[J]. 數(shù)字技術(shù)與應(yīng)用,2015(1):88.

[10] 呂聯(lián)盟. 基于云計(jì)算的人臉識(shí)別系統(tǒng)研究與設(shè)計(jì)[D].西安：長(zhǎng)安大學(xué),2014.

[11] 張晶,王黎,高曉蓉,等. 數(shù)字圖像處理中的圖像分割技術(shù)及其應(yīng)用[J]. 信息技術(shù),2010(11):36-39+43.

[12] Comaniciu D, Meer P. Mean Shift Analysis and Applications[C]// International Conference on Computer Vision. IEEE Computer Society, 1999:1197-1203.

[13] 吳靜靜,宋淑娟,安偉,等. 一種基于meanshift的多通道圖像分割算法[J]. 包裝工程,2015(21):89-94.

[14] 張功榮. 基于云計(jì)算的海量圖像處理研究[D].福州：福建師范大學(xué),2015.

[15] DorinComaniciu,Peter Meer. Mean Shift: A Robust Approach Toward Feature Space Analysis.[J]. IEEE Trans. Pattern Anal. Mach. Intell.,2002,24(5):603-605.

[16] 王新華,畢篤彥. Mean Shift算法在圖像分割中的應(yīng)用研究[J]. 微計(jì)算機(jī)信息,2009(9):290-292.

[17] Duan L Y, Xu M, Tian Q, et al. Mean shift based video segment representation and applications to replay detection[C]// IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004. Proceedings. IEEE, 2004:V-709-12.

[18] 周家香,朱建軍,梅小明,等. 多維特征自適應(yīng)MeanShift遙感圖像分割方法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2012(4):419-422+440.

責(zé)任編輯：程艷艷

Remote Sensing Image Segmentation of UAV Based on Hadoop Cloud Platform

LI Jiea, CAO Fubinb*

(a. Academic Affairs Office；b. Graduate School， Changchun University，Changchun 130022, China)

In view of the problems that remote sensing image segmentation speed is slow and the real-time performance is poor, this paper makes a research on the remote sensing image segmentation method based on Hadoop platform. On the basis of analyzing the structural characteristics of Hadoop cloud platform and its component MapReduce programming idea, it presents a method of image segmentation with the combination of OpenCV and Hadoop cloud platform. The experimental results show that the remote sensing image segmentation of UAV based on Hadoop cloud platform not only has better results than MATLAB, but also improves segmentation rate, which improves the effectiveness greatly in image segmentation.

UAV remote sensing image; Hadoop platform; image segmentation; MeanShift algorithm

2017-11-08

李杰(1969-)，女，吉林白山人，教授，博士，主要從事圖像處理與視覺(jué)方面研究。

TP391.41

A

1009-3907(2017)02-0010-06