彭剛躍,吉淵明,岳建平,李 靜,宋亞宏
(1.河海大學 地球科學與工程學院,江蘇 南京 210098;2.浙江省測繪科學技術研究院,浙江 杭州 310012)
?
基于聚類分析的多波束測深數(shù)據(jù)濾波方法研究
彭剛躍1,吉淵明2,岳建平1,李靜1,宋亞宏1
(1.河海大學 地球科學與工程學院,江蘇 南京 210098;2.浙江省測繪科學技術研究院,浙江 杭州 310012)
摘要:現(xiàn)有的多波束測深數(shù)據(jù)濾波方法,在濾波效果和有效信息的保留問題上還不夠完善。文中提出對測深數(shù)據(jù)濾波時,先設定小閾值,盡可能地剔除錯誤數(shù)據(jù),再對濾出數(shù)據(jù)作聚類分析回收有效信息,防止信息丟失。
關鍵詞:多波束測深;濾波;聚類分析;相對密度
多波束測深數(shù)據(jù)量大,且測深數(shù)據(jù)中存在許多異常點,在繪制水下地形圖之前需對測深數(shù)據(jù)進行濾波和抽稀處理,濾波效果的好壞直接影響到成圖質量的高低。
濾波方法按照人工干預占的比例大小可以分為人機交互式濾波和自動濾波[1-3]。目前,我國采用的濾波方法主要以人機交互為主,其濾波質量高,但效率低。對于自動濾波方法,在進行濾波前需設定閾值作為判斷粗差的標準,對于不同的地形地貌條件,其閾值的設定對濾波結果的影響較大,閾值偏大會包容粗差,閾值偏小會濾掉有效信息,現(xiàn)有方法設定的閾值難以做到提升濾波效果時兼顧有效信息的保留[4]。針對閾值確定困難的問題,本文提出一種新的數(shù)據(jù)濾波思路,設定小閾值對數(shù)據(jù)進行濾波,在剔除粗差時允許剔除部分有效信息,對剔除的數(shù)據(jù)作聚類分析,提取有效信息還原到原始數(shù)據(jù)中。
1基于相對密度的聚類算法
基于相對密度的聚類算法是通過計算每一個點相對于某個類簇的相對密度,判斷該點是否屬于該類簇。當該點與類簇的相似度較高時,可以認為該點屬于類簇,否則排除該點[5]。如圖1所示。
圖1 聚類分析
其具體步驟[6-9]:
1)計算每個點的近鄰密度nndk-distance(p)(p),
(1)
式中:n為點p的近鄰鄰居個數(shù);o為另外一個對象;
distk-distance(o)(p,o)為對象p關于對象o的近鄰距離,
distk-distance(o)(p,o)=max{k-distance(o),Dist}.
(2)
Dist為對象p與對象o之間的歐式距離;
Nk-distance(p)(p)為點p的k個近鄰鄰居構成的集合;
2)計算點p關于其k個鄰居的相對密度,
(3)
3)設定閾值ξ,若|rdk-distance(p)(p)-1|<ξ,則視p點為核心對象;
4)建立核心對象p的核心集合,得到一個類C,對類中每個核心對象進行搜索,將每個核心對象的k個鄰居歸入類中;
5)重復步驟(2)、(3)、(4),進行下一個類的建立和擴展,直到所有核心對象都擴展完畢。
2測深數(shù)據(jù)濾波處理
試驗數(shù)據(jù)已經過船體姿態(tài)、聲速、延時誤差等多項改正,在進行下一步數(shù)據(jù)處理工作之前,需對多波束測深數(shù)據(jù)進行濾波處理,剔除明顯粗差。本文提出在濾波時設定小閾值為粗差判斷標準,剔除絕大多數(shù)明顯的粗差,將剔除出的點作聚類分析,提取其中點位密度較大、高程差值正負號一致的數(shù)據(jù),將其視為被剔除的有效數(shù)據(jù),返回到濾波后的數(shù)據(jù)集中。其處理步驟包括數(shù)據(jù)濾波和數(shù)據(jù)找回兩個部分,其處理流程如圖2所示。
圖2 基于聚類分析的數(shù)據(jù)濾波處理流程
2.1數(shù)據(jù)濾波
試驗區(qū)域大小為100 m×100 m,包含26 467個測深數(shù)據(jù),采用基于最小二乘曲面擬合的濾波方法,設定濾波閾值為2σ,將該點高程與擬合曲面高程之差大于2σ的點視為粗差剔除。其濾波原理是在小區(qū)域建立一個曲面逼近該區(qū)域的地形,對測深數(shù)據(jù)進行粗差探測,過濾其中超過設定閾值的數(shù)據(jù),其步驟[10-11]:
1)將整個數(shù)據(jù)分成多個小區(qū)域;
2)對每個小區(qū)域進行最小二乘曲面擬合,求出每個點與曲面之間的高差;
3)根據(jù)濾波閾值,將高差大于閾值的點視為粗差而剔除。
濾波后剔除出的點集,如圖3所示。
圖3 測深數(shù)據(jù)剔除點
從圖3可以看出,右上角區(qū)域剔除點個數(shù)明顯多于左下角,當采用固定閾值對數(shù)據(jù)進行濾波時,不同的地形條件濾波效果是不同的。
2.2數(shù)據(jù)找回
通過濾波處理,得到過濾后的數(shù)據(jù),由于多波束測深數(shù)據(jù)量大,使用小閾值濾波將產生大量剔除點,此時使用聚類分析將花費許多時間。將過濾掉的數(shù)據(jù)進行分區(qū),得到若干個矩形區(qū)域,判斷各個區(qū)域內點的個數(shù),若個數(shù)較少則視區(qū)域內所有點為粗差而排除,由此可初步過濾掉明顯的粗差,減少聚類分析的工作量。再根據(jù)基于相對密度的聚類算法理論對剩余數(shù)據(jù)進行聚類分析,得到聚類分析結果見圖4。
圖4 聚類分析結果
由圖4可以看出,經過聚類分析,可以將剔除數(shù)據(jù)中分布較密集的點歸類,找出其中點位密度大的
數(shù)據(jù)。聚類分析是根據(jù)點的平面位置離散程度判斷,因此聚類過后的類簇在高差上可能存在震蕩的情況,需對類簇進行篩選,并將合理數(shù)據(jù)返回到濾波后的數(shù)據(jù)集中,將被誤刪的數(shù)據(jù)恢復,得到最終數(shù)據(jù)。對各個過程的數(shù)據(jù)建立等深線如圖5所示。
圖5(a)為濾波前等深線圖,圖5(b)中的變化閾值指將數(shù)據(jù)分為多個區(qū)域,依據(jù)圖5(a)中每個區(qū)域雜亂點數(shù)量多少,分別使用3σ和2σ為閾值進行濾波。比對5(c)和5(a)、圖5(d)可以看出,使用小閾值濾波,能過濾大量粗差,會丟失部分有效信息,對濾波結果作聚類分析可以排除剔除數(shù)據(jù)中分布離散的點,提取其中分布較為集中的點,將此類點返回到原有數(shù)據(jù)集中,可恢復部分特征地形。
對比5(b)和5(d)圖,本文采用的方法得到的等深線走向與使用變化閾值濾波得到的結果基本一致,但此方法能更好地保留特征點,提高數(shù)據(jù)質量,計算結果見表1。
圖5 數(shù)據(jù)濾波處理各個過程對比圖
與趨勢面高差區(qū)間/m(0,0.1](0.1,0.4](0.4,0.6](0.6,0.8](0.8,1](1,∞)共計變化閾值濾波/個02761363340449本方法濾波/個304171933340667聚類分析找回/個813641000185
從表1可以看出,對高差區(qū)間大于0.6 m的粗差,使用小閾值與使用變化閾值濾波效果相同,對于小粗差探測,本方法具有較高的靈敏度,可剔除更多的錯誤數(shù)據(jù)。在使用小閾值濾波后,通過聚類分析方法能找回有效信息,得到可靠的數(shù)據(jù)。
3結論
基于聚類分析的濾波方法原理與原有濾波方法相比增加了數(shù)據(jù)回收的步驟。該方法對于地形環(huán)境有較強的適應性,數(shù)據(jù)處理時不用根據(jù)地形條件選擇濾波閾值,解決濾波閾值設定困難的問題,能在剔除粗差時有效保留有用信息,在一定程度上提高數(shù)據(jù)質量。
參考文獻:
[1]趙建虎,劉經南.多波束測深及圖像數(shù)據(jù)處理[M].武漢:武漢大學出版社,2008.
[2]劉毅.多波束測深數(shù)據(jù)濾波方法研究[D].南京:河海大學,2013.
[3]董江.基于趨勢面的多波束測深數(shù)據(jù)濾波方法[J].海洋測繪,2007,27(6):25-28.
[4]宋寧寧.多波束測量數(shù)據(jù)預處理研究[D].南京:南京航空航天大學,2007.
[5]周曉明.LIDAR點云濾波算法分析——以ISPRS測試實驗為參考[J].測繪工程,2011,20(5):36-39.
[6]周曉明.機載激光雷達數(shù)據(jù)濾波和人工編輯[J].測繪工程,2013,22(3):48-51.
[7]劉青寶.基于相對密度的聚類算法[J].計算機科學,2007,34(2):192-195.
[8]孫凌燕.一種基于相對密度的快速聚類算法[J].微電子學與計算機,2009,26(12):109-116.
[9]趙雙柱.基于相對密度的聚類算法研究與應用[J].現(xiàn)代計算機,2013(13):3-7.
[10] BREUNIG M M,KRIEGEL H P,NG R T,et al.LOF:identifying density-based local outliers[C]//ACM sigmod record.ACM,2000,29(2):93-104.
[11] SANDER J,ESTER M,KRIEGEL H P,et al.Density-based clustering in spatial databases:The algorithm gdbscan and its applications[J].Data mining and knowledge discovery,1998,2(2):169-194.
[12] 嚴劍鋒.基于最小二乘擬合的三維激光掃描點云濾波[J].測繪通報,2013(5):43-46.
[13] 孫嵐.多波束測深數(shù)據(jù)異常值檢測算法比較[J].海洋測繪,2009,29(5):57-60.
[責任編輯:李銘娜]
Research on multi-beam bathymetric data filtering method based on cluster analysis
PENG Gangyue1,JI Yuanming2,YUE Jianping1,LI jing1,SONG Yahong1
(1.SchoolofEarthSciencesandEngineering,HohaiUniversity,Nanjing210098,China; 2.ZhejiangAcademyofSurveyingandMapping,Hangzhou310012,China)
Abstract:Existing filtering methods on retention issues and effective information filtering effect are not always satisfactory to both sides.This paper proposes to set a small threshold to filter the bathymetric data,remove erroneous data,and then analyze the filter out data in clustering methods to recycle the information,in order to prevent the loss of important information as possible.
Key words:multi-beam bathymetric;filter;cluster analysis;relative density
DOI:10.19349/j.cnki.issn1006-7949.2016.09.007
收稿日期:2015-03-24
作者簡介:彭剛躍(1992-),男,碩士研究生.
中圖分類號:P229.5
文獻標識碼:A
文章編號:1006-7949(2016)09-0031-04