亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于超點圖網(wǎng)絡(luò)的三維點云室內(nèi)場景分割模型

        2021-12-20 12:35:54霍占強王勇杰喬應(yīng)旭
        計算機工程 2021年12期
        關(guān)鍵詞:體素語義樣本

        霍占強,王勇杰,雒 芬,喬應(yīng)旭

        (河南理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院,河南焦作 454000)

        0 概述

        隨著三維立體成像技術(shù)的快速發(fā)展及深度傳感器的廣泛應(yīng)用,研究人員能快速且準(zhǔn)確地獲取物體表面的三維坐標(biāo)和深度信息,從而獲取大量的場景點云數(shù)據(jù)。這些數(shù)據(jù)能夠幫助智能機器對所處空間位置進行準(zhǔn)確的判斷,進而理解場景并更好地感知周圍環(huán)境。場景感知有利于智能機器產(chǎn)生和人類一樣對周邊環(huán)境的分辨功能,提高機器的智能水平[1]。由于點云數(shù)據(jù)對復(fù)雜場景及物體的三維空間結(jié)構(gòu)表達具有獨特的優(yōu)勢,加上獲取數(shù)據(jù)的快速性和便捷性,被廣泛應(yīng)用在自動駕駛[2]、自動室內(nèi)導(dǎo)航[3]、無人機和空天一體化[1]等領(lǐng)域。

        近年來,隨著數(shù)據(jù)量的指數(shù)級增長和計算力不斷增強,深度學(xué)習(xí)方法得到了飛速發(fā)展和廣泛應(yīng)用,尤其在2D 圖像分類、分割和檢測領(lǐng)域[4]。在物體識別、目標(biāo)檢測等領(lǐng)域上其識別率和人類相當(dāng)甚至超過人類。針對三維點云數(shù)據(jù)的無序性、不規(guī)則性、稀疏性等特點,ZENG 等[5]提出一種融合2D 和3D 多特征的近鄰傳播聚類集成分割方法,雖然該方法比傳統(tǒng)的點云分割算法能更準(zhǔn)確地劃分點云場景,但傳統(tǒng)手工特征提取無法完全利用三維點云的全部信息,尤其是點云的深度信息,導(dǎo)致點云分割、分類的精度難以提升。越來越多的學(xué)者嘗試將深度學(xué)習(xí)和點云分割相結(jié)合以進行特征提取,但傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)只能處理規(guī)則數(shù)據(jù)如圖片、文本、音頻等。若將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到點云數(shù)據(jù),需先將其處理為多視圖或體素化網(wǎng)格形式,然后利用深度學(xué)習(xí)網(wǎng)絡(luò)對其進行訓(xùn)練。然而這些數(shù)據(jù)形式轉(zhuǎn)換將造成空間特征信息的丟失,導(dǎo)致點云分類精度低和效果差等問題。

        本文針對超點圖網(wǎng)絡(luò)模型無法充分捕獲點云上下文的深層細粒度局部幾何特征,以及目前主流點云分割方法對困難樣本分割效果稍差的問題,提出基于超點圖的三維點云分割方法。通過在SPG 網(wǎng)絡(luò)模型中構(gòu)造一種特殊的門控循環(huán)單元(Gated Recurrent Unit,GRU)[6],實現(xiàn)隱藏層狀態(tài)變量和輸出變量的自歸一化過程。為改善三維場景數(shù)據(jù)集樣本不平衡問題,將焦點損失函數(shù)Focal Loss[7]引入到3D 點云領(lǐng)域,并提高網(wǎng)絡(luò)訓(xùn)練過程中困難樣本的權(quán)重。此外,在斯坦福大規(guī)模室內(nèi)點云數(shù)據(jù)集(Stanford large-scale 3D Indoor Spaces Dataset,S3DIS)[8]上進行訓(xùn)練測試,并與現(xiàn)有方法的常規(guī)指標(biāo)進行對比,以驗證本文方法的有效性。

        1 相關(guān)研究

        在深度學(xué)習(xí)領(lǐng)域,處理點云分割的主要方法分為基于多視圖的方法、基于體素的方法和基于點云表示的方法。

        1)基于多視圖的方法。由于三維點云數(shù)據(jù)的無序性,傳統(tǒng)的卷積網(wǎng)絡(luò)無法直接提取其空間特征。2015 年SU 等[9]受到2D圖像的啟發(fā),提出了二維多視角下的3D 目標(biāo)識別(MVCNN),該項工作成功將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到點云這類不規(guī)則化的數(shù)據(jù)中。其主要思想是對3D 目標(biāo)進行多方位渲染,得到不同視角下的投影圖,并通過經(jīng)典的VGG(Visual Geometry Group)[10]提取特征,將不同視角的視圖特征融合,得到全局描述符來實現(xiàn)點云的分類、分割。該方法與傳統(tǒng)手工設(shè)計特征的方法相比,雖在一定程度上提高了三維模型識別的準(zhǔn)確率,但采用投影提取多視角下的視圖特征將導(dǎo)致一定程度上的特征冗余和大量關(guān)鍵幾何特征的丟失,從而影響點云分類和分割結(jié)果。針對該問題,BOULCH 等[11]提出了SnapNet 方法,主要通過二維神經(jīng)網(wǎng)絡(luò)分別對深度圖和RGB 圖處理以生成三維場景的圖像。雖然該方法改善了分割效果,但是物體邊界的分割精度仍有待提高。由此可見,此類方法在解決點云空間信息丟失問題上仍然面臨著巨大的挑戰(zhàn)。

        2)基于體素的方法。體素化處理法是先將點云進行體素填充,變?yōu)橐?guī)則的網(wǎng)格結(jié)構(gòu),然后利用三維卷積網(wǎng)絡(luò)進行特征提取以實現(xiàn)點云的語義分割,如:VoxNet[12]、PointGrid[13]等方法?;隗w素的多數(shù)網(wǎng)絡(luò)性能表現(xiàn)優(yōu)于多視圖方法,說明體素能夠有效描述點云數(shù)據(jù)的空間結(jié)構(gòu),同時具有規(guī)則的數(shù)據(jù)結(jié)構(gòu)擬合標(biāo)準(zhǔn)的卷積操作,上述因素使體素在深度學(xué)習(xí)領(lǐng)域得到一定范圍的應(yīng)用。但體素化操作使內(nèi)存消耗嚴(yán)重,而且該類方法目前對體素化導(dǎo)致的量化偽影仍無具體改進措施,導(dǎo)致提取高分辨率特征存在一定的困難。KLOKOV 等[14]提出空間劃分方法以解決模型捕獲低分辨率特征精度不高的問題,但該方法缺乏提取點云局部特征的能力。由上可知,體素化雖然能夠規(guī)范三維點云,并適用于3D 卷積操作,但是體素化將不可避免地導(dǎo)致空間信息的離散化,且在實際操作過程中選擇合適的體素網(wǎng)格半徑具有一定難度。

        3)基于點云表示的方法。該方法是目前研究點云的主流方法,已廣泛應(yīng)用于計算機圖形學(xué)、機器視覺領(lǐng)域和工業(yè)技術(shù)中[15]。例如在自動駕駛技術(shù)中,點云場景分割算法可通過對車輛、道路、紅綠燈和行人的分割幫助自動駕駛系統(tǒng)判斷道路情況;在醫(yī)學(xué)自動診斷技術(shù)中,點云分割算法可以輔助醫(yī)生提取和分析醫(yī)學(xué)影像中人工難以獲取的信息,從而更加精準(zhǔn)的找到病灶關(guān)鍵[16];在虛擬現(xiàn)實和增強現(xiàn)實技術(shù)中,點云場景分割算法可以通過分割場景中的前景和背景幫助虛擬和增強多種現(xiàn)實效果[17],以達到身臨其境的效果。QI 等[18]提出一種PointNet 網(wǎng)絡(luò)模型,該模型可直接作用于原始點云數(shù)據(jù),而不需要將點云轉(zhuǎn)化為其他數(shù)據(jù)形式,從而最大程度保留了點云的空間信息。該模型通過多層感知器(Multi-Layer Perception,MLP)提取點云的特征信息,并使用對稱池函數(shù)提取全局特征解決點云輸入的無序性問題。但該模型僅關(guān)注單個獨立點的特征,沒有考慮局部鄰域信息的重要性。針對這些問題,QI 等[19]在PointNet 模型的基礎(chǔ)上引入分層神經(jīng)網(wǎng)絡(luò),提出一種新的網(wǎng)絡(luò)模型PointNet++,該模型可以提取不同尺度下的局部特征,提升了分類分割性能,但該模型在提取點云上下文局部幾何特征上效果不佳。為了更好地獲取不規(guī)則的點云數(shù)據(jù)幾何結(jié)構(gòu)信息,LOIC 等[20]利用最小割理論,將大規(guī)模輸入點云進行幾何同構(gòu)分割,利用有向圖建模構(gòu)建超點圖(Super Point Graph,SPG)[21],較好地改善了場景分割問題。

        2 算法描述

        2.1 深度超點圖網(wǎng)絡(luò)模型

        為更有效地挖掘點云上下文的空間特征,本文以超點圖為基礎(chǔ),構(gòu)建深度超點圖網(wǎng)絡(luò)模型以進行點云語義分割。超點分割類似于二維圖像領(lǐng)域的超像素分割,兩者都屬于過度分割(Over Segmentation)[22]。過度分割能夠更好地感知樣本相似顏色、空間和紋理分布等信息,從而更有利于網(wǎng)絡(luò)模型確定分割的邊界。

        本文的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示,把輸入的大規(guī)模點云記作X,X中的每一個樣本是區(qū)域中的一個室內(nèi)場 景,記為Xi,X={X1,X2,…,Xi|Xi∈Rd,i∈n},d代 表超點網(wǎng)絡(luò)的輸入維度。首先,對室內(nèi)場景進行幾何同質(zhì)分割,所獲得的每一個獨立塊即為超點。本文超點網(wǎng)絡(luò)模型的輸入維度為s×np×dp,s代表點云室內(nèi)數(shù)據(jù)集中每個室內(nèi)空間被分割的超點個數(shù),np代表每個超點包含的三維點個數(shù),dp代表每個采樣點的原始特征維度。其次,為了更高效地提取超點的特征,選取PointNet 模型做為前期點云特征提取器,因為PointNet 模型對局部點云有著很高的魯棒性和效率。點云經(jīng)過只帶有單個STN(Spatial Transform Network)的簡化版PointNet 模型[15]作用后,生成32 維的嵌入張量,其中STN 的作用是實現(xiàn)輸入點云的旋轉(zhuǎn)不變性。原始三維點經(jīng)過PointNet 模型中多層MLP 和最大池化的作用后,使每個點的原始特征能夠映射到高維特征空間。在網(wǎng)絡(luò)結(jié)構(gòu)圖中,MLP括號中數(shù)字代表每層結(jié)構(gòu)的寬度,每層結(jié)構(gòu)均應(yīng)用了Batch Normalization。最后,為了能有效地捕獲場景中點云塊之間的上下文關(guān)系,將生成的高維特征嵌入到循環(huán)神經(jīng)單元(Recurrent Neural Network,RNN)[23]中,并與邊條件卷積(Edge-Conditioned Convolution,ECC)[24]作用后,得到一組13 維特征向量(13 代表場景中待分割目標(biāo)的種類)。本文受自歸一化神經(jīng)網(wǎng)絡(luò)(Self-Normalizing Neural Network,SNN)啟發(fā),構(gòu)造了一種特殊的RNN 神經(jīng)單元,即自歸一化門控循環(huán)單元(Self-Normalizing Gated Recurrent Unit,SN-GRU),相對于原始SPG 網(wǎng)絡(luò)結(jié)構(gòu)中的GRU 神經(jīng)單元,該單元可以進一步增強網(wǎng)絡(luò)模型對高級幾何特征的捕獲能力,從而實現(xiàn)點云的場景分割。

        圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

        2.2 幾何同質(zhì)分割

        本文基于超點圖網(wǎng)絡(luò)提出新型網(wǎng)絡(luò)模型,超點的構(gòu)造由法國國家地理研究所計算機系的LANDRIEU等[17]提出,利用最小割理論[17]進行幾何劃分,實現(xiàn)對單個目標(biāo)物體的同質(zhì)劃分,最小割理論如式(1)所示:

        其中:G 為np個三維點組成的超點;E表示邊組成的集合;fi表示第i個三維點局部鄰域D 形狀;gi表示待求的解,相同的g值可視為一個超點;μ表示正則化強度,用來區(qū)分分區(qū)的粗糙度;wi,j表示三維點i、j之間的邊權(quán)重;[·]表示艾佛森括號。該理論可根據(jù)顏色、空間幾何等點云特征將點云組成的單個物體分為幾個有意義的塊,也就是同質(zhì)分割塊,構(gòu)成超點。恒定連通分量S={S1,S2,…,Sk}構(gòu)成超點的集合即為式(1)的解。這些超點S除了具有原始三維空間特征和顏色特征外,還具有線性度Lλ、平面度Pλ和散射度Sλ這3 種幾何特征,它們分別由式(2)~式(4)確定:

        其中:λ1、λ2、λ3均表示點云塊協(xié)方差矩陣的特征值,這些幾何特征[25]可以表現(xiàn)點云塊的分布模式。

        2.3 自歸一化門控循環(huán)神經(jīng)單元

        為更好地改進網(wǎng)絡(luò)模型的上下文分割效果,增強網(wǎng)絡(luò)模型中超點對周邊鄰域的感知能力,受SNN 中縮放指數(shù)型線性單元(Scaled Exponential Linear Unit,SELU)[26]能使神經(jīng)單元具備自歸一化屬性特點的啟發(fā),構(gòu)造了一種特殊的RNN 神經(jīng)單元,即SN-GRU。該單元以傳統(tǒng)門控循環(huán)單元(Gated Recurrent Unit,GRU)[19]為基礎(chǔ),結(jié)合SELU 線性單元而構(gòu)造。這使得SN-GRU即繼承了傳統(tǒng)GRU 防止梯度彌散的屬性,又能使神經(jīng)單元具有自歸一化的特點。該特性能使網(wǎng)絡(luò)在整個訓(xùn)練過程表現(xiàn)得更加魯棒,從而有助于充分挖掘深層次的空間信息表征。SELU 單元主要使用函數(shù)y映射前后2 層神經(jīng)網(wǎng)絡(luò)的均值和方差以達到歸一化的效果:SELU 單元如式(5)所示:

        其中:參數(shù)α,β可根據(jù)Banach 不動點定理(fixed-point theorem)和中央極限定理(central limit theorem)證得[26],α=1.673 263 242 354 377,β=1.050 700 987 355 480。

        SN-GRU 能通過對同質(zhì)點云塊之間的遠程語義依賴性建模,從而可以更加有效地捕獲點云間的上下文信息。該神經(jīng)單元網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示,由3 個門組成:重置門(Reset Gate),更新門(Update Gate)和歸一門(Normalize Gate)。

        圖2 SN-GRU 單元結(jié)構(gòu)Fig.2 SN-GRU unit structure

        重置和更新門控向量能夠保存點云序列中空間信息,不會因為預(yù)測的弱相關(guān)性而被移除,可通過控制2 個門控向量的開啟和關(guān)閉,保存和更新有用的語義信息。歸一門控向量能使神經(jīng)元激勵進行自動地轉(zhuǎn)移(shift)和重縮放(rescale),在沒有明確的歸一化情況下實現(xiàn)零均值和單位方差。SN-GRU 神經(jīng)單元內(nèi)部的計算流程如式(6)~式(11)所示:

        其中:xt表示輸入單元;yt表示輸出單元;ht-1表示上個時刻的隱藏門;ht表示此時刻的隱藏門表示隱藏候選態(tài);nt、rt、zt分別表示門控單元的歸一門、重置門和更新門;Wr、Wz、W表示權(quán)重矩陣;σ、tanh 分別表示sigmoid函數(shù)激活和雙曲正切函數(shù)激活;SELU 表示隱藏門的激活函數(shù);·表示矩陣內(nèi)積;⊙表示哈達瑪積。SN-GRU 主要通過門控實時調(diào)整激活函數(shù)的輸入、輸出,來捕獲點云空間信息的中長期依賴關(guān)系,從而有效地實現(xiàn)場景分割。

        2.4 損失函數(shù)設(shè)計

        在網(wǎng)絡(luò)模型中,損失函數(shù)是度量預(yù)測值與真實值之間差異的指標(biāo)。在某些深度學(xué)習(xí)任務(wù)數(shù)據(jù)集中,往往會出現(xiàn)某些類別樣本遠大于其他類別樣本的情況,所造成的樣本不平衡性將影響模型學(xué)習(xí)的效果。在點云數(shù)據(jù)中,由于深度傳感器和實際場景的影響,也會造成不同程度的樣本不平衡。如本文數(shù)據(jù)集場景中地板和墻的數(shù)據(jù)量遠多于書架和沙發(fā)的數(shù)據(jù)量。針對該問題,本文將在二維圖像領(lǐng)域中針對數(shù)據(jù)樣本不平衡的焦點損失函數(shù)Focal Loss[20]引入3D 點云領(lǐng)域,以替代常規(guī)的交叉熵損失函數(shù)(Cross Entropy Loss),從而減少樣本不平衡的影響。Focal Loss 定義公式如式(12)和式(13)所示:

        其中:ptarget表示網(wǎng)絡(luò)輸入在經(jīng)過softmax 計算處理后得到的預(yù)測概率;qtarget表示樣本真實類別標(biāo)簽的分布;N代表網(wǎng)絡(luò)訓(xùn)練批次的大?。籆代表點云數(shù)據(jù)集中分割的類別數(shù);(1-ptarget)γ表示調(diào)制系數(shù);γ 表示調(diào)制系數(shù)中的超參數(shù),γ≥0。

        在網(wǎng)絡(luò)訓(xùn)練過程中,普通交叉熵損失的正樣本預(yù)測概率越大,損失越小,負樣本則反之,這會使損失函數(shù)在大量簡單樣本的迭代中無法優(yōu)化到最優(yōu)。焦點損失函數(shù)在其基礎(chǔ)上增加了一個調(diào)制因子(1-ptarget)γ,能夠使網(wǎng)絡(luò)模型關(guān)注容易錯分割的困難樣本,減少易分割樣本的損失。如待分割的目標(biāo)預(yù)測概率為0.90時,則(1-ptarget)γ的值將很小,而目標(biāo)預(yù)測概率為0.21 時,(1-ptarget)γ將很大,其損失也會相對較大。相對標(biāo)準(zhǔn)交叉熵,預(yù)測概率為0.5 的目標(biāo),其損失的減少對于預(yù)測概率為0.90 的目標(biāo)將小很多倍。這可以增大困難樣本如S3DIS 數(shù)據(jù)集中的書架等在損失函數(shù)的貢獻度,降低簡單樣本的影響力。模型也會將計算力更多集中在困難樣本中,提高模型的分割能力。

        3 實驗結(jié)果與分析

        為驗證所提模型的有效性,本文在被廣泛使用的S3DIS 數(shù)據(jù)集上進行了測試。實驗環(huán)境為2 塊RTX 2080Ti GPU 顯卡,每塊顯卡有11 GB 顯存,CPU 為Intel Core i9-9900K,服務(wù)器系統(tǒng)為Ubuntu16.04,語言為python 3.7 版本,pytorch1.2 版本。CUDA 為10.0,Boost版本至少高于1.63.0。

        3.1 實驗數(shù)據(jù)集

        為測試本文網(wǎng)絡(luò)模型的泛化能力,本文采用斯坦福大學(xué)大規(guī)模3D 室內(nèi)場景數(shù)據(jù)集(S3DIS)[21]。該數(shù)據(jù)集是目前最大的室內(nèi)點云數(shù)據(jù)集,場景相對比較復(fù)雜,主要由6 個大型室內(nèi)區(qū)域組成,每個區(qū)域分別覆蓋約為965 m2、1 100 m2、450 m2、1 700 m2、870 m2和935 m2,總共6 020 m2。這些區(qū)域在建筑風(fēng)格和外觀上屬性不同,主要包括辦公室、會議室、大堂、衛(wèi)生間、教室、樓梯和走廊等建筑,共包含272 個房間的3D 掃描數(shù)據(jù),共計超過2.15億個點。掃描中的每個點都對應(yīng)椅子(chair)、桌子(table)、地板(floor)、墻壁(wall)、天花板(ceiling)、柱 子(column)、窗 戶(window)、門(door)、書 架(bookcase)、沙發(fā)(sofa)、板(board)等13 個類別語義標(biāo)簽。

        3.2 網(wǎng)絡(luò)模型參數(shù)設(shè)置

        在同構(gòu)分割之前,為提高分割效率,本文采用體素網(wǎng)格進行點云下采樣,網(wǎng)格(bin)為3 cm。超點包含的三維點數(shù)量np設(shè)為128。網(wǎng)絡(luò)訓(xùn)練中優(yōu)化器采用ADAM,初始學(xué)習(xí)率為0.01,樣本批處理大小(batchsize)為8,共訓(xùn)練250 個周期(epoch),在周期為150 和200 時,學(xué)習(xí)率衰減指數(shù)為0.7,動量(momentum)為0.9。

        3.3 場景語義分割評價指標(biāo)

        與點云分類和識別相比,三維點云語義分割需要精細地識別每個點的語義類別,具備一定挑戰(zhàn)性。為進一步評估本文網(wǎng)絡(luò)模型處理三維點云細粒度任務(wù)的能力,在三維點云領(lǐng)域最常用的主流數(shù)據(jù)集S3DIS 上進行了語義分割實驗,并與其他主流算法進行了指標(biāo)對比。本文采用常用的語義分割評價指標(biāo),包括平均交并比MIOU、總體精度(Overall Accuracy,OA)和平均精度(mean Accuracy,mAcc)來衡量分割結(jié)果,分別由式(14)~式(16)定義:

        其中:k代表分割的類別數(shù);TP代表分類正確的正樣本數(shù)量;FP代表分類錯誤的正樣本數(shù)量;FN代表分類錯誤的負樣本數(shù)量表示第i類分割的正確的個數(shù);NP表示總的點云的點數(shù)表示第i類點云的總點數(shù)。

        3.4 上下文語義分割的有效性

        為驗證SN-GRU 神經(jīng)單元對點云空間上下文分割的有效性,本文分別采用3 種不同的RNN 進行了對比實驗,它們分別是長短期記憶模型(Long Short-Term Memory,LSTM)[27]、GRU 和SN-GRU。表1 所示為在S3DIS 數(shù)據(jù)集上進行6 折交叉驗證之后的實驗結(jié)果,表中黑色粗體表示實驗過程中最優(yōu)結(jié)果。從表1 中可以看出,本文所提方法取得了63.7%的MIOU 和85.7%的OA 準(zhǔn)確率,優(yōu)于其他2 種RNN 神經(jīng)單元的結(jié)果。本文所提方法的準(zhǔn)確率為73.8%,僅次于LSTM 神經(jīng)單元74.2%的準(zhǔn)確率,原因可能是LSTM 神經(jīng)單元在提取較大面積的點云塊特征如天花板、地板等的性能略優(yōu)于本文的算法。

        表1 不同循環(huán)網(wǎng)絡(luò)神經(jīng)單元分割精度對比Table 1 Comparison of segmentation accuracy with different recurrent neural unit %

        3.5 Focal Loss 損失函數(shù)的有效性

        為選取和驗證Focal Loss 損失函數(shù)中的超級參數(shù),本文對調(diào)制系數(shù)(1-ptarget)γ中的γ取值進行了對比實驗。表2 中給出了網(wǎng)絡(luò)模型在不同γ值下的MIOU、OA 和mAcc 的值,表中黑色粗體表示實驗過程中最優(yōu)結(jié)果。本文選取的γ值范圍為0~4,從式(12)可以看出,當(dāng)γ=0 時,F(xiàn)ocal Loss 損失函數(shù)相當(dāng)于交叉熵損失函數(shù),即本文所采用的baseline。從表2 可以看出,當(dāng)γ=1.5 時,場景語義分割達到了最優(yōu)效果,MIOU,OA 和mAcc 在基準(zhǔn)的水平上分別提高了1.4、0.3、1.1 個百分點。當(dāng)γ>1.5 時,場景語義評價指標(biāo)的準(zhǔn)確率開始下降并趨于穩(wěn)定,說明當(dāng)γ=1.5時,已經(jīng)能夠有效提高較難分割樣本如椅子、書架等的權(quán)重,降低了容易分割樣本如墻面、地板等的權(quán)重,從而更有效地實現(xiàn)了語義分割。

        表2 不同調(diào)制因子γ 下網(wǎng)絡(luò)模型分割精度對比Table 2 Comparison of segmentation accuracy under different values of modulation γ %

        3.6 本文網(wǎng)絡(luò)模型與現(xiàn)有方法比較

        為從整體上驗證本文網(wǎng)絡(luò)模型在場景語義分割上的有效性,本文與目前主流網(wǎng)絡(luò)模型進行了對比實驗。實驗結(jié)果如表3 所示,表中“—”表示原文獻中沒有該項實驗結(jié)果,黑色粗體表示實驗過程中最優(yōu)結(jié)果。從表中可以看出,本文網(wǎng)絡(luò)模型的MIOU,OA 和mAcc 均達到最優(yōu)值。與基干網(wǎng)絡(luò)SPGragh 相比,本文模型的MIOU、OA 和mAcc 分別提高1.7、0.9、1.3 個百分點,與經(jīng)典網(wǎng)絡(luò)模型PointNet相比也分別提高了16.2、7.9、8.1個百分點,分割效果有了明顯的提升。從表3 中還可以看到本文網(wǎng)絡(luò)模型在相對不易分割的目標(biāo)上,MIOU有了較高的提升,如椅子的MIOU 與基干網(wǎng)絡(luò)相比提高了7.1 個百分點,由此可見,本文網(wǎng)絡(luò)模型在細粒度細節(jié)處的分割能力也有了較明顯提升,從而驗證了本文網(wǎng)絡(luò)模型具有能夠捕獲點云深層細粒度幾何特征的能力。

        表3 S3DIS 數(shù)據(jù)集上與現(xiàn)有主流方法的性能比較Table 3 Performance comparison with the existing methods on S3DIS dataset %

        3.7 點云分割結(jié)果可視化與分析

        為更直觀地展示本文網(wǎng)絡(luò)模型場景語義分割的過程,本文將網(wǎng)絡(luò)的輸入、中間的同質(zhì)點云塊分割、標(biāo)準(zhǔn)分割結(jié)果(Ground Truth)和模型預(yù)測結(jié)果分別進行了可視化處理。如圖3 所示,在第1 組辦公室場景中,本文網(wǎng)絡(luò)模型對墻、書架、門等簡單幾何物體邊緣的分割效果良好。在第3 組的會議室場景中,由于白板(board)嵌在白色墻體(wall)內(nèi)(彩色效果見《計算機工程》官網(wǎng)HTML 版本),故在同質(zhì)分割過程中將部分墻體和板面劃分到一起,導(dǎo)致分割效果不理想。因此,如何提高相似顏色的同質(zhì)劃分為今后繼續(xù)深入研究的方向。

        圖3 S3DIS 數(shù)據(jù)集上的部分結(jié)果可視化Fig.3 Visualization of some results on S3DIS dataset

        本文使用的Focal Loss 損失函數(shù)能夠提高困難樣本的關(guān)注程度,與基干網(wǎng)絡(luò)相比(如表3 結(jié)果所示),其分割結(jié)果有了明顯改善。在其他場景中,如第2 組中的休息室場景,可以看到本文網(wǎng)絡(luò)模型在桌子、椅子等相對獨立的目標(biāo)中獲得了準(zhǔn)確的分割結(jié)果,進一步證明本文的網(wǎng)絡(luò)模型在物體細粒度分割上有明顯的提升??傮w來看,本文模型在對天花板,墻體和地板等面積相對大的物體,分割效果更好,尤其在其分割邊界上的效果提高顯著,這反映了本文提出的SN-GRU 在上下文語義分割上有更加出色的表現(xiàn),可以更有效地捕獲點云塊之間的聯(lián)系,從而能準(zhǔn)確地分割邊緣。由于本文所采用的數(shù)據(jù)集(S3DIS)中大部分室內(nèi)場景均為復(fù)雜場景,使本文的網(wǎng)絡(luò)模型具有較高的泛化能力,在相對簡單的場景中能夠取得和標(biāo)準(zhǔn)分割高度一致的結(jié)果,如第4 組的走廊場景所示。

        4 結(jié)束語

        為提高場景分割算法對點云塊上下文信息的提取能力并有效利用點云數(shù)據(jù)集的樣本均衡性,本文提出一種整合上下文空間幾何特征且可調(diào)節(jié)難易樣本權(quán)重的場景分割網(wǎng)絡(luò)模型。通過融合多層感知機和循環(huán)神經(jīng)單元提取場景中的局部特征和全局特征,實現(xiàn)較好的語義分割效果。同時通過采用大規(guī)模場景數(shù)據(jù)集和焦點損失函數(shù)的方法提高模型的泛化能力,實現(xiàn)復(fù)雜空間特征的提取。實驗結(jié)果表明,與PointNet 和G+RCU 等傳統(tǒng)模型相比,本文模型在大型室內(nèi)場景數(shù)據(jù)集S3DIS 上獲得了較高的分割準(zhǔn)確率。下一步將采用球形卷積核與八叉樹空間劃分相結(jié)合的方法,改善模型針對空間幾何特征相似物體的分割效果。

        猜你喜歡
        體素語義樣本
        基于超體素聚合的流式細胞術(shù)自動門控方法
        基于多級細分的彩色模型表面體素化算法
        用樣本估計總體復(fù)習(xí)點撥
        運用邊界狀態(tài)約束的表面體素加密細分算法
        語言與語義
        基于體素格尺度不變特征變換的快速點云配準(zhǔn)方法
        推動醫(yī)改的“直銷樣本”
        隨機微分方程的樣本Lyapunov二次型估計
        “上”與“下”語義的不對稱性及其認知闡釋
        村企共贏的樣本
        日本韩国一区二区三区| 亚洲av无码无线在线观看| 女的扒开尿口让男人桶30分钟| 国产精品无套内射迪丽热巴| 日韩在线观看网址| 在线视频自拍视频激情| 亚洲av午夜精品无码专区| 国产成人久久精品激情| 精品国产福利久久久| 色妞一区二区三区免费视频| 蜜桃视频免费进入观看| 久热这里只有精品视频6| 含羞草亚洲AV无码久久精品| 91蜜桃精品一区二区三区毛片| 久久久精品国产亚洲av网深田| 曰本大码熟中文字幕| 亚洲红怡院| 亚洲国产精品成人av| 午夜秒播久久精品麻豆| 黑人巨茎大战欧美白妇| 国产一级三级三级在线视| 亚洲一区亚洲二区中文字幕| 给你免费播放的视频| 国产一区二区三区影院| 囯产精品无码一区二区三区AV| 精品亚洲一区二区三区在线播放| 色综合久久中文娱乐网| 激情亚洲一区国产精品| 国产在线观看精品一区二区三区| 日韩一区二区三区精品视频| 国产伦理一区二区| 欧美一区波多野结衣第一页| 久久精品国产精品亚洲婷婷| 色大全全免费网站久久| 乱人伦中文无码视频| 久久精品国产屋| 国产午夜免费一区二区三区视频| 人妻少妇乱子伦精品| 欧美一级人与嘼视频免费播放 | 国产精品亚洲av无人区二区| 十八禁视频在线观看免费无码无遮挡骂过 |