嚴(yán)璐 顧昕

（南京萊斯信息技術(shù)股份有限公司 江蘇省南京市 210000）

激光雷達(dá)在無人機(jī)/無人駕駛/文物修復(fù)/機(jī)器人等領(lǐng)域應(yīng)用越來越廣泛，視頻圖像數(shù)據(jù)易受光照變換的影響，激光雷達(dá)點(diǎn)云有效避免此問題，且數(shù)據(jù)量小。本算法應(yīng)用場景是泊位引導(dǎo)中基于點(diǎn)云檢測出航空器。點(diǎn)云數(shù)據(jù)量小，數(shù)據(jù)稀疏，機(jī)場環(huán)境下，雷達(dá)安裝位置和角度以及飛機(jī)本身相互遮擋，目標(biāo)點(diǎn)云嚴(yán)重缺失。飛機(jī)為異形結(jié)構(gòu)，無法采用規(guī)則圖形進(jìn)行點(diǎn)云補(bǔ)全，這些對飛機(jī)目標(biāo)的識別檢測和尺寸衡量造成很大障礙，因此需要需要合適的點(diǎn)云補(bǔ)全模型。

點(diǎn)云補(bǔ)全一直是深度學(xué)習(xí)和三維重建領(lǐng)域的一個重要的研究課題?；谏疃葘W(xué)習(xí)的三維點(diǎn)云修復(fù)技術(shù)主要有密集、補(bǔ)全、去噪三類重建方法。修復(fù)模型的關(guān)鍵技術(shù)有特征編碼/特征擴(kuò)展和損失函數(shù)設(shè)計(jì)。點(diǎn)云修復(fù)目的是提升點(diǎn)云密度，補(bǔ)全點(diǎn)云形狀以及去除噪聲等，從而提高點(diǎn)云質(zhì)量，便于后期識別檢測點(diǎn)云中的目標(biāo)，衡量目標(biāo)大小。

現(xiàn)有技術(shù)利用激光雷達(dá)掃描獲取物體外形，通常對外形不做補(bǔ)全處理?，F(xiàn)有的點(diǎn)云補(bǔ)全方法很多，但是補(bǔ)全稠密均勻性不足，目標(biāo)尺寸不夠準(zhǔn)確，還需要深入研究改進(jìn)。有些補(bǔ)全算法通過點(diǎn)云和圖像融合的方式，但是攝像頭受環(huán)境因素影響很大，如雨霧天，夜晚等。另外實(shí)際應(yīng)用中考慮到各種因素，并不能只為補(bǔ)全信息，同時架設(shè)雷達(dá)和攝像機(jī)。本文只基于PCN模型進(jìn)行改進(jìn)，優(yōu)化點(diǎn)云補(bǔ)全。

本文第2節(jié)介紹了點(diǎn)云補(bǔ)全相關(guān)技術(shù)點(diǎn)；第3節(jié)介紹了算法詳細(xì)細(xì)節(jié)；第4節(jié)給出了測試實(shí)驗(yàn)結(jié)果，最后給出本文的總結(jié)和后期工作展望。

1 研究背景

基于深度學(xué)習(xí)的點(diǎn)云修復(fù)目前較為通用的基礎(chǔ)網(wǎng)絡(luò)模型有多層感知器（MLP），卷積神經(jīng)網(wǎng)絡(luò)（CNN），自編碼器（AE）和對抗生成網(wǎng)絡(luò)（GAN）等。

1.1 多層感知器

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）基本結(jié)構(gòu)主要包括輸入層，卷積層，池化層，全連接層以及輸出層。各層級之間區(qū)別于MLP的全神經(jīng)元相連，CNN只有部分神經(jīng)元相連。卷積層是通過在輸入圖像上滑動卷積核并進(jìn)行相應(yīng)計(jì)算得到特征圖，一個特征圖共享相同的權(quán)重和偏置項(xiàng)，共享權(quán)重減少參數(shù)的數(shù)量。池化層在卷積層后面，池化層與卷積層一般交替出現(xiàn)，是一種非線性降采樣，減小數(shù)據(jù)的空間大小，降低參數(shù)數(shù)量和計(jì)算量。全連接層負(fù)責(zé)網(wǎng)絡(luò)中的高級推理。使用損失函數(shù)評價(jià)模型的預(yù)測值和真實(shí)值的相異程度。卷積層后連接激勵函數(shù)，增強(qiáng)判定函數(shù)和整個神經(jīng)網(wǎng)絡(luò)的非線性特性，常用的激勵函數(shù)包括修正線性單元（rectified linear units，ReLU），雙曲正切函數(shù)和Sigmoid函數(shù)等。

1.3 自編碼器

自編碼器（AutoEncoder，AE）將輸入X編碼為一個新的表達(dá)Y，然后再將Y解碼回X，是一個無監(jiān)督機(jī)器學(xué)習(xí)算法。目的是對一組數(shù)據(jù)學(xué)習(xí)出一種編碼，然后通過這種編碼重構(gòu)輸出。自編碼器具有數(shù)據(jù)相關(guān)性/數(shù)據(jù)有損性和自動學(xué)習(xí)性等特點(diǎn)，常用于數(shù)據(jù)的去噪和降維。

1.4 PointNet

2017年Qi等提出了第一個作用于點(diǎn)云的深度學(xué)習(xí)框架PointNet網(wǎng)絡(luò)，實(shí)現(xiàn)三維點(diǎn)云分類，形狀部分分割和場景語義分析。PointNet分類網(wǎng)絡(luò)將n個點(diǎn)作為輸入，應(yīng)用輸入和特征變換，然后通過兩次的多層感知器獲取點(diǎn)云特征信息，通過最大池化層聚合點(diǎn)要素，輸出是k類的分類分?jǐn)?shù)。此模型設(shè)計(jì)關(guān)鍵點(diǎn)是無序輸入的對稱函數(shù)，本地和全局信息匯總以及聯(lián)合調(diào)整網(wǎng)絡(luò)。

1.5 基于深度學(xué)習(xí)的三維點(diǎn)云修復(fù)技術(shù)

上文提到的密集重建、補(bǔ)全重建和去噪重建三種方法，實(shí)際應(yīng)用中可根據(jù)點(diǎn)云修復(fù)任務(wù)的側(cè)重點(diǎn)差異選擇合適的方法。密集重建的目標(biāo)是通過采集到的一組非均勻分布，密度與實(shí)際需求相較欠缺的點(diǎn)云，保持目標(biāo)形狀特征完整性的前提條件下，輸出相對均勻、密集的補(bǔ)全數(shù)據(jù)。補(bǔ)全重建的目標(biāo)是從目標(biāo)殘缺的、被部分遮擋的點(diǎn)云數(shù)據(jù)中，還原目標(biāo)完整形狀特性。用于補(bǔ)全重建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般由點(diǎn)云編碼器和點(diǎn)云解碼器組成，編碼器提取出輸入的殘缺點(diǎn)云的形狀特征，解碼器利用形狀特征基于由粗到細(xì)遞增的策略恢復(fù)出完整的點(diǎn)云數(shù)據(jù)。點(diǎn)云去噪目標(biāo)是從輸入的點(diǎn)云數(shù)據(jù)中，提取并過濾噪聲，恢復(fù)一個干凈的點(diǎn)云集，同時保留目標(biāo)的三位幾何細(xì)節(jié)。

圖卷積網(wǎng)絡(luò)(GCN)是對圖數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，圖一般包含社交網(wǎng)絡(luò)，通信網(wǎng)絡(luò)等，圖中的每個節(jié)點(diǎn)分別表示網(wǎng)絡(luò)中的每個個體。目前常用的方法有：

（1）通過Multi-branch GCN，Clone GCN，NodeShuffle三個新的模塊進(jìn)行點(diǎn)云采樣，其中采用圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)對于局部點(diǎn)信息的編碼，此外通過Inception-DenseGCN進(jìn)行多尺度點(diǎn)的特征提取，通過坐標(biāo)重建再現(xiàn)最終的密集點(diǎn)云。

（2）基于深度學(xué)習(xí)的點(diǎn)補(bǔ)全網(wǎng)絡(luò)(PCN)。PCN網(wǎng)絡(luò)模型包括編碼器和解碼器，編碼器使用基于MLP和最大池化操作的網(wǎng)絡(luò)模型，提取輸入點(diǎn)云的特征，得到特征向量；解碼器先通過全連接層得到較為稀疏的補(bǔ)全點(diǎn)云，在經(jīng)過折疊網(wǎng)絡(luò)獲得稀疏的點(diǎn)云坐標(biāo)和平滑的密集點(diǎn)云。

（3）基于神經(jīng)網(wǎng)絡(luò)進(jìn)行三維點(diǎn)云去噪，利用神經(jīng)網(wǎng)絡(luò)提取的點(diǎn)云特征估計(jì)噪聲點(diǎn)云的參考平面，然后將噪聲點(diǎn)投影到相應(yīng)的估計(jì)參考平面上，對點(diǎn)云進(jìn)行降噪處理。Zhao等提出一種基于自動編碼器結(jié)構(gòu)的3D點(diǎn)膠囊網(wǎng)絡(luò)，來實(shí)現(xiàn)稀疏點(diǎn)云的重建；

（4）基于生成對抗網(wǎng)絡(luò)框架，提出了一種自動修復(fù)補(bǔ)全三維點(diǎn)云形狀的神經(jīng)網(wǎng)絡(luò)；

（5）結(jié)合強(qiáng)化學(xué)習(xí)代理控制生成對抗網(wǎng)絡(luò)（Generative adversarial network,GAN）進(jìn)行點(diǎn)云的生成補(bǔ)全算法。

2 基于改進(jìn)的PCN模型的激光雷達(dá)三維點(diǎn)云補(bǔ)全算法

算法簡要流程是輸入原始點(diǎn)云，使用本算法模型進(jìn)行點(diǎn)云補(bǔ)全，測量計(jì)算補(bǔ)全的點(diǎn)云并輸出結(jié)果。算法以飛機(jī)點(diǎn)云數(shù)據(jù)為例，飛機(jī)原始點(diǎn)云數(shù)據(jù)稀疏且殘缺不全，飛機(jī)輪廓難以判斷，更對飛機(jī)尺寸測量造成困難。

2.1 算法思路

針對飛機(jī)這種異形結(jié)構(gòu)目標(biāo)，在不同角度下，機(jī)翼機(jī)身缺失嚴(yán)重，對獲取目標(biāo)點(diǎn)云特征要求較高，因此算法基于PCN網(wǎng)絡(luò)對編碼層進(jìn)行改進(jìn)，增加一層共享多層感知器（Shared MLP）和逐點(diǎn)最大池化層（Point-feature Maxpool）組合，并且將多層提取的特征串聯(lián)。

2.2 算法

算法的基本思想：

PCN算法如圖1所示，采用深度學(xué)習(xí)方法。本算法基于PCN網(wǎng)絡(luò)做出改進(jìn)，原始的PCN網(wǎng)絡(luò)編碼層網(wǎng)絡(luò)結(jié)構(gòu)采用兩層共享多層感知器（Shared MLP）與逐點(diǎn)最大池化層（Point-Wise MaxPool）組合，第二層輸入時第一層（Shared MLP）輸出與（Point-wise Maxpool）輸出串聯(lián)結(jié)果。

圖1：原始PCN網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)的PCN網(wǎng)絡(luò)模型如圖2所示：

圖2：PCN改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

（1）編碼階段：本方法將擴(kuò)展增加一層共享多層感知器（Shared MLP）和逐點(diǎn)最大池化層（Point-feature Maxpool）組合，并且第一層獲得的點(diǎn)特征Point feature i與第二層獲得的點(diǎn)特征Point feature ii和逐點(diǎn)最大池化全局特征Global feature ii串聯(lián)作為該層輸入，但是新增層全局特征每點(diǎn)的維度不變，獲得最后全局特征Global feature iii。

（2）解碼階段：本方法與PCN模型結(jié)構(gòu)一致，即將獲得的特征Global feature iii通過全連接層解碼（fully-connected decoder），重采樣獲得飛機(jī)整體完整輪廓，通過基于折疊的解碼操作（folding-based operation）平滑物體表面。

2.3 算法詳述

PCN網(wǎng)絡(luò)改進(jìn)：

PCN改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)：本方法將擴(kuò)展增加一層共享多層感知器（Shared MLP）和逐點(diǎn)最大池化層（Point-feature Maxpool）組合，并且第一層獲得的點(diǎn)特征Point feature i與第二層獲得的點(diǎn)特征Point feature ii和逐點(diǎn)最大池化全局特征Global feature ii串聯(lián)作為該層輸入，但是新增層全局特征每點(diǎn)的維度不變，獲得最后全局特征Global feature iii。具體描述如下：

在解碼階段，本方法與PCN網(wǎng)絡(luò)結(jié)構(gòu)一致，即將獲得的特征Global feature iii通過全連接層解碼（fully-connected decoder），重采樣獲得飛機(jī)整體完整輪廓，通過基于折疊的解碼操作（folding-based operation）平滑物體表面。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 硬件配置與試驗(yàn)平臺

算法實(shí)現(xiàn)采用的主機(jī)，內(nèi)核I7，英偉達(dá)1080Ti的顯卡，設(shè)備內(nèi)存4G，操作系統(tǒng)為Ubuntu16，采用python語言實(shí)現(xiàn)。

3.2 實(shí)驗(yàn)結(jié)果和效果分析

本方法輸出如圖3 output所示。改進(jìn)之后，點(diǎn)云數(shù)據(jù)更加稠密均勻，物體輪廓特征細(xì)節(jié)部分補(bǔ)全效果更好。

圖3：左邊input為飛機(jī)原始點(diǎn)云數(shù)據(jù)，右邊output為飛機(jī)點(diǎn)云補(bǔ)全輸出

測試部分，測量機(jī)翼寬度，準(zhǔn)確補(bǔ)全機(jī)翼寬度對測量準(zhǔn)確度影響很大，這就要求算法對物體輪廓細(xì)節(jié)部分還原效果要好。利用補(bǔ)全好的飛機(jī)外形測量機(jī)翼寬度，如圖4所示。由于激光束長度a，b，及角度c是可以直接測量，則利用數(shù)學(xué)知識可以求得機(jī)翼長度。

圖4：(a)(b)測量機(jī)翼寬度

由以上方法計(jì)算出機(jī)翼寬度，對進(jìn)場泊位的飛機(jī)進(jìn)行機(jī)型判別，確認(rèn)泊位飛機(jī)信息。

4 結(jié)束語

本文基于改進(jìn)的PCN算法實(shí)現(xiàn)點(diǎn)云補(bǔ)全，輸入稀疏的飛機(jī)點(diǎn)云，獲得完整飛機(jī)點(diǎn)云，并基于完整的飛機(jī)點(diǎn)云計(jì)算出飛機(jī)的機(jī)翼寬度。

機(jī)場、光伏、水利、學(xué)校、風(fēng)景區(qū)等應(yīng)用場景，占地廣，重點(diǎn)位置需要實(shí)時監(jiān)測，需要在多個重點(diǎn)關(guān)注點(diǎn)安裝雷達(dá)獲取點(diǎn)云數(shù)據(jù)，采用此算法補(bǔ)全缺失的點(diǎn)云，提高點(diǎn)云檢測識別模型的準(zhǔn)確率。后期可以采用邊緣計(jì)算框架，將點(diǎn)云補(bǔ)全算法部署到邊緣服務(wù)器上，將經(jīng)過補(bǔ)全等處理的結(jié)果發(fā)送給總控，或者在邊緣服務(wù)器上實(shí)現(xiàn)點(diǎn)云的補(bǔ)全和識別檢測，將檢測結(jié)果發(fā)送給總控，實(shí)現(xiàn)邊緣部署和計(jì)算。