朱映韜，陳 建，2*，萬 杰，黃 煒，杜天放

（1.福州大學 先進制造學院，福建 泉州 362200；2.福州大學 物理與信息工程學院，福建 福州 350108）

0 引言

近年來，三維傳感技術的普及和數(shù)據(jù)采集量的指數(shù)級增長導致點云數(shù)據(jù)量空前激增。點云數(shù)據(jù)在計算機輔助設計、自動駕駛汽車、虛擬現(xiàn)實和增強現(xiàn)實等眾多應用中發(fā)揮著關鍵作用[1]。然而，對這些海量點云數(shù)據(jù)集進行有效存儲和傳輸，仍是一個艱巨的挑戰(zhàn)。對此，急需開發(fā)高性能的編碼技術。

點云壓縮（Point Cloud Compression，PCC）是3D 數(shù)據(jù)處理領域的一個關鍵技術，重點關注減少數(shù)據(jù)大小同時減少失真，以保留數(shù)據(jù)固有的幾何和語義信息，總體目標是在壓縮率和重建保真度之間取得平衡，確保重建不影響視覺或分析質(zhì)量。

隨著深度學習的革命性進展，基于學習的點云壓縮引起了人們的廣泛關注。其中的佼佼者甚至優(yōu)于動態(tài)圖像專家組（Motion Picture Expert Group，MPEG）提出的基于幾何的PCC（Geometry-based Point Cloud Compression，G-PCC）和基于視頻的PCC（Video-based Point Cloud Compression，V-PCC）。

1 相關工作

QUACH M[2]等人率先提出了一種使用卷積神經(jīng)網(wǎng)絡進行幾何壓縮和均勻量化的靜態(tài)點云數(shù)據(jù)壓縮的新方法，通過在編碼端使用塊分區(qū)來緩解對體素做卷積所產(chǎn)生的時間和空間復雜性，經(jīng)過量化、熵編碼輸出重建點云。GUARDA A F R 等人[3]也提出了相似的方法，將單幀點云體素化并分割成同樣大小的3D 塊，二進制碼流在解碼端通過固定閾值二分類進行點云重構。點云的稀疏性可能導致預測占用概率的分布與實際占用概率的不匹配。QUACH M 等人隨后提出GeoCNN[4]在解碼端使用自適應閾值來糾正這個問題。

為了提升局部特征學習效果，WANG J 等人提出的PCGC[5]設計了一個多尺度端到端學習框架，通過通道熵建模來優(yōu)化變分自動編碼器網(wǎng)絡。該團隊提出進一步優(yōu)化稀疏卷積[6]，僅對稀疏分布的最大概率占用體素執(zhí)行卷積，并利用同級之間的逐級相關性以多階段方式估計占用概率。LIU G 等人將transformer 用于體素壓縮[7]，將k個最近鄰的信息聚合并緊湊地嵌入為一個點的潛在特征。上面的方法忽略了點云表面的幾何相似性，ZHU W 等人提出RegionPCGC[8]利用區(qū)域間的冗余進行自適應的編碼。然而，上述方法忽略了對不同分辨率的點云細節(jié)進行差異化處理。

2 所提方法

本文設計了一種逐分辨率優(yōu)化的自編碼框架，以適應高精度的點云編碼，其中多尺度征提取塊改善了對細節(jié)的重建。

2.1 多尺度的稀疏卷積自編碼器網(wǎng)絡

為了提升細節(jié)特征提取效果，本文提出了一種改進的多尺度的端到端稀疏卷積方法，網(wǎng)絡結(jié)構如圖1（a）所示。首先將原始點云X1送入預處理模塊對原點云進行體素化和分割，其次進行分析變換，對潛在表示進行量化。卷積層（l，k，s）（l為通道數(shù)，k為卷積核尺寸，s為步長）對處理后的點云進行稀疏卷積，經(jīng)過卷積層提取特征后將結(jié)果輸入ReLU 函數(shù)?！ā┐碓搶訛橄拢ㄉ希┎蓸訉樱∈柘蛄拷?jīng)過該層時大小將發(fā)生變化。自適應的多尺度特征提取模塊（Multi-scale Feature Extraction Module，MFEM）用于多尺度通道特征提取與融合，結(jié)構如圖1（b）所示，具體細節(jié)將在2.2 節(jié)詳細介紹。C 代表對兩個大小相同的稀疏向量進行級聯(lián)。降采樣后的稀疏向量會丟失一部分細節(jié)信息，因此通過稀疏卷積進一步提取局部的特征和降采樣后的向量進行級聯(lián)，使其同時獲得細節(jié)信息和全局信息，輸入MFEM 進行特征的融合。每經(jīng)過一次降采樣，X i的尺度下降一級，i為點云X的尺度，其大小下降約為原先的1/4。編解碼網(wǎng)絡中的同級別點云用于計算當前級別的失真函數(shù)Di，細節(jié)將在2.3 節(jié)詳細介紹。

圖1 多尺度的稀疏卷積自編碼器網(wǎng)絡詳細結(jié)構

經(jīng)過3 次降采樣后，編碼端網(wǎng)絡輸出的稀疏張量Y可分為三維空間坐標CY和特征向量矩陣FY。其中，Y的三維空間矩陣CY由GPCC 編碼器編碼，Y的特征矩陣FY量化為FYQ后由算術編碼器編碼。超先驗框架進一步改進了熵模型，將FYQ輸入熵編碼網(wǎng)絡，利用上下文估計來預測高斯分布參數(shù)(μ,σ)。和作為其三維空間坐標和特征向量矩陣的分量，表示解碼端網(wǎng)絡得到的稀疏張量。在解碼端的上采樣層進行轉(zhuǎn)置卷積，對稀疏向量進行升維。二分類層進行二值分類操作，將預測概率高于閾值的體素識別為被占用的體素，將其他的判定為空體素。最后進行多尺度的點云重建迭代，逐級重構點云。

2.2 自適應的多尺度通道可分離特征提取模塊

針對PCGC[7]網(wǎng)絡解碼端，使用連續(xù)多個傳統(tǒng)的殘差模塊從粗到細地提取多尺度特征，但是特征提取的模式單一，在局部特征層次上特征聚合能力有限，存在開銷大、不夠靈活、不能根據(jù)通道和分辨率來進行調(diào)整導致計算量增大的情況。在特征提取工作中發(fā)現(xiàn)，不同分辨率下特征進行多尺度特征提取的需求不同，因此使用MFEM 替換該模塊。

如圖1（b）所示，該模塊先用1×1×1 卷積核提取全局特征，再把特征按通道數(shù)量C切分為C組通道數(shù)為1 的向量，對每組分別用不同的卷積核進行卷積處理，以降低計算的復雜度，最后進行殘差跳躍連接。本文在靠近初始點云的采樣層級i分配更多層的通道可分離卷積。這種設計加大對低通道數(shù)稀疏特征的處理強度，以分層的殘差進行跳躍連接，加強不同尺度的特征表達與融合。以多尺度方式進行全局和局部特征提取，通過拆分和級聯(lián)策略可以更有效地保留信息以增強處理功能。

2.3 率失真損失函數(shù)

本文方法采用壓縮的經(jīng)典算法率失真通過調(diào)整失真權重超參數(shù)λ優(yōu)化來權衡不同尺度間的失真(Distortion，Di)和比特率(Bit-rate,R)來進行損失函數(shù)訓練，從而優(yōu)化整體的率失真性能，即

式中：最大層級I=max{i}。

由于解碼端重構點云的過程可以近似為二值分類任務，二值分類任務表示重構點云的預測體素是1 還是0，因此可以引入加權二值交叉熵（Weighted Binary Cross-Entropy，WBCE）來度量輸入點云和重構點云之間的失真程度，即Di等于當前層級的WBCE。

式中：N為當前層級點云的體素數(shù)量，為體素被占用的概率，m為已被占用的體素數(shù)量，n為未被占用的體素數(shù)量。對于體素化的點云數(shù)據(jù)，超過95%的體素占用皆為空。因此，被占用體素和未被占用體素之間的巨大數(shù)量不平衡阻礙了神經(jīng)網(wǎng)絡訓練。WBCE 采用參數(shù)α來調(diào)整權重，以平衡正、負樣本的不均勻分布。

3 實驗結(jié)果和分析

為了驗證所提出的多尺度點云壓縮網(wǎng)絡的有效性，本文從ShapeNet 隨機選擇10 000 個點云模型進行訓練。批處理大小設置為4，初始學習率設置成0.001，最低學習率設置為0.000 001，迭代次數(shù)設置為200，損失函數(shù)中的參數(shù)α設置為2，使用Adam 優(yōu)化器。測試環(huán)境統(tǒng)一為Intel Xeon Gold 6230 CPU 和NVIDIA GeForce RTX 3090 GPU。

挑選主流數(shù)據(jù)集8iVFB（8i Voxelized Full Bodies）和OWLII（Dynamic Human Mesh）進行測試，以峰值信 噪 比（Bjontegaard Delta Peak Signal to Noise Ratio，BD-PSNR）和比特率（Bjontegaard Delta Bit Rate，BD-BR）作為客觀評價指標。測試結(jié)果如表1 所示，本文提出的方法取得了顯著的效果，與經(jīng)典的G-PCC 和V-PCC 算法相比，所提算法BD-BR 增益為90.37%和20.74%，BD-PSNR 增益分別為9.67 dB和0.82 dB。與其他點云壓縮算法GeoCNNv2、Learned-PCGC、RegionPCGC 進行比較，分別降低了58.29%、29.76%和28.66%以上的BD-BR，提高了2.67 dB、1.40 dB 和1.18 dB 的BD-PSNR。

表1 本文算法與其他算法的增益比較

為了直觀地展示本文所提算法的失真率性能，以“basketball_player”數(shù)據(jù)為例，繪制每種算法的測試結(jié)果，同時繪制了D1 和D2 相應的率失真曲線，如圖2 所示。在參考算法中，G-PCC（octree）和G-PCC（trisoup）率失真性能表現(xiàn)最差，RegionPCGC 和VPCC 的性能較好。相比之下，本文提出的方法比以上方法具有更高的重建精度。

圖2 basketball_player 的率失真曲線比較

4 結(jié)語

本文提出了一種多尺度自適應優(yōu)化的編碼網(wǎng)絡，有意在解碼網(wǎng)絡中減少對稱特征融合分支，以控制復雜度并防止過擬合，還設計了一種多尺度特征提取塊對不同分辨率級聯(lián)不同的通道分離卷積塊來替換固定架構，以實現(xiàn)多尺度融合，增強了樣本的適應性和信息利用率，并通過使用殘差結(jié)構來減少全局特征損失。最后通過訓練結(jié)合了多層級的加權二進制交叉熵率失真損失函數(shù)，解決了正負樣本不平衡問題。