摘""要：人體關(guān)鍵點檢測是在行為識別、動作捕捉等領(lǐng)域有著重要作用?；谝曈X的方法會受光線環(huán)境影響，還可能會在室內(nèi)環(huán)境中引發(fā)隱私問題，可穿戴設(shè)備的方法則不適用于非合作目標(biāo)?；诖耍岢隽艘环N基于4D毫米波雷達點云的人體關(guān)鍵點檢測方法，分析了使用毫米波點云進行關(guān)鍵點檢測存在的問題。為了解決這些問題，提出了毫米波人體關(guān)鍵點檢測（Millimeter"Wave"Human"Pose"Detection，mmWPose）系統(tǒng)，為了便于提取點云特征，設(shè)計了一種二維化方法用于處理點云數(shù)據(jù)，可以顯著減少模型在特征提取階段的參數(shù)量。為了進行數(shù)據(jù)標(biāo)注，運用跨模態(tài)監(jiān)督來訓(xùn)練目標(biāo)模型，為了增強目標(biāo)模型的泛化能力，設(shè)計了一個域適應(yīng)模塊協(xié)助目標(biāo)模型分辨點云數(shù)據(jù)中屬于環(huán)境的特征。實驗證明，研究提出的mmWPose系統(tǒng)能夠解決毫米波點云存在的問題，實現(xiàn)高精度的人體關(guān)鍵點檢測。

關(guān)鍵詞：毫米波雷達"人體關(guān)鍵點檢測"域適應(yīng)"跨模態(tài)學(xué)習(xí)"深度學(xué)習(xí)

中圖分類號：TN957.52

Human"Key"Point"Detection"Based"on"the"Deep"Learning"Method"and"the"4D"Millimeter-Wave"Radar"Point"Cloud

ZHANG"Yuan*""YANG"Dalin""CHE"Xianghao""WANG"Shiyang""HE"Ziheng

School"of"Information，"North"China"University"of"Technology，"Beijing，"100144"China

Abstract："Human"key"point"detection"plays"an"important"role"in"fields"such"as"behavior"recognition"and"motion"capture."Vision-based"methods"are"subject"to"the"light"environment"and"may"also"cause"privacy"issues"in"the"indoor"environment，"and"the"methods"based"on"wearable"devices"are"not"suitable"for"non-cooperative"targets."Based"on"this，"this"article"proposes"a"method"of"human"key"point"detection"based"on"the"4D"millimeter-wave"radar"point"cloud，"and"analyzes"the"problems"of"using"the"millimeter-wave"point"cloud"for"key"point"detection."In"order"to"address"these"issues，"this"study"proposes"a"Millimeter-Wave"Human"Pose"Detection"（mmWPose）"system，"and"in"order"to"facilitate"the"extraction"of"point"cloud"features，"it"designs"a"two-dimensional"method"for"processing"point"cloud"data，"which"can"significantly"reduce"the"number"of"parameters"in"the"model"in"the"feature"extraction"stage."In"order"to"make"data"annotation，"it"uses"cross-modal"supervision"to"train"the"target"model，"and"in"order"to"enhance"the"generalization"ability"of"the"target"model，"it"designs"a"domain"adaptation"module"to"assist"the"target"model"in"distinguishing"the"features"belonging"to"the"environment"in"point"cloud"data."Experiments"have"shown"that"the"mmWPose"system"proposed"in"this"study"can"solve"the"problems"of"millimeter-wave"point"clouds"and"achieve"high-precision"human"key"point"detection.

Key"Words："Millimeter-wave"radar;"Human"key"point"detection;"Domain"adaptation;"Cross-modal"learning;"Deep"learning

人體姿態(tài)檢測技術(shù)在行為識別、跌倒檢測等實際應(yīng)用中發(fā)揮著至關(guān)重要的作用[1]?；谝曈X的人體關(guān)鍵點識別方法通過提取圖像中的人體相關(guān)特征來生成人體關(guān)鍵點信息，在私密場景下可能會觸及個人隱私問題。幸運的是，依靠電磁波媒介的探測技術(shù)或許能有所作為[2]。為了提取毫米波點云的特征，Sengupta"A等人[3]提出的mm-Pose，該算法使用將毫米波點云映射在XY，XZ兩個平面上，但會導(dǎo)致參數(shù)量冗余的問題。由于毫米波點云的稀疏性，人工進行標(biāo)注困難。由于毫米波雷達會受到環(huán)境的干擾，點云中可能存在環(huán)境噪聲，導(dǎo)致訓(xùn)練的模型泛化性差"[4]。

針對以上問題，提出了毫米波人體關(guān)鍵點檢測（mmWPose）系統(tǒng)。為了解決點云稀疏而導(dǎo)致的標(biāo)注困難問題，采用了跨模態(tài)學(xué)習(xí)方法。為了提取點云特征，設(shè)計了一種點云二維化方法，有效地減少了特征提取模塊的參數(shù)量。為了增強模型的泛化性，設(shè)計了一個域適應(yīng)模塊用于抑制模型對環(huán)境特征的提取，使模型在不同環(huán)境中具有適應(yīng)能力。

1技術(shù)原理

1.1""毫米波雷達數(shù)據(jù)采集

毫米波雷達可以通過發(fā)射天線發(fā)射頻率為30～300"GHz的毫米波，其通過發(fā)射天線Tx發(fā)射調(diào)頻連續(xù)波信號，接收天線Rx接收物體反射的信號來獲取數(shù)據(jù)。發(fā)射信號和接收信號在接收器處混合形成中頻（IF）信號，具體公式如下。

式（1）中：為發(fā)射信號的瞬時頻率；為接收信號的瞬時頻率；為發(fā)射信號的初始相位；為接收信號的初始相位。

通過獲取中頻信號，可以得到發(fā)射信號和接收信號之間的頻率差fIF，如式（2）所示。物體和雷達的距離由式（3）計算得出，d為物體到天線的距離，τ為啁啾信號的持續(xù)時間，B為啁啾信號的帶寬，c為光速。

通過使用2根接收天線接收相同的反射信號，可以得到兩個初始相位不同的信號，"如式（4）所示，其中λ為調(diào)頻連續(xù)波的初始波長；為兩個接收天線的接收信號之間的相位差；l為2根接收天線之間的距離；θ為到達角。

如圖1所示，通過測量物體到天線的距離和角度，可以得到被測物體的三維空間坐標(biāo)，具體公式如下。

式（5）、式（6）、式（7）中："x、y、z為檢測物體在三維空間中的坐標(biāo)；為仰角；為方位角。

2"實驗方法

2.1點云數(shù)據(jù)標(biāo)準(zhǔn)化

為了對毫米波點云進行特征提取，我們將毫米波雷達采集的點云數(shù)據(jù)映射為圖像。具體公式如下。

式（8）中：u為圖像像素的橫坐標(biāo)；v為縱坐標(biāo)；K為相機的內(nèi)參。

本文使用基于視覺的人體關(guān)鍵點檢測算法OpenPose[5]作為例子講述。該算法通過特征提取模塊提取特征F來預(yù)測部分親和場和部分預(yù)測關(guān)鍵點熱圖。每個部分都由若干個階段相同的結(jié)構(gòu)順序堆疊而成，結(jié)構(gòu)如圖2的關(guān)鍵點檢測模塊，用式（9）、式（10）表示"[6]。

式（9）、式（10）中：?t為在階段t的部分親和場預(yù)測函數(shù)；為在階段t的關(guān)鍵點熱圖預(yù)測函數(shù)；L為部分親和場；S為關(guān)鍵點熱圖

2.2跨模態(tài)學(xué)習(xí)

在模型訓(xùn)練階段，把包含知識的基于視覺的人體關(guān)鍵點檢測模型稱為源模型，把需要獲取的模型稱為目標(biāo)模型。如圖3所示，使用源模型對彩色圖像上的關(guān)鍵點進行預(yù)測，將預(yù)測結(jié)果作為目標(biāo)模型上相應(yīng)二維圖像的標(biāo)簽。損失函數(shù)公式如下。

式（11）中：fop為跨模態(tài)學(xué)習(xí)的各階段的損失相加的總體損失

2.3域適應(yīng)模塊

域適應(yīng)部分由3個卷積層、4個全連接層和一個Softmax層組成，具體公式如下。

式（12）中：J為輸出向量的長度；D為輸出向量；D*為真實向量；i為向量的第i個元素。

為了抑制特征提取模塊提取屬于環(huán)境的特征，將fa作為全局損失函數(shù)的負因子對抗模型[7]訓(xùn)練，具體公式如下。

式（13）中：μ用于調(diào)節(jié)域自適應(yīng)部分對整個模型參數(shù)的影響。

3""實驗與分析

使用SKY32B750毫米波雷達作為點云數(shù)據(jù)采集設(shè)備，使用?？低晹z像機作為視覺圖像采集設(shè)備。如圖4所示，左側(cè)是雷達數(shù)據(jù)采集板，右側(cè)是攝像頭。使用筆記本電腦驅(qū)動雷達板和攝像頭進行數(shù)據(jù)采集，讓人在采集區(qū)域內(nèi)隨機移動，并隨機做出各種姿勢，如舉手、抬腿、行走等。

如圖5所示，mmWPose目標(biāo)模型能夠較準(zhǔn)確地預(yù)測人體關(guān)鍵點。本文將mm-Pose的二維化方式與我們的方式進行對比，如表1所示，在參數(shù)量只有其一半的情況下，本文的方法實現(xiàn)了相當(dāng)?shù)臋z測性能。為了展示域適應(yīng)模塊的性能，本文將其與未添加域適應(yīng)模塊的模型進行比較，如圖6所示，mmWPose*表示添加域適應(yīng)模塊的目標(biāo)模型性能，由此可以看出，加入域適應(yīng)模塊后，模型對各個關(guān)節(jié)的預(yù)測精度都有所提高。

4""結(jié)論

為了解決現(xiàn)有的毫米波點云人體關(guān)鍵點檢測存在的問題，本文提出一種二維化點云的方法，使點云特征提取能夠使用基于視覺的特征提取方法。使用跨模態(tài)學(xué)習(xí)的方式訓(xùn)練目標(biāo)模型，實現(xiàn)了較高的人類關(guān)鍵點預(yù)測精度。本研究模型中加入了域適應(yīng)模塊用于抑制環(huán)境特征，提高了模型的魯棒性，能夠進一步增強現(xiàn)有的毫米波點云人體關(guān)鍵點檢測方案的性能。

參考文獻

• ZHAO"M，"LI""T，"ALSHEIKH""M"A，"et"al."Through-Wall"Human"Pose"Estimation"Using"Radio"Signals[C]//Proceedings"of"the"IEEE"Conference"on"Computer"Vision"and"Pattern"Recognition"（CVPR）."Salt"Lake"City，"UT，"USA，"2018："7356-7365.
• LI"Z，"GAO"Y，"HONG"Q，"et"al."Keypoint3D："Keypoint-Based"and"Anchor-Free"3D"Object"Detection"for"Autonomous"Driving"with"Monocular"Vision[J]."Remote"Sensing，"2023，"15（5）："1210.
• Sengupta""A"，"Jin"F"，"Zhang"R."mm-Pose："Real-Time"Human"Skeletal"Posture"Estimation"Using"mmWave"Radars"and"CNNs[J]."IEEE"Sensors"Journal，"2020："10032-10044.
• Gochoo"M，"Akhter"I，"Jalal"A，"et"al."Stochastic"Remote"Sensing"Event"Classification"over"Adaptive"Posture"Estimation"via"Multifused"Data"and"Deep"Belief"Network[J]."Remote"Sensing，"2021，"13（5）："912.
• CAO"Z，"SIMON"T，"WEI"S-E，"et"al."Realtime"Multi-Person"2D"Pose"Estimation"Using"Part"Affinity"Fields[C]//Proceedings"of"the"IEEE"Conferencenbsp;on"Computer"Vision"and"Pattern"Recognition"（CVPR）."Honolulu，"HI，"USA，"2017："7291-7299.
• TIAN"C，"YU"R，"ZHAO"X，"et"al."Posedet："Fast"Multi-Person"Pose"Estimation"Using"Pose"Embedding[C]//Proceedings"of"the"2021"16th"IEEE"International"Conference"on"Automatic"Face"and"Gesture"Recognition"（FG"2021）."Jodhpur，"India，"2021："1-8.
• CAO"Z，"LONG"M，"WANG"J，"et"al."Partial"Transfer"Learning"with"Selective"Adversarial"Networks[C]//Proceedings"of"the"IEEE"Conference"on"Computer"Vision"and"Pattern"Recognition"（CVPR）."Salt"Lake"City，"UT，"USA，"2017："2724-2732.