余承健 洪洲 劉沛賢

摘? 要： 提出了基于關(guān)鍵點(diǎn)注意力的輕量級(jí)坐姿識(shí)別算法。該算法從網(wǎng)絡(luò)結(jié)構(gòu)輕量化進(jìn)行設(shè)計(jì)，融入了空洞卷積和殘差注意力模塊，并設(shè)計(jì)了關(guān)鍵點(diǎn)注意力模塊，利用空間信息增強(qiáng)上下肢之間對(duì)應(yīng)關(guān)鍵點(diǎn)的特征關(guān)聯(lián)。本文結(jié)合關(guān)鍵點(diǎn)空間距離規(guī)則，提出了一種坐姿評(píng)價(jià)規(guī)則對(duì)不同坐姿進(jìn)行評(píng)分。實(shí)驗(yàn)結(jié)果表明，本文算法mAP達(dá)到了73.2%，參數(shù)量縮小76%，能夠?qū)Σ煌私o予正確的評(píng)分。

關(guān)鍵詞： 姿態(tài)估計(jì)； 空洞卷積； 殘差網(wǎng)絡(luò)； 坐姿評(píng)價(jià)； 關(guān)鍵點(diǎn)注意力

中圖分類號(hào)：TP391? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）05-72-05

Lightweight sitting posture recognition algorithm based on key point attention

Yu Chengjian1， Hong Zhou2， Liu Peixian3

（1. Guangzhou City Polytechnic， Academic Affairs Office， Guangzhou， Guangdong 510408， China;

2. School of Information Engineering， Guangdong Polytechnic College; 3.Guangdong Jinritoutiao Network Technology Co.， Ltd）

Abstract： In this paper， a lightweight sitting posture recognition algorithm based on key point attention is proposed. The algorithm is designed from the lightweight network structure， the atrous convolution and residual attention module are incorporated， and the key point attention module is designed， which uses the spatial information to enhance the feature association of the corresponding key points between the upper and lower limbs. Combined with the key point space distance rule， a sitting posture evaluation rule is proposed to score different sitting posture. The experimental results show that the mAP of the proposed algorithm reaches 73.2%， the number of parameters is reduced by 76%， and it can give correct scores for different sitting postures.

Key words： posture estimation; atrous convolution; residual network; sitting posture evaluation; key point attention

0 引言

青少年的坐姿習(xí)慣在其成長過程中應(yīng)引起重視。長期不正確的坐姿會(huì)對(duì)身體造成一定的傷害[1]，例如眼睛離桌子過近會(huì)對(duì)眼球造成過度負(fù)擔(dān)，易導(dǎo)致近視；彎腰伏桌會(huì)改變?cè)械念i椎弧度，造成椎骨不必要的受力而誘發(fā)肩膀痛；長期趴桌子導(dǎo)致肋骨架空間被壓縮，氧氣吸入量減少等等。目前，市場上出現(xiàn)了一些青少年坐姿矯正設(shè)備[2]，但無法從根本上解決問題，應(yīng)當(dāng)從糾正坐姿習(xí)慣為切入點(diǎn)進(jìn)行預(yù)防。

坐姿識(shí)別方法可以分為基于傳感器的坐姿識(shí)別方法和基于圖像的坐姿識(shí)別方法[3-4]。基于傳感器的坐姿識(shí)別方法，需要借助陀螺儀、磁力針、氣壓計(jì)等硬件設(shè)備，存在外置設(shè)備穿戴步驟較為繁瑣的缺點(diǎn)?；趫D像的坐姿識(shí)別方法的原理為對(duì)輸入圖像中的目標(biāo)對(duì)象進(jìn)行姿態(tài)估計(jì)，主要有基于傳統(tǒng)的姿態(tài)估計(jì)方法與基于深度學(xué)習(xí)的姿態(tài)估計(jì)方法。本文聚焦于自底向上的姿態(tài)估計(jì)算法研究。OpenPose算法[5]是自底向上方法的主要代表之一，該算法包含多個(gè)階段，每個(gè)階段都通過生成關(guān)鍵點(diǎn)位置熱力圖進(jìn)行定位，并使用關(guān)鍵點(diǎn)之間的關(guān)系向量圖來對(duì)位置點(diǎn)配對(duì)分組。該算法為了保持高精度估計(jì)，存在運(yùn)算量過大的缺點(diǎn)，本文將對(duì)此進(jìn)行輕量化設(shè)計(jì)。此外，本文基于二維空間關(guān)鍵點(diǎn)的距離關(guān)系設(shè)計(jì)坐姿評(píng)分方法，對(duì)評(píng)分過低的坐姿予以提醒。

1 輕量級(jí)坐姿識(shí)別算法

本文利用二維圖像姿態(tài)識(shí)別和坐姿評(píng)分方法進(jìn)行坐姿識(shí)別算法的設(shè)計(jì)，其中姿態(tài)識(shí)別算法使用OpenPose模型進(jìn)行自底向上的關(guān)鍵點(diǎn)預(yù)測(cè)及歸類。

1.1 原生OpenPose模型

OpenPose模型包含多個(gè)遞進(jìn)的推導(dǎo)階段，各個(gè)階段的結(jié)構(gòu)相同，前一個(gè)階段為后一個(gè)階段提供輸入，使得后期推導(dǎo)階段的準(zhǔn)確率逐步增加。每個(gè)階段都包含關(guān)鍵點(diǎn)檢測(cè)和局部親和力表示兩個(gè)分支，其中局部親和力表示將關(guān)鍵點(diǎn)進(jìn)行關(guān)聯(lián)分組。不同階段的結(jié)構(gòu)如圖1所示。單個(gè)階段的前饋傳播方案為雙分支結(jié)構(gòu)，其中一個(gè)分支用于生成二維的身體部位熱力圖，另外一個(gè)分支用于生成一組身體部位親和力的二維向量場。此處定義[S]和[L]兩個(gè)集合，分別表示兩個(gè)分支生成的熱力圖和二維向量場，公式如下：

[S=（S1，S2，…，SJ）]? ⑴

[L=（L1，L2，…，LC）]? ⑵

其中，集合[S]是關(guān)鍵點(diǎn)檢測(cè)的熱力圖，[J]和[C]分別表示熱力圖和二維向量場個(gè)數(shù)，[Sj∈Rw×h]，[j∈{1…J}]。OpenPose模型包含多個(gè)階段，分別記第一個(gè)階段的關(guān)鍵點(diǎn)檢測(cè)和局部親和力表示分支結(jié)果為[S1=ρ1（F）]和[L1=?1（F）]，其中[ρ1]和[?1]分別表示第一階段的推導(dǎo)，[F]為特征圖輸入。從第二個(gè)階段開始，階段[t]的分支生成結(jié)果為：

[St=ρtF，St-1，Lt-1，? ??t≥2]? ⑶

[Lt=?tF，St-1，Lt-1，? ??t≥2]? ⑷

1.2 改進(jìn)的OpenPose算法

本文對(duì)雙分支結(jié)構(gòu)進(jìn)行改進(jìn)，降低參數(shù)量和計(jì)算量，從而提升模型的推理效率。為了生成關(guān)鍵點(diǎn)熱力圖和二維向量場，原有模型使用了兩個(gè)預(yù)測(cè)分支進(jìn)行推導(dǎo)，造成了特征提取的冗余計(jì)算。因此，本文將兩個(gè)分支的前半部分進(jìn)行合并，在單個(gè)階段內(nèi)的前期特征提取過程中使用相同的共享參數(shù)。不同階段前饋傳播結(jié)構(gòu)如圖2所示，改進(jìn)后的階段[t]仍以階段[t-1]的輸出進(jìn)行深層特征的迭代學(xué)習(xí)，但每個(gè)階段中使用合并分支作為雙分支的前置結(jié)構(gòu)，減少網(wǎng)絡(luò)深度及單次卷積的覆蓋范圍，以減少計(jì)算量。其中[ρt]和[?t]的計(jì)算量與圖1相比大幅減少，部分頭部結(jié)構(gòu)由[ωt]進(jìn)行權(quán)重共享，且在[ωt]中引入空間卷積和殘差模塊提高感受野和特征復(fù)用能力。為減少輕量級(jí)姿態(tài)估計(jì)模型與原生模型相比帶來的特征采樣范圍缺失，本文使用空洞卷積代替?zhèn)鹘y(tǒng)卷積[6]，以縮小兩者特征信息利用范圍之間的差異。該類卷積用擴(kuò)張率來表示增加孔洞多寡，過程可以表示為：

[y[i]=k=1Kxi+r×k×w[k]]? ⑸

其中，[y[i]]表示位置[i]的特征輸出，擴(kuò)張率為[r]，[w[k]]表示濾波器，[K]為濾波器尺寸，[x[i]]為原始輸入。修改后的第一階段的關(guān)鍵點(diǎn)熱力圖和局部親和力表示分支結(jié)果分別為[S1=ρ1（ω1（F））]和[L1=ρ1（ω1（F））]，其中[ω1]表示主分支的共享參數(shù)過程。后續(xù)階段[t]（[t≥2]）的特征提取過程為：

[St=ρtωt（F，St-1，Lt-1），? ??t≥2]? ⑹

[Lt=?tωt（F，St-1，Lt-1），? ??t≥2]? ⑺

其中，[ωt]表示后續(xù)階段[t]（[t≥2]）主分支的共享參數(shù)過程。為了將最大限度地計(jì)算非局部特征，本文在主分支使用多個(gè)連續(xù)空洞卷積擴(kuò)大感受野，將連續(xù)疊加后的特征提取范圍與原始輸入的分辨率保持一致，從而將全局信息作為后續(xù)細(xì)化分支的參考。雖然空洞卷積能夠大幅提高感受野，但長距離間隔采樣的做法在移動(dòng)滑動(dòng)窗口的過程中會(huì)漏掉某些關(guān)鍵點(diǎn)，造成特征信息參考的缺失。因此本文將對(duì)關(guān)鍵點(diǎn)檢測(cè)分支和二維向量場分支提供了殘差模塊[7]，該計(jì)算過程可表示為：

[y=Fx，Wi+x]? ⑻

其中，函數(shù)[Fx，Wi]表示要學(xué)習(xí)的殘差映射，[y]和[x]分別表示特征輸出和輸入。

1.3 關(guān)鍵點(diǎn)注意力模塊

對(duì)于關(guān)鍵點(diǎn)檢測(cè)分支的監(jiān)督條件，需要將標(biāo)注關(guān)鍵點(diǎn)進(jìn)行二維高斯建模生成置信度圖，每個(gè)置信度圖代表某個(gè)特定身體部位的像素位置。若圖像中出現(xiàn)多個(gè)個(gè)體，則對(duì)于個(gè)體[k]的置信度圖標(biāo)簽，記其關(guān)鍵點(diǎn)[j]的置信度圖為[S*j，k]，則置信度圖上的任一位置p的值表示為：

[S*j，k（p）=exp-||p-xj，k||22σ2]? ⑼

其中，[xj，k∈R2]表示身體部位的標(biāo)簽位置，[σ]用于控制高斯建模的峰值。模型要預(yù)測(cè)身體部位的置信度標(biāo)簽是多個(gè)個(gè)體集合的最大值，如下式所示。

[S*j（p）=maxkS*j，k（p）]? ⑽

對(duì)于多峰的高斯混合模型，[S*j（p）]取每個(gè)峰的最大值而非平均值，以此保留顯著性。本文關(guān)注于單人坐姿判斷，上下肢之間對(duì)應(yīng)的關(guān)鍵點(diǎn)應(yīng)有更強(qiáng)的特征關(guān)聯(lián)。因此本文設(shè)計(jì)了關(guān)鍵點(diǎn)注意力模塊以提取非局部特征，并融合到關(guān)鍵點(diǎn)分支[St（t≥1）]的末端輸出，對(duì)手臂、手腕、眼睛、肩膀等部位的權(quán)重予以增強(qiáng)。上半身關(guān)鍵點(diǎn)的區(qū)分依賴于下半身關(guān)鍵點(diǎn)的空間信息，例如左手臂與左腿在同一側(cè)，眼睛通常位于左右身體兩側(cè)的中間。關(guān)鍵點(diǎn)注意力模塊如圖3所示，本文通過卷積層生成雙通道特征圖，并進(jìn)行寬、高兩個(gè)維度的排序，得到關(guān)鍵點(diǎn)選取坐標(biāo)。圖中[g1]和[g2]表示按下標(biāo)進(jìn)行特征點(diǎn)索引分配的函數(shù)，綠色特征圖為單通道特征，通過排序算法輸入歸一化后的特征圖以獲得不同維度的索引。關(guān)鍵點(diǎn)注意力模塊的關(guān)鍵在于位置下標(biāo)信息的學(xué)習(xí)，該過程表示為：

[y[i]=g2（h2，g1（h1，x[i]））]? ⑾

其中，[h1]和[h2]分別表示排序后的信息下標(biāo)，[g1]和[g2]表示兩個(gè)維度上的索引分配函數(shù)。由于第二個(gè)維度的信息分配是在第一個(gè)維度的特征點(diǎn)移動(dòng)結(jié)果上進(jìn)行，因此每個(gè)特征點(diǎn)都可以移動(dòng)到任意區(qū)域。通過信息下標(biāo)學(xué)習(xí)，原有位置上的特征點(diǎn)可以與卷積學(xué)習(xí)生成的其他特征點(diǎn)進(jìn)行關(guān)聯(lián)，從而獲得空間上的注意力信息。

在模型推理過程中，關(guān)鍵點(diǎn)檢測(cè)分支使用非極大值抑制生成多個(gè)候選部位。每個(gè)階段的關(guān)鍵點(diǎn)檢測(cè)分支都使用L2范式度量預(yù)測(cè)值與標(biāo)簽值之間的差異，并進(jìn)行反向傳播，如下式所示。其中[W]是一個(gè)二進(jìn)制掩碼，且關(guān)鍵點(diǎn)部位的標(biāo)簽缺失時(shí)有[Wp=0]，避免預(yù)測(cè)過程中對(duì)正向的預(yù)測(cè)做出錯(cuò)誤懲罰。

[ftS=j=1JpWp·||Stj（p）-S*j（p）||22]? ⑿

2 評(píng)價(jià)規(guī)則

本文根據(jù)同一個(gè)體不同關(guān)鍵點(diǎn)的二維位置，從單側(cè)距離評(píng)價(jià)及雙側(cè)對(duì)稱損失的角度出發(fā)，對(duì)坐姿評(píng)分規(guī)則進(jìn)行設(shè)計(jì)。分別記[El]、[Wr]、[S]和[Ey]為手肘、手腕、肩膀和眼睛關(guān)鍵點(diǎn)位置，設(shè)關(guān)鍵點(diǎn)位置集合[P={El，Wr，S，Ey}]，對(duì)[|El-Wr|]以及未檢測(cè)出的關(guān)鍵點(diǎn)進(jìn)行懲罰，對(duì)[|Wr-S|]、[|El-S|]、[|Ey-S|]給予獎(jiǎng)勵(lì)，將各個(gè)部位關(guān)鍵點(diǎn)的水平高度對(duì)齊，這一過程可表示為：

[gPH=β1gdstPH-β2i=1Igper（Pi）]? ⒀

其中，[H={L，R}]表示為身體對(duì)側(cè)，總評(píng)分為兩側(cè)分?jǐn)?shù)相加，[β1]和[β2]為可調(diào)節(jié)系數(shù)，[I]為關(guān)鍵點(diǎn)個(gè)數(shù)。[gdst（PH）]表示身體部位的獎(jiǎng)勵(lì)及懲罰項(xiàng)，表示為：

[gdstPH=α1（||WrH-SH||2+ElH-SH2]

[+EyH-SH2）-α2||ElH-WrH||2]? ⒁

其中，[α1]和[α2]是調(diào)節(jié)系數(shù)。[gper（Pi）]表示為對(duì)齊懲罰和關(guān)鍵點(diǎn)缺失懲罰，如下式所示，其中[γ]表示調(diào)節(jié)參數(shù)。當(dāng)且僅當(dāng)關(guān)鍵點(diǎn)缺失的時(shí)候，有[Wp=0]。

[gperPi=Wp·Pi+γ||PRi-PLi||2]? ⒂

3 實(shí)驗(yàn)分析

3.1 MSCOCO數(shù)據(jù)集上的性能對(duì)比

為了驗(yàn)證基于關(guān)鍵點(diǎn)注意力的輕量級(jí)坐姿識(shí)別算法的有效性，本文在MSCOCO數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，將所提算法與ArtTrack[8]、原生OpenPose模型[5]在準(zhǔn)確率和耗時(shí)上進(jìn)行對(duì)比。本文使用的CPU為Intel i7-9700K，GPU型號(hào)為NVIDIA GeForce RTX 2080 Ti。性能對(duì)比結(jié)果如表1所示。在計(jì)算量（Params）和推理速度（FPS）上相比，本文算法與ArtTrack[8]及原生OpenPose模型[5]具有明顯優(yōu)勢(shì)。而在準(zhǔn)確率上，本文算法合并分支的做法雖然減少了對(duì)圖像特征細(xì)節(jié)的提取能力，但借助于空洞卷積的感受野提升以及殘差結(jié)構(gòu)的特征復(fù)用，姿態(tài)估計(jì)的精度仍維持在高水準(zhǔn)。

3.2 本文算法的消融實(shí)驗(yàn)對(duì)比

為了驗(yàn)證空洞卷積及殘差注意力能夠在增加感受野的同時(shí)引入低層特征信息，本文設(shè)計(jì)了相應(yīng)的消融實(shí)驗(yàn)，結(jié)果如表2所示。其中實(shí)驗(yàn)組1僅使用合并分支結(jié)構(gòu)而未引入額外的注意力方法。組2和組3的結(jié)果優(yōu)于組1，說明額外方法可以提升特征提取能力，將更多的特征納入考慮范疇。組2的結(jié)果略優(yōu)于組3，說明空洞卷積感受野的提升有利于更大范圍的信息采樣，長距離特征可以使網(wǎng)路考慮當(dāng)前維度的不同信息。組4優(yōu)于組2和組3，說明殘差注意力能夠與空洞卷積組合，一定程度上消除間隔采樣導(dǎo)致的部分信息缺失，提高整體準(zhǔn)確率。

3.3 坐姿評(píng)價(jià)可視化實(shí)驗(yàn)

本文選取了托腮、身體前傾、側(cè)身、雙手離開桌面等多個(gè)不同坐姿圖像進(jìn)行評(píng)分測(cè)試，以此驗(yàn)證評(píng)價(jià)規(guī)則的有效性。實(shí)驗(yàn)結(jié)果如圖4所示。圖（a）和圖（b）等正確坐姿獲得了較高的評(píng)分，說明本文所提評(píng)價(jià)規(guī)則能夠?qū)φ_姿態(tài)做出正面評(píng)價(jià)。圖（c）、圖（d）和圖（e）亦獲得了不錯(cuò)的評(píng)分，說明評(píng)價(jià)規(guī)則對(duì)于青少年學(xué)習(xí)過程中可能出現(xiàn)的撓頭思考、適當(dāng)前傾等行為具備一定的兼容性。此外，評(píng)價(jià)規(guī)則對(duì)于圖（f）、圖（g）和圖（h）等包含駝背、過度前傾、向前側(cè)傾等不良坐姿給出了較低的評(píng)分，驗(yàn)證了該規(guī)則對(duì)負(fù)樣本評(píng)價(jià)的有效性。

4 結(jié)束語

針對(duì)青少年不良坐姿問題，本文提出了基于關(guān)鍵點(diǎn)注意力的輕量級(jí)坐姿識(shí)別算法。該算法通過合并關(guān)鍵點(diǎn)提取分支降低了推理耗時(shí)，同時(shí)引入空洞卷積提高感受野，最大限度地計(jì)算非局部特征，并利用殘差結(jié)構(gòu)進(jìn)行特征復(fù)用。此外，本文在關(guān)鍵點(diǎn)分支中設(shè)計(jì)了卷積層生成關(guān)鍵點(diǎn)的注意力模塊，讓網(wǎng)絡(luò)關(guān)注于特定部位。最后，本文在姿態(tài)估計(jì)結(jié)果的基礎(chǔ)上提出了一種坐姿評(píng)價(jià)規(guī)則。實(shí)驗(yàn)結(jié)果表明，本文所提算法及評(píng)價(jià)規(guī)則能夠高效地對(duì)提取圖像特征及姿態(tài)估計(jì)，對(duì)不同坐姿的評(píng)分結(jié)果也驗(yàn)證了所提規(guī)則的有效性。

參考文獻(xiàn)（References）：

[1] 陳廣智.要重視體育在青少年發(fā)育時(shí)期的重要作用[J].內(nèi)蒙古科技與經(jīng)濟(jì)，2002（9）：136

[2] 吳沛雯，張暢.可糾正青少年坐姿的平衡椅設(shè)計(jì)研究[J].家具，2018，39（4）：58-61

[3] 姚俊豪.基于薄膜壓力傳感器組的人體坐姿識(shí)別方法研究[D].碩士，沈陽大學(xué)，2021

[4] 曾星.基于深度圖像的坐姿識(shí)別技術(shù)及應(yīng)用研究[D].碩士，國防科技大學(xué)，2017

[5] Qiao S， Wang Y， Li J. Real-time human gesture gradingbased on OpenPose[C]//2017 10th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）.IEEE，2017：1-6

[6] Yu F， Koltun V. Multi-scale context aggregation by dilatedconvolutions[J]. arXiv preprint arXiv：1511.07122，2015

[7] He K， Zhang X， Ren S， et al. Deep residual learning forimage recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2016：770-778

[8] Insafutdinov E， Andriluka M， Pishchulin L， et al. Arttrack：Articulated multi-person tracking in the wild[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2017：6457-6465