劉 婧，楊 旭，劉董經(jīng)典，牛 強(qiáng)，2

1.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州221116

2.中國(guó)礦業(yè)大學(xué) 教育部礦山數(shù)字化工程研究中心，江蘇 徐州221116

醫(yī)學(xué)研究表明，吸煙已是造成肺癌、慢性肺病和冠心病等疾病重要因素，世界衛(wèi)生組織的國(guó)際癌癥研究機(jī)構(gòu)已將煙草列入致癌物清單。吸煙不僅危害自身的健康，對(duì)于吸入二手煙的人群也會(huì)造成更大的健康損害。在通風(fēng)不良的公共場(chǎng)所，如公共汽車(chē)和商場(chǎng)的休息區(qū)，被迫吸二手煙的情況尤其嚴(yán)重。此外，因吸煙引起火災(zāi)而造成的重大財(cái)產(chǎn)損失和人員傷亡的事故屢見(jiàn)不鮮。鑒于吸煙的諸多危害，許多國(guó)家已明令禁止在公共場(chǎng)所吸煙，因此出現(xiàn)了各種煙霧探測(cè)器?；趥鞲衅鞯臒熿F檢測(cè)是目前使用最廣泛的檢測(cè)方法。但煙霧傳感器的檢測(cè)準(zhǔn)確率受到距離限制，當(dāng)房屋空間較大時(shí)，無(wú)法及時(shí)有效地檢測(cè)吸煙行為。也有研究人員提出使用Wi-Fi設(shè)備進(jìn)行吸煙識(shí)別。Wi-Fi識(shí)別的有效性受設(shè)備穩(wěn)定性影響，需要多個(gè)無(wú)線信號(hào)接收器一起工作以確保識(shí)別精度。在實(shí)際情況下，很難確保一定范圍內(nèi)有多個(gè)無(wú)線設(shè)備?；赪i-Fi 的動(dòng)作識(shí)別還易受環(huán)境噪聲的影響，因此在多人環(huán)境中識(shí)別精度較低?，F(xiàn)有的基于圖像的吸煙行為識(shí)別的工作中，是通過(guò)膚色檢測(cè)方法對(duì)頭部和手部進(jìn)行分割的方法進(jìn)行識(shí)別。因光線條件的影響，通過(guò)膚色區(qū)分人體的方法錯(cuò)誤率較高。針對(duì)公共場(chǎng)所的吸煙檢測(cè)問(wèn)題，文中提出了一種在多人環(huán)境下基于人體關(guān)節(jié)點(diǎn)的周期性動(dòng)作檢測(cè)的吸煙動(dòng)作識(shí)別方法。首先進(jìn)行多人姿勢(shì)估計(jì)并提取人體關(guān)節(jié)點(diǎn)信息。然后，利用關(guān)節(jié)點(diǎn)信息跟蹤圖像中的每個(gè)人。通過(guò)大量實(shí)驗(yàn)分析吸煙行為的周期性特征，并制定了吸煙行為規(guī)則。最后，通過(guò)檢測(cè)周期性行為來(lái)檢測(cè)吸煙行為。當(dāng)系統(tǒng)識(shí)別出吸煙行為時(shí)，發(fā)出警報(bào)并標(biāo)記吸煙者。在實(shí)際場(chǎng)景中進(jìn)行了系統(tǒng)性能測(cè)試，結(jié)果表明文中的方法可以在多人環(huán)境中保持較高的準(zhǔn)確性。本文的主要貢獻(xiàn)如下：

（1）分析吸煙動(dòng)作，制定吸煙動(dòng)作規(guī)范，進(jìn)行周期性動(dòng)作檢測(cè)，通過(guò)檢測(cè)到多次周期性動(dòng)作后，判斷是否存在吸煙行為。

（2）首次在公共場(chǎng)景中對(duì)多人同時(shí)進(jìn)行吸煙動(dòng)作的識(shí)別。

（3）進(jìn)行大量的實(shí)驗(yàn)，研究整個(gè)吸煙的過(guò)程中關(guān)于時(shí)間和動(dòng)作軌跡的規(guī)律性，通過(guò)對(duì)比實(shí)驗(yàn)設(shè)定更加有效的參數(shù)，規(guī)范吸煙的動(dòng)作。

1 相關(guān)工作

如今，動(dòng)作識(shí)別有多種方式[1-2]（例如基于人體骨骼[3-5]）。基于深度學(xué)習(xí)的視頻動(dòng)作識(shí)別，通過(guò)分別訓(xùn)練時(shí)間模型與空間模型來(lái)模擬時(shí)間動(dòng)態(tài)與外觀特征。時(shí)間網(wǎng)絡(luò)與空間網(wǎng)絡(luò)融合后，預(yù)測(cè)的結(jié)果通過(guò)SoftMax層輸出。早先提出的卷積神經(jīng)網(wǎng)絡(luò)的方法專(zhuān)注于端到端重建[6-9]。研究人員不斷提出新的深度學(xué)習(xí)方法，Tran等人[10]提出了一種使用時(shí)空特征訓(xùn)練三維卷積網(wǎng)絡(luò)的特征學(xué)習(xí)方法。 Hou 等人[11]提出了一種稱(chēng)為T(mén)ube Convolutional Neural Network 的端對(duì)端深度網(wǎng)絡(luò)，用于視頻中的動(dòng)作檢測(cè)。文獻(xiàn)[12]提出了分解式的時(shí)空卷積網(wǎng)絡(luò)，也有研究人員使用具有長(zhǎng)期時(shí)間卷積的神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)視頻表示[13]。Mahajan等人[14]提出了一項(xiàng)關(guān)于遷移學(xué)習(xí)的研究，該遷移學(xué)習(xí)使用大型卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以預(yù)測(cè)數(shù)十億社交媒體圖像上的主題標(biāo)簽。基于骨骼的動(dòng)作識(shí)別方法需要準(zhǔn)確地識(shí)別關(guān)節(jié)點(diǎn)信息[15]。在不斷更新的卷積神經(jīng)網(wǎng)絡(luò)[16-17]之下，人的姿態(tài)估計(jì)精度得到了極大的提高。最近的研究工作使用遞歸神經(jīng)網(wǎng)絡(luò)，在這些方法中，都強(qiáng)調(diào)了在人體[18-19]中建模的重要性。

現(xiàn)有的吸煙動(dòng)作識(shí)別方法大多使用深度學(xué)習(xí)，由于整個(gè)吸煙動(dòng)作歷時(shí)較長(zhǎng)，在實(shí)驗(yàn)中發(fā)現(xiàn)用時(shí)間卷積來(lái)提取特征并沒(méi)有很好的效果?，F(xiàn)實(shí)場(chǎng)景中的應(yīng)用也會(huì)涉及到多人、遮擋等問(wèn)題?；谏疃葘W(xué)習(xí)的圖像識(shí)別方法在多人的情況下存在計(jì)算量較大、實(shí)時(shí)性差等問(wèn)題。同時(shí)還需要對(duì)大量數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)提高識(shí)別的準(zhǔn)確率。且現(xiàn)存的吸煙動(dòng)作識(shí)別，多是在某個(gè)特定的場(chǎng)景應(yīng)用，如對(duì)駕駛艙的司機(jī)進(jìn)行單人正面檢測(cè)。在多人群密集的公共場(chǎng)所并沒(méi)有實(shí)際應(yīng)用。由此，本文提出了一種在多人場(chǎng)景中基于人體關(guān)節(jié)點(diǎn)的周期性動(dòng)作檢測(cè)識(shí)別吸煙動(dòng)作的方法。

2 方法設(shè)計(jì)

以前多數(shù)的吸煙動(dòng)作識(shí)別研究?jī)H針對(duì)一個(gè)人，多人動(dòng)作識(shí)別的實(shí)時(shí)性較差。文中主要關(guān)注多人環(huán)境中的吸煙行為識(shí)別。通過(guò)對(duì)現(xiàn)有的姿態(tài)估計(jì)算法[20-21]研究，實(shí)驗(yàn)中使用自下而上的人體姿態(tài)估計(jì)算法[22]進(jìn)行多人環(huán)境中的實(shí)時(shí)姿態(tài)估計(jì)，對(duì)多人動(dòng)作進(jìn)行周期性檢測(cè)實(shí)現(xiàn)吸煙動(dòng)作識(shí)別。與之前深度學(xué)習(xí)的方法不同，文中提出的方法無(wú)需大量的訓(xùn)練數(shù)據(jù)集，識(shí)別精度仍然穩(wěn)定。如圖1是本文的結(jié)構(gòu)流程圖。

圖1 吸煙動(dòng)作識(shí)別系統(tǒng)

2.1 多人姿態(tài)估計(jì)

在自上而下的人體姿態(tài)估計(jì)工作中，關(guān)注整個(gè)人體骨架，對(duì)圖像中每個(gè)被檢測(cè)到的人進(jìn)行單獨(dú)的姿態(tài)估計(jì)。在某些場(chǎng)景中遇到遮擋等問(wèn)題時(shí)，因無(wú)法完全檢測(cè)到某些人導(dǎo)致無(wú)法估計(jì)其姿態(tài)。本文改進(jìn)文獻(xiàn)[23-24]提出的方法，通過(guò)關(guān)節(jié)點(diǎn)組成肢體，肢體匹配后形成個(gè)人姿態(tài)。

首先需要在置信圖中提取關(guān)節(jié)點(diǎn)。在一個(gè)置信圖中，像素的值可以表示關(guān)節(jié)點(diǎn)的置信度。關(guān)節(jié)點(diǎn)的實(shí)際位置是高斯熱圖（Heatmap）關(guān)節(jié)點(diǎn)的峰值，通過(guò)非最大值抑制（Non-Maximum Suppression，NMS）的方法來(lái)計(jì)算關(guān)節(jié)點(diǎn)的像素峰值。置信圖中k人肢體j定義為Sj,k，其中P表示在圖中位置P，δ控制峰值擴(kuò)散，Xj,k表示k人的肢體j的實(shí)際位置。Sj,k的具體定義如下：

找到每個(gè)關(guān)節(jié)點(diǎn)熱圖的所有峰值后，選取所有候選峰值中最大的峰值作為關(guān)節(jié)點(diǎn)信息。Sj表示最終被選取最大峰值的關(guān)節(jié)點(diǎn)信息：

產(chǎn)生的18個(gè)關(guān)節(jié)點(diǎn)與人體的對(duì)應(yīng)關(guān)系如圖2所示。

圖2 人體18個(gè)關(guān)節(jié)點(diǎn)

然后對(duì)產(chǎn)生多個(gè)關(guān)節(jié)點(diǎn)進(jìn)行肢體配對(duì)，匹配時(shí)存在大量的組合。為了正確進(jìn)行關(guān)節(jié)點(diǎn)配對(duì)，使用部分親和度場(chǎng)（Part Affinity Fields，PAF）的方法來(lái)組合肢體。PAF 是每個(gè)身體部位的2D 矢量場(chǎng)，對(duì)于屬于特定肢體區(qū)域中的每個(gè)像素，2D 矢量編碼從肢體的一部分指向另一個(gè)部分的方向。因此每個(gè)類(lèi)型的肢體都具有連接其兩個(gè)關(guān)節(jié)點(diǎn)相應(yīng)的PAF，使用PAF 的方法，需要假設(shè)兩個(gè)關(guān)節(jié)點(diǎn)可能屬于在同一個(gè)肢體上，通過(guò)測(cè)量肢體相應(yīng)的PAF上的線積分對(duì)候選的關(guān)節(jié)點(diǎn)進(jìn)行評(píng)判，確定關(guān)節(jié)點(diǎn)是否屬于這個(gè)肢體。如圖3所示，黃色圓圈表示檢測(cè)到的右肩膀關(guān)節(jié)點(diǎn)，紫色表示要進(jìn)行匹配的兩個(gè)候選右手肘關(guān)節(jié)點(diǎn)，藍(lán)色的箭頭表示PAF 的方向，右肩膀與右手肘1存在PAF進(jìn)行匹配。

圖3 關(guān)節(jié)點(diǎn)之間的親和度場(chǎng)

最后形成人體姿勢(shì)時(shí)，可以將人的肢體看作是一棵樹(shù)，使用所有樹(shù)節(jié)點(diǎn)表示關(guān)節(jié)點(diǎn)，所有枝干都代表肢體。選擇最小數(shù)量的邊來(lái)獲得人體姿態(tài)的生成樹(shù)。使用二分匹配的方法解決匹配問(wèn)題，為了解決匹配中的NP 問(wèn)題，可以將一個(gè)三關(guān)節(jié)點(diǎn)的匹配問(wèn)題轉(zhuǎn)化為兩個(gè)雙節(jié)點(diǎn)的匹配問(wèn)題，如圖4所示。最后將共享相同關(guān)節(jié)點(diǎn)的候選肢體組裝成人體的全身骨架，由此就能實(shí)時(shí)獲取人體姿態(tài)信息。

圖4 肢體匹配問(wèn)題

2.2 多人追蹤

由于使用自下向上的姿態(tài)估計(jì)算法，無(wú)法實(shí)時(shí)追蹤個(gè)人的運(yùn)動(dòng)軌跡。文中利用采集到第一幀的關(guān)節(jié)點(diǎn)信息，對(duì)每個(gè)人生成一個(gè)邊界框，對(duì)應(yīng)每個(gè)人會(huì)儲(chǔ)存不同的ID。采集邊界框中的人體特征并在下一幀進(jìn)行特征匹配進(jìn)而實(shí)現(xiàn)對(duì)每個(gè)人進(jìn)行追蹤。

在設(shè)計(jì)算法時(shí)未設(shè)定關(guān)于邊界框的寬、高和位置的參數(shù)，而通過(guò)關(guān)節(jié)點(diǎn)信息決定邊界框的位置與寬高。在進(jìn)行軌跡分析時(shí)，對(duì)于每條軌跡k都有一個(gè)閾值a用于記錄軌跡從上一次成功匹配到當(dāng)前時(shí)刻的時(shí)間。當(dāng)該值大于提前設(shè)置的閾值A(chǔ)max則認(rèn)為該軌跡終止，此時(shí)匹配也就終止。在進(jìn)行人體骨架與軌跡追蹤時(shí)，考慮到環(huán)境中可能存在遮擋的問(wèn)題[25]使用使用余弦距離進(jìn)行外觀匹配，對(duì)于遮擋后的追蹤更加有效。通過(guò)計(jì)算第i個(gè)軌跡追蹤器的最近100 個(gè)成功關(guān)聯(lián)的特征集與當(dāng)前幀的第j個(gè)人的特征向量間的最小余弦距離：

d(i,j)是第j人的第i個(gè)軌跡邊界框，Ri表示第i個(gè)軌跡的100個(gè)特征集，rj表示邊界框dj特征。將邊界框中的表觀特征通過(guò)一個(gè)深度網(wǎng)絡(luò)得到歸一化的128 維特征。在實(shí)時(shí)目標(biāo)追蹤過(guò)程中，提取目標(biāo)的表觀特征進(jìn)行最近鄰匹配，可以改善有遮擋情況下的目標(biāo)追蹤效果，同時(shí)也減少了目標(biāo)ID跳變的問(wèn)題。

2.3 周期性動(dòng)作識(shí)別

為了更好地進(jìn)行吸煙動(dòng)作識(shí)別，本研究對(duì)一次吸煙過(guò)程做了分析，具體如下：（1）點(diǎn)燃煙后用手指夾持準(zhǔn)備吸煙，此時(shí)手部逐漸貼近臉部；（2）吸入煙霧，在一段時(shí)間內(nèi)手指夾持煙，手部與臉部的距離基本保持不變（最近距離）；（3）吸入煙霧后，手部與臉部逐漸遠(yuǎn)離；（4）呼出煙霧，在一段時(shí)間內(nèi)手指夾持煙，手部與臉部的距離基本保持不變（最遠(yuǎn)距離）。每次吸煙如同以上步驟。一次吸煙動(dòng)作的分解如圖5所示，吸煙是一種具有節(jié)奏性和周期性的行為。雖然不同的吸煙人群的吸煙習(xí)慣不同，但在觀察分析后發(fā)現(xiàn)不同吸煙者的吸煙動(dòng)作都符合周期性的規(guī)律。對(duì)于一部分吸煙者習(xí)慣吸“肺煙”（即將煙霧吸入到肺部后再呼出），他們的吸煙頻率相對(duì)較低，吸肺煙人群的一次吸煙的周期較長(zhǎng)。也有部分吸煙者習(xí)慣將煙霧吸入口腔就呼出，這樣的單次吸煙周期比較短。因此，本文提出一種通過(guò)檢測(cè)一段時(shí)間內(nèi)特定周期性動(dòng)作發(fā)生的方法來(lái)進(jìn)行吸煙動(dòng)作識(shí)別。當(dāng)系統(tǒng)識(shí)別到吸煙動(dòng)作后，可以發(fā)出報(bào)警并標(biāo)注吸煙者。同樣利用吸煙的規(guī)律性來(lái)減小誤報(bào)率。

圖5 吸煙過(guò)程

根據(jù)追蹤后的ID將多人實(shí)時(shí)關(guān)節(jié)點(diǎn)信息存儲(chǔ)。為了判斷檢測(cè)到的動(dòng)作是否符合規(guī)定的吸煙動(dòng)作，本文將動(dòng)作軌跡的追蹤轉(zhuǎn)化成手部與鼻子之間距離（即手部關(guān)節(jié)點(diǎn)與鼻子關(guān)節(jié)點(diǎn)的距離，后同）軌跡的追蹤?？紤]到吸煙者的慣用手不同，故并行判斷左（右）手關(guān)節(jié)點(diǎn)與鼻子關(guān)節(jié)點(diǎn)的位置關(guān)系。

通過(guò)對(duì)大量實(shí)驗(yàn)數(shù)據(jù)的分析，設(shè)定手將煙遞至嘴邊時(shí)手部與鼻子最大距離的閾值M=28。本文做了坐標(biāo)歸一化的處理，使M的設(shè)定不受人與攝像頭距離遠(yuǎn)近影響。若檢測(cè)到某人手部與鼻子的距離小于等于M時(shí)，對(duì)此人進(jìn)行吸煙動(dòng)作識(shí)別。本文設(shè)定檢測(cè)單次吸煙的周期時(shí)長(zhǎng)為σ=15 s，當(dāng)檢測(cè)到一個(gè)周期時(shí)長(zhǎng)大于σ將不再進(jìn)行下一次的檢測(cè)。對(duì)一人的周期性動(dòng)作檢測(cè)進(jìn)行吸煙識(shí)別具體實(shí)現(xiàn)如下：用D表示手與鼻子的距離、P表示一次周期性檢測(cè)的用時(shí)，i表示第i次檢測(cè)。某時(shí)刻手與鼻子的距離D小于M，對(duì)此人進(jìn)行周期性動(dòng)作檢測(cè)。Pi開(kāi)始計(jì)時(shí)，持續(xù)觀察距離D，當(dāng)D開(kāi)始增加，并且之后連續(xù)幾幀持續(xù)增加，直到不再增加時(shí)，記手部與鼻子的最遠(yuǎn)距離di；繼續(xù)觀察，在某時(shí)刻D變小且其后連續(xù)每幀也持續(xù)減小，當(dāng)D減小到閾值M范圍內(nèi)則第一次周期檢測(cè)結(jié)束，Pi停止計(jì)時(shí)。Pi小于σ繼續(xù)進(jìn)行下一次周期性動(dòng)作檢測(cè)。周期性動(dòng)作檢測(cè)的具體流程偽代碼在算法1中給出。

一次吸煙過(guò)程中，時(shí)間T和手部與鼻子的距離D變化呈現(xiàn)：隨時(shí)間呈先增大，再基本不變，最后減小的趨勢(shì)。變化趨勢(shì)的曲線與二次函數(shù)相似。在這個(gè)過(guò)程中選取k個(gè)點(diǎn)，在每個(gè)點(diǎn)分別記錄其Tk、Dk。用最小二乘法對(duì)其進(jìn)行擬合，得到關(guān)于時(shí)間與距離的擬合二次函數(shù)：

分別是擬合后的距離與時(shí)間，μ、λ、θ均為常數(shù)。根據(jù)二次函數(shù)可以求出一個(gè)呼出煙霧后手離鼻子最大距離的區(qū)間：

考慮到在整個(gè)吸煙過(guò)程中距離的浮動(dòng)幾乎保持穩(wěn)定，故此后的每一個(gè)周期中最大距離都應(yīng)處于距離區(qū)間公式（5）中。周期性檢測(cè)中若檢測(cè)到di處在區(qū)間內(nèi)，Pi同時(shí)滿(mǎn)足：

就認(rèn)為檢測(cè)到周期性動(dòng)作一次。當(dāng)檢測(cè)到有三次符合規(guī)定的周期性動(dòng)作，判斷發(fā)生吸煙動(dòng)作，并發(fā)出警報(bào)。因關(guān)節(jié)點(diǎn)的信息是按照每個(gè)人不同ID 儲(chǔ)存，故多人的吸煙動(dòng)作識(shí)別可以同時(shí)進(jìn)行。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)中使用了第七代英特爾酷睿i7-7700，GTX1050Ti獨(dú)立顯存，128 GB+1 TB 雙硬盤(pán)，8 GB 內(nèi)存的筆記本電腦作為實(shí)驗(yàn)設(shè)備，在教學(xué)樓的實(shí)驗(yàn)室內(nèi)和樓道內(nèi)，使用筆記本自帶的攝像頭進(jìn)行多人吸煙動(dòng)作識(shí)別進(jìn)行實(shí)驗(yàn)。如圖6（a）是在實(shí)驗(yàn)室內(nèi)8人的吸煙動(dòng)作識(shí)別的實(shí)景演示，圖6（b）是在樓道內(nèi)4 人的吸煙動(dòng)作識(shí)別的實(shí)景演示。每個(gè)被檢測(cè)到姿態(tài)的人可以顯示其ID以及其吸煙動(dòng)作發(fā)生的次數(shù)。當(dāng)檢測(cè)到有3次吸煙動(dòng)作發(fā)出吸煙警報(bào)。

圖6 吸煙動(dòng)作識(shí)別系統(tǒng)

算法1 檢測(cè)周期性動(dòng)作

輸入：檢測(cè)次數(shù)i，手與鼻子的距離D，每次檢測(cè)耗時(shí)Pi，每次檢測(cè)到手與鼻子的最遠(yuǎn)距離di，閾值M，吸煙時(shí)長(zhǎng)σ；

輸出：被檢測(cè)到的動(dòng)作有幾次滿(mǎn)足周期性動(dòng)作。

1. 初始化i，Pi，di為0；

2. ifD≤Mthen

3. for檢測(cè)次數(shù)do

4.Pi開(kāi)始計(jì)時(shí)；

5. if連續(xù)3幀D增大then

6. 找到第K幀的D≤第K-1 幀的D；

7. 記di等于第K-1 幀的D；

8. end if

9. if連續(xù)3幀D減小then

10. 當(dāng)D≤M時(shí)Pi停止計(jì)時(shí)；

11. end if

12. ifPi＞σthen

13. 結(jié)束循環(huán)；

14. else

15. 記檢測(cè)到的動(dòng)作滿(mǎn)足一次周期性動(dòng)作；

16.i=i+1；

17. end if

18. end for

19. 輸出檢測(cè)到周期性動(dòng)作的次數(shù)

3.2 數(shù)據(jù)預(yù)處理

在進(jìn)行動(dòng)作識(shí)別時(shí)，將視頻轉(zhuǎn)換為連續(xù)幀的圖像。進(jìn)行姿勢(shì)估計(jì)之前，需要調(diào)整圖像的大小。對(duì)不同人數(shù)的圖像進(jìn)行實(shí)驗(yàn)分析。根據(jù)圖像中的人數(shù)進(jìn)行分組，每組包含50個(gè)圖像。將參數(shù)的初始值設(shè)置為576×416，使用不同的參數(shù)分別進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)發(fā)現(xiàn)在人數(shù)越多的情況下，為了獲取更精確的關(guān)節(jié)點(diǎn)信息需要增加Resize 的值，但這樣也帶來(lái)了處理時(shí)間變長(zhǎng)的問(wèn)題，如表1所示。測(cè)試平均準(zhǔn)確率，對(duì)不同Resize做了對(duì)比實(shí)驗(yàn)，結(jié)果如圖7 所示。為均衡計(jì)算時(shí)間與平均精確度，本文設(shè)定Resize參數(shù)為432×368。

表1 不同Resize對(duì)一張圖片進(jìn)行姿態(tài)預(yù)測(cè)的時(shí)間s

圖7 不同Resize值下的準(zhǔn)確率

3.3 閾值分析

為確定吸入煙霧時(shí)手與鼻子之間的距離范圍的閾值M，實(shí)驗(yàn)中模擬公共場(chǎng)所拍攝了500 張多人吸煙的照片。提取所有吸煙者的手關(guān)節(jié)和鼻關(guān)節(jié)的位置信息并計(jì)算每個(gè)人吸煙時(shí)手和鼻子之間的距離。實(shí)驗(yàn)結(jié)果表明，雖然吸煙者具有不同的吸煙姿勢(shì)，但不同的吸煙時(shí)手和鼻子之間的距離始終保持在一定范圍內(nèi)。在進(jìn)行姿態(tài)估計(jì)算法中使用歸一化，人與攝像頭的距離與方向都不會(huì)影響手與鼻子之間的相對(duì)距離。如圖8所示，距離在20 mm左右的人數(shù)最多，絕大多數(shù)人在28 mm以?xún)?nèi)。實(shí)驗(yàn)中將閾值M初始設(shè)置為26 mm，使用電影中300個(gè)吸煙場(chǎng)景作為測(cè)試數(shù)據(jù)。結(jié)果顯示，測(cè)試數(shù)據(jù)手與鼻子的距離97%可以落入M的范圍內(nèi)。再將閾值設(shè)置更改為28 mm 測(cè)試中有99.5%可以落在M的范圍內(nèi)。根據(jù)對(duì)實(shí)驗(yàn)結(jié)果的分析，最終設(shè)定M=28 mm。當(dāng)檢測(cè)到人的手和鼻子之間的距離小于M時(shí)就對(duì)該人進(jìn)行周期性動(dòng)作檢測(cè)。

實(shí)驗(yàn)中驗(yàn)證了吸煙行為可以分解為周期性動(dòng)作。本文將整個(gè)吸煙過(guò)程的軌跡轉(zhuǎn)換為手和鼻距離的軌跡。在實(shí)驗(yàn)中，比較了吸煙者和非吸煙者的關(guān)節(jié)點(diǎn)的距離軌跡信息。如圖9 所示，與非吸煙者的距離軌跡相比，吸煙者的距離軌跡表現(xiàn)出周期性的波動(dòng)。在吸煙者的軌跡圖中，波谷表明吸入煙霧的狀態(tài)。波谷附近的距離有輕微的漂浮，是因?yàn)槲霟熿F的過(guò)程需要持續(xù)一段時(shí)間。圖中的峰值表示呼出煙霧手遠(yuǎn)離頭部，此過(guò)程也會(huì)持續(xù)幾秒鐘，是吸煙者呼出煙霧到下一次吸入煙霧的間隔。

圖8 吸煙時(shí)手與鼻子的距離

圖9 吸煙者與非吸煙者對(duì)比

如圖10所示，圖中有3條閾值線。在波峰處的2條閾值線是為了衡量之后的運(yùn)動(dòng)是否符合周期，若第一次后的波峰落在Dmax與Dmin之間就認(rèn)為此次滿(mǎn)足周期性。每周期內(nèi)軌跡曲線只有在波峰和波谷均處均處于閾值范圍內(nèi)，且時(shí)間也符合周期性，則被認(rèn)為是一次的規(guī)律性動(dòng)作，即發(fā)生了一次吸煙動(dòng)作。滿(mǎn)足3次周期性動(dòng)作，判斷發(fā)生吸煙行為。實(shí)驗(yàn)中對(duì)4人吸煙動(dòng)作軌跡進(jìn)行提取。如圖11 所示，從識(shí)別到第一個(gè)人吸煙開(kāi)始計(jì)時(shí)，多人從不同的時(shí)間段開(kāi)始吸煙，當(dāng)檢測(cè)到有人做出3次吸煙動(dòng)作后標(biāo)記吸煙者并發(fā)出警報(bào)。

圖10 單人吸煙動(dòng)作周期性判斷

圖11 4人吸煙

3.4 準(zhǔn)確率分析

表2 不同算法運(yùn)算時(shí)間與準(zhǔn)確率對(duì)比

實(shí)驗(yàn)中，對(duì)使用不同的姿態(tài)估計(jì)模型[16，22]實(shí)現(xiàn)吸煙動(dòng)作識(shí)別的算法運(yùn)算時(shí)間和準(zhǔn)確率進(jìn)行分析。對(duì)于每種算法，使用相同的圖像進(jìn)行姿態(tài)估計(jì)，記錄對(duì)每張圖片的多人姿態(tài)估計(jì)算法運(yùn)算時(shí)間，重復(fù)1 000 次后取平均值。再使用不同姿態(tài)估計(jì)算法進(jìn)行吸煙動(dòng)作識(shí)別的準(zhǔn)確率對(duì)比，實(shí)驗(yàn)結(jié)果如表2所示。吸煙動(dòng)作識(shí)別受到關(guān)節(jié)點(diǎn)采集（姿態(tài)估計(jì)）的實(shí)時(shí)性影響，文中最終選取算法1作為姿態(tài)估計(jì)算法。

通過(guò)調(diào)查相關(guān)資料，一般常人單次呼吸時(shí)間為1.3～2.2 s，每次呼吸之間存在間隔期，大約為1～2 s，故單次呼吸周期時(shí)間為2～5 s。吸煙的歷時(shí)與呼吸時(shí)長(zhǎng)相關(guān)，一次吸煙動(dòng)作的周期包括吸入煙霧的時(shí)間與間隔期，見(jiàn)圖12。不同吸煙習(xí)慣的吸煙周期時(shí)長(zhǎng)不同，部分吸煙者習(xí)慣將煙霧吸入到口腔就呼出，此時(shí)一次吸煙周期時(shí)長(zhǎng)大致為3～6 s；部分吸煙者習(xí)慣吸肺煙（即將煙霧吸入到肺部在呼出），吸肺煙的一次過(guò)程相當(dāng)于進(jìn)行了一次深呼吸，一次深呼吸的時(shí)間大致在9 s左右，吸肺煙的一次吸煙周期時(shí)長(zhǎng)大致為6～12 s。為驗(yàn)證吸煙周期時(shí)長(zhǎng)，實(shí)驗(yàn)通過(guò)觀測(cè)100組有吸煙動(dòng)作的視頻，計(jì)算每次吸煙的時(shí)間，時(shí)間大致分布在3～12 s之間。之后進(jìn)行了其他類(lèi)似的周期性行為（如吃零食）單次動(dòng)作間隔時(shí)間的實(shí)驗(yàn)，實(shí)驗(yàn)發(fā)現(xiàn)每次吃東西時(shí)咀嚼的時(shí)間比吸入煙霧歷時(shí)更長(zhǎng)。因此為區(qū)別于其他周期性行為，在進(jìn)行關(guān)于吸煙周期時(shí)間σ的準(zhǔn)確率的實(shí)驗(yàn)后，如圖13，將單次吸煙周期時(shí)間σ設(shè)置為15 s。當(dāng)單次周期性行為大于15 s 時(shí)，不會(huì)再進(jìn)行吸煙動(dòng)作的檢測(cè)。

圖12 吸煙周期

圖13 σ 取值對(duì)準(zhǔn)確率的影響

經(jīng)過(guò)坐標(biāo)歸一化處理，對(duì)攝像頭面向人的不同角度，進(jìn)行了多組不同人數(shù)的正面和側(cè)面吸煙運(yùn)動(dòng)檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果證明相機(jī)的放置不會(huì)影響動(dòng)作識(shí)別的準(zhǔn)確性,如圖14所示。

圖14 正面與側(cè)面的多人識(shí)別精確度

本文進(jìn)行了大量的實(shí)驗(yàn)，測(cè)試系統(tǒng)識(shí)別的準(zhǔn)確率。實(shí)驗(yàn)中分別選取500 段電影中的吸煙片段，拍攝500 組實(shí)際場(chǎng)景吸煙視頻作為測(cè)試數(shù)據(jù)。對(duì)拍攝500 組實(shí)際吸煙場(chǎng)景的實(shí)驗(yàn)結(jié)果分為4 種情況做吸煙動(dòng)作識(shí)別精確度的判定：（1）TP，吸煙者吸煙，正確的檢測(cè)到吸煙者；（2）FP，沒(méi)有吸煙者吸煙，檢測(cè)到吸煙者；（3）FN，有吸煙者，沒(méi)有檢測(cè)到吸煙者；（4）TN，沒(méi)有吸煙者，沒(méi)有檢測(cè)到吸煙者。按照吸煙者的人數(shù)進(jìn)行分組，分為2人、4 人、5 人、多人（大于5 人），分別實(shí)驗(yàn)室內(nèi)與走廊不同環(huán)境下進(jìn)行吸煙動(dòng)作識(shí)別。準(zhǔn)確率如圖15 所示，圖15（a）是在實(shí)驗(yàn)室內(nèi)進(jìn)行吸煙動(dòng)作識(shí)別的準(zhǔn)確率，圖15（b）是在走廊中進(jìn)行吸煙動(dòng)作識(shí)別的準(zhǔn)確率。實(shí)驗(yàn)證明在不同環(huán)境中，本文提出的吸煙動(dòng)作識(shí)別方法的準(zhǔn)確率都可以達(dá)到91%。

使用Hmdb51[26]數(shù)據(jù)集對(duì)深度學(xué)習(xí)模型[27]進(jìn)行訓(xùn)練，訓(xùn)練的參數(shù)設(shè)置如下：最小批處理大小為32，學(xué)習(xí)率為0.001，迭代次數(shù)為2 500。測(cè)試數(shù)據(jù)集選取了100 個(gè)吸煙的視頻片段與100 個(gè)不吸煙的視頻片段進(jìn)行對(duì)比實(shí)驗(yàn)，分別測(cè)試了本文研究的方法與深度學(xué)習(xí)模型的準(zhǔn)確率。本文提出的方法突破了之前只能對(duì)單人的吸煙動(dòng)作識(shí)別實(shí)現(xiàn)了多個(gè)人實(shí)時(shí)吸煙行為識(shí)別。表3 是本文方法與深度學(xué)習(xí)方法準(zhǔn)確率的比較。

圖15 多人吸煙動(dòng)作識(shí)別準(zhǔn)確率

表3 不同方法準(zhǔn)確率對(duì)比%

4 結(jié)論

與以往特定場(chǎng)景的單人吸煙動(dòng)作識(shí)別不同，本文提出了一種在多人場(chǎng)景中基于人體關(guān)節(jié)點(diǎn)檢測(cè)周期性動(dòng)作的吸煙動(dòng)作識(shí)別方法。通過(guò)實(shí)驗(yàn)數(shù)據(jù)制定吸煙動(dòng)作規(guī)范，進(jìn)行周期性動(dòng)作檢測(cè)后實(shí)現(xiàn)了吸煙動(dòng)作識(shí)別，檢測(cè)到吸煙行為后標(biāo)記吸煙者。相比深度學(xué)習(xí)方法，本文的方法無(wú)需大量數(shù)據(jù)集進(jìn)行訓(xùn)練，在不同環(huán)境下對(duì)于多個(gè)人的吸煙動(dòng)作識(shí)別仍能保持良好的準(zhǔn)確率。