甘劍

(湖南中煙工業(yè)有限責(zé)任公司信息中心 湖南長(zhǎng)沙 410019)

隨著“互聯(lián)網(wǎng)+”“大數(shù)據(jù)”“新零售”等技術(shù)概念的推動(dòng)，運(yùn)用新技術(shù)對(duì)吸煙人行為進(jìn)行研究分析，對(duì)于卷煙企業(yè)的發(fā)展具有重要價(jià)值。目前的吸煙行為數(shù)據(jù)采集和研究，大多數(shù)以抽煙面談[1]、問(wèn)卷調(diào)查[2]或現(xiàn)場(chǎng)儀器測(cè)試[3]等人工采集方式為主。隨著互聯(lián)網(wǎng)和電子支付手段的興起，使得零售終端POS 數(shù)據(jù)[4]、產(chǎn)品掃碼數(shù)據(jù)[5]、網(wǎng)絡(luò)評(píng)論數(shù)據(jù)[6]等成為一種新的消費(fèi)行為信息獲取渠道。

這些人工分析方式，成本較高且耗時(shí)，得到的數(shù)據(jù)多為非自然條件下的實(shí)驗(yàn)性行為數(shù)據(jù)，受限于調(diào)查樣本規(guī)模，容易帶來(lái)數(shù)據(jù)的地域偏差和實(shí)驗(yàn)者偏差，并且在數(shù)據(jù)時(shí)效性方面也具有局限性，不能滿足動(dòng)態(tài)市場(chǎng)條件下煙草企業(yè)精益生產(chǎn)和精準(zhǔn)營(yíng)銷(xiāo)的決策需求。

為此，該文針對(duì)吸煙人群最集中的吸煙室場(chǎng)景，基于深度學(xué)習(xí)視覺(jué)識(shí)別技術(shù)，提出一種基于視覺(jué)的吸煙行為分析方法，設(shè)計(jì)了一種基于視覺(jué)的吸煙行為數(shù)據(jù)采集分析系統(tǒng)，以期在自然狀態(tài)下，實(shí)現(xiàn)對(duì)吸煙室內(nèi)吸煙人的行為數(shù)據(jù)的自動(dòng)化采集和分析，從而為煙草企業(yè)卷煙設(shè)計(jì)優(yōu)化、精準(zhǔn)營(yíng)銷(xiāo)決策提供動(dòng)態(tài)實(shí)時(shí)的數(shù)據(jù)支持。

1 基于視覺(jué)的吸煙行為分析方法

1.1 吸煙室場(chǎng)景下的吸煙行為數(shù)據(jù)維度

隨著文明吸煙行為的倡導(dǎo)和國(guó)家控?zé)熣叩膶?shí)施，在高鐵、機(jī)場(chǎng)、商場(chǎng)、辦公樓等公共場(chǎng)所建立了大量吸煙室。當(dāng)吸煙人進(jìn)入吸煙室后，在消費(fèi)“一支煙”時(shí)間里，重點(diǎn)關(guān)注吸煙人抽了什么品牌的卷煙、抽煙的行為習(xí)慣如何、抽煙時(shí)的情緒反應(yīng)如何以及他是什么類(lèi)型的人。

針對(duì)這些信息，該文采用在吸煙室合適位置部署智能圖像采集設(shè)備的方式，獲取吸煙人從出現(xiàn)、吸煙到離開(kāi)的全過(guò)程現(xiàn)場(chǎng)圖像信息，并進(jìn)行實(shí)時(shí)的圖像識(shí)別分析來(lái)獲取。這種基于視覺(jué)的數(shù)據(jù)采集方式，對(duì)于吸煙人是全程無(wú)感的，獲得的是自然條件下吸煙人的多維度行為數(shù)據(jù)。

如圖1所示，吸煙室場(chǎng)景中的吸煙行為數(shù)據(jù)包括6個(gè)維度，即吸煙人的外觀特征、卷煙消費(fèi)品牌、抽吸行為習(xí)慣、抽吸情緒狀態(tài)、地理位置信息、抽吸時(shí)間信息。

圖1 吸煙人6維吸煙行為數(shù)據(jù)集合示意圖

其中，外觀特征包括性別、年齡、著裝類(lèi)型；卷煙消費(fèi)品牌包括品牌名稱(chēng)、規(guī)格、廠家等數(shù)據(jù)；抽吸行為習(xí)慣包括單口抽吸時(shí)長(zhǎng)，單支煙抽吸次數(shù)及時(shí)長(zhǎng)等；情緒狀態(tài)包括人臉基礎(chǔ)表情、放松度等；地理位置則包括吸煙室所在場(chǎng)所、城市；抽吸時(shí)間信息包括開(kāi)始時(shí)間、離開(kāi)時(shí)間等。通過(guò)上述6個(gè)維度行為數(shù)據(jù)的不斷積累和分析，可以對(duì)吸煙室場(chǎng)景下的吸煙人行為進(jìn)行精確描述，進(jìn)而為煙草新品研發(fā)、產(chǎn)品銷(xiāo)售和用戶行為研究等帶來(lái)實(shí)際價(jià)值。

1.2 基于視覺(jué)的吸煙行為分析流程

基于視覺(jué)的吸煙行為分析的過(guò)程如圖2 所示，主要包括視頻圖像數(shù)據(jù)獲取、吸煙人行為圖像識(shí)別、吸煙人行為數(shù)據(jù)綜合分析和云端大數(shù)據(jù)分析和應(yīng)用4 個(gè)步驟。

圖2 基于視覺(jué)的吸煙行為數(shù)據(jù)采集分析流程

1.2.1 視頻圖像數(shù)據(jù)獲取

在吸煙室部署智能圖像采集設(shè)備，持續(xù)實(shí)時(shí)獲取吸煙室內(nèi)的吸煙人行為圖像數(shù)據(jù)。

1.2.2 吸煙人行為圖像智能識(shí)別

圖像數(shù)據(jù)的本地實(shí)時(shí)處理和識(shí)別計(jì)算，通過(guò)人體檢測(cè)算法，進(jìn)行吸煙人到達(dá)判斷，當(dāng)檢測(cè)到有吸煙人出現(xiàn)在采集區(qū)域后，自動(dòng)分析和識(shí)別吸煙人行為，包括吸煙人的人臉檢測(cè)、人體姿態(tài)估計(jì)、煙包品牌識(shí)別、抽吸行為識(shí)別、人臉情緒識(shí)別等，產(chǎn)生識(shí)別結(jié)果數(shù)據(jù)。

1.2.3 吸煙人行為數(shù)據(jù)綜合分析

結(jié)合時(shí)間、地點(diǎn)、空間位置關(guān)系和吸煙人特征，對(duì)上述各種圖像識(shí)別結(jié)果進(jìn)行關(guān)聯(lián)分析和聚合計(jì)算，形成特定吸煙人或吸煙人群體的行為數(shù)據(jù)集。

1.2.4 云端數(shù)據(jù)留存和大數(shù)據(jù)分析應(yīng)用

各個(gè)吸煙室的智能設(shè)備將識(shí)別的吸煙人行為數(shù)據(jù)上報(bào)云端服務(wù)平臺(tái)，由云端計(jì)算系統(tǒng)進(jìn)行卷煙消費(fèi)行為數(shù)據(jù)的綜合分析、過(guò)濾和分類(lèi)，最終實(shí)現(xiàn)吸煙行為大數(shù)據(jù)統(tǒng)計(jì)分析和應(yīng)用。

2 基于深度學(xué)習(xí)的吸煙行為圖像識(shí)別

在基于視覺(jué)的行為分析過(guò)程中，吸煙人行為圖像的智能識(shí)別是核心和關(guān)鍵[7]。針對(duì)攝像頭獲取的吸煙室場(chǎng)景實(shí)時(shí)圖像，智能識(shí)別的目標(biāo)包括吸煙人外觀特征（年齡、性別和著裝）、吸煙人姿態(tài)動(dòng)作[8]（人體關(guān)鍵點(diǎn)、吸煙動(dòng)作）、吸煙過(guò)程中露出的煙包品牌，以及吸煙過(guò)程中的表情變化多個(gè)關(guān)鍵識(shí)別任務(wù)，這是一個(gè)典型的多任務(wù)圖像識(shí)別問(wèn)題，下面重點(diǎn)介紹吸煙行為識(shí)別和卷煙品牌識(shí)別實(shí)現(xiàn)方法。

2.1 吸煙人抽吸行為識(shí)別

針對(duì)吸煙人的卷煙抽吸行為識(shí)別，自行采集建立了吸煙人抽吸香煙動(dòng)作的圖片數(shù)據(jù)集，并進(jìn)行抽吸行為的圖片標(biāo)注，分為抽煙和沒(méi)抽煙2 類(lèi)標(biāo)簽，共4 800張圖片；然后基于遷移學(xué)習(xí)方法，以VGG-16 模型[9]為基礎(chǔ)，構(gòu)建吸煙行為識(shí)別模型，基于自建的吸煙行為數(shù)據(jù)集進(jìn)行模型訓(xùn)練，重點(diǎn)針對(duì)用戶的抽吸香煙動(dòng)作進(jìn)行識(shí)別。如圖3所示，在具體實(shí)現(xiàn)時(shí)，截取吸煙人嘴部附近區(qū)域的圖像，然后應(yīng)用訓(xùn)練的深度網(wǎng)絡(luò)模型進(jìn)行推理計(jì)算，在實(shí)時(shí)的人體姿態(tài)檢測(cè)數(shù)據(jù)基礎(chǔ)上，綜合所檢測(cè)的吸煙人手部和臉部位置關(guān)系[10]，獲得當(dāng)前是否正在抽煙的判斷結(jié)果。

圖3 抽吸行為識(shí)別過(guò)程

2.2 卷煙品牌圖像識(shí)別

卷煙品牌識(shí)別主要識(shí)別判斷當(dāng)前圖像中是否存在香煙煙盒，并輸出其卷煙品牌類(lèi)別和具體位置[11]。針對(duì)卷煙煙包這類(lèi)小目標(biāo)的檢測(cè)識(shí)別，在YOLOv3 算法基礎(chǔ)上進(jìn)行深度遷移學(xué)習(xí)，設(shè)計(jì)煙包品牌識(shí)別模型。YOLOv3 是一種單階段實(shí)時(shí)目標(biāo)檢測(cè)算法，以回歸的方式對(duì)目標(biāo)進(jìn)行檢測(cè)，輸入圖像后，直接在圖像的多個(gè)位置上回歸出目標(biāo)的位置以及其分類(lèi)類(lèi)別，其網(wǎng)絡(luò)結(jié)構(gòu)由骨架網(wǎng)絡(luò)Darknet-53 和檢測(cè)網(wǎng)絡(luò)兩部分組成，分別用作特征提取及多尺度預(yù)測(cè)。

模型采用自行設(shè)計(jì)采集的卷煙煙包品牌數(shù)據(jù)集，數(shù)據(jù)集包括兩個(gè)部分：一部分在理想光線環(huán)境下通過(guò)數(shù)碼相機(jī)拍攝的煙盒圖片，與真實(shí)吸煙室場(chǎng)景背景圖片進(jìn)行模擬疊加合成，形成訓(xùn)練樣本，每類(lèi)煙包品牌1 000張圖片，共10類(lèi)煙包；另一部分采用真實(shí)部署的設(shè)備實(shí)際拍攝的現(xiàn)場(chǎng)圖像，每類(lèi)品牌約500 張圖片，對(duì)前者進(jìn)行補(bǔ)充。

3 基于視覺(jué)的室內(nèi)吸煙行為分析系統(tǒng)設(shè)計(jì)

進(jìn)一步設(shè)計(jì)和實(shí)現(xiàn)了基于視覺(jué)的吸煙室內(nèi)吸煙行為感知分析系統(tǒng)。系統(tǒng)基于分層設(shè)計(jì)思想，采用云+端的總體架構(gòu)，分為數(shù)據(jù)感知層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)應(yīng)用層三個(gè)層次，表現(xiàn)為智能終端系統(tǒng)、云端服務(wù)平臺(tái)和數(shù)據(jù)應(yīng)用系統(tǒng)三大功能系統(tǒng)，具體如圖4所示。

圖4 吸煙室內(nèi)吸煙行為分析系統(tǒng)總體架構(gòu)

3.1 數(shù)據(jù)感知層

智能終端系統(tǒng)整個(gè)系統(tǒng)的前端基礎(chǔ)，通過(guò)在吸煙室現(xiàn)場(chǎng)部署高清攝像頭，獲取吸煙室場(chǎng)景下的吸煙人圖像數(shù)據(jù)，同時(shí)采用邊緣計(jì)算模塊，對(duì)非結(jié)構(gòu)化的實(shí)時(shí)視頻圖像進(jìn)行智能識(shí)別，抽取、關(guān)聯(lián)和聚合形成結(jié)構(gòu)化吸煙人吸煙行為數(shù)據(jù)。

3.2 數(shù)據(jù)服務(wù)層

云端服務(wù)平臺(tái)是整個(gè)系統(tǒng)的數(shù)據(jù)和服務(wù)中心，面向煙草營(yíng)銷(xiāo)、生產(chǎn)和研發(fā)等對(duì)吸煙行為數(shù)據(jù)的要求，提供的數(shù)據(jù)存儲(chǔ)、OLAP 建模分析、消息中間件、云端計(jì)算、系統(tǒng)管理等相關(guān)基礎(chǔ)Web應(yīng)用服務(wù)，實(shí)現(xiàn)吸煙行為大數(shù)據(jù)的匯總、存儲(chǔ)、建模和分析輸出。

3.3 數(shù)據(jù)應(yīng)用層

數(shù)據(jù)應(yīng)用系統(tǒng)面向最終煙草企業(yè)用戶提供的數(shù)據(jù)應(yīng)用服務(wù)界面，包括吸煙室消費(fèi)行為大數(shù)據(jù)的可視化展示，以及對(duì)接煙草企業(yè)的應(yīng)用業(yè)務(wù)系統(tǒng)，例如：營(yíng)銷(xiāo)輔助決策和相關(guān)部門(mén)業(yè)務(wù)系統(tǒng)，通過(guò)調(diào)用吸煙者行為數(shù)據(jù)服務(wù)，實(shí)現(xiàn)品牌關(guān)聯(lián)分析、吸煙人群體分析、消費(fèi)行為分析等，最終形成品牌數(shù)據(jù)的實(shí)時(shí)狀態(tài)，為煙草產(chǎn)品研發(fā)以及營(yíng)銷(xiāo)提供數(shù)據(jù)基礎(chǔ)。

4 方法驗(yàn)證與系統(tǒng)應(yīng)用

首先，對(duì)基于深度學(xué)習(xí)的吸煙人行為圖像識(shí)別算法性能進(jìn)行了實(shí)驗(yàn)驗(yàn)證。通過(guò)在現(xiàn)場(chǎng)運(yùn)行系統(tǒng)獲取識(shí)別數(shù)據(jù)，采用系統(tǒng)識(shí)別和人工判別比對(duì)的方式，分別對(duì)吸煙人外觀特征識(shí)別、抽吸行為識(shí)別和卷煙品牌識(shí)別的有效性進(jìn)行分析。

實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)見(jiàn)表1，可以看出在吸煙室場(chǎng)景下，基于深度遷移學(xué)習(xí)的行為圖像識(shí)別方法對(duì)抽吸動(dòng)作的識(shí)別具有較高能力，識(shí)別率在94.5%，對(duì)煙包品牌的識(shí)別準(zhǔn)確率為91%，總體識(shí)別準(zhǔn)確率在85%以上，具有比較理想的識(shí)別效果。

表1 吸煙行為圖像識(shí)別實(shí)驗(yàn)結(jié)果

具體的系統(tǒng)實(shí)現(xiàn)如圖5 所示。其中，圖5（a）為智能終端系統(tǒng)的硬件平臺(tái)和軟件系統(tǒng)界面，可以綜合獲取吸煙人的外觀特征、吸煙行為、卷煙品牌等特征數(shù)據(jù)；圖5（b）為卷煙消費(fèi)行為大數(shù)據(jù)可視化系統(tǒng)軟件的運(yùn)行界面，該系統(tǒng)部署在湖南中煙共享吸煙室內(nèi)，實(shí)現(xiàn)了煙客吸煙室內(nèi)吸煙者行為數(shù)據(jù)的可視化分析展現(xiàn)，以及運(yùn)行狀態(tài)的可視化監(jiān)測(cè)。

圖5 基于視覺(jué)的吸煙室行為分析系統(tǒng)建設(shè)實(shí)現(xiàn)

5 結(jié)語(yǔ)

通過(guò)綜合應(yīng)用基于深度學(xué)習(xí)的智能圖像識(shí)別技術(shù)，以吸煙室為研究場(chǎng)景，提出一種基于視覺(jué)的吸煙行為智能分析方法，設(shè)計(jì)并實(shí)現(xiàn)了基于視覺(jué)的吸煙室內(nèi)吸煙行為數(shù)據(jù)采集和分析系統(tǒng)，該系統(tǒng)于在湖南中煙主導(dǎo)的共享吸煙室項(xiàng)目中得到實(shí)踐應(yīng)用，現(xiàn)場(chǎng)應(yīng)用結(jié)果表明：在3 m識(shí)別距離范圍內(nèi)，系統(tǒng)支持10種煙包品牌的智能識(shí)別，并能在自然狀態(tài)下對(duì)吸煙人的外觀特征、抽吸行為、用戶情緒等數(shù)據(jù)的進(jìn)行自動(dòng)化的感知和識(shí)別，總體識(shí)別準(zhǔn)確率在85%以上，具有較理想的識(shí)別效果?；谠贫朔?wù)系統(tǒng)，能夠綜合形成具有時(shí)空特點(diǎn)的吸煙行為大數(shù)據(jù)集合，并通過(guò)吸煙行為大數(shù)據(jù)可視化系統(tǒng)進(jìn)行綜合呈現(xiàn)，是煙草行業(yè)吸煙行為數(shù)據(jù)采集和分析的一種創(chuàng)新嘗試，具有較好的現(xiàn)實(shí)價(jià)值和實(shí)踐意義。