吳紀(jì)蕓

（福州職業(yè)技術(shù)學(xué)院 福建省福州市 350000）

1 引言

1.1 流感患者初步篩查現(xiàn)狀

目前，流感進(jìn)入高發(fā)期，防控任務(wù)十分艱巨。據(jù)疾病預(yù)防控制局統(tǒng)計(jì)，2020年9月全國(guó)流感發(fā)病數(shù)高達(dá)18432 例，環(huán)比增加了43.63%[1]。流感患者的主要臨床特點(diǎn)包括發(fā)熱、流涕、干咳、呼吸急促等[2,3,4]，而發(fā)熱僅占流感癥狀中的一部分，因此發(fā)熱并不能作為是否患流感的唯一判斷。

現(xiàn)階段公眾場(chǎng)所缺乏成熟的流感患者智能識(shí)別設(shè)備，在流感防控的非常時(shí)期，人工測(cè)量體溫的簡(jiǎn)便、易行成為出入超市、小區(qū)、公司等公眾場(chǎng)所時(shí)的唯一篩查方法。而流感主要是通過(guò)呼吸道飛沫傳播和接觸傳播[5,6]。通過(guò)流行病學(xué)調(diào)查顯示，病例多可以追蹤到與確診的病例有過(guò)近距離密切接觸的情況。因此，人工體溫檢測(cè)將加大工作人員的工作量和患病的危險(xiǎn)性。

1.2 基于智能視頻監(jiān)控的行為識(shí)別研究

智能視頻監(jiān)控已成為人體行為識(shí)別的熱門研究技術(shù)，利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)視頻監(jiān)控中的目標(biāo)進(jìn)行提取、分析、檢測(cè)，在無(wú)需人為干預(yù)的情況下對(duì)監(jiān)控目標(biāo)異常行為發(fā)出警報(bào)。目前智能視頻監(jiān)控的主要研究方向包括運(yùn)動(dòng)檢測(cè)、目標(biāo)分類和跟蹤、行為識(shí)別及智慧城市建設(shè)等[7,8]。

卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一[9,10]。強(qiáng)大的學(xué)習(xí)能力致使它常常被應(yīng)用于視頻中的行為識(shí)別。視頻行為識(shí)別初期，人們只是單純對(duì)視頻中截取的視頻幀進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，沒(méi)有考慮視頻的時(shí)域特征，所以針對(duì)運(yùn)動(dòng)性強(qiáng)的視頻的識(shí)別效果較差。

Tran[11]提出 3D 核卷積的方法，在卷積神經(jīng)網(wǎng)絡(luò)中保留視頻的畫面信息和時(shí)間信息，與單幀圖像特征訓(xùn)練的模型相比，通過(guò)時(shí)間域卷積運(yùn)算后的網(wǎng)絡(luò)模型對(duì)行為特征的區(qū)分度更高。

1.3 流感患者行為識(shí)別研究

圖1：系統(tǒng)工作流程圖

圖2：C3D 網(wǎng)絡(luò)架構(gòu)圖

在傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法中，必須具備以下兩個(gè)基本條件才能訓(xùn)練出高準(zhǔn)確性的分類模型：一、訓(xùn)練樣本與測(cè)試樣本獨(dú)立同分布；二、訓(xùn)練模型的樣本數(shù)量足夠大。遷移學(xué)習(xí)是利用已有知識(shí)對(duì)不同但是相關(guān)的問(wèn)題進(jìn)行求解的一種深度學(xué)習(xí)方法[12]。該方法可以有效解決機(jī)器學(xué)習(xí)因受限于上述兩個(gè)基本條件所面臨的問(wèn)題，運(yùn)用大量現(xiàn)有公開的相關(guān)領(lǐng)域數(shù)據(jù)集進(jìn)行訓(xùn)練，得到初始模型，再用少量帶求解問(wèn)題的樣本數(shù)據(jù)對(duì)初始模型進(jìn)行再訓(xùn)練，調(diào)整模型參數(shù)得到最終需要的深度學(xué)習(xí)網(wǎng)絡(luò)模型。

流感患者行為識(shí)別是行為識(shí)別領(lǐng)域的一個(gè)應(yīng)用場(chǎng)景，但是在該場(chǎng)景下沒(méi)有公開的行為視頻數(shù)據(jù)集，因此本文采用遷移學(xué)習(xí)方法識(shí)別流感患者的行為。

本文研究一種基于智能視頻監(jiān)控的流感患者行為識(shí)別系統(tǒng)，該系統(tǒng)在傳統(tǒng)的紅外檢測(cè)溫度的基礎(chǔ)上加上行為識(shí)別，通過(guò)增加行為識(shí)別，能進(jìn)一步識(shí)別那些不具有發(fā)熱情況的潛在患病人員。其中，行為識(shí)別方法是通過(guò)3D 卷積神經(jīng)網(wǎng)絡(luò)提取視頻數(shù)據(jù)中的有效行為特征，再運(yùn)用遷移學(xué)習(xí)算法識(shí)別出“正常行為”、“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不暢”等行為。

2 基于智能視頻監(jiān)控的行為識(shí)別系統(tǒng)

2.1 系統(tǒng)構(gòu)造

該系統(tǒng)包含四個(gè)主要的硬件設(shè)備，分別為紅外體溫探測(cè)器、監(jiān)控?cái)z像頭、行為識(shí)別系統(tǒng)、報(bào)警器，其中紅外體溫探測(cè)器用于測(cè)量體溫，監(jiān)控?cái)z像頭用于拍攝目標(biāo)行為視頻，行為識(shí)別系統(tǒng)用于提取、分析、檢測(cè)視頻中目標(biāo)行為是否異常，報(bào)警器用于發(fā)出警報(bào)。

2.2 工作流程

S1：利用紅外體溫探測(cè)器測(cè)量待檢測(cè)人員的體溫，與此同時(shí)監(jiān)控?cái)z像頭拍攝該人員的行為視頻。如果檢測(cè)體溫超過(guò)37.3 度，則系統(tǒng)顯示體溫異常，進(jìn)行報(bào)警處理；

S2：若體溫未異常，利用行為識(shí)別系統(tǒng)對(duì)視頻進(jìn)行提取、識(shí)別、分析，判斷該行為是否異常，若異常則系統(tǒng)做報(bào)警處理；

S3：若經(jīng)過(guò)S1 和S2 判斷均無(wú)異常，則可讓此人通行。具體流程如圖1所示。

由于目前紅外體溫探測(cè)技術(shù)已十分成熟，因此本文研究的重點(diǎn)在于提出的行為識(shí)別方法是否能夠有效識(shí)別出既定的行為類別，即上述行為識(shí)別系統(tǒng)的識(shí)別精確度。根據(jù)目前臨床醫(yī)學(xué)判斷得知流感患者所具有的行為不盡相同，但大致集中在“發(fā)熱”、“干咳”、“流涕”、“腹瀉”、“乏力”、“呼吸不暢”這幾個(gè)癥狀中。因此，本文主要識(shí)別“正常行為”、“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不暢”這六種行為。

表1：實(shí)驗(yàn)環(huán)境參數(shù)配置表

圖3：基于遷移學(xué)習(xí)算法的行為識(shí)別步驟圖

圖4：行為識(shí)別的混淆矩陣

3 行為識(shí)別系統(tǒng)

基于智能視頻監(jiān)控的的流感患者行為識(shí)別，主要是在C3D 網(wǎng)絡(luò)模型框架下使用遷移學(xué)習(xí)實(shí)現(xiàn)的。

3.1 C3D網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享、稀疏連接、可生成多特征圖，同時(shí)對(duì)于形變、幾何變換、光照有一定程度的魯棒性等優(yōu)點(diǎn)。C3D 是行為識(shí)別中較為經(jīng)典的模型之一，具有8 個(gè)卷積層、5 個(gè)池化層、兩個(gè)全連接層，以及一個(gè)softmax 輸出層[13]。網(wǎng)絡(luò)架構(gòu)如圖2所示。基本的參數(shù)設(shè)定如下：圖像塊單元的輸入設(shè)置為3×16×240×320，通道數(shù)為3，圖像塊單元包含有16 連續(xù)的尺寸為240×320 的圖像幀。另外，設(shè)置第一層池化層卷積核大小為1×2×2、步長(zhǎng)1×2×2，其余所有池化層均為2×2×2，步長(zhǎng)為2×2×2。各卷積層特征圖個(gè)數(shù)依次為64、128、256、256、256、512、512、512、512，每個(gè)全連接層有4096 個(gè)輸出單元。

3.2 行為識(shí)別算法

遷移學(xué)習(xí)是從源數(shù)據(jù)域遷移到目標(biāo)數(shù)據(jù)域的過(guò)程[14]。在遷移學(xué)習(xí)過(guò)程中，首先在源域數(shù)據(jù)集和任務(wù)上進(jìn)行訓(xùn)練得到一個(gè)初始神經(jīng)網(wǎng)絡(luò)模型，并將該模型的前幾層參數(shù)遷移到目標(biāo)域網(wǎng)絡(luò)模型中，最后利用目標(biāo)域數(shù)據(jù)集及其任務(wù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練并調(diào)整模型參數(shù)[15]?；谶w移學(xué)習(xí)算法的流感患者行為識(shí)別步驟如下，圖3 為具體步驟圖。

S1：對(duì)源域數(shù)據(jù)集進(jìn)行預(yù)處理，形成源域訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)；

S2：利用源域訓(xùn)練集數(shù)據(jù)訓(xùn)練源域網(wǎng)絡(luò)模型，用測(cè)試集數(shù)據(jù)測(cè)試模型識(shí)別精確度，并形成反饋學(xué)習(xí)，調(diào)整模型參數(shù)；

S3：對(duì)目標(biāo)域數(shù)據(jù)集進(jìn)行預(yù)處理，形成目標(biāo)域訓(xùn)練集數(shù)據(jù)和測(cè)試集數(shù)據(jù)；

S4：將源域網(wǎng)絡(luò)模型前幾層卷積核參數(shù)遷移至目標(biāo)域網(wǎng)絡(luò)模型中，目標(biāo)域網(wǎng)絡(luò)模型后幾層參數(shù)采用默認(rèn)參數(shù)；

S5：利用目標(biāo)域訓(xùn)練集訓(xùn)練目標(biāo)域網(wǎng)絡(luò)模型，調(diào)整模型參數(shù)；

S6：利用目標(biāo)域測(cè)試集數(shù)據(jù)測(cè)試目標(biāo)域網(wǎng)絡(luò)模型識(shí)別精確度。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所用到的軟硬件參數(shù)如表1所示。

4.2 數(shù)據(jù)集

4.2.1 源域數(shù)據(jù)集

由于目前沒(méi)有公開大量的流感患者行為數(shù)據(jù)集，而神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要相當(dāng)大的訓(xùn)練量，所以本文訓(xùn)練模型時(shí)使用UCF101 數(shù)據(jù)集進(jìn)行訓(xùn)練。UCF101（University of Central Florida）[16]數(shù)據(jù)集中有13320 個(gè)生活中常見的動(dòng)作行為視頻片段，來(lái)自BBC/ESPN 和YouTube等公共平臺(tái)，其中包含101個(gè)類別的動(dòng)作，分別在不同人物、動(dòng)作幅度、光照條件等客觀因素下產(chǎn)生。該數(shù)據(jù)集能夠滿足基于遷移學(xué)習(xí)行為識(shí)別對(duì)目標(biāo)域數(shù)據(jù)集的基本要求。

4.2.2 目標(biāo)域數(shù)據(jù)集

本實(shí)驗(yàn)共20 名實(shí)驗(yàn)對(duì)象，其中10 名實(shí)驗(yàn)對(duì)象模擬流感患者的行為特征，其中包括“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不暢”等狀態(tài)；其余10 名實(shí)驗(yàn)對(duì)象模擬正常行為人的行為特征。通過(guò)240×320 分辨率的鏡頭采集實(shí)驗(yàn)對(duì)象的視頻數(shù)據(jù)，將采集到的視頻數(shù)據(jù)作為原始數(shù)據(jù)集。每種狀態(tài)各拍攝20 段視頻，每段視頻截取5 秒有效行為片段長(zhǎng)度，幀率為25 幀/秒。

4.2.3 數(shù)據(jù)集處理

本文模型輸入數(shù)據(jù)是3×16×240×320 的圖像塊單元數(shù)據(jù)，將每16 幀作為一個(gè)單元輸入，每個(gè)圖像塊單元都會(huì)對(duì)應(yīng)輸出一個(gè)4096維特征向量。將輸出的特征向量按照4:1 的比例分為訓(xùn)練集和測(cè)試集，訓(xùn)練集和測(cè)試集中的正常行為和異常行為各占一半，正常行為標(biāo)記為0，“干咳”、“流涕”、“腹疼”、“乏力”、“呼吸不暢”分別標(biāo)記為1、2、3、4、5。

4.3 實(shí)驗(yàn)結(jié)果分析

本文提出的基于智能視頻監(jiān)控的流感患者行為識(shí)別方法精確度達(dá)到82.7%。其中，某些行為的識(shí)別精確度較高，而某些行為的精確度較低，如圖4 為本實(shí)驗(yàn)行為識(shí)別結(jié)果的混淆矩陣。從圖中可以看出，“干咳”行為的識(shí)別準(zhǔn)確率較高，精確度為93%；“乏力”行為的識(shí)別準(zhǔn)確率較低，精確度為65%；“乏力”行為被錯(cuò)判為“正常行為”行為的概率最大。從混淆矩陣可以看出，本文所研究的基于智能視頻監(jiān)控的流感患者行為識(shí)別總體達(dá)到較理想的效果。

5 總結(jié)

本文研究一種基于智能視頻監(jiān)控的流感患者行為識(shí)別系統(tǒng)，在傳統(tǒng)的紅外檢測(cè)溫度的基礎(chǔ)上加上行為識(shí)別，通過(guò)C3D 網(wǎng)絡(luò)模型提取的行為特征運(yùn)用遷移學(xué)習(xí)算法能夠有效識(shí)別不具有發(fā)熱現(xiàn)象但行為異常的潛在患病人員，識(shí)別精確度達(dá)到82.7%。但由于實(shí)驗(yàn)條件有限，本文實(shí)驗(yàn)數(shù)據(jù)皆為健康行為人模擬流感患者行為，因此模擬數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的誤差不可避免。下一步，待具備流感患者行為公開數(shù)據(jù)集時(shí)，將進(jìn)一步調(diào)整算法參數(shù)，提高系統(tǒng)的識(shí)別精確度。