亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        微表情識(shí)別綜述

        2020-10-09 11:17:11程村
        計(jì)算機(jī)時(shí)代 2020年9期
        關(guān)鍵詞:分類深度模型

        摘要:微表情的微妙和微表情數(shù)據(jù)集的通病,對(duì)人臉微表情識(shí)別任務(wù)提出了巨大挑戰(zhàn),同時(shí)也使得該課題具有旺盛的生命力和極高的研究價(jià)值。文章闡述了人臉微表情識(shí)別的定義,介紹了主流的微表情數(shù)據(jù)集,并總結(jié)了微表情識(shí)別領(lǐng)域中基于三個(gè)正交平面局部二值模型的經(jīng)典方法和基于深度學(xué)習(xí)的最新技術(shù)。

        關(guān)鍵詞:微表情識(shí)別;微表情數(shù)據(jù)集;深度學(xué)習(xí);面部動(dòng)作編碼系統(tǒng);三個(gè)正交平面局部二值模型

        中圖分類號(hào):TP391.4

        文獻(xiàn)標(biāo)識(shí)碼:A

        文章編號(hào):1006-8228(2020)09-17-03

        A survey of micro-expression recognition

        Cheng Cun

        (school of MathematicsandStatistics, Beijing Technology and Business Unirersity, Beijing 100048. China)

        Abstract: Facial micro-expression recognition is faced with an enormous challenge because facial micro-expression is subtle andmicro-expression databases are limited. but in the meantime the significance of micro-expression recognition has posed a hugeattraction to researchers. In this paper, the definition of facial micro-expression recognition is introduced, the commonly used micro-expression databases are summarized, and the classic handcrafted method based on Local Binary Pattern From Three OrthogonalPlanes and the recent techniques based on deep learning in micro-expression recognition are elaborated.

        Key words: micro-expression recognition; micro-expression database; deep learning; facial action coding system; Local Binary

        Pattern From Three Orthogonal Planes

        0引言

        人臉表情識(shí)別(Facial Expression Recognition)是計(jì)算機(jī)視覺的一個(gè)重要研究課題。隨著深度學(xué)習(xí)技術(shù)的高速發(fā)展,近年來人臉表情識(shí)別技術(shù)取得了令人矚目的成果,但是本文探討的人臉微表情識(shí)別(Microexpression Recognition)不同于常規(guī)的人臉表情識(shí)別。微表情是一種自發(fā)式的表情,不同于普通表情,微表情不能隱藏和作假。因此,人臉微表情識(shí)別是判斷人主觀情緒的有效手段之一,在公共安全、司法系統(tǒng)、情感分析、心理治療等領(lǐng)域具有重要的應(yīng)用價(jià)值,是智能識(shí)別任務(wù)中的一個(gè)新的研究熱點(diǎn)。

        本文闡述了人臉微表情識(shí)別的定義,介紹主要的微表情數(shù)據(jù)集,并綜述了人臉微表情識(shí)別領(lǐng)域中基于三個(gè)正交平面局部二值模型的經(jīng)典方法和基于深度學(xué)習(xí)的最新技術(shù)。

        1微表情識(shí)別的定義

        1.1宏表情與微表情

        人臉表情可分類為宏表情和微表情。宏表情是人在日常生活中表現(xiàn)出來的或偽裝出來的表情,而微表情是一種自發(fā)式的表情,在人試圖掩蓋內(nèi)在情緒時(shí)產(chǎn)生,既無法偽造也無法抑制[1]。不同于宏表情,微表情的幅度很小且持續(xù)時(shí)間很短,僅為1/25秒至1/5秒[2]。因此,僅憑肉眼識(shí)別微表情具有相當(dāng)大的難度,借助計(jì)算機(jī)智能識(shí)別微表情的要求越來越高。

        1.2微表情的分類標(biāo)準(zhǔn)

        微表情識(shí)別任務(wù)是從一段人臉圖像序列中檢測(cè)出微表情,并對(duì)檢測(cè)出的微表情進(jìn)行分類。微表情的分類有兩種標(biāo)準(zhǔn):基于情緒的分類和基于面部動(dòng)作編碼系統(tǒng)(Facial Action Coding System)的分類。

        人類的面部表情7類基礎(chǔ)表情分類包括:生氣、厭惡、恐懼、開心、悲傷、驚喜(驚訝)和中立?;谇榫w的微表情分類,在7類基礎(chǔ)表情分類的基礎(chǔ)上對(duì)表情細(xì)分,通過將單一的基礎(chǔ)表情類別映射到二維空間,其橫軸為情感的正負(fù)程度,縱軸為情感的激烈程度,可以細(xì)分得到更多的表情類別。

        另一種微表情分類的標(biāo)準(zhǔn)是用FACS(Facial ActionCoding System)對(duì)微表情進(jìn)行編碼。FACS是一個(gè)面部動(dòng)作的標(biāo)注系統(tǒng),由一系列編碼組成,每個(gè)編碼是一個(gè)動(dòng)作單元(Action Unit, AU)[]。由于面部動(dòng)作編碼系統(tǒng)用一個(gè)或多個(gè)動(dòng)作單元描述一個(gè)表情,從而可以將微表情的分類任務(wù)轉(zhuǎn)換為動(dòng)作單元的識(shí)別。2微表情數(shù)據(jù)集

        有效的人臉微表情識(shí)別模型的建立依賴于高質(zhì)量的微表情數(shù)據(jù)集。目前主要有三個(gè)微表情數(shù)據(jù)集:SMICHl、CASMEIIm和SAMM[6】。

        SMIC數(shù)據(jù)集是這三個(gè)數(shù)據(jù)集中最早發(fā)布的,由于SMIC數(shù)據(jù)集對(duì)每個(gè)微表情只使用了三種情緒分類進(jìn)行標(biāo)注,即正面表情、驚喜(驚訝)表情和負(fù)面表情,沒有標(biāo)注FACS編碼,所以相比于CASMEII和SAMM數(shù)據(jù)集,SMIC數(shù)據(jù)集使用價(jià)值不高。而且SMIC數(shù)據(jù)集使用的是100幀/秒的攝像機(jī),而CASMEII和SAMM數(shù)據(jù)集使用的是200幀/秒的高速攝像機(jī),所以SMIC數(shù)據(jù)集的面部分辨率偏低。

        CASMEII數(shù)據(jù)集在人臉微表情識(shí)別領(lǐng)域被廣泛使用。CASMEII數(shù)據(jù)集對(duì)每個(gè)微表情既使用了5種情緒分類進(jìn)行標(biāo)注:開心、厭惡、驚喜(驚訝)、壓抑和其他,也有標(biāo)注FACS編碼,可信度較高。而且,由于CASMEII數(shù)據(jù)集使用的是200幀/秒的高速攝像機(jī),面部分辨率可以達(dá)到280*340。但是,CASMEII數(shù)據(jù)集存在一個(gè)問題:由于被測(cè)試者都是中科院的學(xué)生,這導(dǎo)致年齡分布不均衡,并且只涉及一個(gè)種族。

        SAMM數(shù)據(jù)集優(yōu)于前面兩個(gè)數(shù)據(jù)集,它的面部分辨率達(dá)到了400*400,對(duì)每個(gè)微表情不僅使用了7種基礎(chǔ)情緒分類進(jìn)行標(biāo)注:生氣、厭惡、恐懼、開心、悲傷、驚喜(驚訝)和輕蔑(取代中立),而且標(biāo)注FACS編碼。SAMM數(shù)據(jù)集還有一個(gè)優(yōu)點(diǎn):被測(cè)試者年齡分布均勻,種族分布廣泛,涉及到13個(gè)種族。雖然SAMM數(shù)據(jù)集的使用價(jià)值很高,但是它仍不可避免的存在微表情數(shù)據(jù)集的通?。簶颖玖坎蛔愫蜆颖痉植疾痪?。樣本量不足導(dǎo)致學(xué)習(xí)的分類模型欠擬合,樣本分布不均導(dǎo)致數(shù)據(jù)量多的標(biāo)簽識(shí)別率明顯高于數(shù)據(jù)量少的標(biāo)簽。

        3微表情的識(shí)別方法

        3.1基于LBP-TOP(Local Binary Pattern FromThree Orthogonal Planes)的經(jīng)典方法[7]

        近年來,人臉微表情的識(shí)別已經(jīng)成為了學(xué)界的熱點(diǎn)問題之一,研究人員提出了很多方法解決微表情的識(shí)別問題,其中基于LBP-TOP(Local Binary PatternFrom Three Orthogonal Planes)的方法極具代表性,這種具有三個(gè)正交平面的局部二值模型是對(duì)傳統(tǒng)的LBP算法的時(shí)空擴(kuò)展。早期的人臉微表情識(shí)別方法是提取單幀人臉圖像的LBP特征去識(shí)別微表情,LBP-TOP算法創(chuàng)新性地提出了對(duì)連續(xù)人臉圖像視頻的微表情識(shí)別,試圖從運(yùn)動(dòng)的角度描述人臉微表情。

        在LBP-TOP算法中,引入時(shí)間軸T軸,從而得到水平時(shí)域平面XT和垂直時(shí)域平面YT,分別對(duì)XY平面(單幀人臉圖像)、XT平面和YT平面提取LBP特征,再拼接起來得到LBP-TOP特征。由于LBP-TOP特征記錄了微表情的動(dòng)態(tài)紋理,從而可以更好地捕捉微表情的變化,比傳統(tǒng)的LBP特征有更強(qiáng)的描述能力。

        3.2基于深度學(xué)習(xí)的最新方法

        最新的微表情識(shí)別方法是將深度學(xué)習(xí)技術(shù)應(yīng)用到微表情的識(shí)別任務(wù)中,主要有兩種方式:①傳統(tǒng)方法與深度學(xué)習(xí)相結(jié)合,提取人工特征,利用深度學(xué)習(xí)技術(shù)學(xué)習(xí)分類模型;②純深度學(xué)習(xí)的方法,學(xué)習(xí)深度特征,訓(xùn)練分類網(wǎng)絡(luò)。

        STSTNet(Shallow Triple Stream Three-dimensionalCNN) for Microexpression Recognition[3]是將傳統(tǒng)方法與深度學(xué)習(xí)結(jié)合的較優(yōu)秀的工作。該算法先用光流法對(duì)人臉視頻序列提取特征,然后用添加了時(shí)間維度的3DCNN訓(xùn)練特征學(xué)習(xí)分類器。人工特征提取與深度學(xué)習(xí)技術(shù)相結(jié)合在理論上可以取長補(bǔ)短,但是受到光流法的影響,STSTNet不能應(yīng)用于現(xiàn)實(shí)場景。光流法是計(jì)算相鄰幀之間物體運(yùn)動(dòng)信息的一種方法,該方法有兩個(gè)前提假設(shè):①相鄰幀之間對(duì)應(yīng)像素點(diǎn)的灰度值不變;②相鄰幀之間物體的運(yùn)動(dòng)微小。由于這兩個(gè)要求在真實(shí)場景下不能滿足,導(dǎo)致STSTNet模型的可靠性較差。

        由于采集高質(zhì)量的微表情數(shù)據(jù)集相當(dāng)困難,應(yīng)用深度學(xué)習(xí)技術(shù)識(shí)別人臉微表情時(shí),為了從一定程度上解決數(shù)據(jù)量不足的問題,通常將數(shù)據(jù)集CASMEII、SMIC和SAMM整合在一起。并且,為了提高人臉微表情識(shí)別率,通常將復(fù)雜的人臉微表情識(shí)別任務(wù)簡化為3分類任務(wù):正面、負(fù)面、驚喜或驚訝。論文Micrex-pression Action Unit Detection with Spatio-temporalAdaptive Pooling[9]是在基于深度學(xué)習(xí)的人臉微表情識(shí)別領(lǐng)域中極具開創(chuàng)性的工作,作者提出了通過檢測(cè)構(gòu)成微表情的AUs去識(shí)別人臉微表情的方法?;贏Us檢測(cè)的情緒識(shí)別在宏表情識(shí)別領(lǐng)域廣泛流行,但是在微表情識(shí)別領(lǐng)域面臨巨大挑戰(zhàn)。雖然使用AUs而不是情緒標(biāo)簽可以更加精準(zhǔn)地描述微表情,但是基于AUs的人臉微表情識(shí)別主要困難如下:①微表情中的AUs微小且持續(xù)時(shí)間短,導(dǎo)致區(qū)別度過低;②微表情數(shù)據(jù)集中的AUs類別不平衡,導(dǎo)致學(xué)習(xí)的分類模型存在無法回避的誤差。在文獻(xiàn)[9]中,作者通過在時(shí)域上的adaptive pooling在一定程度上解決了人臉微表情AUs區(qū)別度過低的問題。并且,作者通過使用Fo-cal Loss[10]試圖解決樣本分布不均的問題。

        Focal Loss是何凱明團(tuán)隊(duì)在2018年提出了一種新的損失函數(shù)。

        在二分類問題,正樣本xp的類別向量是(1,0),負(fù)樣本xn的類別向量是(1,0),網(wǎng)絡(luò)預(yù)測(cè)的分類結(jié)果是,(p,1-p)其中p是預(yù)測(cè)為正樣本的概率,1-p是預(yù)測(cè)為負(fù)樣本的概率。

        對(duì)于正樣本xp,其交叉熵Loss為:

        CE(xp)=一[1×log(p)+0×log(1-p)]=-log(p)(1)

        對(duì)于負(fù)樣本xn,其交叉熵Loss為:

        CE(xn)=-[0×log(p)+1×log(1-p)]=-log(1-p)(2)

        所以,有

        (3)其中y=l表示y是正樣本。

        為方便起見,定義

        (5)

        現(xiàn)在,對(duì)交叉熵Loss添加一個(gè)調(diào)節(jié)因子(1一pt)γ,其中γ≥0,得到Focal Loss:

        FL(pt)=-(1-pt)γlog(pt)

        (6)

        Focal Loss在交叉熵Loss的基礎(chǔ)上添加調(diào)節(jié)因子,是希望在Loss函數(shù)里,對(duì)分類清晰的樣本給一個(gè)小的權(quán)重,而對(duì)分類困難的樣本給一個(gè)大的權(quán)重,以使模型更加集中于困難的錯(cuò)誤分類的樣本。在文獻(xiàn)[9]中,作者通過使用Focal Loss自適應(yīng)地降低樣本數(shù)多的AU標(biāo)簽的權(quán)重,從而注重樣本數(shù)低的AU標(biāo)簽,從一定程度上解決了樣本分布不均的問題。

        4結(jié)束語

        在人臉微表情識(shí)別領(lǐng)域,傳統(tǒng)的方法已經(jīng)取得了良好的性能,但是需要復(fù)雜的實(shí)驗(yàn)設(shè)計(jì)和繁瑣的參數(shù)調(diào)整才能獲得理想的結(jié)果,所以這些傳統(tǒng)算法并不適用于脫離實(shí)驗(yàn)室場景下的微表情識(shí)別任務(wù)。近年來,人臉微表情識(shí)別領(lǐng)域中的一個(gè)研究熱點(diǎn)是應(yīng)用深度學(xué)習(xí)進(jìn)一步提高微表情識(shí)別的準(zhǔn)確性,并嘗試將微表情識(shí)別應(yīng)用于真實(shí)場景。但是,微表情數(shù)據(jù)集的樣本量不足和樣本分布不均對(duì)基于深度學(xué)習(xí)的人臉微表情識(shí)別算法提出了巨大挑戰(zhàn)。

        參考文獻(xiàn)(References):

        [1]Ekman P.Darwin. Deception and Fical Expression. Annalsof the New York Academy of Sciences, 2003.1000:205-221

        [2]Yan W J,Wu Q,Liang J,Chen Y H,F(xiàn)u X L.How fast arethe leaked facial expressions:the duration of microex-pressions. Journal of Nonverbal Behavior, 2013.37(4):217-230

        [3]Ekman P,F(xiàn)riesen W V.Facial Action Coding System. PaloAlto: Consulting Psychologists Press, 1977

        [4]Li X B,Pfister T,Huang X H,Zhao G Y,Pietikainen M.Aspontaneous micro-expression database: inducementcollection and baseline. In: Proceedings of the lOthIEEE International Conference and Workshops onAutomatic Face and Gesture Recognition. Shanghai,China: IEEE.2013:1-6

        [5]Yan W J,Li X B,Wang S J,Zhao G Y,Liu Y J,Chen Y H,F(xiàn)u X L.CASMEII: An improved spontaneous microex-pression database and the baseline evaluation. PLoSOne, 2014.9(1):e86041

        [6]Adrian K.Davison, Cliff Lansley, Nicholas Costen. KevinTan, MoinHoon Yap. SAMM:A spontaneous micro-facial movement dataset,IEEE Transactions on AffectiveComputing,2016.

        [7]Zhao G Y,Pietikainen M.Dynamic texture recognitionusing local binay patterns with an application to facialexpressions. IEEE Transactions on Pattern Analysisand Machine Intelligence,2007.29(6):915-928

        [8]Sze-Teng Liong,Y.S.Gan, John See, Huai-Qian Kher,Yen-Chang. Shallow Triple Stream Three-dimensionalCNN (STSTNet) for Micro-expression Recognition,arXiv: 1902.03634v2,2019.

        [9] Yante Li, Xiaohua Huang, Guoying Zhao. Micro-expressionAction Unit Detection with Spatio-temporal AdaptivePooling, arXiv: 1907.05023v1,2019.

        [10] Tsung-Yi Lin, Priya Goyal Ross Girshick, Kaiming He.Focal loss for dense object detection. arXiv:1708.02002v2,2018.

        收稿日期:2020-05-27

        作者簡介:程村(1977-),女,湖北安陸人,博士,講師,主要研究方向:圖像識(shí)別,高等數(shù)學(xué)教學(xué)研究。

        猜你喜歡
        分類深度模型
        一半模型
        分類算一算
        深度理解一元一次方程
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        分類討論求坐標(biāo)
        深度觀察
        深度觀察
        深度觀察
        數(shù)據(jù)分析中的分類討論
        国产精品日本一区二区三区| 欧洲亚洲综合| 国产露脸精品产三级国产av| 国产aⅴ无码专区亚洲av| 少妇久久久久久人妻无码| 中文字幕日本人妻久久久免费| 成人午夜视频精品一区| 色八区人妻在线视频免费| 国产suv精品一区二区| 欧美喷潮系列在线观看| 国产成人免费高清激情明星| 美女裸体无遮挡免费视频国产| 精品黑人一区二区三区| 亚洲一区二区三区最新视频| 精品国产三区在线观看| 一区二区三区日韩精品视频| 麻豆精品国产av在线网址| 国产无遮挡又黄又爽高潮| 国产办公室沙发系列高清| 日韩人妻精品无码一区二区三区| 国产一区二区三区4区| 男女性搞视频网站免费| 亚洲精品国产av成拍色拍| 一区二区三区在线视频观看| 国产精品美女久久久网av| 中文字幕人妻第一区| 红杏亚洲影院一区二区三区| 国产91吞精一区二区三区| 亚洲欧洲精品成人久久曰影片| 最新国产成人自拍视频| 日本a爱视频二区三区| 久久久久久人妻无码| 天天做天天爱天天综合网2021| 无码a∨高潮抽搐流白浆| 成人三级在线| 国产精品亚洲综合天堂夜夜| 丰满老熟女性生活视频| 最近免费中文字幕中文高清6| 亚洲欧美乱日韩乱国产| 亚州综合激情另类久久久| 午夜亚洲国产精品福利|