劉洋 吳佩 萬芷涵 石佳玉 朱立芳

摘要：[目的/意義] 分析國內(nèi)外微表情識別領域研究現(xiàn)狀與趨勢，為圖書館與情報領域用戶微表情信息表征的研究提供參考。[方法/過程]基于文獻計量的研究方法揭示近10年微表情識別領域的研究動態(tài)，分析微表情識別和信息表征的融合趨勢、技術(shù)基礎與困難挑戰(zhàn)。[結(jié)果/結(jié)論]微表情數(shù)據(jù)集、微表情識別技術(shù)是當前研究熱點；技術(shù)方法、安全倫理和數(shù)據(jù)庫數(shù)量是當今發(fā)展的主要挑戰(zhàn)；信息傳遞、信息反饋是圖書館和情報領域未來可發(fā)展的新興研究領域，元宇宙、隱私問題和技術(shù)驅(qū)動等領域是未來的微表情識別技術(shù)的應用趨勢。

關鍵詞：微表情識別? ? 信息表征? ? 信息傳遞? ?信息反饋? ? 文獻計量

分類號：C93

引用格式：劉洋， 吳佩， 萬芷涵， 等. 用戶微表情信息表征研究綜述[J/OL]. 知識管理論壇， 2023， 8（3）： 215-227[引用日期]. http：//www.kmf.ac.cn/p/346/.

表情是人類表達自身情感信息的一種重要的非言語性行為[1]，通過觀察表情可以感知對方在明顯或不明顯行為之下的內(nèi)在情感與心理活動。微表情既是人臉表情的重要組成部分，也是用戶潛在情緒類信息的重要展示途徑。

在具體情景下，微表情表現(xiàn)為持續(xù)時間短、表情中斷和對面部肌肉運動的抑制[2]，因此，其所表達的情緒信息難以用肉眼直接捕捉，且識別難度較大，準確率較低[3]，有較強的局限性。隨著計算機視覺、人工智能、情感計算等新興技術(shù)不斷發(fā)展，微表情的自動化識別取代人工識別已成為現(xiàn)實[4]。微表情自動識別是通過應用有效的刺激源，識別用戶在人機交互過程中表露出的微表情，抽取相關信息數(shù)據(jù)，進而了解用戶是如何被動表達其真實感受和想法的一種技術(shù)，被視為未來情感人機交互技術(shù)的重要研究方向[5]。

信息表征（information representation）是指信息在加工和記載過程中的表達方式[6]，當人們處理外部信息（如輸入、編碼、轉(zhuǎn)換、存儲和提取等）時， 信息則以表征的形式在頭腦中呈現(xiàn)[7]，在面部形成了表情。其中，細微、難以察覺的信息則需要通過用戶的微表情來識別、分析。微表情識別技術(shù)涉及信息科學、計算機視覺、生物學、心理學等研究領域，為信息表征相關的情報領域研究帶來新視角，注入了新的活力。微表情是人在外部環(huán)境刺激下不經(jīng)意間的情感表露，微表情識別旨在用計算機處理技術(shù)捕捉到這一過程中的信息表達，所以從過程上看，微表情是人在特定環(huán)境下反映在面部表情上的信息表征行為。筆者將心理學與計算機科學學科綜合下的微表情識別引入信息資源管理領域，探究學科融合視角下兩者的交叉與共鳴。

微表情識別和信息表征的相輔相成關系尚未得到充分研究，致使微表情識別技術(shù)的應用發(fā)展仍受到限制。筆者對人工智能等微表情識別技術(shù)進行追蹤，通過文獻計量的研究方法分析海內(nèi)外的研究現(xiàn)狀和發(fā)展動態(tài)，對微表情識別環(huán)節(jié)中所涉及的表征信息進行系統(tǒng)性總結(jié)和規(guī)范化表述，把握微表情識別中獲取信息、利用信息的方式，可以進一步完善現(xiàn)有的理論框架，進一步拓寬情報學、信息科學的研究范式。同時，深刻反思實現(xiàn)過程中的困難和挑戰(zhàn)，結(jié)合現(xiàn)狀提出優(yōu)化建議，以期促進相關機構(gòu)和部門科學規(guī)劃與統(tǒng)籌發(fā)展我國微表情識別領域研究及應用，強化微表情識別與人機交互的信息化建設，為信息資源管理等領域利用微表情識別技術(shù)提供多種應用場景 [8-9]。

1? 用戶微表情信息表征的研究現(xiàn)狀和發(fā)展趨勢

1.1? 用戶微表情信息表征的研究現(xiàn)狀

筆者選取 Web of Science 核心合集、知網(wǎng)、谷歌學術(shù)等作為研究文獻來源。文獻類型為“Article or Review paper or Proceedings paper or Early access”，時間跨度為2012—2021年，語種為“English”，主題詞根據(jù)“微表情識別”的概念和分類進行擴展，最終檢索式為 TS=（“micro expression recognition” or “subtle expression recognition” or “micro-expression recognition” or “involuntary facial expression” or “subtle facial recognition” or “microexpression recognition” or “l(fā)ying expression recognition” or “quick expression recognition” or “micro expression analysis” or “micro-expression analysis” or “micro expression detection” or “micro-expression detection”），檢索去重后共獲得260篇相關文獻，以此作為本研究的總樣本文獻。

根據(jù)對樣本文獻的分析，由研究論文年出版數(shù)量（見圖1）可知，近10年有關微表情識別的研究文獻數(shù)量持續(xù)增長，并于近幾年受到學者的持續(xù)關注；從作者發(fā)文量（見圖2）可知，國內(nèi)學者的相關研究占據(jù)重要地位，發(fā)文數(shù)量最多，但微表情識別領域整體發(fā)文數(shù)量相對平衡；從作者的合作網(wǎng)絡密度（見圖3）可知，兩個學者之間的總共引次數(shù)達到20及以上的超過50%，低于5的僅有10%，合作密度較大，存在長期的相互交流，主要以3—4人合作團隊為主，但各團隊之間不同學科的合作交流發(fā)展仍需進一步推動；從研究機構(gòu)發(fā)文量可知，上述樣本文獻隸屬于36個不同國家/地區(qū)的研究機構(gòu)，前15名的研究機構(gòu)中有13所來自中國、1所來自芬蘭、1所來自馬來西亞，其中，奧盧大學、中國科學院排名前2位，發(fā)文數(shù)量都占據(jù)總文獻的15%；從研究機構(gòu)的合作網(wǎng)絡密度（見圖4）可知，研究機構(gòu)之間的合作比較密切，微表情識別的發(fā)展迫切需要研究機構(gòu)之間的合作交流；從出版社發(fā)文量可知，樣本文獻來自于28個出版社，其中，發(fā)文數(shù)量前5位的分別是IEEE、Springer Nature、Elsevier、MDPI和Assoc Computing Machinery，它們構(gòu)成了微表情識別領域研究文獻的核心來源，且IEEE地位顯著（占樣本文獻的41.2%）。從研究方法可知，2012—2014年微表情識別領域以傳統(tǒng)統(tǒng)計方法為主，2015—2018年以機器學習方法為主，2018年至今以深度學習為主。

1.2? 用戶微表情信息表征的發(fā)展趨勢

1.2.1? 高頻關鍵詞分析

根據(jù)總樣本文獻中出現(xiàn)的高頻關鍵詞，并進一步提煉核心網(wǎng)絡得到高頻關鍵詞密度網(wǎng)絡（見圖5）。從“expression”“short duration”“computer vision”等關鍵詞可以看出，微表情識別與人機交互之間存在一定的關聯(lián)，而用戶的信息表征產(chǎn)生于人機交互過程之中，故微表情識別和信息表征之間可能存在一定的關聯(lián)。從“optical flow”“convolution neural network”“l(fā)op top”和“network”等關鍵詞可以看出，微表情識別技術(shù)的發(fā)展和創(chuàng)新備受關注，且標準系統(tǒng)化的信息表征產(chǎn)生于明確的微表情識別之中。技術(shù)的發(fā)展不斷提升微表情的識別精度，有利于微表情識別和信息表征的關聯(lián)融合?！皁nset””“apex frame”“micro expression database”和“feature extraction”等關鍵詞表明，以往學者比較關注微表情的識別機制，從數(shù)據(jù)集到微表情信息數(shù)據(jù)的處理，再到微表情特征識別、檢測等，而信息表征正好以不同形式出現(xiàn)在這一過程中，因此對微表情識別之后得到的信息數(shù)據(jù)進行處理、統(tǒng)一表示等可以進一步提高微表情的識別精度，顯著降低微表情識別的波動性，可以更好地提高其關聯(lián)信息表征的正確率。

1.2.2? 關鍵詞共現(xiàn)聚類分析

對關鍵詞進行聚類分析可以更好地把控微表情識別研究領域的熱點主題集群。借助工具 VOSviewer 對得到的樣本文獻進行聚類分析，得到的主題詞貢獻網(wǎng)絡見圖6。圖中節(jié)點越大，關鍵詞詞頻越大。由圖6中信息可知，微表情識別的研究熱度主要集中在面部表情、微表情、情緒的識別；光流法、LBP-TOP（local binary pattern histograms from three orthogonal planes）、CNN（convolutional neural network）等技術(shù)的實現(xiàn)和發(fā)展；遷移學習、域適應等新領域研究；特征提取、分類、情感等微表情數(shù)據(jù)的收集和分析。

2? 用戶微表情信息表征的技術(shù)發(fā)展

微表情識別技術(shù)的起步階段，依靠的是人工微表情識別方法[10]。但微表情持續(xù)時間短，出現(xiàn)頻率低，未經(jīng)訓練的個體識別能力不佳[11]，故人工方法在工作效率和精確程度上都難以滿足研究者對用戶信息表征的探究[12]。隨著技術(shù)的發(fā)展，研究者更傾向于利用計算機技術(shù)在人機交互的過程中實現(xiàn)微表情的自動識別，從而進一步提高識別、分析用戶信息表征的效率。微表情的自動識別技術(shù)在用戶信息表征研究領域的發(fā)展，可以從微表情數(shù)據(jù)集、現(xiàn)有的數(shù)據(jù)處理方式、基于傳統(tǒng)方法的識別技術(shù)和基于深度學習的識別技術(shù)4個角度展開分析。

2.1? 微表情數(shù)據(jù)集

微表情數(shù)據(jù)集為科學的、定量的微表情識別奠定了基礎。但微表情區(qū)別于普通的面部表情，具有持續(xù)時間短、動作強度低、在無意識狀態(tài)下產(chǎn)生等特點，較難提取。因此，如果要對用戶信息表征的分析和預測達到最好的效果，微表情數(shù)據(jù)集的采集和選取十分重要。對于現(xiàn)存的公開微表情數(shù)據(jù)集，其主要區(qū)別在于幀率、誘導方式和標注方式[13]。目前已知的微表情數(shù)據(jù)集有：芬蘭奧盧大學的SMIC（spontaneous microexpression corpus）[14]和SMIC 2數(shù)據(jù)集[15]，中國科學院的CASME（Chinese Academy of Science micro-expression）[16]、CASME Ⅱ[17]、CAS（ME）2[18]和CASME Ⅲ[19]數(shù)據(jù)集，英國曼徹斯特大學的SAMM（spontaneous micro-expression）數(shù)據(jù)集和SAMM long數(shù)據(jù)集[20]，中國山東大學聯(lián)合清華大學、復旦大學團隊的MMEW（micro-and-macro expression warehouse）數(shù)據(jù)集[21]，美國南佛羅里達大學的USF-HD數(shù)據(jù)集[22]和日本筑波大學的Polikovskys數(shù)據(jù)集[23]。其中，SMIC 2數(shù)據(jù)集包含3個子集HS、VIS和NIR。上述數(shù)據(jù)集實驗采集參數(shù)的總結(jié)和對比如表1所示：

2.2? 現(xiàn)有的數(shù)據(jù)處理方式

在提取人類微表情的特征之前，通常需要對微表情視頻片段進行數(shù)據(jù)預處理，以降低輸入復雜度，進一步提高后續(xù)有關用戶信息表征的工作效率。常見的數(shù)據(jù)處理方式有數(shù)據(jù)元處理、數(shù)據(jù)統(tǒng)一表示等。

（1）數(shù)據(jù)元處理。人臉檢測是微表情自動識別的第一步，過濾視頻中出現(xiàn)人臉的干擾幀，提取出有用的人臉視頻幀[24-25]，即數(shù)據(jù)元。接下來便對識別出的數(shù)據(jù)元進行處理，包括裁剪人臉、人臉矯正。裁剪人臉[26]以特定的位置來控制和放大人臉的特征點；人臉矯正負責標準化所提取到的人臉數(shù)據(jù)，解決角度不同、尺度不一致等問題，從而提高實際任務中的識別率。

（2）數(shù)據(jù)統(tǒng)一表示。用戶的微表情所折射出的信息依賴計算機對識別結(jié)果的處理。但目前現(xiàn)存的微表情數(shù)據(jù)樣本少，且微表情評判標準制定困難，難以滿足算法檢測學習的需求，因此現(xiàn)階段的研究更趨向于使用數(shù)據(jù)統(tǒng)一表示以提高模型檢測、判斷的效率和容錯率。常見的數(shù)據(jù)統(tǒng)一表示方式有裁剪、縮放、旋轉(zhuǎn)和翻轉(zhuǎn)等。采取不同的算法對數(shù)據(jù)進行處理，可以獲取更為精準的標準化數(shù)據(jù)，進而有利于特征因子的提取，達到提高檢測效率的目的[27]。

微表情識別研究是從提取到的實驗者的面部微表情中分析出可能相對應的信息行為，作為研究資料在后續(xù)的數(shù)據(jù)分析工作中使用。如果選取的處理方法不當，就很可能觸犯實驗者的個人隱私[28]。一旦研究的數(shù)據(jù)庫對外公開，由于信息主體隱私保護意識薄弱、信息獲取要求配合度低以及相關立法滯后、由知情同意信息缺乏以及信息自主失效引發(fā)的隱私倫理問題不僅會侵犯實驗者的隱私與倫理[29]，更會造成其對實驗缺乏信任。因此，微表情的數(shù)據(jù)處理方式需要兼顧效率與安全，以達到促進信息表征研究的可持續(xù)發(fā)展目的[30]。

2.3? 基于傳統(tǒng)方法的識別技術(shù)

微表情識別的早期工作，大多是基于傳統(tǒng)機器學習的方法，研究人員一般通過設計特征提取算子，提取微表情片段中的相應特征，并對特征進行分類識別[31]。基于傳統(tǒng)方法的微表情識別可以分為基于紋理特征的方法和基于幾何變換特征的方法，具體如表2所示：

2.4? 基于深度學習的識別技術(shù)

采用傳統(tǒng)的機器學習方法對高相似性和密集性的微表情圖片進行特征識別，存在訓練難度大、準確性較低、數(shù)據(jù)集數(shù)量較小、容易導致過擬合等問題，無法滿足日益精確的效率需求。2018年，研究者將深度學習（deep learning， DL）引入微表情識別[39]，深度學習作為機器學習的一個新研究方向，在語音和圖像識別等方面都已經(jīng)取得了卓越進展[40]，可以有效解決微表情識別在種類、數(shù)量、速度上存在的問題，且處理方式更加簡潔，還能更精準地識別特征信息，進一步提升微表情信息表征能力，現(xiàn)已超越傳統(tǒng)方法成為主流?；谏疃葘W習方法的微表情識別可以分為基于關聯(lián)學習的方法、基于區(qū)域?qū)W習的方法和基于遷移學習的方法，如表3所示：

3? 微表情識別與信息表征研究面臨的挑戰(zhàn)

從已取得的成就來看，微表情識別技術(shù)發(fā)展趨于成熟，基于深度學習的微表情識別方法已超越傳統(tǒng)的機器學習方法，可以更精準地預測和分析用戶試圖掩飾或隱藏的真實情緒和內(nèi)在表征信息，成為技術(shù)創(chuàng)新的中心課題[47]。信息表征的分析和預測已取得較好的成效[48]，面部表情的識別更加精準，數(shù)據(jù)元的處理方式更加多樣化，并且已在高效課堂教學[49]、社會治理[50-51]領域得到較好的實際運用，但同時也不可避免地會存在一些困難與挑戰(zhàn)。

3.1? 技術(shù)方法優(yōu)化

微表情具有明顯不同于宏觀表情的特征，如持續(xù)時間短、變化微弱等，這也大大增加了微表情識別的難度[52]。同時，通過識別微表情分析出的信息表征，其數(shù)據(jù)并非客觀直接的無損原版。由于感情的細微性，其表現(xiàn)出的信息往往存在欺騙性，也顯得更加模糊[53]。更具鑒別性的特征能夠更準確地描述人臉表情，由于受到環(huán)境和情感表情的復雜挑戰(zhàn)，大多數(shù)表情識別系統(tǒng)與技術(shù)難以捕捉微表情特征，無法達到很高的識別率[54]。目前技術(shù)更新迭代速度較快，實時集成表情識別技術(shù)（real-time emotion facial expression recognition， REFER）、人臉表情識別網(wǎng)絡（facial-expression recognition network， FERNet）[55]和卷積神經(jīng)網(wǎng)絡（CNN）理論模型[56]等技術(shù)不斷涌現(xiàn)。在過去發(fā)展的基礎上促進了微表情識別準確性及信息表征分析的關聯(lián)性，但仍存在模型波動較大、信息傳遞失真等技術(shù)問題，需要進一步研究。

3.2? 人種存在差異及數(shù)據(jù)量問題

微表情識別與信息表征之間聯(lián)系的建立需要大量的數(shù)據(jù)支撐，而較大規(guī)模地采集面部表情的難度較大，大規(guī)模面部微表情數(shù)據(jù)庫的共建、共享發(fā)展不足[57]。在非受控環(huán)境下采集的網(wǎng)絡數(shù)據(jù)，如FERPlus和RAF-DB等數(shù)據(jù)庫，經(jīng)過多人眾包標注可靠性有所增加，但是標注數(shù)量也僅在3萬左右[58]。另一方面，由于遺傳、地域、文化的不同，不同人種、不同民族在表達情感時面部表情具有一定差異性。例如，僅從蒙古族、維吾爾族、壯族、藏族人臉表情圖像的研究來看，面部主要特征部件的變動數(shù)據(jù)因不同民族而存在顯著差異[59]。而針對特定人群研發(fā)特定微表情數(shù)據(jù)庫的工作耗時費力，應用面又較為狹小，不適合作為長時期的發(fā)展方向。這就需要以共建共享為指導思想進行新技術(shù)開發(fā)[60]，解決微表情識別與信息表征研究的發(fā)展困境。

4? 用戶微表情信息表征未來研究方向

筆者在文獻調(diào)研過程中全面分析了微表情識別及信息表征相關研究，結(jié)合調(diào)研內(nèi)容，得出以下幾個未來發(fā)展和潛在研究方向。

4.1? ?從信息表征到信息傳遞

微表情往往在人撒謊時出現(xiàn)，表達了人試圖壓抑與隱藏的真正情感[61]，換言之，撒謊等信息行為其實是微表情的主要來源，微表情的自覺或不自覺的目的就是“掩蓋”某種信息行為。兩者有著密不可分的相互聯(lián)系，這種聯(lián)系一定程度上體現(xiàn)在微表情與信息行為的傳遞過程，宏表情識別測驗、短暫表情識別測驗（brief affect recognition test， BART）、微表情識別測驗（Japanese and Caucasian brief affect recognition test， JACBART）這3種針對抑郁癥患者展開的測驗即能體現(xiàn)出兩者的現(xiàn)實應用性。

微表情通過神經(jīng)生理條件傳遞信息行為。當某種情緒被觸發(fā)，皮層下大腦會發(fā)送一種無意識的反射式的信號給面部神經(jīng)，當這種信號足夠強大時，真實表情將會泄露很短的時間，然后自主控制恢復，這就形成了微表情[62]。用戶微表情信息表征的傳遞持續(xù)不斷地進行，在此期間又傳遞出更多的信息[63]，產(chǎn)生新的信息行為，并循環(huán)往復地映射到新一輪的微表情之中。這種信息傳遞的循環(huán)符合信息的無限性，同時也證明了信息行為與微表情之間強大的傳遞關系。

4.2? 從信息傳遞到信息反饋

從用戶行為的本質(zhì)出發(fā)，無論是從直觀或是從技術(shù)的角度，都是通過分析某種反饋進行識別。起初，實驗者利用CASME自發(fā)式微表情數(shù)據(jù)集技術(shù)，帶著“他是否在撒謊？”的疑問，觀看時錄制人臉視頻。當他們發(fā)現(xiàn)某些關鍵幀的微表情變換并做出判斷時，其實就是得到了信息表征傳達的反饋[64]。挑眉可能代表訝異，微笑可能代表喜悅，這是人們從直觀上很容易得到有關信息行為的反饋結(jié)果[65]，然而這種輕微的區(qū)別是存在閾值的，信息行為的回饋會因閾值上呈現(xiàn)或閾值下呈現(xiàn)產(chǎn)生明顯的區(qū)別[66]。

基于“微表情”的安檢模式，從安檢工作的實際出發(fā)，通過對面部微表情的捕捉和分析，并進行適時反饋，對于識別和研判可疑人員、風險預警、處置決策等方面具有重要的實用意義[67]。“微表情”識別的安檢模式以微表情理論研究為基礎， 并與心理學及大數(shù)據(jù)、人工智能、信息通信相結(jié)合。安檢人員對受檢人員適時引導刺激， 及時觀察、分析其“微表情”的變化；同時，智能系統(tǒng)模塊將視頻中截取的人臉圖像進行黑名單數(shù)據(jù)檢索和“微表情”識別， 實現(xiàn)對可疑人員的甄別與預警。美國交通運輸安全部已經(jīng)把基于微表情分析的行為觀測技術(shù)應用到機場的安檢[68]。而微表情識別技術(shù)一旦應用到教育、醫(yī)療、社會治理等諸多領域，微表情采集中以幀為單位收集的圖像視頻信息及各類微表情數(shù)據(jù)集都有被傳播和泄露的潛在風險[69]，參與者的個人隱私將可能受到侵犯[70]。因此，如何在保障數(shù)據(jù)安全的同時，在個人隱私保護和面部信息的搜集、存儲、運用、傳遞之間達到平衡，是未來需要探究的方向之一。

5? 結(jié)語

用戶產(chǎn)生微表情的過程也是信息表征的過程。在前期分析和文獻計量的基礎上，筆者從現(xiàn)狀、趨勢、技術(shù)和挑戰(zhàn)四大方面對微表情識別中的信息表征研究進行了系統(tǒng)分析，有利于把握微表情識別中的信息規(guī)律，對微表情識別中的信息管理和人機交互建設具有重要的理論意義和實踐意義。與此同時，該研究領域不可避免地存在技術(shù)開發(fā)、信息保護和人種差異等一系列問題，對微表情識別領域下的信息行為研究提出了新的挑戰(zhàn)，值得研究者持續(xù)深耕。在圖書館與情報領域，微表情識別過程中的信息傳遞、信息反饋是未來可發(fā)展的新興研究領域，微表情識別領域的應用趨勢可以在元宇宙、隱私問題和技術(shù)驅(qū)動等領域持續(xù)發(fā)展。

參考文獻：

吳奇， 申尋兵， 傅小蘭.微表情研究及其應用[J]. 心理科學進展， 2010， 18（9）： 1359-1368.

Ekman P， Friesen W V. Detecting deception from the body or face[J]. Journal of personality and social psychology， 1974， 29（3）： 288-298.

HOUSE C， MEYER R. Preprocessing and descriptor features for facial micro-expression recognition [EB/OL]. [2022-07-30]. https：//web.stanford.edu/classlee368/Project_Spring_1415/Reports/House_Meyer.pdf.

陳子健， 朱曉亮.基于面部表情的學習者情緒自動識別研究——適切性、現(xiàn)狀、現(xiàn)存問題和提升路徑[J]. 遠程教育雜志， 2019， 37（4）： 64-72.

Zeng Z h， Pantic M， Roisman G I， et al. A survey of affect recognition methods： audio， visual， and spontaneous expression[J]. IEEE trans on pattern analysis and machine intelligence， 2009， 31（1）： 39-58.

ZHANG J， DONALD A N. Representations in distributed cognitive tasks[J]. Cognitive science， 1994， 18（1）： 87-122.

陽長征.危機事件中網(wǎng)絡信息表征對用戶持續(xù)分享意愿影響研究[J]. 圖書情報工作， 2019， 63（21）： 105-116.

石程旭.監(jiān)獄民警應用微表情分析的思考[J]. 法制博覽， 2022（5）： 27-29.

崔小洛.基于微表情追蹤的課堂教學效果即時反饋系統(tǒng)設計[J]. 無線互聯(lián)科技， 2022， 19（4）： 52-54.

李婧婷， 東子朝， 劉燁， 等.基于人類注意機制的微表情檢測方法[J]. 心理科學進展， 2022， 30（10）： 2143-2153.

Frank M G， Herbasz M， Sinuk K， et al. I see how you feel： training laypeople and professionals to recognize fleeting emotion[C]// The annual meeting of the International Communication Association. New York： International Communication Association， 2009： 1-35.

Pfister T， Li X， Zhao G， et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway： IEEE， 2011： 1449-1456.

徐峰， 張軍平.人臉微表情識別綜述[J]. 自動化學報， 2017， 43（3）： 333-348.

Pfister T， Li X B， Zhao G Y， et al. Recognising spontaneous facial micro-expressions[C]//Proceedings of the 2011 IEEE international conference on computer vision. Piscataway： IEEE， 2011：1449-1456.

Li X B， Pfister T， Huang X H， et al. Aspontaneous micro-expression database： inducement， collection and baseline[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway： IEEE， 2013：1-6.

Yan w J， Wu Q， Liu Y J， et al. CASME database： a dataset of spontaneous micro-expressions collected from neutralized faces[C]//Proceedings of the 10th IEEE international conference and workshops on automatic face and gesture recognition. Piscataway： IEEE， 2013：1-7.

Yan W J， Li X， Wang S J， et al. CASME II： an improved spontaneous micro-expression database and the baseline evaluation[J]. Plos one， 2014， 9（1）： e86041.

Qu F， Wang S J， Yan W J， et al. CAS （ME）^2： a database for spontaneous macro-expression and micro-expression spotting and recognition[J]. IEEE transactions on affective computing， 2017， 9（4）： 424-436.

Li J， Dong Z， Lu S， et al. CAS （ME）3： a third generation facial spontaneous micro-expression database with depth information and high ecological validity[J]. IEEE transactions on pattern analysis and machine intelligence， 2022， 45（3）： 2782-2800.

Yap C H， Kendrick C， Yap M H. SAMM long videos： a spontaneous facial micro-and macro-expressions dataset[C]//2020 15th IEEE international conference on automatic face and gesture recognition. Piscataway： IEEE， 2020： 771-776.

Ben X， Ren Y， Zhang J， et al. Video-based facial micro-expression analysis： a survey of datasets， features and algorithms[J]. IEEE transactions on pattern analysis and machine intelligence， 2021， 44（9）： 5826-5846.

Pfister T， Li X， Zhao G， et al. Recognising spontaneous facial micro-expressions[C]//2011 international conference on computer vision. Piscataway： IEEE， 2011： 1449-1456.

Polikovsky S， Kameda Y， Ohta Y. Facial micro-expression detection in hi-speed video based on facial action coding system （FACS）[J]. IEICE transactions on information and systems， 2013， 96（1）： 81-92.

Rowley H A， Baluja S， Kanade T. Neural network-based face detection[J] IEEE transactions on pattern analysis and machine intelligence， 1998， 20（1）： 23-38.

Schapire E， Singer Y. Improved boosting algorithms using confidence-rated predictions[J]. Machine learning， 1999， 37（3）： 297-336.

COOTES T F， TAYLOR C J， EDWARDS G J. Active appearance models[C]//European conference on computer vision. Berlin： Springer， 1998：484-498.

Wadhwa N， Rubinstein M， Durand F， et al. Phase-based video motion processing[J]. ACM transactions on graphics， 2013， 32（4）： 1-10.

姚海燕， 李健， 鄧小昭.網(wǎng)絡用戶信息行為研究中的隱私問題探討[J]. 情報探索， 2010（7）： 14-16.

周霞， 王萍， 王美月， 等.政府開放數(shù)據(jù)用戶認知影響因素研究——先驗圖式調(diào)節(jié)效應[J]. 情報科學， 2022， 40（9）： 159-166.

蔣福明， 曾慧平.人臉識別技術(shù)應用中的隱私倫理問題及其消解路徑[J]. 山西高等學校社會科學學報， 2020， 32（9）： 19-24.

李思寧. 基于深度學習的面部微表情識別方法研究[D]. 徐州： 中國礦業(yè)大學， 2020.

Ojala T， Pietikainen M， Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE transactions on pattern analysis machine intelligence， 2002， 24（7）： 971-987.

Zhao G， Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions[J]. IEEE transactions on pattern analysis and machine intelligence， 2007， 29（6）： 915-928.

Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]//IEEE computer society conference on computer vision & pattern recognition. Piscataway： IEEE， 2005： 886-893.

Lucas B D， Kanade T. An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th international joint conference on artificial intelligence. San Francisco： Morgan Kaufmann Publishers， 1997， 2： 674-679.

Chaudhry R， Ravichandran A， Hager G， et al. Histograms of oriented optical flow and binet-cauchy kernels on nonlinear dynamical systems for the recognition of human actions[C]//Proceedings of 2009 IEEE conference on computer vision and pattern recognition. Miami： IEEE， 2009： 1932-1939.

Liu Y J， Zhang J K， Yan W J， et al. A main directional mean optical flow feature for spontaneous micro-expression recognition[J]. IEEE transactions on affective computing， 2015， 7（4）： 299-310.

Lu Z， Luo Z， Zheng H， et al. A delaunay-based temporal coding model for micro-expression recognition [C]//Asian conference on computer vision. Singapore： Springer， 2014： 698-711.

Takalkar M A， Xu M. Image based facial micro-expression recognition using deep learning on small datasets[C]//2017 international conference on digital image computing： techniques and applications. Piscataway： IEEE， 2017： 1-7.

錢付蘭， 李建紅， 趙姝， 等.基于深度混合模型評分推薦[J]. 南京航空航天大學學報， 2019， 51（5）： 592-598.

劉德志， 梁正友， 孫宇. 結(jié)合空間注意力機制與光流特征的微表情識別方法 [J]. 計算機輔助設計與圖形學學報， 2021， 33（10）： 1541-1552.

Khor H Q， See J， Phan R， et al. Enriched long-term recurrent convolutional network for facial micro-expression recognition [C]// IEEE international conference on automatic face & gesture recognition. Piscataway： IEEE， 2018： 667-674.

YAO L， XIAO X， CAO R， et al. Three stream 3D CNN with SE block for micro-expression recognition[C]//2020 International conference on computer engineering and application. Piscataway： IEEE， 2020：439-443

李星燃， 張立言， 姚樹婧.結(jié)合特征融合和注意力機制的微表情識別方法[J]. 計算機科學， 2022， 49（2）： 4-11.

LIU Y Y， DAI W， FANG F， et al. Dynamic multi- channel metric network for joint pose-aware and identity-invariant facial expression recognition[J]. Information sciences， 2021（578）： 195-213.

孔慧芳， 錢世超， 閆嘉鵬.基于不均衡數(shù)據(jù)與遷移學習的面部微表情識別[J]. 合肥工業(yè)大學學報（自然科學版）， 2020， 43（7）： 895-900.

劉洋， 馬莉莉， 張雯， 等.基于跨模態(tài)深度學習的旅游評論反諷識別[J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn)， 2022， 6（12）： 23-31.

陽長征.危機事件中網(wǎng)絡信息表征對用戶持續(xù)分享意愿影響研究[J]. 圖書情報工作， 2019， 63（21）： 105-116.

韓麗， 李洋， 周子佳， 等.課堂環(huán)境中基于面部表情的教學效果分析[J]. 現(xiàn)代遠程教育研究， 2017（4）： 97-103， 112.

夏乾馨， 付強.應用微表情識別技術(shù)實現(xiàn)公安預警模式的探討[J]. 中國防偽報道， 2021（2）： 82-85.

康桐瑞.論微表情分析在我國偵查訊問中的應用[J]. 上海公安學院學報， 2019， 29（4）： 28-33.

Kang J， CHEN X Y， LIU Q Y， et al. Research on a micro-expression recognition technology based on multimodal fusion[J/OL]. Complexity， 2021[2023-03-02]. https：//www.hindawi.com/journals/complexity/2021/5221950/.

Buhari A M， Ooi C P， Baskaran V M， et al. Invisible emotion magnification algorithm （IEMA） for real-time micro-expression recognition with graph-based features[J]. Multimedia tools and applications， 2022， 81（7）： 9151-9176.

Liu J， Wang H， Feng Y. An end-to-end deep model with discriminative facial features for facial expression recognition[J]. IEEE access， 2021， 9： 12158-12166.

El Zarif N， Montazeri L， Leduc-Primeau F， et al. Mobile-optimized facial expression recognition techniques[J]. IEEE access， 2021， 9： 101172-101185.

Zhang G， Lv G， Binsawad M， et al. Dynamic nonlinear expression recognition technology using neural network and attention mechanism[J]. Fractals， 2022， 30（2）： 2240097.

陳子健， 朱曉亮.基于面部表情的學習者情緒自動識別研究——適切性、現(xiàn)狀、現(xiàn)存問題和提升路徑[J]. 遠程教育雜志， 2019， 37（4）： 64-72.

彭小江， 喬宇.面部表情分析進展和挑戰(zhàn)[J]. 中國圖象圖形學報， 2020， 25（11）： 2337-2348.

馬艷準. 多民族面部表情理解分析技術(shù)研究[D]. 沈陽： 東北大學， 2012.

張旭東， 劉洋.組態(tài)視角下元宇宙圖書館用戶接受意愿影響因素研究[J]. 圖書館理論與實踐， 2023（3）： 73-85.

于明， 鐘元想， 王巖.人臉微表情分析方法綜述[J]. 計算機工程， 2023， 49（2）： 1-14.

殷明， 張劍心， 史愛芹， 等.微表情的特征、識別、訓練和影響因素[J]. 心理科學進展， 2016， 24（11）： 1723-1736.

樊振佳， 宋正剛， 劉鴻彬， 等.貧困地區(qū)返鄉(xiāng)創(chuàng)業(yè)人員信息獲取不平等表征及其根源分析[J]. 情報科學， 2019， 37（10）： 81-86， 113.

劉汝涵， 徐丹.視頻放大和深度學習在微表情識別任務上的應用[J]. 計算機輔助設計與圖形學學報， 2019， 31（9）： 1535-1541.

姜婷婷， 吳茜， 徐亞蘋， 等.眼動追蹤技術(shù)在國外信息行為研究中的應用[J]. 情報學報， 2020， 39（2）： 217-230.

吳冉， 任衍具.微表情的啟動效應研究[J]. 應用心理學， 2011， 17（3）： 241-248.

劉緣， 庾永波.在安檢中加強“微表情”識別的思考——基于入藏公路安檢的考察[J]. 四川警察學院學報， 2019， 31（1）： 61-68.

Shen X， Wu Q， Fu X. Effects of the duration of expressions on the recognition of micro expressions[J]. Journal of Zhejiang University science B， 2012， 13（3）： 221-230.

劉洋， 馬莉莉， 張雯， 等.基于跨模態(tài)深度學習的旅游評論反諷識別[J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn)， 2022， 6（12）： 23-31.

譚春輝， 陳曉琪， 梁遠亮， 等.隱私泄露事件中社交媒體圍觀者情感分析[J]. 情報科學， 2023， 41（3）： 8-18.

作者貢獻說明：

劉? 洋：進行研究設計，開展實驗，撰寫論文；

吳? 佩：開展實驗，撰寫論文；

萬芷涵：開展實驗，撰寫論文；

石佳玉：開展實驗，撰寫論文；

朱立芳：進行研究設計，修改論文。

A Review of Information Representation of Users Micro-Expressions

Liu Yang1? Wu Pei1? Wan Zhihan1? Shi Jiayu1? Zhu Lifang2

1School of Information Management， Wuhan University， Wuhan 430072

2School of Humanities and Communication， Guangdong University of Finance and Economics， Guangzhou 510320

Abstract： [Purpose/Significance] To analyze the current status and trends of research in the field of micro-expression recognition at home and abroad， and to provide a reference for the research on micro-expression information representation of users in the field of library and intelligence. [Method/Process] The bibliometric-based research method revealed the research dynamics in the field of micro-expression recognition in the last decade， and analyzed the convergence trends， technical basis and difficult challenges of micro-expression recognition and information representation. [Result/Conclusion] Micro-expression datasets and micro-expression recognition technologies are current research hotspots; technical approaches， security ethics and database volume are major challenges for todays development; information transmission and information feedback are emerging research areas that can be developed in libraries and intelligence in the future， and areas such as meta-universe， privacy issues and technology-driven are future trends in the application of micro-expression recognition technologies.

Keywords： micro-expression recognition? ? information representation? ? information transmission? ? information feedback? ? bibliometrics