張明嘉，黃丁韞，趙 凱，楊超宇，蔣玉茹

（北京信息科技大學計算機學院，北京 100000）

0 引言

隨著信息技術快速、爆發(fā)式的增長，人工智能成為當今研究越來越熱門的話題。在各個領域，人工智能逐漸成為重要的研究方法。我國十四五計劃提出要建設具有國際前瞻性的人工智能應用方法，人工智能迎來新的發(fā)展機遇［1］，其中情感識別是一個重要的熱點問題。

目前已經存在的多款情感識別軟件，普遍是進行單模態(tài)的情感識別，即能夠根據(jù)一個模態(tài)（語音、文字或圖片）的信息來進行情感的識別。其優(yōu)勢就是在單一的模態(tài)下，能夠精準地識別圖片、音頻或者文本中的情感。例如：百度的對話情緒識別系統(tǒng)能夠自動檢測用戶日常對話文本中蘊含的情感特征，能夠幫助企業(yè)更全面地把握產品體驗、監(jiān)控客戶服務質量。而Affectiva 公司的Automotive AI解決方案能夠通過視頻（圖片）實時監(jiān)控駕駛員的情感狀態(tài)，當其出現(xiàn)焦慮、嗜睡或易怒等狀態(tài)時，令自動駕駛功能接管汽車操控權。這些案例是單模態(tài)的情感識別模型根據(jù)圖片、音頻或者文本的單模態(tài)信息識別出人物的情感，但如果能同時捕獲多種模態(tài)信息，訓練多模態(tài)情感識別模型，則能更好地預測人物的情感。因此，為了能夠滿足多模態(tài)場景下的情感識別需求，開發(fā)基于多模態(tài)情感識別模型的情感識別軟件勢在必行。

1 多模態(tài)情感識別模型的設計和訓練

首先利用中文情景喜劇《天真派武林外傳》構建一個中文多模態(tài)情感語料庫。根據(jù)美國心理學家Ekman［2］在1982 年提出的六大基本情緒：生氣、快樂、驚訝、厭惡、傷心和害怕，在構建語料庫時將情緒設置七個類別，分別為生氣（anger）、快樂（joy）、厭惡（disgust）、驚訝（surprise）、傷心（sadness）、害怕（fear）和中立（neutral）。人工從《天真派武林外傳》的每一集中按照一定的規(guī)則合理地對視頻進行切分，同時多位標注人員采用人工標注方式對切分后的視頻片段進行情緒類別標注。

多模態(tài)信息的提取工作，首先從視頻片段中提取圖片信息：使用Python中cv2模塊的Video-Capture 類構建程序，逐幀截取圖片。利用cv2模塊的人臉分類器識別每一張圖片中的人臉，并將識別結果保存成圖片。然后從視頻片段中提取音頻信息：使用OpenSmile 自動化工具從視頻片段中提取音頻。最后在Python 中調用百度語音識別接口將音頻轉換成文本。

接下來對圖片、音頻和文本分別進行情感特征提取。采用預訓練語言模型BERT進行文本特征提取，并使用全連接的方式對文本特征進行降維，獲得300維的文本情感特征向量；使用Opensmile自動化工具進行語音特征提取得到384維的話語級語音情感特征，并使用全連接的方式對音頻特征進行降維，獲得300維的音頻情感特征向量；使用FaceCNN 結合BiLSTM 的方式進行圖片特征提取，并使用全連接的方式對圖片特征進行降維，獲得300維的圖片情感特征向量。將DialogueRNN［3］模型作為多模態(tài)情感識別模型，訓練時將先前得到的文本情感特征向量、音頻情感特征向量和圖片情感特征向量進行拼接得到當前話語的情感特征向量，作為DialogueRNN模型的輸入，對DialogueRNN模型進行訓練，最終得到一個效果較為良好的多模態(tài)情感識別模型。

2 功能設計

該應用的客戶端支持用戶實時拍攝視頻進行上傳；該應用的服務端可以對用戶上傳的視頻分別進行圖片特征抽取、音頻特征抽取和文本特征抽取，并將得到的圖片特征、音頻特征和文本特征輸入至多模態(tài)情感識別模型，識別得到用戶上傳的視頻中人物的情感信息，并將該情感信息返回至客戶端。系統(tǒng)時序圖如圖1所示。

圖1 系統(tǒng)時序圖

3 平臺架構

該應用分為客戶端和服務端兩部分，客戶端負責用戶上傳視頻至服務端和接收服務端返回的視頻中人物的情感信息；服務端負責接收用戶上傳的視頻，并使用多模態(tài)情感識別模型識別視頻中人物的情感，并將該情感信息傳回客戶端。

3.1 客戶端

使用Android 實現(xiàn)客戶端的功能。該應用在Layout 布局文件中使用Button 控件、ProgressBar控件和TextView 控件，點擊Button 按鈕實現(xiàn)拍攝視頻并將視頻上傳至服務器，ProgressBar 用于顯示視頻上傳至服務器的進度，TextView 控件用以顯示服務器返回的情感信息。分別創(chuàng)建對應實現(xiàn)拍攝視頻并上傳至服務器的Button 對象、顯示視頻上傳進度的ProgressBar 對象和顯示服務器返回的情感信息的TextView 對象，為Button對象的點擊事件注冊一個監(jiān)聽器，當用戶點擊按鈕時，使用intent 機制實現(xiàn)視頻錄制的功能，如果成功調用手機的攝像機拍攝視頻，并且在拍攝視頻的過程中沒有取消拍攝，該視頻將會保存至手機的指定路徑中。調用getContent-Resolver（）.query（）方法獲取視頻保存路徑。定義isConnectingToInterne（t）方法檢查該應用是否有網絡連接，定義checkURL（）方法檢查指定的服務端URL 地址是否有效。在MainActivity 類中定義uploadFile（）方法，將拍攝的視頻上傳至指定的URL 地址對應的服務端中，并獲取服務端返回的視頻中人物的情感信息。

在該方法中，首先指定服務端的URL地址，以該URL 地址獲取HttpURLConnection 類的實例對象，調用該實例對象的setDoInpu（t）方法將該doInput 字段的值設置true，調用該實例對象的setDoOutput（）方法將doOutput 字段的值設置為true，調用該實例對象的setRequestMethod（）方法設置向服務器發(fā)送POST 請求，通過該實例對象的getOutputStream（）方法向服務端發(fā)送視頻數(shù)據(jù)，并通過該實例對象的getInputStream（）方法接收服務器返回的情感信息。在MainActivity 類中創(chuàng)建一個線程類，并重寫run（）方法，調用is-ConnectingToInterne（t）方法檢查該應用當前是否已經連網，調用checkURL（）方法檢查指定的服務端URL 地址是否有效。如果該應用當前已經連網并且指定的服務端URL 地址有效，調用uploadFile（）方法將拍攝的視頻上傳至服務器并得到服務器返回的視頻中人物的情感信息，并調用Handler類的sendMessage（）方法將情感信息發(fā)送給主線程。在MainActivity 類中聲明Handler類的實例對象，并重寫Handler 實例對象的handleMessage（）方法，在該方法中調用TextView 對象的setText（）方法將該情感信息展示給用戶。完成上述操作，即可實現(xiàn)該應用客戶端的功能。

3.2 服務器端

使用Python實現(xiàn)服務端的功能。使用Python中的Flask 框架［4］搭建Web 應用，并且將該Web應用部署到服務器上：注冊一個視圖函數(shù)，該函數(shù)用來處理客戶端的請求；使用app.route（）裝飾器為視圖函數(shù)綁定URL，當用戶上傳視頻至這個URL 時，就會觸發(fā)這個函數(shù)，獲取返回值。具體做法：首先接收用戶上傳的視頻，然后使用cv2 模塊中的VideoWriter 類保存用戶上傳的視頻至指定的視頻文件夾中，并分別抽取視頻中對應的圖片、音頻和文本內容。抽取視頻中對應圖片的方法：對保存在指定路徑下的視頻使用cv2 模塊的VideoCapture 類逐幀截取圖片，并使用cv2 模塊中的imwrite（）方法將獲得的圖片保存至指定的圖片文件夾中。將人臉識別模型的xml 文件“haarcascade_frontalface_default.xml”作為cv2 模塊中的級聯(lián)分類器CascadeClassifier類的參數(shù)，使用該方法對圖片文件夾中圖片上的人臉進行識別并保存識別得到的人臉圖片。抽取視頻中對應音頻的方法：指定音頻的保存路徑path，使用cv2 模塊的VideoFileClip 類從視頻文件中加載視頻，并使用AudioFileClip 類的write_audiofile（）方法將從視頻中提取的音頻保存至指定的音頻文件中。同時使用opensmile 模塊中Smile 類的process_folder（）方法從指定音頻文件中提取音頻特征并將提取得到的音頻特征保存至指定路徑下的csv 文件和pkl 文件中；根據(jù)音頻文件的路徑讀取音頻文件，并使用百度提供的開源API 實現(xiàn)語音轉文字的功能，并將得到的文本內容保存至指定的文本文件中。經過上述步驟，可以從用戶上傳的視頻中分別得到視頻中人物的人臉圖片、音頻和文本內容。加載經過訓練的多模態(tài)情感識別模型，將處理好的人臉圖片、音頻和文本內容輸入至多模態(tài)情感識別模型中，得到預測的視頻中對應人物的情感信息，并以數(shù)據(jù)流的方式將該情感信息發(fā)送回客戶端。

4 系統(tǒng)設計

4.1 Android端

4.1.1 用戶登錄/注冊

用戶只有在登錄之后才能使用該多模態(tài)情感識別的APP，如果用戶沒有賬號，需要進行注冊，并且使用注冊的賬號和密碼進行登錄。

4.1.2 拍攝視頻

用戶可以使用手機系統(tǒng)自帶的相機拍攝視頻，并將拍攝的視頻進行上傳。

4.2 服務器端

4.2.1 抽取單模態(tài)信息

圖片抽取模塊：用來從用戶上傳的視頻中逐幀抽取圖片，并從圖片中提取人物人臉圖片。

音頻抽取模塊：用來從用戶上傳的視頻中抽取音頻。

文本抽取模塊：用來從抽取得到的音頻中抽取文本內容。

4.2.2 情感識別

多模態(tài)情感識別模塊：此模塊用來識別用戶上傳的視頻中人物的情感。

5 工作流程

整體工作流程如圖2所示，用戶使用多模態(tài)情感識別APP 上傳視頻至服務器，服務器從用戶上傳的視頻中提取人臉圖片、音頻和文本內容，將提取得到的人臉圖片、音頻和文本內容傳入至多模態(tài)情感識別模型中，由多模態(tài)情感識別模型對視頻中的人物情感進行識別，最后以數(shù)據(jù)流的方式將識別得到的情感信息返回給用戶。

圖2 系統(tǒng)工作流程

6 結語

本文設計并開發(fā)了一個能夠使用多模態(tài)情感識別模型識別視頻中對應人物情感信息的移動應用程序。本項目團隊自行構建了基于中文情景喜劇《天真派武林外傳》的中文多模態(tài)情感語料庫，并利用DialogueRNN 模型訓練出了中文多模態(tài)情感識別模型，通過從《天真派武林外傳》中提取得到的圖片、音頻和文本內容對多模態(tài)情感識別模型進行訓練，并使用訓練好的多模態(tài)情感識別模型對視頻中人物的情感進行識別。相較于單模態(tài)的情感識別，基于多模態(tài)情感識別模型的情感識別能更準確地識別用戶的情感狀態(tài)。本文所設計的應用可以用于智能對話的很多場景中，比如在線學習系統(tǒng)中，隨時檢測學習者的情感狀態(tài)，并根據(jù)學習者的情感狀態(tài)調整學習進度；或者在客服對話系統(tǒng)中，實時檢測用戶的情感，以輔助客服人員可以根據(jù)用戶的情感更好地為用戶提供服務。