摘 要：本文設(shè)計(jì)了一種基于多模態(tài)的學(xué)情分析系統(tǒng)，使用多模式情感識別技術(shù)實(shí)時(shí)分析和解釋情緒數(shù)據(jù)。該系統(tǒng)連接到教室中的高清攝像頭，以捕獲面部表情和肢體語言，然后使用人工智能算法對其進(jìn)行分析，以提供對學(xué)生情感狀態(tài)和認(rèn)知能力的見解。該系統(tǒng)包括用于面部情感檢測和識別、情感識別分析、數(shù)據(jù)統(tǒng)計(jì)、查詢維護(hù)等模塊。該系統(tǒng)為學(xué)生學(xué)習(xí)行為，認(rèn)知能力和情緒狀態(tài)提供了實(shí)時(shí)見解，可以幫助提高教學(xué)效率和學(xué)生的參與度。

關(guān)鍵詞：人臉識別；多模態(tài)情感識別；學(xué)情分析

一、引言

目前人工智能領(lǐng)域的快速發(fā)展正在各行各業(yè)中推動著創(chuàng)新和迭代。在教育領(lǐng)域，學(xué)習(xí)分析技術(shù)是一項(xiàng)新興技術(shù)，通過深入分析和應(yīng)用師生數(shù)據(jù)，為教育轉(zhuǎn)型向智慧化提供了新的發(fā)展方向。同時(shí)，學(xué)生的認(rèn)知能力也被認(rèn)為是影響學(xué)生學(xué)習(xí)能力和熱情的最根本因素之一?，F(xiàn)有的研究表明，學(xué)生的認(rèn)知能力通常通過面部表情、肢體動作、神情變化和語言等方式顯現(xiàn)出來。情感計(jì)算是指開發(fā)人員通過人工智能技術(shù)來識別并分析采集到的人體面部情感信息和肢體動作，以解讀人類情感。因此，情感數(shù)據(jù)計(jì)算分析在評估教學(xué)質(zhì)量和學(xué)習(xí)效果方面具有至關(guān)重要的作用。

本文設(shè)計(jì)了一個(gè)基于多模態(tài)情感識別的學(xué)情分析系統(tǒng)，相比傳統(tǒng)的課堂反饋設(shè)備，該系統(tǒng)在一定程度上完善了學(xué)情分析的數(shù)據(jù)源，開拓了新的分析與識別功能，并且可以實(shí)現(xiàn)智慧課堂教學(xué)信息的實(shí)時(shí)性、高效性和智能化。由于大中小學(xué)的學(xué)校教室基本上都已經(jīng)安裝了網(wǎng)絡(luò)攝像頭，將人臉情感識別技術(shù)與網(wǎng)絡(luò)攝像頭結(jié)合起來進(jìn)行改進(jìn)和升級，可以大大降低成本并提高識別的準(zhǔn)確性，更容易推廣。

本文是為實(shí)現(xiàn)一個(gè)適合中小學(xué)校及高校的情感識別學(xué)情分析系統(tǒng)，不僅可以實(shí)現(xiàn)情感數(shù)據(jù)的采集和分析，還可以為學(xué)校領(lǐng)導(dǎo)提供班級學(xué)生的學(xué)情分析查看功能、動態(tài)巡查巡視功能、班級年級的學(xué)情匯總分析功能，為授課教師提供控制教學(xué)節(jié)奏和評價(jià)教學(xué)效果的依據(jù)，同時(shí)也為學(xué)生家長提供學(xué)生在校學(xué)習(xí)時(shí)課堂上的具體情況。該系統(tǒng)智能靈活高效，方便授課教師、學(xué)校領(lǐng)導(dǎo)和學(xué)生家長使用，使用方便、智能化、人性化和自動化，利用學(xué)校內(nèi)現(xiàn)有的硬件設(shè)備，成本低、使用簡單方便，易于推廣，可以有效解決學(xué)生注意力降低導(dǎo)致認(rèn)知力下降的問題，彌補(bǔ)傳統(tǒng)授課教師上課方式的不足，對中小學(xué)校及高校教學(xué)過程的存在的各種問題具有重要意義。

二、總體架構(gòu)設(shè)計(jì)

本學(xué)情分析系統(tǒng)基于多模態(tài)情感識別技術(shù)，利用OpenCV、Keras、Python和MySQL等技術(shù)實(shí)現(xiàn)。系統(tǒng)通過連接教室內(nèi)的高清監(jiān)控?cái)z像頭，實(shí)時(shí)獲取學(xué)生上課時(shí)的面部表情，并進(jìn)行情感數(shù)據(jù)分析、解釋和匯總。系統(tǒng)包含人臉情感采集、檢測識別、情感識別、情感分析、數(shù)據(jù)統(tǒng)計(jì)、查詢、維護(hù)、后臺管理頁面和用戶登錄頁面等模塊。系統(tǒng)的基礎(chǔ)設(shè)施層提供軟硬件配置方案和標(biāo)準(zhǔn)接口；數(shù)據(jù)層包括數(shù)據(jù)庫、學(xué)生庫、教師庫、業(yè)務(wù)庫和課程庫五大部分；能力層提供容器集群、容器資源調(diào)度與管理、系統(tǒng)服務(wù)架構(gòu)等基礎(chǔ)能力；業(yè)務(wù)支撐層提供多模態(tài)情感識別業(yè)務(wù)能力應(yīng)用支撐和系統(tǒng)內(nèi)容管理等；應(yīng)用層提供情感識別的學(xué)情分析系統(tǒng)的應(yīng)用服務(wù)；展示支撐層為平臺用戶操作提供了多種接入方式，如門戶網(wǎng)站、大屏幕端、PC電腦和移動端的綜合數(shù)據(jù)應(yīng)用顯示。

三、系統(tǒng)框架設(shè)計(jì)

本學(xué)情分析管理系統(tǒng)可在多種設(shè)備終端上使用，包括PC機(jī)、智能手機(jī)和平板電腦等。系統(tǒng)主要利用班級內(nèi)部的高清監(jiān)控?cái)z像頭采集學(xué)生面部情感信息，并進(jìn)行實(shí)時(shí)分析。同時(shí)，系統(tǒng)還支持對班級學(xué)生、授課教師、課堂情況等基本信息進(jìn)行維護(hù)和管理。

該系統(tǒng)的軟件架構(gòu)分為三個(gè)部分：軟件框架設(shè)計(jì)、多層系統(tǒng)結(jié)構(gòu)設(shè)計(jì)和軟件模式設(shè)計(jì)。在軟件框架設(shè)計(jì)方面，系統(tǒng)需要建立一個(gè)高效的開發(fā)框架，包括使用Python作為主要編程語言，以及選擇合適的開發(fā)工具和技術(shù)進(jìn)行開發(fā)。在多層系統(tǒng)結(jié)構(gòu)設(shè)計(jì)方面，系統(tǒng)需要分為前端、后端和數(shù)據(jù)庫三個(gè)層次，每個(gè)層次負(fù)責(zé)不同的任務(wù)和功能。在軟件模式設(shè)計(jì)方面，系統(tǒng)需要選擇合適的設(shè)計(jì)模式和架構(gòu)，以實(shí)現(xiàn)系統(tǒng)的可靠性、擴(kuò)展性和易維護(hù)性。下面將對這三各設(shè)計(jì)部分做具體的解釋。

（一）多層系統(tǒng)結(jié)構(gòu)方式

本系統(tǒng)采用了八大原則中的模塊化原則，將復(fù)雜的系統(tǒng)內(nèi)部拆分成多個(gè)模塊，并采用自頂向下、逐步細(xì)化的方式控制系統(tǒng)的開發(fā)。每個(gè)模塊內(nèi)部緊密聯(lián)系，而模塊之間的聯(lián)系程度要保持合適的水平，以保證系統(tǒng)的高內(nèi)聚低耦合。每個(gè)模塊都有對應(yīng)的功能需求，并將所有功能分為多個(gè)子模塊進(jìn)行開發(fā)和升級。整個(gè)程序采用多層體系結(jié)構(gòu)，包括用戶UI層、程序應(yīng)用Application層、業(yè)務(wù)邏輯Logic層和數(shù)據(jù)庫Database層，從接收請求到數(shù)據(jù)獲取都在這個(gè)體系結(jié)構(gòu)中完成，多層體系結(jié)構(gòu)如下圖1所示呈現(xiàn)。

圖1 多層系統(tǒng)結(jié)構(gòu)圖

（二）軟件模式設(shè)計(jì)

實(shí)現(xiàn)基于多模態(tài)情感分析的學(xué)情管理系統(tǒng)，需要部署一定量的服務(wù)器，將監(jiān)控?cái)z像頭從教室中獲取的數(shù)據(jù)傳輸?shù)紺NN模型上，將捕獲到學(xué)生的人臉信息識別處理，然后將返回的處理結(jié)果傳遞到數(shù)據(jù)庫內(nèi)，同時(shí)Web頁面同步從數(shù)據(jù)庫中調(diào)用數(shù)據(jù)進(jìn)行頁面更新。所以系統(tǒng)和服務(wù)器還需要實(shí)現(xiàn)多臺子客戶機(jī)同時(shí)對一臺服務(wù)器發(fā)送請求，或者一臺服務(wù)器同時(shí)處理多臺子客戶機(jī)的情況，服務(wù)器需要及時(shí)響應(yīng)并處理子客戶機(jī)發(fā)送的數(shù)據(jù)，在處理完成后還需要將處理完成的數(shù)據(jù)再次返回到客戶機(jī)。

（三）軟件框架設(shè)計(jì)

本文介紹的是一種基于多模態(tài)情感識別技術(shù)的學(xué)情管理系統(tǒng)，它通過監(jiān)控?cái)z像頭獲取學(xué)生課堂中的實(shí)時(shí)人臉情感特征，對這些數(shù)據(jù)進(jìn)行提取和分析，并將分析結(jié)果傳遞到數(shù)據(jù)庫中。系統(tǒng)軟件的設(shè)計(jì)架構(gòu)可分為四層，包括UI操作層、應(yīng)用功能層、業(yè)務(wù)邏輯層和數(shù)據(jù)接口層。UI操作層提供班級學(xué)生的基本信息和學(xué)生情況的查詢等功能，應(yīng)用功能層實(shí)現(xiàn)了學(xué)生情感信息的提取和分析、數(shù)據(jù)匯總和統(tǒng)計(jì)，并且負(fù)責(zé)實(shí)時(shí)更新學(xué)生情感數(shù)據(jù)。業(yè)務(wù)邏輯層輔助數(shù)據(jù)層，整合各個(gè)業(yè)務(wù)邏輯處理維護(hù)系統(tǒng)的正常高效運(yùn)轉(zhuǎn)。數(shù)據(jù)接口層負(fù)責(zé)調(diào)用和維護(hù)系統(tǒng)的接口和存儲服務(wù)。除了上述功能，系統(tǒng)還支持多個(gè)子客戶機(jī)同時(shí)向服務(wù)器發(fā)送請求，并且服務(wù)器能夠及時(shí)響應(yīng)和處理這些請求，并將處理結(jié)果返回給子客戶機(jī)。整個(gè)系統(tǒng)的結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)結(jié)構(gòu)圖

（四）功能架構(gòu)設(shè)計(jì)

為了滿足不同用戶對于學(xué)情分析的不同需求，本系統(tǒng)的功能架構(gòu)設(shè)計(jì)需要針對學(xué)生家長、授課教師、學(xué)校領(lǐng)導(dǎo)、年級主任、系統(tǒng)管理員等用戶角色進(jìn)行相應(yīng)的設(shè)計(jì)，以實(shí)現(xiàn)多模態(tài)學(xué)情分析系統(tǒng)的目標(biāo)需求。具體而言，本系統(tǒng)需要提供針對不同用戶角色的特定功能，包括學(xué)生家長可查看學(xué)生學(xué)習(xí)情況、授課教師可分析學(xué)生學(xué)習(xí)情況、學(xué)校領(lǐng)導(dǎo)可查看學(xué)校整體學(xué)情情況、年級主任可分析班級學(xué)情情況等。本系統(tǒng)的功能架構(gòu)如圖3所示。

圖3 功能架構(gòu)圖

四、結(jié)論

基于多模態(tài)情況識別的學(xué)情分析系統(tǒng)，不僅采用嚴(yán)謹(jǐn)?shù)慕Y(jié)構(gòu)化設(shè)計(jì)，從外部模型的直觀呈現(xiàn)到內(nèi)部邏輯框架的精密構(gòu)建，層層遞進(jìn)地細(xì)化過程算法，確保系統(tǒng)設(shè)計(jì)的全面性與高效性。該系統(tǒng)深度融合了OpenCV的高清監(jiān)控視頻流處理技術(shù)，創(chuàng)新性地引入了先進(jìn)的情感分析方法，深入探索并設(shè)計(jì)了針對多模態(tài)數(shù)據(jù)的人臉特征高效提取技術(shù)，以及精準(zhǔn)的人臉基本情感分析與識別算法。此外，系統(tǒng)還無縫對接了數(shù)據(jù)庫資源，實(shí)現(xiàn)了對學(xué)生學(xué)習(xí)狀態(tài)的實(shí)時(shí)捕捉與動態(tài)分析，進(jìn)而通過直觀的界面實(shí)時(shí)呈現(xiàn)課堂教學(xué)過程中每位同學(xué)的學(xué)習(xí)參與度、情感波動及潛在學(xué)習(xí)難點(diǎn)，為教師提供全面、及時(shí)的學(xué)情反饋，助力個(gè)性化教學(xué)策略的制定與優(yōu)化。

參考文獻(xiàn)：

[1]裴浩.基于Python+OpenCV的課堂人臉簽到微型系統(tǒng)[J].信息技術(shù)與信息化，2023（01）：181-184.

[2]展寬，朱佳雨，王一元，陳祥培，陳天曉.基于openCV人臉追蹤云臺與大數(shù)據(jù)應(yīng)用系統(tǒng)設(shè)計(jì)[J].信息與電腦（理論版），2023，35（01）：140-142.

[3]李玉臣.基于OpenCV的計(jì)算機(jī)圖像識別技術(shù)研究與實(shí)現(xiàn)[J].電腦編程技巧與維護(hù)，2022（11）：147-149+169.DOI：10.16184/j.cnki.comprg.2022.11.033.

[4]李尚文. 基于OpenCV的圖像匹配系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].河北師范大學(xué)，2021.DOI：10.27110/d.cnki.ghsfu.2021.001157.

[5]李天昊. 基于OpenCV的實(shí)時(shí)人臉識別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].東北石油大學(xué)，2020.DOI：10.26995/d.cnki.gdqsc.2020.000842.

[6]高向. 基于OpenCV運(yùn)動目標(biāo)檢測與跟蹤算法研究[D].寧夏大學(xué)，2019.DOI：10.27257/d.cnki.gnxhc.2019.000283.

[7]肖陽. 基于OpenCV的人臉識別的算法研究與實(shí)現(xiàn)[D].湖北工業(yè)大學(xué)，2018.