戴振澤 施艷 鄭少偉 郭梓文 丁王斌
摘 要:為解決傳統(tǒng)監(jiān)控系統(tǒng)耗時(shí)長(zhǎng),效率低,可靠性差等問(wèn)題,本文基于人工智能技術(shù),對(duì)傳統(tǒng)監(jiān)控系統(tǒng)進(jìn)行改進(jìn)提升,設(shè)計(jì)一個(gè)智能課堂監(jiān)控與分析系統(tǒng)。該系統(tǒng)綜合使用Java編程技術(shù)、圖像視頻處理技術(shù)、機(jī)器學(xué)習(xí)技術(shù),對(duì)學(xué)生在課堂上的行為表現(xiàn)進(jìn)行智能地識(shí)別與分析,實(shí)現(xiàn)從人工監(jiān)控到智能監(jiān)控的轉(zhuǎn)變,從而大幅提升課堂質(zhì)量管控。
關(guān)鍵詞:智能課堂;視頻監(jiān)控;人工智能
中圖分類號(hào):TP319 文獻(xiàn)標(biāo)識(shí)碼:A
1 引言(Introduction)
課堂監(jiān)控系統(tǒng)是記錄和重現(xiàn)課堂教學(xué)的重要工具[1],是一種采用跟蹤技術(shù)來(lái)記錄課堂教學(xué)活動(dòng)的系統(tǒng)。
智能課堂監(jiān)控與分析系統(tǒng)的創(chuàng)建,是為了更好的提高學(xué)校對(duì)課堂教學(xué)質(zhì)量的管控的重要舉措,而傳統(tǒng)課堂監(jiān)控系統(tǒng)一般由人工監(jiān)控,用于實(shí)時(shí)監(jiān)視課堂教學(xué)情況與突發(fā)事件,無(wú)法有效的對(duì)課堂教學(xué)質(zhì)量進(jìn)行評(píng)估。智能課堂監(jiān)控與分析系統(tǒng)以其全新的“主動(dòng)監(jiān)控”模式,從根本上解決了傳統(tǒng)課堂監(jiān)控系統(tǒng)的完全依賴人工監(jiān)控的局限性,大幅提升了課堂監(jiān)控系統(tǒng)的工作效率,節(jié)省了人力資源。通過(guò)監(jiān)控視頻中的圖像進(jìn)行自動(dòng)智能分析來(lái)對(duì)監(jiān)控進(jìn)行識(shí)別,分類,在此基礎(chǔ)上來(lái)分析判斷,從而完成日常管理,做出反饋。
2 智能課堂監(jiān)控現(xiàn)狀(Intelligent classroom
monitoring)
據(jù)調(diào)查顯示,很多高校的課堂監(jiān)控還停留在手工統(tǒng)計(jì)數(shù)據(jù)、手工計(jì)算分析數(shù)據(jù)的層次上,缺乏實(shí)效性的反饋。當(dāng)前很多發(fā)達(dá)國(guó)家高校也建立了相對(duì)完善的課堂監(jiān)控系統(tǒng),對(duì)課堂教學(xué)活動(dòng)進(jìn)行了深入研究。
例如:澳大利亞昆士蘭大學(xué)(The University of Queensland)課堂監(jiān)控系統(tǒng)是對(duì)教師教學(xué)進(jìn)行監(jiān)督,由教學(xué)委員會(huì)進(jìn)行綜合加工、整理評(píng)價(jià),并對(duì)教師進(jìn)行相應(yīng)指導(dǎo);美國(guó)耶魯大學(xué)(Yale University)課堂監(jiān)控以考察學(xué)校教學(xué)目標(biāo)、計(jì)劃、大綱、學(xué)生管理等工作,由第三方鑒定機(jī)構(gòu)進(jìn)行考評(píng);英國(guó)的圣安德魯斯大學(xué)(University of St Andrews)課堂監(jiān)控主要側(cè)重教學(xué)過(guò)程,全過(guò)程、全方位、全員性監(jiān)控評(píng)估,即教師質(zhì)量監(jiān)控評(píng)估,學(xué)生質(zhì)量監(jiān)控評(píng)估,教學(xué)效果監(jiān)控評(píng)估等[2]。
當(dāng)然,國(guó)內(nèi)高校也有課堂監(jiān)控體系,但以人工為主,對(duì)于數(shù)據(jù)采集統(tǒng)計(jì),往往消耗數(shù)據(jù)處理時(shí)間,失去時(shí)效性,降低教學(xué)監(jiān)控效果。例如:蘇州市職業(yè)大學(xué)課堂監(jiān)控系統(tǒng)是對(duì)教師行為、學(xué)生行為、教學(xué)特色等內(nèi)容進(jìn)行監(jiān)控分析,只是重點(diǎn)分析課堂教學(xué),對(duì)教師監(jiān)控、對(duì)板書監(jiān)控、對(duì)多媒體教學(xué)進(jìn)行監(jiān)控、對(duì)學(xué)生活動(dòng)監(jiān)控,但是只能監(jiān)控而已并不能形成智能的分析系統(tǒng),會(huì)造成評(píng)價(jià)的偏差[1];無(wú)錫職業(yè)技術(shù)學(xué)院課堂監(jiān)控系統(tǒng)只是對(duì)“學(xué)生信息反饋”“聽評(píng)課反饋”“課堂考勤”等主要功能模塊進(jìn)行整合,實(shí)現(xiàn)了教學(xué)信息實(shí)時(shí)采集、實(shí)時(shí)反饋,動(dòng)態(tài)數(shù)據(jù)智能匯總,同樣也無(wú)法做出智能的評(píng)定[3];山東技師學(xué)院課堂監(jiān)控系統(tǒng)是通過(guò)校園網(wǎng)對(duì)教學(xué)樓課堂實(shí)行有效地監(jiān)控,能夠根據(jù)需要對(duì)存儲(chǔ)圖像時(shí)間進(jìn)行設(shè)定,實(shí)現(xiàn)實(shí)時(shí)錄像、錄像存放、回放、錄像檢索等管理。通過(guò)設(shè)計(jì),輔導(dǎo)員可以不受時(shí)間空間的限制,方便的使用手機(jī)、電腦等終端設(shè)備對(duì)自己所帶班級(jí)進(jìn)行遠(yuǎn)程的紀(jì)律和學(xué)習(xí)督導(dǎo)[4]。但是實(shí)現(xiàn)對(duì)課堂信息的提取、基礎(chǔ)數(shù)據(jù)的匯總需要人員增添,統(tǒng)計(jì)分析可比性不強(qiáng),沒(méi)有實(shí)現(xiàn)實(shí)時(shí)監(jiān)控[1]。
2.1 傳統(tǒng)視頻監(jiān)控系統(tǒng)的不足
目前視頻監(jiān)控已經(jīng)普遍存在,但往往并沒(méi)有充分發(fā)揮它實(shí)時(shí)主動(dòng)監(jiān)督的作用?,F(xiàn)存的大部分視頻監(jiān)控系統(tǒng)一般都是通過(guò)兩種方法運(yùn)用監(jiān)控的結(jié)果:
(1)將攝像機(jī)的拍攝的視頻記錄下來(lái),當(dāng)突發(fā)異常事件之時(shí),才通過(guò)回放所保存的視頻,觀察所發(fā)生的事實(shí)。但是,這時(shí)往往為時(shí)已晚,不利于進(jìn)行預(yù)防和調(diào)整。
(2)把多個(gè)視頻監(jiān)控畫面集中到一個(gè)監(jiān)控室內(nèi),通過(guò)監(jiān)控室內(nèi)數(shù)十個(gè)顯示器同時(shí)顯示各個(gè)場(chǎng)景畫面,以供監(jiān)控人員觀看。當(dāng)監(jiān)控人員通過(guò)顯示畫而發(fā)現(xiàn)某些異常時(shí),人工通知相關(guān)人員前去處理。但是,據(jù)調(diào)查顯示,每小時(shí)一個(gè)人能集中注意力的時(shí)間低于20分鐘,另外由于攝像頭較多,往往每個(gè)顯示器都是輪流顯示多個(gè)攝像頭的畫面。因此,通常監(jiān)控人員平均觀看每個(gè)攝像頭的時(shí)間低于每小時(shí)5分鐘,無(wú)法有效地進(jìn)行管理[5]。
龐大的視頻數(shù)據(jù)量,由人工實(shí)時(shí)監(jiān)控,所花費(fèi)的代價(jià)是驚人的,效率是非常低下的??傊b備帶有一定智能的視頻監(jiān)控系統(tǒng)已經(jīng)是很多行業(yè)的迫切要求。
2.2 智能視頻監(jiān)控系統(tǒng)的定義及其優(yōu)點(diǎn)
智能視頻監(jiān)控就是在不需要人工干預(yù)情況下,利用計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理和視頻圖像分析的方法,對(duì)攝像機(jī)拍攝的視頻圖像序列進(jìn)行自動(dòng)分析,實(shí)現(xiàn)系統(tǒng)對(duì)場(chǎng)景中的舉動(dòng)進(jìn)行識(shí)別判斷。
智能視頻監(jiān)控系統(tǒng)和傳統(tǒng)的視頻監(jiān)控系統(tǒng)比較,具有很多的優(yōu)點(diǎn):
(1)無(wú)限監(jiān)控。智能視頻監(jiān)控系統(tǒng)能對(duì)所監(jiān)控的畫面進(jìn)行一天24小時(shí)無(wú)止息的監(jiān)控,并自動(dòng)分析,提高事件分析的效率并及時(shí)反饋,可及時(shí)查看。
(2)提升準(zhǔn)度。智能視頻監(jiān)控系統(tǒng)可以借助強(qiáng)大的視頻處理、分析模塊,能有效地降低漏查和誤查概率。
總之,智能化一直是計(jì)算機(jī)視覺(jué)的熱點(diǎn)研究問(wèn)題之一,也是時(shí)代發(fā)展的必然。
建設(shè)“智慧課堂”是提升教學(xué)質(zhì)量的新支點(diǎn)和新動(dòng)力,隨著人工智能技術(shù)的迅猛發(fā)展,傳統(tǒng)視頻監(jiān)控系統(tǒng)與人工智能的結(jié)合是大勢(shì)所趨,因此發(fā)展課堂智能監(jiān)控技術(shù)也勢(shì)在必行。傳統(tǒng)課堂監(jiān)控系統(tǒng)由于海量視頻數(shù)據(jù)在人力監(jiān)控資源上的局限性,這種“被動(dòng)式,忽略式”的視頻監(jiān)控模式難以滿足當(dāng)今學(xué)校對(duì)教學(xué)的管控服務(wù)。本文旨在設(shè)計(jì)一個(gè)智能課堂監(jiān)控與分析系統(tǒng),以建設(shè)高效課堂為中心,利用最新的圖像視頻處理與機(jī)器學(xué)習(xí)技術(shù)對(duì)學(xué)生在課堂上的行為表現(xiàn)進(jìn)行智能地識(shí)別與分析,讓監(jiān)控智能化,讓課堂智慧化。
3 智能課堂監(jiān)控與分析系統(tǒng)設(shè)計(jì)(Design of intelligent
classroom monitoring and analysis system)
3.1 系統(tǒng)方案總括
現(xiàn)如今,教室里安裝的視頻監(jiān)控除了對(duì)課堂教學(xué)情況進(jìn)行監(jiān)控與記錄以外,并不能對(duì)其進(jìn)行有效地分析,在反饋整合上沒(méi)有實(shí)現(xiàn)智能化。本文設(shè)計(jì)的智能課堂監(jiān)控與分析系統(tǒng)是一個(gè)結(jié)構(gòu)嚴(yán)謹(jǐn),時(shí)效性強(qiáng)的系統(tǒng)[6],其方案流程為:教室攝像頭定時(shí)截取課堂學(xué)生行為照片并傳入系統(tǒng)后臺(tái),系統(tǒng)按照以時(shí)間命名的文件夾將其提取、存檔,通過(guò)樣本訓(xùn)練的方式得到符合的構(gòu)造方式,智能地對(duì)圖像進(jìn)行自動(dòng)識(shí)別分析,從而對(duì)數(shù)據(jù)進(jìn)行整合,得出一張課堂反饋表,減少人力長(zhǎng)時(shí)間監(jiān)控疲勞的弊端,有助于數(shù)字化校園的建設(shè)與發(fā)展,能有效的提高學(xué)校對(duì)課堂教學(xué)質(zhì)量的管控,推動(dòng)“智慧課堂”的發(fā)展。設(shè)計(jì)了如圖1所示的結(jié)構(gòu)圖。
3.2 軟件結(jié)構(gòu)設(shè)計(jì)及功能簡(jiǎn)介
系統(tǒng)軟件采用數(shù)據(jù)庫(kù)作為管理系統(tǒng)的后臺(tái),采用Java開發(fā)工具軟件作為數(shù)據(jù)操作的前臺(tái),是用戶和計(jì)算機(jī)交流的人-機(jī)接口管理軟件[7]。按照智能課堂監(jiān)控與分析系統(tǒng)的架構(gòu),設(shè)計(jì)了如圖2所示的功能模塊。
由圖可知,智能課堂監(jiān)控與分析系統(tǒng)是依托監(jiān)控系統(tǒng)對(duì)學(xué)生在課堂上課行為表現(xiàn)(如睡覺(jué)、玩手機(jī)、認(rèn)真聽課等)的海量數(shù)據(jù)的采集,通過(guò)課堂行為動(dòng)作識(shí)別模塊中的機(jī)器學(xué)習(xí)的方法對(duì)采集的圖像進(jìn)行智能的識(shí)別與分類,并在此基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行智能的評(píng)估,實(shí)時(shí)數(shù)字化反饋學(xué)生課堂行為,不受時(shí)間空間的限制,提高信息整合能力。
(1)課堂行為監(jiān)控模塊
實(shí)時(shí)監(jiān)控是對(duì)學(xué)生課堂行為的一個(gè)提醒,能夠起到一個(gè)督促的作用。教學(xué)檢查中教務(wù)處、系部檢查人員可以不受地點(diǎn)限制地完成對(duì)課堂的檢查,完成對(duì)課堂狀況的判斷,可以更加如實(shí)掌握學(xué)生的課堂表現(xiàn),對(duì)學(xué)生和學(xué)校都能有促進(jìn)作用。
(2)課堂行為動(dòng)作識(shí)別模塊
作為系統(tǒng)的核心模塊,該模塊顯得尤為重要。通常所說(shuō)的圖像識(shí)別,是指利用計(jì)算機(jī)對(duì)圖像進(jìn)行處理、分析和理解,以識(shí)別各種不同模式的目標(biāo)和對(duì)象的技術(shù)。但是在實(shí)際行為圖像處理過(guò)程中,經(jīng)常會(huì)出現(xiàn)奇怪現(xiàn)象,如端正坐姿的睡覺(jué)、遮擋性的玩手機(jī)等行為都對(duì)系統(tǒng)識(shí)別有很大的影響,圖像與現(xiàn)實(shí)所出現(xiàn)的差異也在所難免,通過(guò)海量原型的比對(duì),從而得出較為正確可靠的信息資源。
實(shí)現(xiàn)課堂行為識(shí)別的方法多樣,我們選擇的是基于人工智能行為識(shí)別的條件下利用Python進(jìn)行深度學(xué)習(xí)設(shè)計(jì)、開發(fā),封裝圖像數(shù)據(jù)庫(kù),對(duì)其進(jìn)行檢測(cè)分析,判斷學(xué)生課堂的行為舉動(dòng),通過(guò)機(jī)器學(xué)習(xí)的方法能有效地做出反饋,改進(jìn)學(xué)校管理學(xué)生的模式,提升學(xué)校的教學(xué)質(zhì)量。借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理功能,反饋出各個(gè)班級(jí)學(xué)生的上課狀態(tài)、上課風(fēng)貌,快速分析識(shí)別更準(zhǔn)確地得出數(shù)據(jù)結(jié)論,使得圖像信息數(shù)字化,從而可以更方便地理解判斷。
(3)智能評(píng)價(jià)模塊
將一節(jié)課45分鐘分為三段(每15分鐘一段),每一段進(jìn)行單獨(dú)評(píng)分。設(shè)定各個(gè)時(shí)段聽課效率占比大于75%為優(yōu)秀,占比大于50%小于75%的為良好,占比小于50%的為聽課效率較差的狀況(聽課效率=認(rèn)真聽課的人數(shù)/班級(jí)總?cè)藬?shù))。最后依據(jù)分段評(píng)分情況,按照一時(shí)段前15分鐘占比三成,二時(shí)段中間15分鐘占比四成,三時(shí)段末15分鐘占比三成的評(píng)分標(biāo)準(zhǔn)累加完成對(duì)各班該節(jié)課最后得分的評(píng)估(設(shè)一時(shí)段、二時(shí)段、三時(shí)段聽課率分別為X1、X2、X3,則最后評(píng)
分=X3*30%+X2*40%+X3*30%)。
學(xué)??梢曰诜治鼋Y(jié)果在后期的探討中給予各個(gè)班教學(xué)更中肯的評(píng)價(jià),也可以以此作為評(píng)優(yōu)的考核標(biāo)準(zhǔn)。
本文重點(diǎn)是將人工智能技術(shù)應(yīng)用于智能課堂監(jiān)控與分析系統(tǒng)中,該系統(tǒng)源于計(jì)算機(jī)視覺(jué),融合了圖像處理技術(shù),模式識(shí)別等技術(shù),這些技術(shù)已經(jīng)越來(lái)越受到外界的關(guān)注。同時(shí),利用已有的教室監(jiān)控資源,降低成本,發(fā)揮團(tuán)隊(duì)和師資的強(qiáng)大力量去努力實(shí)現(xiàn)教育教學(xué)的可視化管理。
4 實(shí)現(xiàn)效果(Achieved results)
4.1 系統(tǒng)主界面
當(dāng)用戶啟動(dòng)軟件后,進(jìn)入智能課堂監(jiān)控與分析系統(tǒng)主界面,主界面設(shè)置了四個(gè)窗口(實(shí)時(shí)監(jiān)控、信息管理、數(shù)據(jù)查詢、設(shè)置),可以根據(jù)不同的需求開啟不同的窗口,如圖3所示。
4.2 實(shí)時(shí)監(jiān)控
軟件對(duì)攝像頭所監(jiān)控的數(shù)據(jù)進(jìn)行同步傳輸,直接成像進(jìn)入系統(tǒng),可以隨時(shí)了解各班學(xué)生課堂表現(xiàn),從而可以及時(shí)的做出提醒和改進(jìn),如圖4所示。
4.3 自動(dòng)截圖與分類
軟件對(duì)該攝像頭下產(chǎn)生的數(shù)據(jù)進(jìn)行分類并自動(dòng)截圖保存至本地,系統(tǒng)可以根據(jù)圖片顯示進(jìn)行管理,也可方便有據(jù)查看課堂行為,如圖5所示。
4.4 數(shù)據(jù)查詢
用戶可以選擇性地對(duì)各個(gè)年級(jí)、各個(gè)專業(yè)、各個(gè)班級(jí)進(jìn)行課堂行為表現(xiàn)查詢,依據(jù)自由選擇導(dǎo)出各班的課堂結(jié)果分析,如圖7所示。
5 結(jié)論(Conclusion)
課堂教學(xué)是素質(zhì)教育的主要陣地,是教師和學(xué)生教與學(xué)活動(dòng)相互的直接表現(xiàn)。課堂行為動(dòng)作監(jiān)控可以全方位跟蹤學(xué)生學(xué)習(xí),本文智能課堂監(jiān)控與分析系統(tǒng)充分結(jié)合了智能識(shí)別技術(shù)、計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù),為教學(xué)質(zhì)量提供真實(shí)有效的依據(jù)。本文所涉及的人工智能機(jī)器識(shí)別中的行為識(shí)別作為當(dāng)下最熱門的技術(shù)之一,應(yīng)用層面廣博。本文的研究和設(shè)計(jì)成果可以為各個(gè)高校課堂學(xué)生行為管理提供有益的借鑒和參考。但是行為識(shí)別程序在實(shí)際應(yīng)用時(shí),識(shí)別準(zhǔn)確率還有待提高,需要進(jìn)一步研究完善。
參考文獻(xiàn)(References)
[1] 樊凌,戴雯惠,唐寅.基于智能跟蹤的課堂教學(xué)監(jiān)控系統(tǒng)的探索與研究[C].International Conference on Education Technology & Training,2010.
[2] 黃健榮.梧州學(xué)院課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué),2013.
[3] 徐金鳳,張路遙.高職院校教學(xué)質(zhì)量監(jiān)控信息化平臺(tái)的設(shè)計(jì)——以無(wú)錫職業(yè)技術(shù)學(xué)院為例[J].無(wú)錫職業(yè)技術(shù)學(xué)院學(xué)報(bào),2017,16(3):41-44.
[4] 李霞.校園視頻監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[D].山東大學(xué),2015.
[5] 袁國(guó)武.智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤算法研究[D].云南大學(xué),2012.
[6] 荊洲,權(quán)偉,唐杰,等.基于人臉識(shí)別的智能課堂點(diǎn)名系統(tǒng)[J].軟件工程,2017,20(5):43-46.
[7] 王云良,湯慧芹,顧衛(wèi)杰.高職院校智能化課堂教學(xué)質(zhì)量監(jiān)控系統(tǒng)研究[J].軟件工程,2015(3):28-29.
作者簡(jiǎn)介:
戴振澤(1998-),男,本科生.研究領(lǐng)域:物聯(lián)網(wǎng)工程.
施 艷(1998-),女,本科生.研究領(lǐng)域:物聯(lián)網(wǎng)工程.
鄭少偉(1998-),男,本科生.研究領(lǐng)域:軟件工程.
郭梓文(1999-),男,本科生.研究領(lǐng)域:圖像處理.
丁王斌(1990-),男,碩士,助教.研究領(lǐng)域:軟件工程.本文通訊作者.