朱 俊

（中國電子科技南湖研究院，浙江 嘉興 314001）

0 引言

智慧校園是我國提出的智慧城市發(fā)展戰(zhàn)略的重要組成部分。課堂教學(xué)導(dǎo)播系統(tǒng)可以促進(jìn)數(shù)字化教學(xué)信息的最大化利用，是智慧校園中校園物聯(lián)網(wǎng)不可或缺的關(guān)鍵環(huán)節(jié)[1][2]。課堂教學(xué)導(dǎo)播系統(tǒng)整合了多媒體課件、電子白板、傳統(tǒng)黑板等硬件或軟件教學(xué)資源，并應(yīng)用計算機(jī)網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)對課堂教學(xué)過程進(jìn)行錄制和實時廣播，師生們可以對優(yōu)質(zhì)課堂教學(xué)視頻進(jìn)行直播、點(diǎn)播。課堂教學(xué)錄播系統(tǒng)可以將線下課堂教學(xué)內(nèi)容直接轉(zhuǎn)化為高質(zhì)量的數(shù)字化教學(xué)資源，從而提高各個地區(qū)的教學(xué)資源數(shù)字化水平，促進(jìn)優(yōu)質(zhì)教學(xué)資源共享，拓寬了教學(xué)范圍，使經(jīng)濟(jì)落后地區(qū)與經(jīng)濟(jì)發(fā)達(dá)地區(qū)有同等享受優(yōu)質(zhì)教學(xué)資源的機(jī)會，有利于解決我國當(dāng)前存在的教育發(fā)展不平衡問題[3][4][5]。

然而，目前市面上的課堂導(dǎo)播系統(tǒng)存在諸多不足。例如，拍攝手法單一、不能在多個鏡頭之間合理地切換、教學(xué)視頻從錄制到剪輯都必須要專業(yè)人員進(jìn)行操作導(dǎo)致耗費(fèi)大量的人力物力等。這些因素使課堂導(dǎo)播系統(tǒng)的用戶體驗感降低，從而阻礙了相關(guān)產(chǎn)品的推廣[6]。針對課堂導(dǎo)播系統(tǒng)存在的不足，本文設(shè)計出了一種全新的課堂智能導(dǎo)播系統(tǒng)，能在日常課堂中實現(xiàn)傳統(tǒng)的演播室功能。智能導(dǎo)播系統(tǒng)在整個課堂教學(xué)的錄制過程中將攝像機(jī)放置在教室的固定位置，同時整合教師屏幕、電子白板等多媒體教學(xué)設(shè)備，可以同步呈現(xiàn)師生活動視頻、板書視頻以及主講教師計算機(jī)課件的內(nèi)容，實時自動剪切合成教學(xué)視頻，在不同場景下呈現(xiàn)給觀眾最關(guān)注的畫面，既可以校內(nèi)視頻觀摩，又支持網(wǎng)絡(luò)遠(yuǎn)程直播和點(diǎn)播。

1 課堂智能導(dǎo)播系統(tǒng)總體設(shè)計

本文課堂智能導(dǎo)播系統(tǒng)設(shè)計以寬6.3米、長9.0米可容納40名學(xué)生的標(biāo)準(zhǔn)中小學(xué)教室為例。在教室中一共排布四路輸入視頻和一路輸出視頻。四路輸入視頻分別為：一路攝像機(jī)A，拍攝教師；一路攝像機(jī)B，拍攝黑板特寫視頻；一路攝像機(jī)C，拍攝學(xué)生視頻；一路錄制教室教師教學(xué)電腦屏幕視頻。輸出的視頻為一路合成視頻。三路攝像機(jī)在教室中的安裝位置如圖1所示，輸出的合成視頻布局如圖2所示，用戶可以根據(jù)個人習(xí)慣與偏好調(diào)整各個小視頻框的大小和位置。

圖1 教室中攝像機(jī)安裝位置示意圖Figure 1 Schematic diagram of the installation position of the camera in the classroom

圖2 三合一視頻布局圖Figure 2 Three-in-one video layout

合成視頻具體實現(xiàn)的功能如下：視頻框Ⅰ根據(jù)運(yùn)動目標(biāo)檢測算法輸出的切換觸發(fā)信號，以及制定的切換策略對應(yīng)的教學(xué)場景，在黑板路視頻、教師屏幕路視頻、學(xué)生路視頻、課堂信息之間切換；視頻框Ⅱ顯示教師路視頻經(jīng)處理后放大的特寫視頻；視頻框Ⅲ顯示學(xué)生路的視頻。輸出的合成視頻能根據(jù)教師在教學(xué)時的側(cè)重點(diǎn)自動選擇最適合用戶觀看的輸出場景模式。

課堂智能導(dǎo)播系統(tǒng)的視頻處理流程如圖3所示。標(biāo)準(zhǔn)配置的課堂錄播系統(tǒng)中，輸入的視頻為四路RTSP（Real Time Streaming Protocol）協(xié)議的H.264視頻流，幀率為25f/s，碼率為2Mbps，分辨率為1920*1080。四路視頻流經(jīng)過解碼器解碼成YUV422格式圖片幀，輸入到視頻合成切換策略模塊。該模塊根據(jù)攝像機(jī)A路視頻目標(biāo)檢測算法中對前景目標(biāo)（教師）的中心坐標(biāo)判斷的結(jié)果，選擇不同的合成策略，輸出到編碼器。最后，編碼器將剪切好的視頻幀壓縮為H.264格式的視頻流。其中，輸出視頻流的標(biāo)準(zhǔn)配置為：視頻幀率為25f/s，碼率為2Mbps，分辨率為1920*1080，并以RTMP（Real Time Messaging Protocol）協(xié)議封裝后進(jìn)行推送。

圖3 視頻處理流程圖Figure 3 Video processing flow chart

2 視頻自動導(dǎo)播功能

在不同的教學(xué)場景下，用戶關(guān)注的視頻內(nèi)容有所差異。比如，老師在講解電子課件時，用戶更關(guān)注電子課件中顯示的內(nèi)容；老師在書寫板書時，用戶更關(guān)注黑板上的內(nèi)容；老師在通過提問題的方式與學(xué)生互動時，用戶更關(guān)注師生互動的過程；老師走下講臺巡視輔導(dǎo)時，用戶更關(guān)注學(xué)生區(qū)域的實況。課堂智能導(dǎo)播系統(tǒng)將綜合考慮各種應(yīng)用場景，合成的視頻可以同步呈現(xiàn)師生活動視頻、教學(xué)板書視頻以及主講教師計算機(jī)課件的內(nèi)容，重點(diǎn)突出觀眾最為關(guān)切的內(nèi)容。

本文設(shè)計的自動導(dǎo)播功能的基本原理如下，預(yù)先設(shè)定好不同的教學(xué)場景，根據(jù)教學(xué)場景選擇對應(yīng)的視頻合成策略。根據(jù)攝像機(jī)B視頻中檢測得到的教師中心坐標(biāo)，以教師的中心坐標(biāo)點(diǎn)進(jìn)入不同的區(qū)域作為觸發(fā)條件，執(zhí)行相應(yīng)的剪輯策略，并將合成的重點(diǎn)內(nèi)容在圖2的視頻框Ⅰ中顯示，從而達(dá)到將四路原始視頻剪輯成最適合用戶觀看的合成視頻的目的。其中，教師中心坐標(biāo)可以應(yīng)用運(yùn)動目標(biāo)檢測相關(guān)算法計算得出[8][9]。

由于系統(tǒng)中各個攝像機(jī)機(jī)位是固定的，教師攝像機(jī)拍攝的教室內(nèi)講臺、黑板等物品在畫面中的區(qū)域也是固定的，因此可以將教師路視頻圖像劃分為黑板區(qū)域、講臺區(qū)域、學(xué)生區(qū)域和邊緣區(qū)域共四個區(qū)域。典型的教師路攝像機(jī)拍攝的畫面及具體的區(qū)域劃分如圖4所示。

圖4 教室路攝像機(jī)區(qū)域劃分圖Figure 4 Area division map of teacher road camera

教師走入不同的區(qū)域后，相對應(yīng)不同的教學(xué)場景，將根據(jù)視頻切換策略執(zhí)行不同的視頻切換動作，具體的教學(xué)場景及視頻切換策略如下。

（1）當(dāng)教師走入講臺區(qū)域時，如果教師的計算機(jī)處于開啟狀態(tài)，說明教師在講解課件，用戶需要重點(diǎn)關(guān)注課件的內(nèi)容，則合成視頻Ⅰ框?qū)?yīng)顯示教師課件視頻流；

（2）當(dāng)教師走入黑板區(qū)域時，說明教師在書寫板書或是在講解板書的內(nèi)容，用戶需要重點(diǎn)關(guān)注板書內(nèi)容，合成視頻Ⅰ框則對應(yīng)顯示板書內(nèi)容，具體為經(jīng)過攝像機(jī)B摳取的局部視頻內(nèi)容；

（3）當(dāng)教師走到教室外區(qū)域時，說明教室里沒有老師在上課，用戶需要關(guān)注教師、班級、科目等課程說明信息，合成視頻Ⅰ框則對應(yīng)顯示課堂信息；

（4）當(dāng)教師走到學(xué)生區(qū)域時，說明教師在講臺下對學(xué)生進(jìn)行講解或單獨(dú)輔導(dǎo)，用戶需要關(guān)注學(xué)生的信息，合成視頻Ⅰ框則對應(yīng)顯示學(xué)生路攝像機(jī)的畫面。

課堂智能導(dǎo)播系統(tǒng)功能如表1所示。

表1 課堂智能導(dǎo)播系統(tǒng)功能表Table 1 Function of classroom intelligent directing system

圖5 以教學(xué)課件為顯示重點(diǎn)的視頻圖例Figure 5 Videos focus on teaching courseware

圖6 以板書為顯示重點(diǎn)的視頻圖例Figure 6 Videos focusing on blackboard

圖7 以師生互動為顯示重點(diǎn)的視頻圖例Figure 7 Videos focusing on teacher-student interaction

圖8 以課程信息為顯示重點(diǎn)的視頻圖例Figure 8 Videos focusing on coursing information

3 黑板特寫剪輯功能

黑板路視頻是課堂智能導(dǎo)播系統(tǒng)的一個重要組成部分。市面上的課堂導(dǎo)播系統(tǒng)黑板特寫功能一般會將黑板以外的物體如墻、窗簾以及授課中的教師等拍攝入內(nèi)，這不僅會導(dǎo)致畫面雜亂，影響美觀，而且會難以突出黑板這個拍攝主體。

為了提高攝像畫面的美觀簡潔程度，在功能設(shè)計上，應(yīng)該避免攝像機(jī)B將上課中的教師拍攝進(jìn)黑板路視頻中。常用的黑板尺寸大小為1.2m*2m，經(jīng)過實驗，將攝像機(jī)安裝于距離黑板上沿水平距離為0.8m、距離黑板墻面水平距離1m，調(diào)整攝像機(jī)拍攝角度及焦距后，可以達(dá)到上述效果。但是，攝像機(jī)距離黑板過近，會產(chǎn)生比較嚴(yán)重的畸變，影響視頻畫面美觀程度。按上述選定的位置安裝并調(diào)整攝像機(jī)后所拍攝的黑板如圖9所示。因此，需要用適當(dāng)?shù)乃惴▽诎寤冞M(jìn)行矯正。矯正的步驟如下：

圖9 矯正前拍攝的黑板畫面Figure 9 Blackboard image taken before correction

（1）通過標(biāo)定獲取黑板的位置。由于攝像機(jī)安裝后拍攝角度、黑板安裝的位置是固定的，我們可以通過標(biāo)定軟件對黑板所處的拍攝畫面位置進(jìn)行標(biāo)定。

（2）剪切出完整的黑板。根據(jù)標(biāo)定結(jié)果從拍攝的整體畫面中剪切出只包含黑板的畫面。

（3）畸變矯正。將剪切出的黑板通過畸變矯正算法模塊進(jìn)行矯正，消除畸變。

矯正后的黑板如圖10所示。可見經(jīng)過矯正處理后黑板視頻的美觀程度有了較大提升。

圖10 矯正后攝像機(jī)B路拍攝的畫面Figure 10 Blackboard image taken after correction

4 結(jié)語

隨著課堂導(dǎo)播系統(tǒng)在實際應(yīng)用中的逐漸普及和相關(guān)研究的不斷深入，課堂錄播系統(tǒng)功能也越來越完善。課堂智能導(dǎo)播系統(tǒng)能實時生成優(yōu)質(zhì)的教學(xué)視頻，今后一段時間還會成為人們研究的熱點(diǎn)，希望本文的研究能夠為課堂智能導(dǎo)播系統(tǒng)的發(fā)展提供參考和借鑒。