孫小期，王曉東，湯銳彬，張婷，劉家璇，陳芬

（寧波大學信息科學與工程學院，浙江寧波315211）

基于TI DM 365的嵌入式智能導播錄課系統(tǒng)*

孫小期，王曉東，湯銳彬，張婷，劉家璇，陳芬

（寧波大學信息科學與工程學院，浙江寧波315211）

近年來，隨著MOOC、翻轉課堂等在線教育產品的推出，互聯(lián)網正漸漸改變著傳統(tǒng)的教學方式，其關鍵因素在于優(yōu)質、個性化教學視頻的錄制。本文介紹了一種基于TI DM365芯片的嵌入式智能導播錄課系統(tǒng)，硬件上采用TI DM365 DSP芯片接收3路視頻和2路音頻，并提供USB、LAN及WiFi接口；軟件上采用FFmpeg開源庫中先進的音視頻編解碼庫libavcodec，系統(tǒng)上位機軟件基于VS2013 C++開發(fā)。該系統(tǒng)具有多路音、視頻混流解碼，六種智能導播和切換模式，本地、云端存儲和點播回放等功能。系統(tǒng)測試結果表明：該系統(tǒng)性能穩(wěn)定、音視頻延時率小于100ms，所錄制的視頻的分辨率達到1080 p、音質效果佳。與現(xiàn)有的錄課方式相比，本系統(tǒng)具有簡約化、便捷化、經濟化和人性化等優(yōu)勢。

智能導播；錄課系統(tǒng)；FFmpeg；TI DM365；DSP芯片技術

0 引言

近年來，隨著計算機軟硬件、互聯(lián)網等信息技術的飛速發(fā)展，信息化教學技術也在不斷更新、進步和發(fā)展。信息化教學為學習提供了全新的交流通訊手段、豐富的資源和多樣化的學習方式，為高效學習帶來了更多的契機[1]。MOOC[2]（慕課）作為一種在線課程開發(fā)模式，自2012年以來得到了快速的發(fā)展。其主要教學內容以個性化的教學視頻為主?，F(xiàn)在比較受歡迎的慕課教學平臺coursera，擁有1 120萬以上的成員，與世界118所大學合作提供939門課程。除了慕課之外，SPOC（翻轉課堂）[3]這種重新調整課堂內外的時間，將學習的決定權從教師轉移給學生的教學方式也隨之普及。慕課教學和翻轉課堂等新型的教育模式，打破了傳統(tǒng)教育資源壁壘，重新整合優(yōu)質資源的學習方法，隨著知名度的提升，必然會成為世界教學的趨勢[4]。

慕課教學和翻轉課堂等新型教學方式的關鍵性因素是個性化教學視頻的錄制。然而，視頻錄制卻存在著種種問題。現(xiàn)有視頻的錄制主要通過專業(yè)拍攝團隊錄制、錄課教室錄制、攝像機錄制、軟件錄制四種方式。通過訪問調查，通過專業(yè)拍攝團隊錄制其價格為1 000~ 1 500元每課時。而特殊布置過的智慧教室進行錄制成本也較為昂貴。以寧波大學為例，2014年，寧波大學花費230萬元購置16間教室；2011年，錄課教室價格為平均62.5萬元/間。除此之外，錄播教室受環(huán)境因素的制約大，一定程度上打擊了老師的積極性。采訪通過軟件進行錄制的老師，發(fā)現(xiàn)通過電腦錄制視頻，由于沒有學生參與，教師授課的真實感差，導致教學效果不理想。同時，錄制視頻后期的剪輯成型需要一系列復雜的工具處理，需要花費大量時間和精力，讓許多優(yōu)秀的老師對新型的教學方式望而卻步。

針對上述教學視頻錄制所存在的問題，設計發(fā)明一種基于TI DM365的嵌入式智能導播錄課系統(tǒng)，它將龐大的智慧教室的所有設備以及相應的功能濃縮在了一個機器人上，同時將一系列復雜的視頻處理精簡成為混合輸出的方式，可應用于小學、初中、高中、大學等各大教育機構和想要傳播想法的個人等。

1 系統(tǒng)總體設計

1.1 系統(tǒng)架構設計

所設計的智能導播錄課系統(tǒng)通過一個類人型機器人得以呈現(xiàn)，機器人由攝像頭、麥克風、平板電腦、DM365芯片組成。

圖1是整個系統(tǒng)的拓撲圖，該系統(tǒng)有三路視頻源、兩路音頻源輸入，集成在平板上的錄制回放下位機提供控制指令和實現(xiàn)人機交互，一路視頻信號采集教師的授課圖像，一路視頻采集教師授課課件的圖像，通過路由器將兩路視頻信號疊加，同時和音頻信號混頻，并通過RJ45口TS流輸出，最終通過開發(fā)的軟件在PC終端上解碼顯示。系統(tǒng)提供WiFi、USB、RJ45高速LAN接口，方便教師將課件拷入系統(tǒng)，并將錄制完的視頻直接上傳至服務器或直接U盤輸出。

圖1 系統(tǒng)拓撲圖

1.2 子系統(tǒng)功能

1.2.1 視頻采集

視頻采集子系統(tǒng)包含三路視頻信號采集，第一路是教師攝像頭輸出的SDI信號，通過BNC接口傳遞給DM365教師視頻采集板；第二路是平板電腦輸出的HDMI信號，通過VGA接口傳遞給DM365平板電腦視頻采集板；第三路是學生攝像頭輸出的SDI信號，通過BNC接口傳遞給DM365學生視頻采集板。所有三路信號均由DM365達芬奇技術編碼成TS流。

1.2.2 音頻采集

第一路是麥克風采集的教師授課音頻AAC信號，通過標準3.5 mm接口輸出至DM365教師視頻采集板；第二路是平板電腦中講義聲音，由HDMI轉VGA和標準3.5 mm接口輸出至DM365平板電腦視頻采集板。

1.2.3 智能導播

（1）教師端平板識別教師上課指令，對完整架構的視頻TS流進行保存，實現(xiàn)一鍵錄制的功能，所錄制的視頻可以通過U盤輸出或直接上傳至百度云。

（2）錄制回放下位機接收控制指令，解碼三路TS流并架構進行導播。導播方式有6種：課件全屏、學生全屏、教師全屏、畫中畫1（課件右主屏、教師頭像左下角小屏）、畫中畫2（課件全屏，教師頭像右上角小屏）、畫中畫3（課件全屏，學生右上角小屏）。

1.2.4 交互控制

交互控制指的是智能導播的軟件控制，通過5224端口識別教師動作并與特殊端口通信。

1.2.5 主存儲

智能導播錄課系統(tǒng)內置導播模式軟件，通過錄制下位機整合回放錄課視頻，以TS流的形式保存MPEG2-TS格式的文件，實現(xiàn)視頻流的任一片段都可以進行獨立解碼[5]。一方面，所錄制的視頻可通過U盤拷貝，方便后期簡單修改；另一方面，視頻可直接云端上傳，讓學生能夠第一時間觀看課堂視頻。

2 硬件設計

2.1 音視頻采集與編碼

系統(tǒng)的三路視頻源、兩路音頻源輸入均采用TI公司的DM365 DSP芯片技術進行處理，高速完成數(shù)字音/視頻信號的采集、編碼等工作。如圖2所示。

本系統(tǒng)首先由SDI攝像頭模組捕獲視頻，將捕獲的視頻數(shù)據(jù)送入核心處理器DM365中進行圖像信號處理（ISP），然后利用處理器的硬件加速器（協(xié)處理器）進行相應的編碼壓縮等操作，得到編碼流數(shù)據(jù)，接著基于TCP/IP協(xié)議通過網絡將編碼后的數(shù)據(jù)（TS流）傳輸?shù)脚c它相連接的下位機中。由于編碼所需系統(tǒng)資源較大，所以需要將單一節(jié)點的編碼運算壓力分攤到三路下位機上實現(xiàn)，整個系統(tǒng)可接收3路視頻輸入和2路音頻輸入。

圖2 高清視頻信號的數(shù)據(jù)流

對3路SDI高清視頻信號的處理，其數(shù)據(jù)流的載體框架如下：一方面SDI視頻從輸入口經過GV7601并經GV8500后輸出；另一方面GV7601與核心視頻處理器DM365和CPLD處理視頻流的編碼壓縮等。其中GV7601相當于一個中繼器，而GV8500相當于驅動，實時地完成高清視頻流從輸入到完整輸出的整個過程。為了能夠對CPLD和DSP編程，專門設置了JTAG接口和RS232接口。

對2路音頻信號的處理擬采用基于MPEG-2AAC音頻編碼技術[6]，其壓縮比可達到18：1。AAC的音頻算法在壓縮能力上遠遠超過了其他傳統(tǒng)音頻壓縮算法（如MP3等），它能同時支持多達48個音軌、15個低頻音軌、更多種采樣率和比特率、多種語言的兼容能力、更高的解碼效率。

2.2 導播控制

（1）錄制過程：一塊DM365 DSP芯片采集平板上所顯示教師講義的HDMI信號，編碼形成教師講義TS流，教師按照平板中提示界面對課程進行一鍵錄制，平板同時提取教師對教學講義的交互信號。使用時，教師手動滑動平板電腦的觸摸屏對教學講義進行操作，或者利用無線遙控器實現(xiàn)對教學講義的控制，這些行為被提取抽象成控制信號，控制信號通過特定端口同時與三塊DM365 DSP芯片輸出的TS流信號匯集并傳送到錄制回放下位機中。

（2）多種導播模式與回放實現(xiàn)：通過設計智能導播錄課系統(tǒng)實現(xiàn)了六種導播模式：課件全屏、學生全屏、教師全屏、畫中畫1（課件右主屏、教師頭像左下角小屏）、畫中畫2（課件全屏，教師頭像右上角小屏）、畫中畫3（課件全屏，學生右上角小屏）。錄制回放下位機根據(jù)控制端控制指令讀取教師授課TS流、學生視頻TS流、教師講義TS流，并接收特定端口傳出的控制信號對TS流進行解碼架構實現(xiàn)回放，混頻輸出顯示。

（3）網絡支持：TS流的讀入均采用TCP/IP協(xié)議通信，教師授課TS流、學生視頻TS流、教師講義TS流統(tǒng)一采用TCP端口5223進行socket流通信；控制信號通過TCP端口5224進行傳輸。

2.3 云端存儲

系統(tǒng)具有WiFi、USB、RJ45高速LAN接口，提供U盤拷貝和云端上傳兩種輸出方式。通過U盤拷貝和云端上傳兩種輸出方式，教師在授課結束后既可通過U盤拷貝已完成編碼的視頻，也可選擇上傳至特殊的百度云賬號，依托百度云的海量數(shù)據(jù)存儲和斷點上傳功能，教師和學生均可登錄云盤在線觀看或是下載視頻，實現(xiàn)多終端多平臺的支持，云端錄課視頻可在電腦端和手機端下載觀看。本系統(tǒng)服務器架構的設計實現(xiàn)了系統(tǒng)的脫機工作，更大程度地減輕了教師上傳的工作量和運營維護的時間成本。

3 軟件設計

3.1 系統(tǒng)整體軟件設計

高清SDI音視頻編碼器以嵌入式視頻處理板為系統(tǒng)核心，處理器依靠內部集成的H.264高清編碼協(xié)處理器HDVICP完成視頻的H.264實時壓縮編碼，輸出TS音、視頻流。由ARM端程序接收到音視頻流，然后按照恰當?shù)姆庋b策略封裝成TS包，最后通過以太網卡發(fā)送給接收端。

系統(tǒng)整體軟件設計圖如圖3所示。

圖3 系統(tǒng)整體軟件設計圖

智能導播錄課系統(tǒng)通過軟件層面的設計，讓教師們可以隨時隨地進行課程的錄制，并及時地將錄制完成的課程進行上傳，讓學生們可以在第一時間通過手機或者電腦進行課程的學習。

3.2 采集模塊

采集模塊的軟件流程圖如圖4。主要分為以下幾部分：連接IP并確定端口、定義結構體、設置視頻圖像參數(shù)、設置音頻聲音參數(shù)。

3.3 視頻數(shù)據(jù)編碼模塊

視頻數(shù)據(jù)編碼模塊的軟件流程圖如圖5。主要分為以下幾部分：創(chuàng)建sock、讀取預設文件中的對應板子的IP地址、通過socket接受一幀數(shù)據(jù)、關閉socket。

圖4 數(shù)據(jù)采集模塊軟件流程圖

3.4 智能導播模塊

智能導播錄課系統(tǒng)通過與視頻流相同信道、不同端口進行導播控制指令的發(fā)送與接收。教師機控制端實現(xiàn)軟件智能切換算法，檢測用戶錄課過程中的特定行為，并判斷決定以何種導播模式，通過5224端口向回放端發(fā)送指令；終端回放端接收控制端發(fā)出的控制指令，讀取特定端口的socket，并按導播模式顯示。

3.5 存儲模塊

云端存儲流程圖如圖6所示。智能導播錄制系統(tǒng)通過下位機根據(jù)內置的導播模式，回放整合后的視頻，并形成新的一路TS流實現(xiàn)文件的保存，保存文件的格式為MPEG2-TS。教師可以通過U盤拷貝或者直接通過云端上傳存儲。

圖5 視頻數(shù)據(jù)編碼模塊的軟件流程圖

3.6 回放模塊

錄制下位機根據(jù)控制端控制指令讀取教師授課TS流、學生視頻TS流、教師講義TS流，并且接收特定端口傳出的控制信號。通過開源FFMPEG庫實現(xiàn)錄課過程中所有的視頻編解碼、編譯及播放功能[7]以及選擇導播模式來實現(xiàn)對TS流的解碼與架構。通過下位機上的具有智能導播切換功能的軟件播放器，將TI DM365輸出的H.264視頻文件和AAC音頻文件以TS流上傳至云端服務器，提供點播回放功能。

圖6 云端存儲流程圖

4 結果及分析

4.1 系統(tǒng)成果

系統(tǒng)成果圖如圖7所示，在智能錄課導播機器人正面放置平板、攝像頭及麥克風。平板模擬教師與學生面對面交流的情境，機器“學生”面對教師聽課，模擬學生課堂反應；攝像頭能實時錄制教師上課和學生聽課的過程，集成智慧教室的功能；麥克風放大老師的聲音。通過DM365芯片采集視頻信號至路由器，通過路由器及內網交換同時結合多媒體講義混成輸出視頻，可直接上傳至云端服務器進行廣播，通過PC、Android等終端供學生使用。本實驗調試時所使用的終端電腦為華碩N53T筆記本電腦。

4.2 軟件效果圖

如圖8是使用智能導播錄課機器人錄制的教學視頻所截取的一張畫中畫1（課件右主屏、教師頭像左下角小屏）的效果圖。

4.3 系統(tǒng)性能測試及分析

輸出視頻格式：MPEG2-TS；

導播方式：兩路音頻、三路視頻混疊后的六種智能導播切換模式；

輸出方式：USB、WiFi、網絡云盤；視頻清晰度：1 080 p；

音視頻延時率：＜100 ms。

智能導播錄課系統(tǒng)錄制的視頻格式為MPEG2-TS，MPEG2-TS是一種用于音效、影像與資料的通信協(xié)議。對HDV信號的采集與其他DV一樣實時采集，視頻源文件轉換成為MPEG2格式并保存。智能導播錄制系統(tǒng)所采用的導播方式為兩路音視頻混疊，并且音視頻的延時率達到小于100 ms。導播視頻根據(jù)教師上課課件以及教師上課的肢體反應實時進行切換，輸出視頻的分辨率達到1 080 p。錄制結束時，視頻可以直接通過USB輸出或者通過網絡直接上傳至云盤，方便學生進行觀看。

圖7 系統(tǒng)成果圖

圖8 錄制效果圖（畫中畫1）

4.4 系統(tǒng)特色與優(yōu)勢

（1）系統(tǒng)通過簡約化的設計，將一個錄播教室的一整套功能濃縮到了一個單機中；

（2）系統(tǒng)通過便捷化的處理，把一套繁瑣的視頻處理程序精簡成了直接通過U盤輸出和云端存儲；

（3）系統(tǒng)具有經濟化的思想，成本價格控制在1萬元左右；

（4）系統(tǒng)秉持著人性化的理念，將原本枯燥無味的錄制過程轉換成了一個模擬環(huán)境，讓教師能夠真實地感受上課環(huán)境，提高視頻的質量。

5 結論

本文設計了一種基于TI DM365的嵌入式智能導播錄課系統(tǒng)，該系統(tǒng)能夠顯著地提高教師錄課視頻的質量。通過智能導播錄課系統(tǒng)進行視頻的錄制，在節(jié)約錄課成本的同時，與現(xiàn)有的其他錄課方式相比，機器所占的空間明顯減少，對操作者的處理技術水平幾乎沒有任何要求，同時輸出視頻的分辨率為1 080 p，音頻與視頻的延時率小于100 ms。與現(xiàn)有的錄課方式相比，本文設計的智能導播錄課系統(tǒng)簡約化、便捷化、經濟化和人性化的特點相對突出，輸出視頻的優(yōu)質性也更加顯著。

[1]劉斌.信息化教學有效性的理論思考——對信息化教學本質的再認識[J].現(xiàn)代教育技術，2013（3）：26-29.

[2]宋德清.MOOC在社區(qū)教育中的應用路徑探索——基于開放大學建設的視角[J].遠程教育雜志，2013（6）：68-74.

[3]張金磊，王穎，張寶輝.翻轉課堂教學模式研究[J].遠程教育雜志，2012（4）：46-51.

[4]程國均，陳詠陶.注重學生參與的創(chuàng)新教學模式[J].西南民族學院學報：哲學社會科學版，2002（5）：240-242.

[5]陳衛(wèi)兵，徐重陽，劉衛(wèi)忠.ES流復用成MPEG-2 TS流的緩沖區(qū)控制策略及實現(xiàn)[J].中國有線電視，2003（5）：6-9.

[6]陳濤，黃東軍.MPEG-2／4AAC實時音頻編碼器實現(xiàn)性能優(yōu)化研究進展[J].電聲技術，2008（5）：45-50.

[7]蔣志峰．FFmpeg的快速音視頻開發(fā)方法[J]．單片機與嵌入式系統(tǒng)應用，2008（1）：69-71.

An embedded intelligent directed lessons recording system based on TIDM 365

Sun Xiaoqi，Wang Xiaodong，Tang Ruibin，Zhang Ting，Liu Jiaxuan，Chen Fen
（School of Information Science and Engineering，Ningbo University，Ningbo 315211，China）

In recent years，with the launch of MOOC，F(xiàn)lipped Classroom and other online education products，the Internet is gradually changing the traditional way of teaching.The key factor of those online education products is recording quality，individualized teaching videos.This paper describes an embedded intelligent directed lessons recording system based on TI DM365，which uses TI DM365 DSP chip receiving three-way video and two-way audio on hardware and provides USB，LAN and WiFi interfaces.Using FFmpeg open source library of advanced audio and video codec library libavcodec，the PC software of this system is developed by VS2013 C++.The system has a multi-channel audio and video francis decoding，six kinds of intelligence directed and switch modes，local，cloud storage and on-demand playback functions.System test results show that the system performance is stable，the delay of audio and video is less than 100 ms and the recorded video resolution reaches 1080 p，which suggest sound quality is good.Compared with the existing lessons record mode，the system has a series of advantages such as simplicity，convenience，economization and humanization.

intelligent directed；lessons recording system；FFmpeg；TI DM365；DSP chip technology

TP399

A

1674-7720（2015）13-0035-04

2015-02-05）

孫小期（1994-），通信作者，女，本科，主要研究方向：數(shù)字信號處理技術、視頻圖像處理與傳輸。E-mail：273851715@qq.com。

2015年浙江省大學生科技創(chuàng)新活動計劃（新苗人才計劃）項目；浙江省高等教育教學改革研究項目（jg2013044）；浙江省高等教育課堂教學改革項目（kg2013101）；浙江省普通本科高校新興特色專業(yè)建設項目（通信工程）；寧波市特色專業(yè)建設-通信工程（D00635128000）

王曉東（1970-），男，碩士生導師，副教授，主要研究方向：視頻圖像處理與傳輸、計算機網絡技術等。

湯銳彬（1994-），男，本科，主要研究方向：數(shù)字信號處理技術、視頻圖像處理與傳輸。