張志剛 趙振宇 張國(guó)兵

（石家莊鐵道大學(xué) 河北 050043）

0 引言

高校教學(xué)中使用錄播的地方越來(lái)越多，對(duì)教學(xué)課堂進(jìn)行高效全方位的錄制和直播已經(jīng)成為當(dāng)今教育所要解決的迫切問(wèn)題，若每次都要進(jìn)行專業(yè)人士拍攝則會(huì)浪費(fèi)人力物力，所以一個(gè)教室跟蹤和學(xué)生定位系統(tǒng)將大大降低工作量和難度。本文的究工作就是基于目前圖像識(shí)別研究中已經(jīng)相對(duì)成熟，且已有成功應(yīng)用案例的技術(shù)，構(gòu)造錄播系統(tǒng)的典型框架結(jié)構(gòu)，給出基本設(shè)置，討論利用圖像識(shí)別可以獲取的信息，從而分析如何解決實(shí)際應(yīng)用中的問(wèn)題。

1 圖像識(shí)別技術(shù)

在人工智能處理中圖像識(shí)別系統(tǒng)經(jīng)常采用的重要方法之一是利用圖像匹配模型進(jìn)行目標(biāo)的定位、跟蹤、識(shí)別。圖像識(shí)別占有非常大的比例，其能夠利用圖像匹配模式進(jìn)行相關(guān)目標(biāo)的定位識(shí)別與跟蹤實(shí)現(xiàn)圖像自動(dòng)匹配或者是一個(gè)圖像和另一圖像上的模式追蹤等。當(dāng)前最為流行的圖像匹配是模板匹配法，即根據(jù)兩幅圖像之間的關(guān)系尋找出其中的關(guān)聯(lián)并進(jìn)行綜合，利用相關(guān)性運(yùn)算得出模板圖像與待匹配的圖像以求出之間值來(lái)判斷其中的匹配度，模板匹配是圖像匹配中較為簡(jiǎn)單的模式識(shí)別方法。

圖像識(shí)別系統(tǒng)經(jīng)常采用的另一個(gè)重要方法是利用原型匹配模型識(shí)別有一定相似程度的目標(biāo)。這種模型假設(shè)在長(zhǎng)期記錄中存儲(chǔ)的并不是所要識(shí)別的無(wú)數(shù)個(gè)模板，而是圖像的某些“相似性”。其原型是在圖像識(shí)別系統(tǒng)中抽象出來(lái)的較為相似的圖像，原型相似較高的話該圖像就會(huì)被識(shí)別。類(lèi)似人本身不僅能夠?qū)δX中事物的模板進(jìn)行相同的識(shí)別還能夠?qū)ζ渲胁煌谀X中模板的圖像進(jìn)行識(shí)別。另外還有一種模型叫做分層識(shí)別模型，其將圖像分為幾個(gè)層次，且每層次中的職責(zé)和特征分析的機(jī)制都是不同的，它們之間都按順序進(jìn)行運(yùn)行并得出最后的識(shí)別圖像。

2 基于圖像識(shí)別技術(shù)的網(wǎng)絡(luò)錄播系統(tǒng)工作原理

2.1 網(wǎng)絡(luò)錄播系統(tǒng)的一般結(jié)構(gòu)

當(dāng)前在我國(guó)學(xué)校中使用各種網(wǎng)絡(luò)錄播系統(tǒng)，且大多數(shù)的網(wǎng)絡(luò)錄播系統(tǒng)的應(yīng)用技術(shù)也都不相同，將這些系統(tǒng)進(jìn)行邏輯上的抽象，可得出其邏輯結(jié)構(gòu)還是大致相同的，其大致的框架機(jī)構(gòu)能夠列出如圖1所示。

圖1 網(wǎng)絡(luò)錄播系統(tǒng)一般結(jié)構(gòu)

事件驅(qū)動(dòng)方式是當(dāng)前網(wǎng)絡(luò)錄播系統(tǒng)控制中采用最多的方式，在教師的能夠觸發(fā)信號(hào)產(chǎn)生的地方安裝裝置以對(duì)教學(xué)過(guò)程中所發(fā)生的事情進(jìn)行確定和記錄再對(duì)其進(jìn)行調(diào)度控制，其中對(duì)圖像識(shí)別技術(shù)的利用率比教師運(yùn)動(dòng)跟蹤的利用率只低一點(diǎn)。網(wǎng)絡(luò)錄播系統(tǒng)可以獲取的常用觸發(fā)事件源有：

（1）時(shí)鐘計(jì)時(shí)觸發(fā)：計(jì)算機(jī)內(nèi)部時(shí)鐘中斷，外部時(shí)鐘信號(hào)。

（2）教師運(yùn)動(dòng)觸發(fā)：紅外線追蹤，無(wú)線感應(yīng)，圖像識(shí)別等。

（3）板書(shū)定位觸發(fā)：常用無(wú)線感應(yīng)等。

（4）使用電腦觸發(fā)：按動(dòng)鼠標(biāo)，鍵盤(pán)等操作計(jì)算機(jī)的動(dòng)作。

（5）音源定位觸發(fā)：話筒按鍵，按鈕，音源方向驅(qū)動(dòng)定位等。

（6）視頻展示臺(tái)、DVD 等其它視頻源接入觸發(fā)：許多系統(tǒng)幾乎不考慮。

2.2 利用圖像識(shí)別技術(shù)構(gòu)造錄播系統(tǒng)的典型框架結(jié)構(gòu)

對(duì)圖像識(shí)別技術(shù)中產(chǎn)生出的錄播系統(tǒng)的框架結(jié)構(gòu)如下圖1所示，圖2是教室的俯瞰圖，其中標(biāo)記的A1，A2都是可調(diào)攝像機(jī)的安放位置，而G1，G2都是固定安裝的攝像機(jī)的安放位置。屏幕、DVD以及視頻展示臺(tái)的視頻源都是以講臺(tái)作為假設(shè)地的，對(duì)于音源信號(hào)的地點(diǎn)未標(biāo)出。

圖2 錄制教室俯瞰圖

2.3 可以獲取的教學(xué)過(guò)程信息

基礎(chǔ)語(yǔ)音識(shí)別與圖形識(shí)別是相結(jié)合的，因此在教學(xué)過(guò)程中，自動(dòng)錄播系統(tǒng)都是有著較強(qiáng)的控制能力的，對(duì)于一些有意義的信息都能進(jìn)行記錄，如表1所示。

表1 可以獲取的教學(xué)信息

圖像信息分類(lèi) 信息源 識(shí)別類(lèi)容可定位教師，特寫(xiě)可定位教師，移動(dòng)從教師畫(huà)面提取的信息教師專用可調(diào)攝像機(jī)圖像對(duì)應(yīng)的音頻 不可定位教師，無(wú)音頻不可定位教師，有音頻計(jì)算機(jī)屏幕對(duì)應(yīng)的音頻 屏幕較大區(qū)域間隔變化從計(jì)算機(jī)頻幕提取的畫(huà)面信息是否有屏幕信號(hào)屏幕是否變化、時(shí)間分布是否有視頻信號(hào)視頻展示臺(tái) 視頻信號(hào)空間、時(shí)間分布從視頻展示臺(tái)提取的信息 視頻變化，且有音頻學(xué)生區(qū)無(wú)人站起，無(wú)音頻學(xué)生區(qū)無(wú)人站起，有音頻從師生互動(dòng)畫(huà)面提取的信息學(xué)生區(qū)固定攝像機(jī)學(xué)生區(qū)音頻輸入 學(xué)生區(qū)有人站起，無(wú)音頻學(xué)生區(qū)有人站起，有音頻

3 子系統(tǒng)介紹

3.1 錄播中控系統(tǒng)

集成錄播控制臺(tái)幫我們實(shí)現(xiàn)的一鍵式的開(kāi)始和關(guān)閉系統(tǒng)一鍵式的開(kāi)始和停止錄播，使教師無(wú)需經(jīng)過(guò)技術(shù)性培訓(xùn)就可以進(jìn)行講課；錄播控制臺(tái)給我們提供了傳統(tǒng)式的按鍵操作模式，還配備了先進(jìn)的數(shù)字化的觸摸時(shí)操作系統(tǒng)，我們可以進(jìn)行云臺(tái)鏡頭的控制，還有手動(dòng)的導(dǎo)播、鼠標(biāo)的跟蹤點(diǎn)擊導(dǎo)播等等。

3.2 教師跟蹤系統(tǒng)

所謂教師跟蹤系統(tǒng)，即屬于圖像定位里面的一種。不管是教師在講課時(shí)的來(lái)回走動(dòng)還是書(shū)寫(xiě)講課板書(shū)等。教師跟蹤系統(tǒng)它都可以采用不同的方法來(lái)進(jìn)行自動(dòng)的對(duì)焦來(lái)進(jìn)行跟蹤拍攝，并且畫(huà)面輸出很穩(wěn)定。教師跟蹤系統(tǒng)同時(shí)還采用了先進(jìn)的自動(dòng)智能化操作模式，免去了人工的操作，上課的教師就按照以往一般的講課模式來(lái)進(jìn)行正常教學(xué)就可以了。免除了佩戴專用跟蹤設(shè)備給教師帶來(lái)的一些不適感，是教師更專心的教學(xué)。教師圖像的跟蹤拍攝的方法策略：①當(dāng)教師在教室里面來(lái)回的走動(dòng)時(shí)，教師跟蹤系統(tǒng)將會(huì)自動(dòng)的進(jìn)行對(duì)焦并進(jìn)行近景拍攝；②當(dāng)啟動(dòng)錄播系統(tǒng)和多個(gè)人一起出現(xiàn)在講臺(tái)上的時(shí)候，教師跟蹤系統(tǒng)將會(huì)自動(dòng)的進(jìn)行對(duì)焦并且進(jìn)行全景式的拍攝；③當(dāng)教師不在課堂上來(lái)回走動(dòng)授課和書(shū)寫(xiě)板書(shū)時(shí)，教師跟蹤系統(tǒng)將會(huì)自動(dòng)的進(jìn)行對(duì)焦并進(jìn)行特寫(xiě)拍攝。

3.3 學(xué)生定位系統(tǒng)

學(xué)生定位系統(tǒng)可以實(shí)現(xiàn)對(duì)正在發(fā)言的同學(xué)進(jìn)行跟蹤定位并進(jìn)行特寫(xiě)式的拍攝。學(xué)生只要站起發(fā)表言論或者回答老師所提出的問(wèn)題時(shí)，該系統(tǒng)可以自動(dòng)的啟動(dòng)學(xué)生攝像機(jī)對(duì)正在說(shuō)話的學(xué)生進(jìn)行跟蹤定位并且特寫(xiě)式的鏡頭拍攝，當(dāng)學(xué)生結(jié)束說(shuō)話后，系統(tǒng)將會(huì)自動(dòng)轉(zhuǎn)回原有的教師跟蹤系統(tǒng)。

3.4 智能導(dǎo)播系統(tǒng)

對(duì)課程進(jìn)行過(guò)程錄制過(guò)和多路段視頻信號(hào)源、視頻和音頻文件與計(jì)算機(jī)畫(huà)面間的自動(dòng)轉(zhuǎn)換等都是自動(dòng)式錄播系統(tǒng)的主要功能，系統(tǒng)會(huì)跟隨著教學(xué)活動(dòng)的變化采用智能的選擇性切換方法，并且會(huì)實(shí)現(xiàn)帶有特效功能的智能式導(dǎo)播。

3.5 課件實(shí)時(shí)錄制系統(tǒng)

課件實(shí)時(shí)錄制系統(tǒng)能簡(jiǎn)單方便的將整個(gè)課堂的教師講課的情景實(shí)時(shí)錄制下來(lái)，并且自動(dòng)生成帶有視頻音樂(lè)和電子文檔的流媒體課件，其課件壓縮率很高，可以實(shí)現(xiàn)真?zhèn)€過(guò)程動(dòng)態(tài)情景的抓拍、可以自動(dòng)生成文字索引等功能。

4 圖像識(shí)別技術(shù)在網(wǎng)絡(luò)錄播系統(tǒng)中實(shí)際應(yīng)用

4.1 事件識(shí)別功能

一般在實(shí)際應(yīng)用中電腦或者 DVD格式的錄像片播放模式是教師最常用的方式，系統(tǒng)調(diào)度決策沒(méi)有足夠的外部觸發(fā)的事件，且傳統(tǒng)形式的外部事件觸發(fā)技術(shù)并不難很好確定調(diào)度方案，這就會(huì)造成錄制文件并不難將錄像的全部信息容納在內(nèi)，智能識(shí)別教學(xué)現(xiàn)場(chǎng)信息是這類(lèi)問(wèn)題的有效方案，教師在進(jìn)行錄像播放時(shí)一般其話筒是沒(méi)有聲音的，且學(xué)生區(qū)也無(wú)能夠互動(dòng)的發(fā)言，再加上板書(shū)這一過(guò)程，所以能夠進(jìn)行外部觸發(fā)的輸入將近于無(wú)，屏幕圖像變化和 DVD信息的變化會(huì)伴有聲音等，將這些特點(diǎn)進(jìn)行綜合就會(huì)產(chǎn)生較高的預(yù)測(cè)性。

4.2 學(xué)生發(fā)言定位功能

攝像機(jī)在學(xué)生發(fā)表言論時(shí)如何對(duì)其進(jìn)行定位和特地額是當(dāng)前自動(dòng)錄播系統(tǒng)所面臨的問(wèn)題之一，當(dāng)前主流技術(shù)都是采用外部事件觸發(fā)技術(shù)，即對(duì)已經(jīng)預(yù)先設(shè)好的位置進(jìn)行攝像機(jī)調(diào)整，將學(xué)生的位置進(jìn)行大致的定位。只有將能夠探測(cè)外部事件觸發(fā)的設(shè)備進(jìn)行增加才能對(duì)特寫(xiě)和定位的效果提高，但是這樣一來(lái)就睡使得系統(tǒng)出現(xiàn)錯(cuò)誤的幾率增高。圖像識(shí)別技術(shù)即將固定攝像機(jī)和可調(diào)式攝像機(jī)進(jìn)行交叉定位，這樣對(duì)正在說(shuō)話的學(xué)生進(jìn)行比較準(zhǔn)確的定位，然后在讓可調(diào)攝像機(jī)移動(dòng)位置以進(jìn)行相關(guān)特寫(xiě)。再對(duì)教學(xué)過(guò)程中會(huì)發(fā)生的其他時(shí)間進(jìn)行分析和組合，就會(huì)使得一些諸如未發(fā)言學(xué)生而進(jìn)入特寫(xiě)等情況的錯(cuò)誤減少。

4.3 教師授課的行為偏好分析

一般教師進(jìn)行教學(xué)時(shí)都會(huì)有一個(gè)特點(diǎn)就是分析講課內(nèi)容，利用計(jì)算機(jī)、板書(shū)以及視頻音頻等信息再結(jié)合其他時(shí)間以獲得。識(shí)別板書(shū)并不代表識(shí)別板書(shū)內(nèi)容，而是根據(jù)時(shí)間間隔在授課時(shí)醫(yī)用智能世界技術(shù)對(duì)教師言語(yǔ)動(dòng)作進(jìn)行分析，比如對(duì)教師移動(dòng)黑板、板書(shū)持續(xù)時(shí)間等事件的分析，結(jié)合時(shí)間時(shí)間序列，將會(huì)在一定程度上捕捉到教師的講課偏好，另外若對(duì)講課過(guò)程中使用的計(jì)算機(jī)屏幕進(jìn)行類(lèi)似處理則會(huì)大致分析出教師使用電子教案時(shí)出現(xiàn)的相關(guān)偏好。分析教師授課時(shí)的音頻以及其他事件，能夠?qū)處煹奶厣貌蹲健Ｈ缓笳{(diào)度系統(tǒng)對(duì)這些偏好進(jìn)行分析處理，則會(huì)對(duì)將要發(fā)生的事件進(jìn)行預(yù)測(cè)，以得出可適應(yīng)的調(diào)度規(guī)則。

5 小結(jié)

當(dāng)今教育信息文化支撐體系中網(wǎng)絡(luò)錄播系統(tǒng)是其中的一項(xiàng)重要內(nèi)容，而其中人工智能的領(lǐng)域中圖像識(shí)別又是重點(diǎn)內(nèi)容，因此圖像識(shí)別是能夠使錄播系統(tǒng)進(jìn)行智能化網(wǎng)絡(luò)調(diào)度的重要環(huán)節(jié)。多媒體技術(shù)以及自動(dòng)控制跟蹤技術(shù)和網(wǎng)絡(luò)流媒體技術(shù)等只有在結(jié)合圖像識(shí)別的網(wǎng)絡(luò)錄播系統(tǒng)之后，才能將由教師、學(xué)生以及多媒體等電子教案所發(fā)出的 VGA信號(hào)吉祥鳥(niǎo)智能化跟蹤切換，才會(huì)使得教師以及學(xué)生的教學(xué)過(guò)程以及多媒體的使用過(guò)程等進(jìn)行單畫(huà)面或者多畫(huà)面的視頻記錄并生成對(duì)應(yīng)的課例視頻，然后再利用流媒體技術(shù)以達(dá)到網(wǎng)絡(luò)直播。

[1]張林，俞揚(yáng)，朱懷宏.一種對(duì)圖像中給定圖形的定位方法[J].微機(jī)發(fā)展.2003，（9）：1-2.

[2]陳宗讓，李曉銘.課堂教學(xué)自動(dòng)錄播系統(tǒng)圖像跟蹤技術(shù)研究[J].現(xiàn)代教育技術(shù)，2009（3）：13-15.

[3]夏宇.電腦硬道理— —網(wǎng)管實(shí)戰(zhàn)[M].重慶：電腦報(bào)電子音像出版社，2010（1）：11-12

[4]盧桂馥，劉金飛，王勇.基于微粒群算法和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像分割算法[J].計(jì)算機(jī)技術(shù)與發(fā)展.2008.18（7）.90-92.

[5]楊小冬.自動(dòng)圖像識(shí)別系統(tǒng)圖像分割算法的研究[J].南京大學(xué)學(xué)報(bào)，2009，4（4）11-15

[6]張飛碧.全自動(dòng)智能錄播系統(tǒng)的架構(gòu)分析[J].中國(guó)電化教育.2008，（5）：104-108.

[7]康劍莉，陳罡，毛金明.基于Cabor小波特征的磨粒圖像識(shí)別新方法[J].激光與紅外，2010，（3）：12-14

[8]朱秀昌視頻監(jiān)控技術(shù)的智能化趨勢(shì)[J].中興通訊技術(shù)，2010，16（6）：32-34