沈宏興

（上海交通大學(xué)教育技術(shù)中心，上?！?00240）

EPTZ智能跟蹤攝像機(jī)在云錄播中的應(yīng)用

沈宏興

（上海交通大學(xué)教育技術(shù)中心，上海200240）

文章介紹一款基于EPTZ的智能跟蹤攝像機(jī)，為4K高清固定鏡頭攝像機(jī)，采集講臺(tái)區(qū)域全景圖像，經(jīng)內(nèi)置芯片計(jì)算，摳出拍攝目標(biāo)所在區(qū)域場(chǎng)景；芯片可對(duì)全景圖像的像素隔點(diǎn)取像，即電子變焦；跟蹤和電子變焦同時(shí)使用，再配以一定的策略，即可實(shí)現(xiàn)智能跟蹤。該款攝像機(jī)已經(jīng)在云錄播系統(tǒng)中成功應(yīng)用。

智能跟蹤；EPTZ；高清攝像機(jī)；云錄播；摳像

引言

互聯(lián)網(wǎng)的高速發(fā)展使網(wǎng)絡(luò)學(xué)習(xí)進(jìn)入每個(gè)人的日常生活，而網(wǎng)絡(luò)學(xué)習(xí)需要大量的學(xué)習(xí)視頻資源，由此催生出自動(dòng)錄播產(chǎn)品?！督逃筷P(guān)于國家精品開放課程建設(shè)的實(shí)施意見》推動(dòng)了精品課程的建設(shè)，各高校紛紛安裝自動(dòng)錄播系統(tǒng)，錄制了大量的視頻課程，為學(xué)生的課外學(xué)習(xí)提供了很好的輔助材料。

最近幾年智慧教室如火如荼，“智慧”帶有“記憶”和“傳播”，自動(dòng)錄播系統(tǒng)是智慧教室的標(biāo)配；既然是智慧教室，那自動(dòng)錄播系統(tǒng)也應(yīng)該具有智慧；云計(jì)算技術(shù)的強(qiáng)力推動(dòng)，也使得錄播系統(tǒng)發(fā)展為云錄播。正是因?yàn)橛写蟮男枨?，又有?qiáng)大的技術(shù)推動(dòng)，可預(yù)見，在不久的將來，智能的云錄播將普及于我們的每一所學(xué)校、每一間教室。

鑒于這樣的大環(huán)境和大趨勢(shì)，上海交通大學(xué)通過校企合作，在2015年研制安裝了一批基于EPTZ智能跟蹤網(wǎng)絡(luò)攝像機(jī)的云錄播系統(tǒng)。使用一年，錄制效果超出預(yù)期。

一、常見錄播系統(tǒng)中的跟蹤攝像系統(tǒng)

目前，傳統(tǒng)的智能跟蹤攝像系統(tǒng)方案中一般包含3—5臺(tái)主攝像機(jī)、全景輔助攝像機(jī)、定位裝置和控制主機(jī)，工作原理基于圖像處理算法，對(duì)全景攝像機(jī)攝取圖像進(jìn)行分析，通過云臺(tái)控制跟蹤攝像機(jī)的鏡頭縮放和拍攝角度進(jìn)行實(shí)時(shí)跟蹤教學(xué)對(duì)象，主機(jī)根據(jù)定位裝置判定教學(xué)動(dòng)作后控制攝像機(jī)跟蹤拍攝并場(chǎng)景切換。根據(jù)錄制模板，將相應(yīng)圖像信號(hào)傳至錄像裝置，進(jìn)行編碼壓縮后存儲(chǔ)在存貯裝置中。其缺點(diǎn)是整套系統(tǒng)體構(gòu)造復(fù)雜，安裝及維護(hù)工作相對(duì)繁雜，云臺(tái)長時(shí)間運(yùn)作容易發(fā)生故障，而且成本昂貴。

另一種改進(jìn)的方案是具有跟蹤功能的智能球形教學(xué)攝像機(jī)，該攝像機(jī)內(nèi)置雙鏡頭和CPU蕊片，通過視頻采集模塊對(duì)固定攝像頭進(jìn)行視頻數(shù)據(jù)采集，視頻解碼器將視頻數(shù)據(jù)信號(hào)傳給主CPU進(jìn)行實(shí)時(shí)處理，采用算法及策略計(jì)算目標(biāo)信息，由從CPU根據(jù)設(shè)定的跟蹤區(qū)域及教師或?qū)W生的活動(dòng)情況驅(qū)動(dòng)控制板對(duì)CCD攝像頭進(jìn)行運(yùn)動(dòng)控制及光學(xué)鏡頭控制，實(shí)現(xiàn)對(duì)教師或?qū)W生的智能跟蹤和遠(yuǎn)景近景之間切換。與傳統(tǒng)方案相比，其可以簡化系統(tǒng)構(gòu)造，降低成本。但是，由于該方案采用單攝像機(jī)內(nèi)置雙鏡頭，增加CPU的處理負(fù)擔(dān)，如果采用主、從CPU設(shè)計(jì)使其內(nèi)部結(jié)構(gòu)相對(duì)復(fù)雜，增加不可靠性。另外，其通過運(yùn)動(dòng)電機(jī)控制CCD攝像頭轉(zhuǎn)動(dòng)以及鏡頭拉伸過程中，會(huì)產(chǎn)生垃圾鏡頭，不能實(shí)現(xiàn)場(chǎng)景畫面的無縫切換。

由此可見，傳統(tǒng)的錄播系統(tǒng)設(shè)施繁多、安裝復(fù)雜、成本高、故障概率高，經(jīng)常困擾錄播管理人員。應(yīng)用需求和技術(shù)發(fā)展的推動(dòng)，一種創(chuàng)新的智能跟蹤攝像方法和裝置順勢(shì)而生。

二、EPTZ智能跟蹤攝像機(jī)工作原理

（一）智能跟蹤攝像機(jī)組成

智能跟蹤攝像裝置包括圖像傳感器模塊、緩存模塊、預(yù)設(shè)置模塊、圖像分析模塊、摳圖模塊以及編碼模塊（見圖1）。在預(yù)設(shè)置模塊中設(shè)置場(chǎng)景切換規(guī)則，并設(shè)置全景視頻圖像的范圍。根據(jù)在預(yù)設(shè)置模塊中設(shè)置的全景視頻圖像范圍，攝像機(jī)通過高分辨率圖像傳感器對(duì)全景視頻圖像進(jìn)行實(shí)時(shí)采集，所采集全景視頻圖像放在緩存中。圖像分析模塊通過圖像縮放處理芯片按照采集順序按幀依次提取存放在緩存中的全景視頻圖像，并進(jìn)行圖像縮小處理。圖像縮小處理后的全景視頻圖像輸出高性能DSP進(jìn)行圖像分析，識(shí)別場(chǎng)景狀態(tài)。摳圖模塊從緩存中提取所分析全景視頻圖像對(duì)應(yīng)幀的原始采集圖像，根據(jù)預(yù)設(shè)置模塊設(shè)置的場(chǎng)景切換規(guī)則，通過圖像裁剪縮放處理芯片對(duì)該原始全景視頻圖像進(jìn)行裁剪縮放處理，提取場(chǎng)景畫面。編碼模塊提取的場(chǎng)景視頻圖像進(jìn)行圖像編碼，并保存到存儲(chǔ)器中或者進(jìn)行直播。

圖1　　智能跟蹤攝像機(jī)組成

圖2為智能跟蹤攝像工作步驟，安裝攝像機(jī)對(duì)全景視頻圖像進(jìn)行采集后，首先設(shè)置攝像中的場(chǎng)景切換規(guī)則以及全景視頻圖像的范圍；其次對(duì)采集的全景視頻圖像進(jìn)行圖像分析，識(shí)別場(chǎng)景狀態(tài)，根據(jù)場(chǎng)景切換規(guī)則，從全景視頻圖像的畫面中提取全部或部分內(nèi)容作為場(chǎng)景畫面，再對(duì)上述視頻圖像進(jìn)行圖像編碼，最后輸出跟蹤后的圖像。

圖2　　智能跟蹤攝像工作步驟

圖3　　智能跟蹤攝像工作流程

（二）利用高斯建模進(jìn)行分析圖像

高斯模型就是用高斯概率密度函數(shù)（正態(tài)分布曲線）精確地量化圖像，將一個(gè)圖像分解為若干的基于高斯概率密度函數(shù)形成的模型。對(duì)圖像背景建立高斯模型，圖像灰度直方圖反映的是圖像中某個(gè)灰度值出現(xiàn)的頻次，也可以以為是圖像灰度概率密度的估計(jì)。如果目標(biāo)區(qū)域和背景區(qū)域相比較大，且背景區(qū)域和目標(biāo)區(qū)域在灰度上有一定的差異，那么該圖像的灰度直方圖呈現(xiàn)雙峰-谷形狀，其中一個(gè)峰對(duì)應(yīng)于目標(biāo)，另一個(gè)峰對(duì)應(yīng)背景中心灰度。

在錄播視頻畫面中劃定跟蹤目標(biāo)的識(shí)別區(qū)域后，可以對(duì)所述識(shí)別區(qū)域進(jìn)行高斯背景建模，提取運(yùn)動(dòng)目標(biāo)；對(duì)所述運(yùn)動(dòng)目標(biāo)進(jìn)行特征分析，判斷該運(yùn)動(dòng)目標(biāo)是否符合跟蹤目標(biāo)的類別，進(jìn)而可以判斷場(chǎng)景狀態(tài)為跟蹤目標(biāo)不在識(shí)別區(qū)域或者單個(gè)跟蹤目標(biāo)在識(shí)別區(qū)域或者2個(gè)及以上跟蹤目標(biāo)進(jìn)入識(shí)別區(qū)域。通過識(shí)別區(qū)域劃定、運(yùn)動(dòng)目標(biāo)提取和目標(biāo)特征提取的過程實(shí)現(xiàn)全景視頻圖像分析，并識(shí)別場(chǎng)景特征，能夠有效地實(shí)現(xiàn)跟蹤目標(biāo)的識(shí)別和跟蹤，跟蹤過程中畫面平滑自然，并能夠準(zhǔn)確地識(shí)別場(chǎng)景狀態(tài)。

（三）EPTZ工作流程

EPTZ是英語Electronic Pan Tilt Zoom的簡寫，直譯為電子上下左右變焦，一般翻譯為電子云臺(tái)，意思是利用數(shù)字圖像處理技術(shù)對(duì)所需圖像上下左右全方位移動(dòng)及鏡頭變倍、變焦控制，而不是物理的云臺(tái)和變焦鏡頭。

在攝像機(jī)拍攝的全景圖像范圍內(nèi)，當(dāng)目標(biāo)出現(xiàn)后，通過其程序設(shè)置，預(yù)置位自動(dòng)觸發(fā)鎖定某個(gè)運(yùn)動(dòng)目標(biāo)，攝像機(jī)進(jìn)行針對(duì)被鎖定的運(yùn)動(dòng)目標(biāo)進(jìn)行視覺導(dǎo)向的自動(dòng)跟蹤，以確保跟蹤目標(biāo)持續(xù)出現(xiàn)在鏡頭中央。跟蹤技術(shù)采用了Meanshift、光流法、Kalman濾波估計(jì)等視頻目標(biāo)跟蹤技術(shù)算法，提高了跟蹤的可靠性（見圖3）。

該攝像機(jī)安裝于教室后墻，正對(duì)教師。教師日常上課時(shí)，攝像機(jī)全景拍攝圖像，當(dāng)計(jì)劃選擇場(chǎng)景畫面為教師特寫時(shí)，先識(shí)別出跟蹤目標(biāo)所在區(qū)域，以跟蹤目標(biāo)為中心提取一定大小的畫面作為特寫畫面；當(dāng)計(jì)劃選擇場(chǎng)景畫面為全景時(shí)，直接提取全景視頻圖像作為全景畫面。分別通過特寫畫面摳取和全景畫面摳取實(shí)現(xiàn)場(chǎng)景畫面提取，可以高效地從全景視頻圖像中提取特寫畫面或者全景畫面。全景圖像為4K高清，即像素3840*2160，摳圖成像為全景圖像的四分之一，即像素點(diǎn)位數(shù)1920*1080，所以最終輸出圖像為2K高清圖像。

（四）智能切換場(chǎng)景的策略

為了取得良好的圖像拍攝效果，智能跟蹤攝像機(jī)具有一整套摳圖切換規(guī)則，主要有：

1.上課時(shí)，教師在講臺(tái)區(qū)域，場(chǎng)景狀態(tài)為單個(gè)跟蹤目標(biāo)在識(shí)別區(qū)域，場(chǎng)景畫面切換成跟蹤目標(biāo)特寫畫面；

2.當(dāng)教師在講臺(tái)前原地靜止站立講課時(shí)，場(chǎng)景畫面可能為長時(shí)間為特寫畫面，為防止畫面單一觀看疲勞，設(shè)定20秒后切換成全景畫面，10秒后再切特寫。

3.當(dāng)教師走下講臺(tái)區(qū)域，全景圖像中沒有教師出現(xiàn)時(shí)，場(chǎng)景狀態(tài)為跟蹤目標(biāo)不在識(shí)別區(qū)域，場(chǎng)景畫面切換成全景畫面；

4.當(dāng)有學(xué)生演講或遲到經(jīng)過講臺(tái)區(qū)域，講臺(tái)區(qū)域有2個(gè)以上人員時(shí)，攝像機(jī)不跟蹤特定某個(gè)目標(biāo)，場(chǎng)景畫面切換成全景畫面；特寫畫面切換設(shè)置、全景畫面切換設(shè)置和防疲勞切換設(shè)置能更好地適應(yīng)課程拍攝的特點(diǎn)和要求。

三、云錄播系統(tǒng)組成與使用

云錄播系統(tǒng)是將教師上課場(chǎng)景全程錄制，視頻實(shí)時(shí)上傳云端服務(wù)器的課程錄制系統(tǒng)。云錄播完全依賴網(wǎng)絡(luò)傳輸與存儲(chǔ)，本地不保存視頻；錄制的內(nèi)容包含教師圖像、聲音和PPT等，一套最簡易的云錄播設(shè)施包含EPTZ攝像機(jī)、話筒及混音編碼器、VGA編碼器等組成學(xué)生攝像機(jī)和拾音器。

借助于EPTZ智能跟蹤攝像機(jī)，在普通教室內(nèi)拍攝的圖像能看清教師的肢體語言與表情，同時(shí)也看清教師板書，與VGA編碼器組合，上傳網(wǎng)絡(luò)服務(wù)器，即可形成高質(zhì)量的課程視頻。由于本套云錄播系統(tǒng)構(gòu)造簡單，成本低，故障率低；工作人員管理工作量不大，我校利用17套云錄播系統(tǒng)，僅需1名日常管理的技術(shù)人員，一年內(nèi)錄制了110門課程，達(dá)4000余學(xué)時(shí)，這個(gè)數(shù)字在以前是無法想象的。圖4、5分別為講臺(tái)區(qū)域全景、教師板書場(chǎng)景視頻截圖。

圖4　講臺(tái)區(qū)域全景　

圖5　教師板書場(chǎng)景

學(xué)生選課造成了大學(xué)教學(xué)名師的課供不應(yīng)求，一師多課堂的網(wǎng)絡(luò)上課形式在校園內(nèi)越來越普遍，這就需要自動(dòng)錄播系統(tǒng)的支撐；校際合作，同上一堂課，也經(jīng)常用到云錄播系統(tǒng)；上海交通大學(xué)援建西部地區(qū)高校，利用云錄播系統(tǒng)每天晚上實(shí)時(shí)推送課程到寧夏大學(xué)和西藏大學(xué)；學(xué)校注重教學(xué)質(zhì)量的提高，建設(shè)網(wǎng)上教學(xué)督導(dǎo)平臺(tái)，云錄播系統(tǒng)將被大面積應(yīng)用。

四、結(jié)語

1.通過對(duì)采集的全景視頻圖像進(jìn)行圖像分析，可以識(shí)別場(chǎng)景狀態(tài)；根據(jù)場(chǎng)景切換規(guī)則從全景視頻圖像的畫面中提取全部或部分內(nèi)容作為場(chǎng)景畫面。利用EPTZ攝像機(jī)構(gòu)建的云錄播，不但整體結(jié)構(gòu)簡單，硬件實(shí)現(xiàn)容易，成本較低，而且安裝及維護(hù)方便，沒有垃圾鏡頭，實(shí)現(xiàn)場(chǎng)景畫面的無縫切換，使錄制的視頻更加貼近真實(shí)現(xiàn)場(chǎng)環(huán)境。

2.由于預(yù)設(shè)置模塊包括場(chǎng)景切換規(guī)則設(shè)置模塊，包括特寫畫面切換設(shè)置單元、全景畫面切換設(shè)置單元和防疲勞切換設(shè)置單元，按照該技術(shù)方案實(shí)現(xiàn)的云錄播系統(tǒng)，能夠有效地實(shí)現(xiàn)目標(biāo)的識(shí)別和跟蹤，跟蹤過程中畫面平滑自然，特別適用于教學(xué)錄課。

3.EPTZ電子云臺(tái)的攝像機(jī)可以克服傳統(tǒng)云臺(tái)長時(shí)間運(yùn)作造成機(jī)械故障或老化的缺點(diǎn)，提高設(shè)備和系統(tǒng)的可靠性。

綜上所述，EPTZ智能跟蹤攝像機(jī)將在錄播系統(tǒng)中大有用武之地。

［1］教育部部長袁貴仁在2014年全國教育工作會(huì)議上的講話［OL］.http：//www.ict.edu.cn

［2］張際平.教與學(xué)新天地：未來課堂［J］.中國信息技術(shù)教育，2012（6）.

［3］楊宗凱.解讀教育信息化十年發(fā)展規(guī)劃——兼論信息化與教育變革［J］.中國教育信息化，2014（2）.

［4］陳衛(wèi)東，張際平，未來課堂設(shè)計(jì)與應(yīng)用研究——教育技術(shù)研究的一個(gè)新領(lǐng)域［J］.遠(yuǎn)程教育雜志，2010（4）.

［5］金國偉，基于混合高斯建模的目標(biāo)檢測(cè)和光流法的方向判斷［D］.杭州：杭州電子科技大學(xué)，2015.

［6］沈宏興，多媒體教學(xué)服務(wù)的創(chuàng)新模式［J］.現(xiàn)代教育技術(shù)，2015（10）.

［責(zé)任編輯何一輝］

G40-057

A

1008-7656（2016）02-0005-05

2016-05-30

沈宏興，上海交通大學(xué)教育技術(shù)中心主任，高級(jí)工程師，研究方向：教學(xué)新技術(shù)應(yīng)用。