溫廣權(quán)

【摘要】 沈陽廣電傳媒集團研發(fā)的藝卡智能移動拍攝系統(tǒng)（以下簡稱藝卡）于2018年8月研發(fā)成功，10月在公共頻道200演播室試運行，2018年9月廣電總局規(guī)劃院廣電計量檢測中心對該系統(tǒng)進行了測試和驗證。本文對藝卡涉及的相關(guān)技術(shù)、系統(tǒng)架構(gòu)及系統(tǒng)軟件進行了詳述。藝卡的成功研發(fā)與應用，為廣播電視制作智能化提升推進提供有益的借鑒。

【關(guān)鍵詞】 演播室智能拍攝 精準拍攝 拍攝主體跟蹤 無軌移動 微距運動拍攝和動態(tài)跟蹤拍攝

一.引言

目前，廣播電視節(jié)目制作已經(jīng)進入一個全新的階段，廣電專用機器人在綜藝晚會、新聞演播間、體育賽事、VR制作等很多方面大顯身手。常見的專用機器人主要是軌道機器人。軌道機器人受軌道和線纜的限制，拍攝空間有限。且這些智能拍攝設(shè)備基本都是國外進口，尚無具有完全自主知識產(chǎn)權(quán)的國產(chǎn)產(chǎn)品，一般價格較高，讓很多廣播電視臺和制作單位難以承受，導致技術(shù)推廣受限，應用有限。

藝卡以國產(chǎn)機器人為攝像機承載載體，自主研發(fā)軟件控制系統(tǒng)，實現(xiàn)機器人智能拍攝，實現(xiàn)精準拍攝、拍攝主體跟蹤、無軌移動、微距運動拍攝和動態(tài)跟蹤拍攝等功能。為實現(xiàn)廣播電視拍攝智能化，提高電視節(jié)目制播效率，對廣播電視行業(yè)科技進步起到極大的推動作用。

二.藝卡智能移動拍攝系統(tǒng)涉及的相關(guān)技術(shù)

藝卡通過復合機器人和攝像機12個參數(shù)的協(xié)同控制實現(xiàn)精準拍攝。本系統(tǒng)創(chuàng)造性的將復合機器人和攝像機組成一個完整的移動拍攝系統(tǒng)，其中復合機器人由傳統(tǒng)的AGV機器人和機器臂機器人兩種工業(yè)機器人復合而成。在實現(xiàn)移動拍攝時，要保持攝像機在運動過程中對拍攝目標主體的清晰度和合適的曝光度，需要AGV機器人、機器臂機器人、攝像機協(xié)同工作，機器人和機器臂的運動姿態(tài)與攝像機的光圈大小、焦距等參數(shù)有著緊密的關(guān)系，存在著極大的參數(shù)相關(guān)性，且這種參數(shù)相關(guān)性并非單一的相關(guān)，而是多參數(shù)相互交叉的復合相關(guān)。需要將多維度的參數(shù)進行融合，建立統(tǒng)一、復雜的數(shù)學模型，設(shè)計協(xié)同并發(fā)算法才能實現(xiàn)精準拍攝。在本系統(tǒng)中AGV具有直線運動、速度（加速度）、轉(zhuǎn)動3個維度的參數(shù)；機器臂具有6個軸向的角度（角速度）6個維度的參數(shù)；攝像機主要具有焦距、光圈、推拉3個維度的參數(shù)，上述12個維度的參數(shù)經(jīng)過協(xié)同控制軟件模塊進行統(tǒng)一協(xié)同控制，達到精準拍攝，實現(xiàn)了人工拍攝無法達到的效果。

1.機械機構(gòu)單元實施方式

機械機構(gòu)是智能移動機器人的骨架，由機器臂和AGV車對接而成。機械臂采用的型號是新松SR5CL型，為6軸機械臂，機械臂由本體和控制系統(tǒng)組成。本體包含電機、減速機等驅(qū)動手臂運動的部件；控制系統(tǒng)保證機械臂的正確方向及承受由于工件的重量所產(chǎn)生的彎曲和扭轉(zhuǎn)的力矩。機械臂包括6個自由度，可實現(xiàn)機器人伸縮、旋轉(zhuǎn)和升降等動作。AGV車使用新松倉儲地標感測智能車，有蔽障、路徑規(guī)劃的能力。

支撐機器人所有的模塊，動力與驅(qū)動單元為智能移動機器人提供動力來源；環(huán)境感知單元負責對周圍的環(huán)境進行感知識別及各種參數(shù)的收集，然后通過轉(zhuǎn)換成控制模塊可以識別的光電信號，輸入到控制單元進行數(shù)據(jù)處理；執(zhí)行機構(gòu)單元為智能移動機器人執(zhí)行部分，能根據(jù)控制中心的命令執(zhí)行命令，完成任務；信息處理與控制單元作為整個機械系統(tǒng)的核心部分，將來自傳感器部分采集到的信息進行集中匯總存儲，對所有信息分析、規(guī)劃、決策并輸出命令，使機器人有目的運行。

2.操作系統(tǒng)

智能移動拍攝系統(tǒng)的控制部分由沈陽廣電傳媒集團自主研發(fā)的“藝卡智能移動拍攝遠程控制系統(tǒng)”實現(xiàn)。遠程控制系統(tǒng)從軟件架構(gòu)上可歸納為三個層面，底層為指令執(zhí)行層，主要向中間層反饋當前拍攝系統(tǒng)狀態(tài)，并根據(jù)收到的指令執(zhí)行相應動作；中間層為協(xié)同控制層，根據(jù)系統(tǒng)輸入信息計算智能拍攝系統(tǒng)的控制指令，是軟件控制系統(tǒng)的核心部分；頂層為拍攝場景設(shè)計層，為操作人員提供軟件控制系統(tǒng)的人機交互界面，用于設(shè)計拍攝動作，也可以根據(jù)預設(shè)值自動生成機器人的拍攝動作。

遠程控制系統(tǒng)從實現(xiàn)功能上可劃分為5個模塊：人體檢測跟蹤模塊、機器人運動控制模塊、場景編排設(shè)計模塊、相機鏡頭控制模塊和主控模塊。人體檢測跟蹤模塊完成攝像機拍攝視頻中目標人體位置的持續(xù)檢測和跟蹤；機器人運動控制模塊根據(jù)主控模塊的指令，控制調(diào)整機器人的拍攝角度，位置和運動軌跡；場景設(shè)計編排模塊根據(jù)預設(shè)拍攝需求自動生成機器人的拍攝動作，并根據(jù)拍攝動作發(fā)送控制指令。相機鏡頭控制模塊根據(jù)收到的控制指令調(diào)整鏡頭的各項參數(shù)。主控模塊實現(xiàn)上述功能模塊的消息同步與協(xié)同控制，通過消息機制無延遲收發(fā)信息，使機器人完成拍攝任務，也為后續(xù)模塊升級和功能擴展提供了接口。

3.主要功能特點

該系統(tǒng)具有精準拍攝、拍攝主體跟蹤、無軌移動、微距運動拍攝和動態(tài)跟蹤拍攝等五大特點，是機器人技術(shù)和人工智能技術(shù)在廣電領(lǐng)域的創(chuàng)新應用。

4.關(guān)鍵技術(shù)及創(chuàng)新點

（1）拍攝主體跟蹤技術(shù)

基于人工智能的拍攝主體識別技術(shù)，實現(xiàn)了精確聚焦的目標跟蹤。

本系統(tǒng)創(chuàng)造性的將人工智能的理念和算法應用到拍攝目標識別中，能夠根據(jù)不同的目標主體進行輪廓識別，將識別的輪廓區(qū)域通過平面重心提取算法，提取拍攝主體的重心點后，AGV 和機器臂以此進行高速修正，將攝像機聚焦到目標重心，隨后計算出恰當?shù)臄z像機焦距參數(shù)值，反饋至協(xié)同控制模塊，不斷調(diào)整機器人、攝像機，從而實現(xiàn)了精確聚焦的目標跟蹤。

（2）精準拍攝技術(shù)

使用高精度的移動軌跡標定技術(shù)，實現(xiàn)了同一軌跡多次高精度重復拍攝。

系統(tǒng)所使用的機器人和機器臂具有毫米級的精度，保證了攝相機拍攝點位的精度。在移動拍攝的過程中，將攝像機的運動軌跡通過 12 個維度的參數(shù)進行數(shù)學分割，分割成基于時間軸的切分點，同時對點間的參數(shù)變化進行擬合算法標定，即運動軌跡標定。然后記憶存儲，存為拍攝場景。在每次同軌拍攝時，通過自動定點復位和校正措施，從而實現(xiàn)毫米級的運動軌跡重復拍攝。

（3）動態(tài)跟蹤拍攝技術(shù)

使用精簡的目標識別算法和閉環(huán)快速運動算法，實現(xiàn)了實時精準拍攝。當前的目標識別算法比較復雜，需要的計算量比較大，本系統(tǒng)將多種目標識別算法進行融合，提出了基于輪廓優(yōu)先的識別策略，在已經(jīng)可以識別目標主體時，就不再進行復雜的算法，反之，當基于輪廓算法不能識別時再輔以調(diào)用特征識別算法，從而達到迅速識別目標主體的目的。在拍攝高速移動目標主體時，為了能夠?qū)崿F(xiàn)目標跟蹤，采取了閉環(huán)控制的策略，通過不同圖像幀之間的目標主體重心點的偏離修正實現(xiàn)了從時間軸上的閉環(huán)控制。這樣做的另外一個好處是還可以有效的克服攝像機運動時的拍攝目標的重心抖動。通過以上的兩個重要的算法結(jié)合其他的控制策略，實現(xiàn)了實時精準拍攝。

（4）微距運動拍攝技術(shù)

研發(fā)了多維度協(xié)同控制算法，可實現(xiàn)拍攝避障、相機防抖、微距運動等高質(zhì)量拍攝。實際拍攝過程中，AGV 和機器臂有可能遇到障礙、道路不平、機器人運動慣性抖動等現(xiàn)象，為解決上述問題，經(jīng)過深入分析和研究，本系統(tǒng)設(shè)計出一種多維度協(xié)同控制算法，在算法運行的過程中，對AGV的障礙傳感器和攝像機拍攝主體重心的變化參數(shù)進行實時計算后再作用于協(xié)同控制算法中的多維度的參數(shù)，對相應的參數(shù)進行修正和補償，有效的解決了障礙、抖動，實現(xiàn)了高質(zhì)量拍攝。

5.具體實施方式

（1）通信接口實施方式：

系統(tǒng)需要與機器人和攝像機進行通信，其通信接口和鏈接方式如下：

·軟件與復合機器人的接口：復合機器人采用機器人控制軟件（安裝到Windows平臺計算機），與移動拍攝遠程控制系統(tǒng)進行通信，通信的方式使用TCP/IP協(xié)議（機器臂使用UDP方式，AGV采用TCP方式），使用Socket類編程，IP地址和端口號、應用層的控制協(xié)議由新松提供；攝像機的控制接口使用RSC232-TCP/IP網(wǎng)關(guān)服務器，鏈接到新松機器人的無線路由上。

需要注意的是所有的IP地址都必須與AGV在同一個網(wǎng)段。

·軟件與攝像機的接口：軟件需要單獨使用TCP/IP通信接口與RSC232-TCP/IP網(wǎng)關(guān)服務器網(wǎng)關(guān)進行通信。

（2）上位機協(xié)同控制模塊實施方式：

上位機主要完成設(shè)備狀態(tài)的感知分析和目標跟蹤算法、路徑規(guī)劃和驅(qū)動控制。其次，為了給場景平臺提供透明的場景，需要將場景的多維度參數(shù)使用協(xié)同運動規(guī)劃的算法轉(zhuǎn)化為設(shè)備的參數(shù)控制指令，需要根據(jù)目前狀態(tài)參數(shù)與規(guī)劃的場景計算出的不同維度的控制指令?？紤]到協(xié)同控制和機器人、攝像機的獨立性，上位機協(xié)同控制/感知模塊采用獨立進程，與新松控制臺軟件和場景規(guī)劃軟件模塊之間使用TCP/IP接口，UDP封裝格式完成進程之間的通信。參見圖3。

（3）人體跟蹤模塊實施方式：

采用位置變化速率和物體高速跟蹤相結(jié)合的方法。位置變化速率的方法實現(xiàn)對目標人的跟蹤是建立在人體檢測算法的高速運行的基礎(chǔ)之上。其原理是對于人物在視頻中的連續(xù)運動，就其人體中心位置的變化在前后幀中是連續(xù)的，也就是說在畫面中選定跟蹤目標后，在高速人體檢測過程中，目標人的位置變化在前后幀中是連續(xù)的，所以通過連續(xù)的位置變化來判斷跟蹤目標。使用位置變化的方法跟蹤目標的算法結(jié)構(gòu)簡單，速度快，但無法有效處理跟蹤目標和其他目標人交叉的情況，為了應對這種情況，在人體跟蹤模塊中引入近些年來非常流行的相關(guān)和濾波算法，在跟蹤過程中，通過計算跟蹤目標位置變化得出的跟蹤框和相關(guān)和濾波算法的跟蹤框的擬合程度來判斷該人物是否為跟蹤目標，如果是跟蹤目標，則更新目標的位置信息，同時重新初始化相關(guān)和濾波跟蹤算法的模型。在人物存在交叉時，如果跟蹤目標從其他人物前方交叉，則不受影響，如果其他人物從目標前方交叉，短時間內(nèi)可以做到不受影響。參見圖4。

（4）協(xié)同計算、執(zhí)行控制模塊實施方式

使用不同的接口方式實現(xiàn)與攝像機、機器人（包含云臺）的鏈接；封裝機器人、攝像機兩種不同接口的通信協(xié)議。定義和實現(xiàn)對攝像機的多維度（如：攝像機的位置、姿態(tài)等）動作驅(qū)動控制，將上層送來的多維規(guī)劃信息與目前的狀態(tài)信息計算后，形成多維執(zhí)行單元的控制指令和參數(shù)。設(shè)備的參數(shù)感知包括：實時感知到設(shè)備的多維度（如攝像機的俯仰角度、水平角度、焦距等參數(shù)）狀態(tài)信息；將傳感器感測到的距離直接作用于人體目標跟蹤軟件；多維輸入輸出的協(xié)同運動規(guī)劃，將視頻目標跟蹤、路徑規(guī)劃、場景示例學習等來自于場景規(guī)劃層面的多維度軌跡，使用不同的場景模型進行計算，然后做分維和轉(zhuǎn)維處理，傳輸給協(xié)同控制模塊，然后控制攝像機的位置、姿態(tài)。具體執(zhí)行狀態(tài)圖參見圖5。

（5）場景規(guī)劃軟件模塊實施方式：

主要有兩部分軟件，即人體跟蹤軟件和簡單路徑規(guī)劃軟件。人體跟蹤軟件根據(jù)事先設(shè)定好的場景，感測到主播人的臉部信息，結(jié)合超聲波測量的攝像機與人的距離，調(diào)整攝像機的方位和其他參數(shù)，攝像機自動跟蹤人體，包括人體的左右和上下移動，人的行走。簡單路徑規(guī)劃軟件，可以實現(xiàn)事先擬定的多維度攝像頭的軌跡參數(shù)，以促使按照設(shè)定的場景進行拍攝。

采用的技術(shù)方案是：考慮到協(xié)議和場景的獨立性，場景規(guī)劃軟件模塊獨立的編程，其與協(xié)同控制模塊之間使用TCP/IP接口，UDP封裝格式完成進程之間的通信。

三.結(jié)束語

由于AGV移動系統(tǒng)可以遵循不同程序設(shè)定，實現(xiàn)同一平面內(nèi)的任意移動，較傳統(tǒng)搖臂的底座固定和傳統(tǒng)移動軌道的單一線性設(shè)定具有極大的空間優(yōu)勢，可以實現(xiàn)對演播室空間的高效利用，其本身具有較強的可移動性，應用場景更加廣泛。傳統(tǒng)搖臂或者軌道移動拍攝場景，即便在優(yōu)秀攝像師的配合和操作下，也很難完成部分高難度動態(tài)畫面追蹤拍攝。通過該系統(tǒng)的“場景編排+路徑規(guī)劃+人體跟蹤”，可以輕松完成以人物為中心的動態(tài)畫面追蹤拍攝，極大拓展主播或其他拍攝對象的表現(xiàn)能力。六軸工業(yè)機械臂活動靈活，臂展長度可根據(jù)需求設(shè)定，較搖臂具有更大優(yōu)勢。機械系統(tǒng)的運動軌跡不僅可以實現(xiàn)在三維空間里任意設(shè)定，并且可以實現(xiàn)路徑的實時存儲、隨時調(diào)用，所有運動軌跡可以精確到毫米級別，遠遠超過人工操作精度。智能移動拍攝系統(tǒng)具備全功能的遙控能力，支持多軸同時操作，機器人的前進和后退、攝像機漂移、搖臂旋轉(zhuǎn)可以同時獨立完成，攝像師利用多軸同時操作，可以實現(xiàn)之前人力不能完成的攝像動作，滿足影視制作設(shè)計、策劃對鏡頭提出的復雜要求，大幅提高制作的水平。B&P