丘美玲，晏細(xì)蘭，陳惠紅

（廣州番禺職業(yè)技術(shù)學(xué)院，廣東 廣州 511483）

1 全景視頻瀏覽參數(shù)計(jì)算

在一般圖像瀏覽軟件中，圖像是完整讀入到內(nèi)存，再通過(guò)驅(qū)動(dòng)模塊顯示到顯示器，其縮放和局部瀏覽的操作均由驅(qū)動(dòng)模塊后臺(tái)完成。而對(duì)于超大尺寸的圖像，其需要的儲(chǔ)存空間往往超過(guò)一般電腦內(nèi)存的承受能力，以上顯示圖像的方式就不再適用。對(duì)于超大圖像，一般使用塊存儲(chǔ)格式存儲(chǔ)，其格式中包含的不同分辨率下圖像的縮略圖和實(shí)際分辨率下按塊劃分的多個(gè)子圖，在高分辨率瀏覽時(shí)按照感興趣區(qū)域?qū)Ω鲏K分布抽樣或讀取，再組合成一個(gè)區(qū)域圖像[1-2]。在一般的全景系統(tǒng)中，各個(gè)全景子圖是單獨(dú)存儲(chǔ)在各運(yùn)算子機(jī)中的，類(lèi)似于超大圖像格式中的按塊存儲(chǔ)，區(qū)別在于全景子圖中各子圖可能存在一定的重疊[3-5]。利用塊存儲(chǔ)提取原理，可以計(jì)算出各個(gè)子圖中的需求內(nèi)容。

對(duì)于單一圖像的瀏覽是利用視窗（實(shí)際觀察區(qū)域）和圖像做重疊區(qū)域計(jì)算得到的，計(jì)算得到的參數(shù)包括視窗在圖像中的偏移坐標(biāo)（XS，YS）、視窗大小（WS，HS）、視窗縮放系數(shù)（αx，αy）。如圖1 所示，偏移坐標(biāo)（Xi，Yi）為視窗原點(diǎn)在圖像中的坐標(biāo)，視窗大小為視窗在圖像分辨率下的大小，視窗縮放系數(shù)為視窗大小與顯示窗口大?。╓Q，HQ）的比值。那么，我們?yōu)g覽區(qū)域圖像Is 和原圖I 的相對(duì)關(guān)系如式（1），其中T 代表對(duì)圖像的最近鄰域抽樣或像素平均后雙線性?xún)?nèi)插等操作。

圖1 窗口關(guān)系

以上原理對(duì)于全景圖像同樣適用，利用該方法能計(jì)算出視窗與全景的對(duì)應(yīng)關(guān)系，再利用各個(gè)子圖與全景的坐標(biāo)變換關(guān)系，可以算出各個(gè)子圖與顯示窗口的坐標(biāo)變換關(guān)系。首先計(jì)算子圖與視窗是否重疊與重疊范圍，計(jì)算方法采用四點(diǎn)排序方法，方法步驟如下：

Step1：計(jì)算兩個(gè)坐標(biāo)方向上是否有重疊，假設(shè)x 方向上矩形1 的范圍為X1=[x11，x12]，矩形2 的范圍為X2=[x21，x22]，那么X 方向上是否重疊如式（2）：

如果x 方向和y 方向均重疊，那么兩個(gè)矩形區(qū)域存在重疊區(qū)域。

Step2：如果重疊，計(jì)算重疊范圍，設(shè)X=[X1，X2]，對(duì)X進(jìn)行由小到大的排序，有x 方向上的重疊長(zhǎng)度Lx為次大值和次小值的差：

同理求出Ly。

考慮到圖像在融合過(guò)程中，為了達(dá)到公共區(qū)域的平穩(wěn)過(guò)渡，同時(shí)考慮了多個(gè)重疊子圖的信息。但是在特定情況下，視窗與子圖的重疊區(qū)域只存在子圖與其他子圖的重疊區(qū)域中，即其他子圖已經(jīng)包含了該區(qū)域的所有信息。

圖2 中，子圖A 與子圖B 與視窗S 均重疊，但是由于有（B-A）∩S=?，即子圖B 與視窗S 的公共區(qū)域全部都在A 里面，那么子圖A 就包含了該公共區(qū)域的所有信息，這樣我們就不需要對(duì)A 和B 做融合后分別把其與視窗重疊區(qū)域發(fā)送至合成端，只需要把A 的完整重疊信息發(fā)送至合成端，對(duì)于子圖B 中，B 與S 的重疊區(qū)域存在與B 唯一相交的區(qū)域，即（B-A）∩S≠? 時(shí)，必須把B 與S重疊的信息發(fā)送至合成端，全景圖像中局部圖像合成次數(shù)的多少會(huì)影響全景合成中與各個(gè)子圖的控制復(fù)雜度。

圖2 窗口與子圖的重疊關(guān)系

2 網(wǎng)絡(luò)數(shù)據(jù)的快速提取

網(wǎng)絡(luò)數(shù)據(jù)的提取主要是根據(jù)子圖與視窗的重疊區(qū)域參數(shù)來(lái)計(jì)算提取的，對(duì)于一個(gè)實(shí)時(shí)系統(tǒng)而言，點(diǎn)提取采用像素平均后做雙線性?xún)?nèi)插值方法是非常耗費(fèi)運(yùn)算資源的，所以可以采用圖像效果相對(duì)較差，但運(yùn)算效率相對(duì)較高的最近鄰抽樣方法。采用該方法的另外一個(gè)好處是重疊參數(shù)一旦確定后，窗口子圖與全景子圖上的坐標(biāo)成了一一對(duì)應(yīng)的關(guān)系，利用這一特點(diǎn)，可以在重疊參數(shù)改變后生成一個(gè)坐標(biāo)對(duì)應(yīng)關(guān)系查找表，利用查找表可以把原來(lái)的數(shù)值運(yùn)算變成賦值運(yùn)算。直接計(jì)算和查表分別如式（4）和（5），其中K 為最近鄰查找，Ic為輸出圖像，Iw為投影后的圖像，Tx和Ty分別為x 和y 方向坐標(biāo)的對(duì)應(yīng)查找表。

可以看出直接計(jì)算，每個(gè)坐標(biāo)點(diǎn)需要做2 次除法、2 次加法、2 次最近鄰查找和1 次賦值運(yùn)算，而查表法只需要做3 次賦值運(yùn)算。在當(dāng)今擁有多級(jí)緩存和高速內(nèi)存的硬件環(huán)境下，賦值運(yùn)算比數(shù)值運(yùn)算速度快得多。表1 中，分別利用重疊參數(shù)直接計(jì)算和查表形式對(duì)一個(gè)圖像做1 000 次數(shù)據(jù)提取計(jì)算，查表法大概要比直接計(jì)算快40%。

表1 裁剪速度對(duì)比

對(duì)于全景子圖，除了坐標(biāo)變換還需要對(duì)圖像做融合，事先生成了一個(gè)融合系數(shù)模板Mask，利用模板切割的方法同樣可以生成一個(gè)和顯示子圖對(duì)應(yīng)的融合查找表TM，融合查找表返回的是一個(gè)浮點(diǎn)型數(shù)，而浮點(diǎn)型運(yùn)算在計(jì)算機(jī)中相對(duì)是比較費(fèi)時(shí)間的。實(shí)際觀察中發(fā)現(xiàn)，RGB 圖像點(diǎn)分量的等級(jí)為256，所以對(duì)于融合系數(shù)的精度要求只需要達(dá)到1/256。利用這一特點(diǎn)，可以考慮把融合查找表轉(zhuǎn)換成uchar（0～255）型數(shù)，生成一個(gè)0 到255 各乘以1/256 到1 的系數(shù)查找表T256。一幀720 p 圖像用直接計(jì)算來(lái)投影和裁剪需要約35 ms，采用查找表法后，投影和裁剪需要約25 ms，即使系統(tǒng)最終全景幀率是由多個(gè)并行環(huán)節(jié)中最慢的一部分決定的（實(shí)際測(cè)試該環(huán)節(jié)為網(wǎng)絡(luò)傳輸），但這部分節(jié)約的功耗最終會(huì)分配到其他環(huán)節(jié)，從而提升了系統(tǒng)的最終效率。

3 全景視頻的網(wǎng)絡(luò)生成

網(wǎng)絡(luò)數(shù)據(jù)在按照提取參數(shù)提取出來(lái)后，會(huì)統(tǒng)一發(fā)送到服務(wù)器進(jìn)行組合，由于數(shù)據(jù)在計(jì)算節(jié)點(diǎn)就被投影，同時(shí)還乘上了融合系數(shù)，因此服務(wù)器只需要把各個(gè)數(shù)據(jù)按照其偏移坐標(biāo)疊加到顯示模板即可。但是在全景生成前，還要考慮數(shù)據(jù)的同步問(wèn)題[6]。

3.1 合成數(shù)據(jù)的網(wǎng)絡(luò)同步

由于全景視頻是由多個(gè)有一定重疊區(qū)域圖像組成的，對(duì)于運(yùn)動(dòng)目標(biāo)而言，在時(shí)域上存在一定的空間差異性，當(dāng)全景拼接采用了不同步的圖片，且公共區(qū)域內(nèi)出現(xiàn)了運(yùn)動(dòng)目標(biāo)，即使背景拼接成功，融合拼接后運(yùn)動(dòng)目標(biāo)會(huì)出現(xiàn)重影。對(duì)于一個(gè)監(jiān)控系統(tǒng)，視頻中運(yùn)動(dòng)物體才是人們感興趣的，如果出現(xiàn)數(shù)據(jù)不同步將會(huì)大大影響監(jiān)控質(zhì)量。全景視頻系統(tǒng)的同步要求包括兩個(gè)方面，一方面是攝像機(jī)數(shù)據(jù)的采集同步，另外一方面是數(shù)據(jù)在網(wǎng)絡(luò)數(shù)據(jù)計(jì)算過(guò)程中的同步。攝像機(jī)數(shù)據(jù)采集的不同步，主要是由于攝像機(jī)本身硬件差異產(chǎn)生的輸出波動(dòng)和啟動(dòng)時(shí)間不同而產(chǎn)生的。假設(shè)各個(gè)攝像機(jī)的幀率相同，那么它們同時(shí)間采集一幀會(huì)存在一定的物理誤差，這個(gè)誤差會(huì)在一幀時(shí)間以?xún)?nèi)，對(duì)于非高速運(yùn)動(dòng)的目標(biāo)，該誤差影響非常小，并且這個(gè)物理誤差是不可避免的，所以一般把這個(gè)物理不同步忽略掉。

對(duì)于網(wǎng)絡(luò)計(jì)算過(guò)程的不同步，主要是由于各個(gè)計(jì)算節(jié)點(diǎn)效率的不相同和同一計(jì)算節(jié)點(diǎn)在時(shí)域上計(jì)算效率的不穩(wěn)定，到各個(gè)節(jié)點(diǎn)數(shù)據(jù)的輸出頻率在并行和串行上都不一致，還有就是網(wǎng)絡(luò)傳輸效率的不一致。由于各個(gè)攝像機(jī)計(jì)算延時(shí)的不相同，有時(shí)候服務(wù)器同一時(shí)間在各個(gè)節(jié)點(diǎn)接收到的數(shù)據(jù)會(huì)存在1～2 幀甚至更多的差異。

如上所述情況不包括個(gè)別計(jì)算節(jié)點(diǎn)存在超負(fù)荷工作狀態(tài)，指的是各個(gè)計(jì)算節(jié)點(diǎn)在總體輸出效率相當(dāng)，但個(gè)別時(shí)間點(diǎn)出現(xiàn)了輸出水平的波動(dòng)的情況。解決這一問(wèn)題主要是采用緩存機(jī)制，利用緩存機(jī)制在服務(wù)器輸入前端做幀對(duì)齊，能保證視頻合成過(guò)程中連續(xù)穩(wěn)定，但弊端是引入了一定的人為延時(shí)。計(jì)算延時(shí)是不可避免的，在系統(tǒng)流暢運(yùn)行的情況下一般為300 ms，而人為延時(shí)可以通過(guò)緩存大小設(shè)定其上限值，這里設(shè)定為1 000 ms，在本系統(tǒng)即10 幀。

為了實(shí)現(xiàn)時(shí)域上幀對(duì)齊，必須利用各幀采集時(shí)間來(lái)標(biāo)識(shí)。忽略掉物理不同步，攝像機(jī)數(shù)據(jù)返回到采集節(jié)點(diǎn)時(shí)數(shù)據(jù)為實(shí)時(shí)數(shù)據(jù)，該數(shù)據(jù)的時(shí)間標(biāo)識(shí)即為當(dāng)前計(jì)算機(jī)的系統(tǒng)時(shí)間。所以首先要實(shí)現(xiàn)各個(gè)計(jì)算節(jié)點(diǎn)和服務(wù)器的時(shí)間同步，步驟如下：

Step1：在網(wǎng)絡(luò)底負(fù)荷的情況下，服務(wù)器給計(jì)算節(jié)點(diǎn)發(fā)送測(cè)試命令，計(jì)算節(jié)點(diǎn)收到命令后立馬返回，服務(wù)器接到返回后計(jì)算返回時(shí)間差。

Step2：重復(fù)Step1 多次，計(jì)算平均時(shí)間差Tp。

Step3：服務(wù)器把系統(tǒng)時(shí)間發(fā)送到計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)計(jì)算其與服務(wù)器的系統(tǒng)時(shí)間誤差Δt，如式（6）：

Step4：重復(fù)Step3 多次，計(jì)算平均系統(tǒng)時(shí)間誤差ΔT，更新當(dāng)前時(shí)間，如式（7）：

圖像在采集時(shí)打上的時(shí)間戳不會(huì)因?yàn)楦鞣N處理有所改變，最終發(fā)送到服務(wù)器的子圖像的時(shí)間標(biāo)識(shí)仍然是該圖像采集時(shí)的時(shí)間戳。在全景視頻開(kāi)始時(shí)，由于各個(gè)節(jié)點(diǎn)的啟動(dòng)時(shí)間不一致，必須對(duì)服務(wù)器上并行數(shù)據(jù)做首幀對(duì)齊，如圖3 所示，步驟如下：

圖3 首幀數(shù)據(jù)

Step1：計(jì)算幀差時(shí)間，如幀率為10 fps，幀差時(shí)間Δt為100 ms。

Step2：找出首幀中超前的1 幀，如圖中T11，設(shè)定全景起點(diǎn)為t0=T11，生成全景播放序列tn=t0+n·Δt。

Step3：排序各路數(shù)據(jù)，如果該幀時(shí)間戳在tn到tn+1之間，該幀的播放時(shí)間被安排到tn，如果該段時(shí)間內(nèi)沒(méi)有數(shù)據(jù)或數(shù)據(jù)沒(méi)到，即插入空白幀。

因?yàn)槿耙曨l是由服務(wù)器主動(dòng)合成的，所以其播放也必須由服務(wù)器主動(dòng)觸發(fā)，觸發(fā)時(shí)間根據(jù)生成的全景視頻播放時(shí)間序列而定。真正觸發(fā)時(shí)間并不是由該序列的標(biāo)識(shí)時(shí)間決定的，該時(shí)間僅僅用于緩存對(duì)齊和決定全景視頻的起點(diǎn)，真正觸發(fā)全景視頻的是幀差時(shí)間。首幀對(duì)齊決定了全景視頻播放序列的排序，但是在播放過(guò)程中仍然會(huì)出現(xiàn)以下不同步的問(wèn)題：

（1）丟幀。對(duì)于某一時(shí)刻，采集端出現(xiàn)了短暫數(shù)據(jù)采集的丟失，這樣的數(shù)據(jù)在時(shí)序上是不可恢復(fù)的。對(duì)于該情況，通過(guò)在丟失時(shí)序上插入空白幀，保證全景播放流暢，但是全景內(nèi)容會(huì)出現(xiàn)缺失。

（2）幀滯后。該情況主要由于計(jì)算滯后和網(wǎng)絡(luò)滯后產(chǎn)生的，即數(shù)據(jù)沒(méi)有丟失，但是數(shù)據(jù)到達(dá)時(shí)間比其他節(jié)點(diǎn)慢。對(duì)于緩存機(jī)制的優(yōu)點(diǎn)就是能允許數(shù)據(jù)出現(xiàn)滯后，但由于緩存大小有限，當(dāng)滯后長(zhǎng)度超過(guò)緩存長(zhǎng)度滯后仍然沒(méi)有回復(fù)，即新來(lái)滯后數(shù)據(jù)時(shí)間戳比當(dāng)前播放序列標(biāo)識(shí)超前，對(duì)于這樣的數(shù)據(jù)服務(wù)器會(huì)直接丟棄，直到滯后恢復(fù)為止。采用本文的同步機(jī)制能使全景視頻流暢播放，其播放幀率與視頻采集幀率一致，缺點(diǎn)是全景視頻播放在某個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)全景數(shù)據(jù)會(huì)出現(xiàn)丟失。

3.2 全景視頻數(shù)據(jù)的合成

全景視頻數(shù)據(jù)的合成，只需要根據(jù)視頻的偏移坐標(biāo)，把子圖像疊加到一個(gè)和顯示窗口大小一致的空白圖像模板中，如式（8）。圖像在發(fā)送到服務(wù)器前就完成了偏移值的計(jì)算、裁剪縮放和融合的操作，所以在其疊加過(guò)程中不會(huì)出現(xiàn)子圖超出模板范圍或者個(gè)別坐標(biāo)點(diǎn)超出值域的問(wèn)題。

需要注意的是，當(dāng)視窗改變后，合成參數(shù)被重新計(jì)算，計(jì)算節(jié)點(diǎn)會(huì)更新查找表，服務(wù)器接收的數(shù)據(jù)會(huì)改變。在這種情況下，緩存中的數(shù)據(jù)不再適用，這時(shí)必須清空緩存，重新進(jìn)行數(shù)據(jù)的幀對(duì)齊和生成新的全景視頻播放時(shí)間序列，在這個(gè)過(guò)程中全景視頻會(huì)出現(xiàn)短暫的卡屏，卡屏的時(shí)長(zhǎng)和各個(gè)節(jié)點(diǎn)切換速度有關(guān)，一般在500 ms 左右。

4 結(jié)束語(yǔ)

本文主要闡述了在分散式系統(tǒng)環(huán)境下的全景視頻多分辨的局部瀏覽方法，通過(guò)本方法，可以把在監(jiān)控過(guò)程中感興趣的局部區(qū)域從運(yùn)算節(jié)點(diǎn)的有效數(shù)據(jù)中提取出來(lái)。提取出來(lái)的數(shù)據(jù)量主要和屏幕大小有關(guān)系，這樣可以限定各運(yùn)算節(jié)點(diǎn)傳輸?shù)椒?wù)器的數(shù)據(jù)量，防止造成網(wǎng)絡(luò)堵塞，并且運(yùn)算節(jié)點(diǎn)保存的是視頻源投影前的數(shù)據(jù)，運(yùn)算節(jié)點(diǎn)只需要把觀察區(qū)域做投影和融合，減少了計(jì)算節(jié)點(diǎn)的計(jì)算開(kāi)支，所以使得系統(tǒng)能用更少的計(jì)算節(jié)點(diǎn)來(lái)完成全景視頻的生成。