陳張新　熊庭剛

(武漢數(shù)字工程研究所　武漢　430205)

一種多路實(shí)時視頻拼接系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)*

陳張新熊庭剛

(武漢數(shù)字工程研究所武漢430205)

摘要針對當(dāng)前多路視頻拼接系統(tǒng)實(shí)時性差、拼接效果不理想的問題，提出一種DSP+PC構(gòu)架的視頻拼接系統(tǒng)。該視頻拼接系統(tǒng)由普通的PC機(jī)和硬件加速卡組成，硬件加速卡實(shí)現(xiàn)視頻采集和視頻拼接融合功能，PC端主要負(fù)責(zé)視頻顯示和人機(jī)交互，它們兩者之間通過PCIe高速協(xié)議進(jìn)行數(shù)據(jù)傳輸。此外，論文通過改進(jìn)基于SURF的特征點(diǎn)提取算法，提高了數(shù)據(jù)處理速度和配準(zhǔn)精度。該設(shè)計(jì)實(shí)現(xiàn)了8路標(biāo)清視頻的實(shí)時拼接與顯示，并顯著提升了視頻拼接效果。

關(guān)鍵詞全景視頻拼接; 圖像融合; SURF算法; DM8168

Class NumberTP391

1引言

為了解決單個攝像頭在獲取場景時存在的視野寬度不夠的問題，視頻拼接技術(shù)應(yīng)用而生。這種技術(shù)可以將目標(biāo)物體四周的場景進(jìn)行無盲區(qū)顯示，進(jìn)而填補(bǔ)特定場所大范圍、無盲區(qū)監(jiān)控的市場空缺，可以預(yù)見，全景視頻拼接系統(tǒng)在車(艦)載監(jiān)控、公共場所安全監(jiān)控、智能交通、全景地圖繪制等軍用和民用領(lǐng)域必將有著廣泛的應(yīng)用前景。例如，在軍事領(lǐng)域，全景視頻拼接系統(tǒng)能夠很好地把各個戰(zhàn)場獲得的畫面拼接起來，實(shí)時了解戰(zhàn)場的情況，進(jìn)而根據(jù)畫面顯示的信息做出與之對應(yīng)的決定，很大程度上杜絕了因?yàn)橹笓]不當(dāng)而造成的損失。又例如，在醫(yī)學(xué)領(lǐng)域，如今的內(nèi)科常規(guī)檢查都采用了醫(yī)學(xué)攝像診斷，而對于較大尺寸的目標(biāo)，一個攝像頭不能照射到整個畫面，而兩個的話，不進(jìn)行任何處理則會對醫(yī)生的診斷帶來一定的誤差和難度。而視頻拼接的引入能很好地解決這方面的難題。

目前，對于視頻拼接技術(shù)的研究，基本上都局限在功能實(shí)現(xiàn)的層面上，而且仍未出現(xiàn)一種能夠達(dá)到實(shí)時效果的拼接算法。隨著視頻拼接系統(tǒng)研究的不斷深入，對于一些比較基本的問題都得到了很好的解決，但實(shí)時性一直都是困擾著這套系統(tǒng)能夠取得突破的一個關(guān)鍵性問題。所以本文將著重對實(shí)時性這一問題進(jìn)行分析和解決，同時，提出使用一種高效的構(gòu)架。這種構(gòu)架的結(jié)構(gòu)是主控單元+硬件加速卡模式，它能夠最大限度的調(diào)用各個處理器的資源，加上算法方面的優(yōu)化，進(jìn)一步提升視頻數(shù)據(jù)的處理能力，從而達(dá)到實(shí)時性的效果。本系統(tǒng)在算法方面除了解決實(shí)時性的問題外，將對視頻顯示的效果也做進(jìn)一步的優(yōu)化，比如圖像配準(zhǔn)精度問題等。

2系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

本系統(tǒng)的組成主要由攝像機(jī)組、視頻拼接控制器、客戶終端等三個部分構(gòu)成，其中視頻拼接控制器對來自攝像機(jī)組的多路視頻圖像進(jìn)行實(shí)時采集、校正、拼接、融合，最終生成全景視頻圖像并予以實(shí)時顯示、壓縮、存儲和傳輸，從而實(shí)現(xiàn)對場景任意角度的無盲區(qū)監(jiān)控。

2.1硬件整體構(gòu)架

在硬件實(shí)現(xiàn)方面，本系統(tǒng)采用硬件加速卡的方式來提高系統(tǒng)的實(shí)時性和可擴(kuò)展性。如圖1所示為全景拼接系統(tǒng)硬件組成框圖，采用主控單元+多個硬件插卡(視頻采集與硬件加速卡)的方案。其中，主控單元主要負(fù)責(zé)人機(jī)交互和資源調(diào)度，而采用硬件插卡的形式可以根據(jù)具體需求對系統(tǒng)功能進(jìn)行擴(kuò)展，例如：目前設(shè)計(jì)的系統(tǒng)采用兩塊卡完成對8路PAL視頻圖像的拼接，若需增加/減少視頻通道數(shù)、提高/減低系統(tǒng)分辨率可簡單通過增加/減少硬件插卡的形式實(shí)現(xiàn)。硬件插卡通過高速數(shù)據(jù)交換總線與主控單元相連，其主要功能如下。

圖1　全景拼接系統(tǒng)硬件組成框架

1) 對來自攝像機(jī)組的4路PAL模擬視頻進(jìn)行實(shí)時采集；

2) 利用拼接參數(shù)完成4路視頻圖像的實(shí)時拼接，并將拼接好的圖像通過高速數(shù)據(jù)交換總線實(shí)時傳遞給主控單元；

3) 根據(jù)主控單元發(fā)來的指令，接收來自主控單元的拼接參數(shù)或?qū)⒉杉降?路原始視頻圖像通過高速數(shù)據(jù)交換總線傳遞給主控單元；

4) 對采集到的四路原始視頻進(jìn)行壓縮，并通過高速存儲總線存儲到本地存儲單元。

主控單元的主要功能包括：

1) 人機(jī)交互；

2) 對硬件插卡進(jìn)行控制和調(diào)度；

3) 在全景拼接系統(tǒng)啟動階段計(jì)算拼接參數(shù)并通過高速數(shù)據(jù)交換總線傳遞給硬件插卡；

4) 在全景拼接系統(tǒng)穩(wěn)定運(yùn)行階段，每隔一段時間通過高速數(shù)據(jù)交換總線從硬件插卡接收原始視頻圖像，重新計(jì)算拼接參數(shù)，并將新的拼接參數(shù)通過高速數(shù)據(jù)交換總線傳遞給硬件插卡；

5) 實(shí)時接收來自硬件插卡的拼接圖像，并實(shí)時將來自各硬件插卡的拼接圖像拼接起來形成全景圖像；

6) 控制云臺攝像機(jī)，跟蹤目標(biāo)或?qū)植繀^(qū)域進(jìn)行放大。

2.2系統(tǒng)實(shí)現(xiàn)

本文所設(shè)計(jì)的硬件加速卡主要由DM8168及一些外設(shè)組成，TMS320DM8168是TI最新推出的一款高性能DMSoC，其中包含一個C674x DSP 主頻為1GHz，1 個Cotex-A8 主頻為1.2GHz，三個HDVICP 頻率為600MHz。CPU 具有強(qiáng)大的數(shù)據(jù)處理能力并包含大量的外設(shè)資源。其采用ARM+DSP的達(dá)芬奇構(gòu)架，可以廣泛應(yīng)用于視頻編解碼、視頻會議、媒體服務(wù)器、視頻監(jiān)控等領(lǐng)域。評估板內(nèi)部所包含的模塊以及外設(shè)主要包括以下幾點(diǎn)：

· 基于Cortex-A8的ARM微處理器；

· 基于C674x的定/浮點(diǎn)DSP；

· 一個高清視頻處理子系統(tǒng)(HDVPSS)；

· 三個高清視頻圖像協(xié)處理器(HDVICP)；

· 3D圖形引擎；

· 豐富的外設(shè)接口，主要包括UART接口、SATA接口、視頻接口(4片視頻采集芯片TVP5158)、音頻接口、以太網(wǎng)接口等。

根據(jù)以上設(shè)計(jì)的硬件框架，本文搭建了一個主控單元 + 硬件加速卡的實(shí)驗(yàn)架構(gòu)。DM8168的工作是多核之間協(xié)同作用，共同完成的，之所以能夠最大限度利用各個芯片之間的資源，主要得益于ARM中運(yùn)行了一個Linux操作系統(tǒng)來協(xié)調(diào)各個微處理器之間的工作。

DM8168是DSP和ARM雙架構(gòu)的SOC芯片。對芯片與外界的交互通過ARM端的Linux操作系統(tǒng)和相關(guān)的應(yīng)用程序來管理，DSP端只處理相關(guān)的算法。DSP和ARM之間的通信和交互式通過引擎(Engine)和服務(wù)器(Server)來完成的[5]。

在ARM 端，對視頻類程序來說，應(yīng)用程序首先把采集到的原始圖像信號，通過VISA 接口調(diào)用相關(guān)的Codec 存根函數(shù)，由存根函數(shù)調(diào)用相關(guān)的Engine API函數(shù)，也就是SPI (service provider interface)接口，但由于實(shí)際的Codec算法在遠(yuǎn)端(DSP端)，所以必須由引擎把信號進(jìn)行封裝，通過OS抽象層與DSP Link 通訊把打包后的數(shù)據(jù)發(fā)送出去。這種數(shù)據(jù)處理方式有效地利用了各個環(huán)節(jié)的分工，提升了整個系統(tǒng)的開發(fā)效率。對于雙核的達(dá)芬奇構(gòu)架，兩核之間的資源分配很大程度上決定了系統(tǒng)能否最大限度地各盡其能。ARM獨(dú)享(DSP不可用)的外設(shè)有：UART/0/1/2，I2C，看門狗時器，PWM/0/1/2，ARM 中斷控制器，USB2.0，ATA/CF，SPI，GPIO，VPSS，EMAC/MDIO，EMIF A CONTROL，VLYNQ，MMC/SD。DSP獨(dú)享(ARM不可用)的外設(shè)有：DSP 中斷控制器，VICP。ARM和DSP 共享的外設(shè)有：EDMA，Timer/0/1，Power & Sleep Controller，ASP 和EMIFA Data。也就是說，DM8168首次給DSP分配了內(nèi)存管理單元(MMU)，其可以將內(nèi)存訪問的權(quán)限授予DSP，使得DSP與ARM擁有平等訪問內(nèi)存的權(quán)利。DSP通過指向內(nèi)存單元的指針尋址就可獲取數(shù)據(jù)，無需對數(shù)據(jù)進(jìn)行拷貝。這種多核之間數(shù)據(jù)共享的機(jī)制大大提高了ARM和DSP協(xié)同工作的效率。

將上面已經(jīng)優(yōu)化過得算法移植到DSP上之后，可以在PC端發(fā)送視頻采集命令，通過PCIe傳送到硬件加速卡，進(jìn)行視頻采集。硬件加速卡端將采集到的視頻進(jìn)行一系列預(yù)處理后，進(jìn)行拼接融合，將視頻數(shù)據(jù)傳輸?shù)絇C端進(jìn)行實(shí)時顯示。其具體軟件實(shí)現(xiàn)流程圖如下所示。

圖2　系統(tǒng)構(gòu)架

2.3軟件算法優(yōu)化

在算法設(shè)計(jì)方面，經(jīng)過長期的研究發(fā)現(xiàn)，在視頻圖像拼接過程中，拼接參數(shù)計(jì)算階段耗時最長，但拼接參數(shù)的計(jì)算僅需在系統(tǒng)啟動時計(jì)算一次，而后續(xù)拼接過程中可以每隔幾分鐘甚至更長時間計(jì)算一次，不需要實(shí)時計(jì)算；另外，由軟件算法得到的拼接參數(shù)與實(shí)際情況存在一定誤差，如果每一幀視頻圖像都重新計(jì)算拼接參數(shù)，反而會影響場景的視覺一致性，這也是靜止圖像拼接算法不能直接用于視頻拼接的一個主要原因[1]。經(jīng)上述分析后，本文將視頻拼接算法模塊劃分為兩個子模塊，即拼接參數(shù)計(jì)算模塊和圖像拼接模塊，來進(jìn)一步提高算法的實(shí)時性。

拼接參數(shù)計(jì)算模塊主要完成曝光系數(shù)、拼接掩膜、后相映射圖等拼接參數(shù)的計(jì)算。如圖2所示為拼接參數(shù)計(jì)算模塊的工作流程。首先利用SURF(Speeded Up Robust Feature)算法提取圖像特征，并完成特征匹配對的搜索，然后根據(jù)特征匹配對估計(jì)相機(jī)焦距和相機(jī)運(yùn)動參數(shù)。為了消除相鄰圖像間的亮度差異還需要進(jìn)行曝光系數(shù)的計(jì)算。最后，為了進(jìn)一步分擔(dān)圖像拼接模塊的負(fù)擔(dān)，此模塊還需完成后相映射圖(用以圖像彎曲)的計(jì)算以及權(quán)重圖(用以圖像融合)的計(jì)算。

圖像拼接模塊從拼接參數(shù)計(jì)算模塊得到相關(guān)參數(shù)，并完成視頻圖像的拼接，此過程需要實(shí)時處理。如圖3所示為圖像拼接模塊的工作流程，該模塊需要利用拼接參數(shù)計(jì)算模塊輸出的后相映射圖、曝光系數(shù)、權(quán)重圖等依次完成圖像彎曲、曝光補(bǔ)償和圖像融合。

圖3　拼接參數(shù)計(jì)算工作流程

關(guān)于圖像配準(zhǔn)的算法有很多種，比如說比較經(jīng)典的基于尺度不變特征(SIFT)的圖像拼接技術(shù)，該算法完全自動完成，而且采用了多分辨率對圖像進(jìn)行融合，具有尺度不變性和旋轉(zhuǎn)不變性，是目前視頻拼接領(lǐng)域最為流行的算法。但是，當(dāng)待匹配圖像含有大量的相似結(jié)構(gòu)或者有高速運(yùn)動的物體時，由于SIFT特征描述符僅僅利用了特征點(diǎn)的局部領(lǐng)域信息，因此對散落在這些相似區(qū)域中的點(diǎn)極易發(fā)生錯誤匹配。此次，利用了SURF特征[2]和RANSAC(Random Sample Consensus)[3]方法來實(shí)現(xiàn)多路視頻圖像精確配準(zhǔn)。配準(zhǔn)流程圖[4]如圖4所示，這種配準(zhǔn)算法主要分為兩大步驟：第一步是特征提取——提取待匹配的兩幅圖像的SURF特征，并對每個特征點(diǎn)生成一個多維的描述子，所有特征點(diǎn)的描述子構(gòu)成每一幅圖像的特征集；第二步是特征點(diǎn)匹配——以特征點(diǎn)集為考察對象，選擇一組特征集為參考集，另一組為目標(biāo)集，在目標(biāo)特征集中找出與參考特征集中一個特征描述子最相近的一個，對應(yīng)特征點(diǎn)組成匹配對，再對匹配對進(jìn)行提純，剔除錯誤匹配結(jié)果。

圖4圖像拼接模塊工作流程

SURF算子是一種具有局部特性的算子，該算子只對圖像中某一局部的極值點(diǎn)進(jìn)行提取[5]，這種局部特性很穩(wěn)定，它不會因?yàn)閳D像存在尺度縮放、旋轉(zhuǎn)、光照強(qiáng)度不同等情況而出現(xiàn)較大的變化，因此SUEF特征是一種局部不變形特征[6]。SUEF特征提取算法流程圖5所示。

圖5　配準(zhǔn)流程圖

圖6　SURF特征提取流程圖

一般而言，同一個場景的不同視角的圖像之間具有一定的對應(yīng)關(guān)系[6]，在齊次坐標(biāo)系下，圖像之間一般滿足式(1)所示的透視關(guān)系，其中M為圖像變換矩陣[7]。

(1)

對于較為豐富的圖像，得到的匹配對數(shù)往往數(shù)以百計(jì)，而圖像間變換關(guān)系只需四個匹配對便可完成[8]。如果只選擇其中四個匹配對計(jì)算出來的變換矩陣難免具有片面性，這就需要找出大部分匹配對都滿足的變換矩陣，至于那些不滿足的匹配對就作為錯誤匹配對而被剔除掉[9]。本項(xiàng)目擬采用RANSAC算法實(shí)來提純匹配對并估計(jì)變換參數(shù)。在實(shí)際操作中，具體實(shí)現(xiàn)形式可按照下列步驟進(jìn)行[10]：

1)每次隨機(jī)取出四個匹配對，并以此計(jì)算出變換矩陣中的八個參數(shù)。

2)將匹配對中的其中一個點(diǎn)坐標(biāo)經(jīng)過計(jì)算出來的變換矩陣變換成一個新的坐標(biāo)值，并計(jì)算這個坐標(biāo)值與匹配對中的另一個點(diǎn)的坐標(biāo)的距離。

3)考察上一步計(jì)算出來的距離，如果它小于某一個閾值，則將它作為一個內(nèi)點(diǎn)，否則作為外點(diǎn)。

4)對所有的匹配對都按照第三步的做法，并記錄在上述變換矩陣下的內(nèi)點(diǎn)數(shù)。然后從第一步開始重復(fù)進(jìn)行上述步驟，直到找到擁有最多內(nèi)點(diǎn)的變換模型，最大重復(fù)次數(shù)為N。對于N的確定，先令ω為數(shù)據(jù)是真實(shí)數(shù)據(jù)模型內(nèi)點(diǎn)的概率，n為確定模型參數(shù)的最小點(diǎn)數(shù)，取4。這樣一來，一次估計(jì)所有n個點(diǎn)都為內(nèi)點(diǎn)的概率就為ωn。如果要保證經(jīng)過N次至少有一次估計(jì)中的所有點(diǎn)都是內(nèi)點(diǎn)的概率為p，那么N應(yīng)該滿足以下關(guān)系式：

(2)

3實(shí)驗(yàn)結(jié)果與分析

相對于全景視頻的拼接，本文選取了三路視頻拼接作為實(shí)驗(yàn)的結(jié)果進(jìn)行分析。這樣做的理由是三路視頻的拼接與八路的原理是一致的，但取景相對來說會方便很多，而實(shí)際達(dá)到的效果卻一樣。

實(shí)驗(yàn)采用本文所介紹的拼接算法，在搭建完開發(fā)環(huán)境和硬件系統(tǒng)后，把算法移植到DSP上運(yùn)行，最后顯示出來的視頻圖像如圖7所示。經(jīng)過與實(shí)時的視頻進(jìn)行對比發(fā)現(xiàn)，我們所拼接顯示后的圖像的延時可以嚴(yán)格控制在15ms以內(nèi)，這個參數(shù)已經(jīng)可以滿足現(xiàn)如今大部分的監(jiān)控需求。而且拼接后的視頻流的幀率平均可達(dá)25f/s。

圖7　全景視頻幀截圖

4結(jié)語

通過對視頻拼接系統(tǒng)硬件方面和軟件方面長期的研究，本文提出一種優(yōu)化的硬件構(gòu)架，并輔以改進(jìn)的視頻拼接算法，很大程度上改善了視頻拼接實(shí)時性差、拼接效果不理想等瓶頸。本系統(tǒng)的主要設(shè)計(jì)思路是通過DM8168的8個視頻采集口對8個攝像頭的視頻數(shù)據(jù)進(jìn)行采集，利用ARM調(diào)度板間資源，通過DSP上已經(jīng)移植的視頻拼接算法處理同步的幀視頻信號，處理后的數(shù)據(jù)通過PCIe協(xié)議傳輸?shù)缴衔粰C(jī)進(jìn)行顯示。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)能將8路D1視頻源的拼接延時控制在15ms以內(nèi)，基本滿足了實(shí)時性要求，而且通過對配準(zhǔn)算法的優(yōu)化，很好地改善了拼接效果。

參 考 文 獻(xiàn)

[1] W Pan, K Qin, Y Chen. An Adaptable Multilayer Fractional FourierTransform Approach for Image Registration[J]. IEEETrans. on PAMI (S0162-8828),2009,31(3):400-414.

[2] Ishibuchi H，Tsukamoto N，Nojima Y．Diversity Improvementby Non—geometric Binary Crossover in EvolutionaryMultiobjective Optimization[J]． IEEE Transactions onEvolutionary Computation，2010，14(6)：985-998．

[3] 杜威,李華.一種用于動態(tài)場景的全景表示方法[J].計(jì)算機(jī)學(xué)報(bào)，2014,26(6):968-956.

[4] 陳虎.基于特征點(diǎn)匹配的圖像拼接算法研究[J].海軍工程大學(xué)學(xué)報(bào)，2007，19(4)：94-97.

[5] 陳玲，李昊然，谷源濤，等.基于DM8168的視頻會議服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，2013(11)：206-208.

[6] Tuytlaars T. and Van Gool L., Matching widely separated views based on affine invariant region. International Journal of Computer Vision,2004,59(1):61-85.

[7] 方賢勇.圖像拼接技術(shù)研究[D].杭州:浙江大學(xué),2005.

[8] M. Brown. D. Glowe. Recognising Panoramas[C]//Proceedings of the 9th International Conference on Computer Vision (ICCV2003),2003:1218-1225.

[9] R. Szeliski and H.-Y.Shum.Creating full view panoramic image mosaics and texture-mapped models[C]//Computer Graphics (SIGGRAPH'97) Proceedings,1997：251-258.

[10] Giorda.F, Racciu.A. Bandwidth Reduction of Video Signals via Shift Vector Transmission [J]. IEEE Transactions on Communications，1975,23(9):1002-1004.

Design and Implementation of A Multi-channel Fast Video Stiching System Based on DM8168

CHEN ZhangxinXIONG Tinggang

(Wuhan Digital Engineering Institute, Wuhan430205)

AbstractIn order to deal with the problem that multichannel video mosaicing system has worse real-time performance and unsatisfactory stitching effect, a video mosaics system of DSP + PC architecture is presented. The video mosaicing system is composed of ordinary PC and the hardware acceleration card.The hardware acceleration card is really to realize the function of video capture and video fusion splicing, and PC is responsible for video display and human-computer interaction. The data transmission between PC and hardware acceleration card relies on the PCIe high-speed protocols. In addition, through improving the feature points extraction algorithm based on SURF (Speeded Up Robust Feature), the data processing speed and matching accuracy is improved. The design has realized the 8 sign clear video stitching and display in real time, and significantly increased the video stitching effect.

Key Wordspanoramic video stitching, video fusion, SURF algorithm, DM8168

*收稿日期:2015年12月17日,修回日期:2016年1月23日

作者簡介:陳張新，男，碩士研究生，研究方向：視頻信息處理、DSP驅(qū)動開發(fā)等。熊庭剛，男，博士，研究員，研究方向：計(jì)算機(jī)體系結(jié)構(gòu)。

中圖分類號TP391

DOI:10.3969/j.issn.1672-9730.2016.06.022