張 浩，凌朝東*，陳 虎，黃 信,楊 驍，湯 煒，閆 錚

(1.華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門(mén) 361021；2.廈門(mén)市專(zhuān)用集成電路系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，福建 廈門(mén) 361008)

?

一種基于FPGA的視頻幾何校正系統(tǒng)設(shè)計(jì)方案

張 浩1,2，凌朝東1,2*，陳 虎1,2，黃 信1,2,楊 驍1,2，湯 煒1，閆 錚1

(1.華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門(mén) 361021；
2.廈門(mén)市專(zhuān)用集成電路系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，福建 廈門(mén) 361008)

為了滿(mǎn)足大視場(chǎng)相關(guān)應(yīng)用、尤其是大屏幕投影拼接技術(shù)應(yīng)用領(lǐng)域?qū)σ曨l圖像實(shí)時(shí)幾何校正的要求，本文對(duì)視頻圖像的實(shí)時(shí)幾何校正及其FPGA實(shí)現(xiàn)方法進(jìn)行研究。首先，根據(jù)圖像幾何校正理論基礎(chǔ)，利用Matlab等工具進(jìn)行算法模擬仿真，確定了視頻圖像實(shí)時(shí)幾何校正系統(tǒng)的基本框架。然后，根據(jù)現(xiàn)有的硬件平臺(tái)DE2的硬件資源情況，細(xì)致規(guī)劃系統(tǒng)結(jié)構(gòu)，并對(duì)其中的核心部分幾何校正模塊進(jìn)行仿真。最后，通過(guò)實(shí)際校正測(cè)試，斷定實(shí)驗(yàn)結(jié)果達(dá)到視頻圖像實(shí)時(shí)幾何校正的預(yù)期效果。實(shí)驗(yàn)結(jié)果表明：幾何校正后，投影儀投射出的圖像符合仿真結(jié)果，系統(tǒng)延時(shí)小于10個(gè)時(shí)鐘周期，遠(yuǎn)小于毫秒級(jí)，且延時(shí)恒定，校正誤差不超過(guò)1個(gè)像素。此方案達(dá)到了預(yù)期視頻圖像實(shí)時(shí)幾何校正的效果，具有相當(dāng)?shù)慕梃b、參考意義。

大視場(chǎng)；投影拼接技術(shù)；幾何校正；FPGA

1 引 言 在大視場(chǎng)相關(guān)實(shí)際應(yīng)用中，常常需要對(duì)視頻圖像進(jìn)行幾何校正，尤其是在當(dāng)下熱門(mén)的大屏幕投影拼接技術(shù)應(yīng)用領(lǐng)域，視頻圖像的幾何校正更是視頻處理的首要任務(wù)。當(dāng)多個(gè)投影儀投射出的圖像進(jìn)行拼接時(shí)，由于每臺(tái)投影儀的幾何參數(shù)、配置、安裝位置，甚至品牌均可能不同，導(dǎo)致每臺(tái)投影儀投射出的影像的幾何形狀、大小、位置也都有可能不同，從而造成了投射出的圖像不能完美的拼接，因此需要對(duì)每臺(tái)投影儀投射出的圖像進(jìn)行幾何校正處理[1]。傳統(tǒng)的解決方案是圖形工作站配加多顯卡方式，利用性能強(qiáng)勁的圖形工作站，編寫(xiě)上位機(jī)軟件控制顯卡，不斷調(diào)整每臺(tái)顯卡輸出圖像的幾何參數(shù)，以達(dá)到幾何校正的目的[2]。但這種視頻幾何校正方案的效率受限于PC的串行架構(gòu)，難以達(dá)到高速實(shí)時(shí)的視頻處理效果，而且由于一臺(tái)PC能掛接的顯卡數(shù)量有限，難以隨意地?cái)U(kuò)展。本文提出了基于FPGA的視頻幾何校正的新思路，采用配有AlteraCycloneIIEP2C35F672C6FPGA的DE2開(kāi)發(fā)板為實(shí)驗(yàn)平臺(tái)，實(shí)現(xiàn)了視頻圖像的實(shí)時(shí)幾何校正，并達(dá)到了預(yù)期效果。2 視頻圖像幾何校正的基本原理通常，對(duì)于平面到平面的圖像幾何變換，可用一個(gè)3×3的矩陣來(lái)描述其變換關(guān)系模型[3]， wx＇wy＇wé?êêêêù?úúúú=m0m1m2m3m4m5m6m7m8é?êêêêù?úúúúxy1é?êêêêù?úúúú，(1)其中：(x，y)為原像素坐標(biāo)，(x’，y’)為映射后的坐標(biāo)。令： H=m0m1m2m3m4m5m6m7m8é?êêêêù?úúúú，(2)H即為映射關(guān)系矩陣。H中的m2可以對(duì)圖像的x方向進(jìn)行校正，m5可以對(duì)y方向進(jìn)行校正，m0、m1、m3、m4是表示校正的尺度和旋轉(zhuǎn)量，m6、m7表示水平與垂直方向的變形量[4]，若m6、m7為0，則表示此幾何變換為平移、旋轉(zhuǎn)、縮放等規(guī)則變換；若m6、m7為非0，則可表示最一般形式的任意變換[5]。m8通常為1。我們可以通過(guò)投影棋盤(pán)格或網(wǎng)格等方法，獲取實(shí)際投影圖像與我們想要達(dá)到的投影圖像，并取出這兩幅圖像的相同的特征點(diǎn)的坐標(biāo)，并利用最小二乘法或Levenberg?Marquardt算法[6]等，求出映射關(guān)系矩陣H的最優(yōu)解，但此問(wèn)題非本文討論的重點(diǎn)。假定已獲得實(shí)際投影圖像與想要達(dá)到的投影效果之間的映射關(guān)系H，本文重點(diǎn)在于利用FPGA實(shí)現(xiàn)對(duì)應(yīng)的視頻幾何校正處理。3 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)視頻圖像的幾何校正，本質(zhì)上就是對(duì)視頻幀的各個(gè)像素坐標(biāo)值的幾何變換。因此，幾何校正的實(shí)現(xiàn)過(guò)程，可以簡(jiǎn)述為：從原視頻緩存幀中，依次將像素顏色值取出，并對(duì)其坐標(biāo)進(jìn)行幾何變換計(jì)算，求出幾何校正后的新坐標(biāo)，然后將像素顏色值存到新的坐標(biāo)地址中去，即生成了幾何校正后的緩存幀。最后，VGA顯示模塊對(duì)幾何校正后的視頻緩存幀進(jìn)行掃描顯示即可。根據(jù)DE2開(kāi)發(fā)板的實(shí)際可用資源，結(jié)合視頻圖像幾何校正的基本理論，設(shè)計(jì)系統(tǒng)結(jié)構(gòu)框圖如圖1所示。圖1 視頻幾何校正系統(tǒng)的整體框圖Fig．1 BlockdiagramofvideogeometriccalibrationsystemDigitalCamera模塊采集圖像，并轉(zhuǎn)化為RGB或灰度格式(本實(shí)驗(yàn)中，由于DE2板載SRAM大小為512KB，僅夠緩存一幀8位顏色值的640×480圖像，因此采用8位灰度格式。本文討論的是視頻圖像的幾何變換，因此顏色格式的選擇對(duì)本文的討論內(nèi)容無(wú)任何影響)，這是系統(tǒng)的圖像

圖3 矩陣運(yùn)算器模塊原理圖
Fig.3 Schematic diagram of matrix operation module

4.3 矩陣運(yùn)算器模塊的波形仿真

我們?cè)O(shè)定要將視頻圖像在x方向縮小2倍，并向右平移100個(gè)像素；在y方向也縮小2倍，并向下平移200個(gè)像素；視頻圖像形狀不變。易知，映射矩陣應(yīng)為：

按照表1的輸入?yún)?shù)格式，將H變化為：

將此參數(shù)輸入仿真文件，得到仿真結(jié)果如圖4所示。由圖4以及設(shè)定的仿真條件可知，圖4中坐標(biāo)(500,400)對(duì)應(yīng)的輸出坐標(biāo)為(350,400)，(600,10)對(duì)應(yīng)的輸出坐標(biāo)為(400,205)，其他依次類(lèi)推，均符合預(yù)期的校正結(jié)果。由圖4還可知，矩陣運(yùn)算模塊造成的時(shí)鐘延時(shí)約為7個(gè)時(shí)鐘周期。由于本設(shè)計(jì)系統(tǒng)中，所有模塊的同步時(shí)鐘均采用VGA的像素時(shí)鐘，即攝像頭將圖像幀數(shù)據(jù)存入SDRAM1時(shí)，幾何校正模塊也在同時(shí)工作，將SDRAM1的數(shù)據(jù)取出進(jìn)行幾何校正，且校正速度與VGA掃描速度一致，因此整個(gè)系統(tǒng)的視頻幾何校正部分的延時(shí)就是這7個(gè)時(shí)鐘周期。已知分辨率640×480的視頻的像素時(shí)鐘頻率約為25 MHz[9]，則7個(gè)時(shí)鐘周期的延時(shí)時(shí)間小于1 μs，遠(yuǎn)小于毫秒級(jí)。而對(duì)常見(jiàn)的60幀/s的視頻，每幀時(shí)間約為1/60 s，可見(jiàn)本系統(tǒng)的視頻幾何校正部分的延時(shí)遠(yuǎn)小于視頻每幀的顯示時(shí)間，因此不會(huì)對(duì)人的視覺(jué)觀感產(chǎn)生任何影響。

圖4 矩陣運(yùn)算器模塊波形仿真圖Fig.4 Waveform of matrix operation module simulation

5 實(shí)驗(yàn)結(jié)果與分析

5.1 視頻幾何校正結(jié)果分析

實(shí)驗(yàn)分兩步進(jìn)行。第一步為：首先，投影儀正對(duì)幕布，投射出完美的特征影像并拍照記錄，作為幾何校正目標(biāo)投影影像。然后，將投影儀擺放任意角度，投射出不完美的不規(guī)則形狀的特征影像，保持投影儀位置固定并拍照，獲得目前實(shí)際投影影像。最后，利用Matlab等工具獲取實(shí)際影像到目標(biāo)影像的映射關(guān)系矩陣H。第二步為：將第一步獲得的映射關(guān)系矩陣H輸入到FPGA中，F(xiàn)PGA將依據(jù)H對(duì)攝像頭采集的視頻進(jìn)行幾何校正，并經(jīng)由第一步中固定位置的投影儀投射到幕布上，對(duì)比目標(biāo)影像，觀察是否達(dá)到預(yù)期效果。實(shí)驗(yàn)器材見(jiàn)表2，具體過(guò)程如下。

表2 實(shí)驗(yàn)器材列表Tab.2 List of the experimental equipment

圖5 目標(biāo)投影效果與未幾何校正投影效果對(duì)比圖Fig.5 Comparison of target projection result and non geometric calibration projection result

目標(biāo)投影效果與未經(jīng)幾何校正的實(shí)際投影效果對(duì)比如圖5所示。

利用Matlab將目標(biāo)投影效果圖與實(shí)際投影效果圖的特征點(diǎn)坐標(biāo)進(jìn)行提取，考慮相機(jī)失真因素，并用最小二乘法計(jì)算得到實(shí)際投影效果與目標(biāo)投影效果的映射關(guān)系矩陣為[10]：

按照表1將H轉(zhuǎn)化為

然后將H導(dǎo)入FPGA中，得到幾何校正結(jié)果如圖6所示。

圖6(a)是用液晶顯示器顯示的原始視頻圖像。將其直接用投影儀投射在屏幕上的顯示效果如圖6(c)。將6(a)進(jìn)行映射關(guān)系矩陣為H的幾何校正之后，得到視頻圖像圖6(b)，圖6(b)看似發(fā)生了不規(guī)則的變形，但將其通過(guò)投影儀投射到屏幕上時(shí)，實(shí)際投影效果如圖6(d)，將圖6(d)與目標(biāo)投影效果圖5(a)對(duì)比發(fā)現(xiàn)，投射出的影像的幾何失真得到校正，可判定實(shí)驗(yàn)達(dá)到了預(yù)期的視頻幾何校正效果，從而肯定了本方案的正確性與可行性。理論上，根據(jù)Hx的不同，本設(shè)計(jì)可以對(duì)視頻圖像做任何形狀的幾何校正。

而針對(duì)多投影系統(tǒng)的視頻圖像幾何校正，實(shí)現(xiàn)方法與本實(shí)驗(yàn)相同：只需先設(shè)定一個(gè)多投影拼接后的目標(biāo)效果圖，然后將此圖中每臺(tái)投影儀各自分工的部分，與對(duì)應(yīng)投影儀的實(shí)際投影效果進(jìn)行比對(duì)分

圖6 幾何校正結(jié)果對(duì)比圖Fig.6 Comparison of geometric calibration results

析，獲得映射關(guān)系矩陣Hx(每臺(tái)投影儀對(duì)應(yīng)的映射關(guān)系矩陣可能是不同的)。再根據(jù)Hx對(duì)每臺(tái)投影儀的視頻輸入源做不同參數(shù)的幾何校正即可。

5.2 幾何校正精度分析

對(duì)于本文所述的視頻圖像幾何校正方案，誤差來(lái)源主要有兩點(diǎn)：一是Hx的參數(shù)誤差，主要包括相機(jī)魚(yú)眼效應(yīng)引起的誤差、Hx參數(shù)求解時(shí)迭代計(jì)算次數(shù)有限所引起的誤差、解出的參數(shù)由于四舍五入引起的誤差等，這部分誤差是由儀器設(shè)備、上位機(jī)算法等共同造成，非本文討論重點(diǎn)。二是本設(shè)計(jì)方案的系統(tǒng)誤差，在本設(shè)計(jì)中，由于iX、iY、oX、oY均為小于103的整數(shù)，而Hx均保留到小數(shù)點(diǎn)后4位，根據(jù)式(5)、式(6)可知坐標(biāo)變換過(guò)程中FPGA進(jìn)行相關(guān)矩陣運(yùn)算的誤差最大不超過(guò)1個(gè)像素點(diǎn)，不會(huì)對(duì)顯示效果產(chǎn)生任何影響。若資源足夠，增加Hx的小數(shù)保留位數(shù)，則幾何校正的精度將更高。

5.3 資源使用情況分析

實(shí)際資源占用情況如圖7所示。

圖7 FPGA的資源占用情況Fig.7 Use of FPGA resources

由圖7可知，對(duì)于DE2開(kāi)發(fā)平臺(tái)板載的EP2C-35F672C6 FPGA，經(jīng)Quartus II綜合后本方案幾何校正部分各項(xiàng)硬件資源占用率均不超過(guò)30%，可見(jiàn)本方案具有資源占用率少、效率高的優(yōu)勢(shì)，因此適合工程應(yīng)用。

6 結(jié) 論

本文依據(jù)大視場(chǎng)應(yīng)用、尤其是大屏幕投影拼接技術(shù)領(lǐng)域?qū)σ曨l圖像幾何校正快速、穩(wěn)定、適宜推廣的需求，設(shè)計(jì)了一套基于FPGA的視頻圖像幾何校正方案。本文首先介紹了視頻圖像幾何校正的基本理論。然后據(jù)此設(shè)計(jì)了幾何校正的系統(tǒng)結(jié)構(gòu)。之后根據(jù)DE2開(kāi)發(fā)平臺(tái)的實(shí)際資源，詳細(xì)設(shè)計(jì)了幾何校正模塊的具體結(jié)構(gòu)并進(jìn)行了仿真。最后，通過(guò)觀察實(shí)際的投影校正效果，驗(yàn)證了本方案的可行性。實(shí)驗(yàn)結(jié)果證明：本方案系統(tǒng)延時(shí)小于10個(gè)時(shí)鐘周期，遠(yuǎn)遠(yuǎn)不到毫秒級(jí)，且延時(shí)恒定不變，幾何校正誤差最大不超過(guò)1個(gè)像素，對(duì)人的視覺(jué)觀感不會(huì)有任何影響。而且本方案資源占用率低，適合大范圍應(yīng)用。雖然由于DE2平臺(tái)資源所限，未能進(jìn)行更高分辨率的視頻幾何校正測(cè)試，但本方案的設(shè)計(jì)思想仍然具有相當(dāng)?shù)慕梃b、參考意義。

[1] 王勝正， 楊杰. 自動(dòng)多投影儀非線性幾何校正與圖像邊緣融合方法[J]. 上海交通大學(xué)學(xué)報(bào), 2008, 42(4): 574-578. Wang S Z, Yang J. Auto-nonlinear geometry calibration and edge blending of multi-projector display system [J].JournalofShanghaiJiaotongUniversity, 2008, 42(4): 574-578. (in Chinese)

[2] 李斌. 低成本多投影儀拼接方法研究[D]. 濟(jì)南：山東大學(xué)，2005. Li B. Study on Low-cost multi-projector mosaic [D]. Jinan: Shandong University, 2005. (in Chinese)

[3] 張德豐. MATLAB數(shù)字圖像處理[M]. 北京：機(jī)械工業(yè)出版社，2009. Zhang D F.DigitalImageProcessingwithMATLAB[M]. Beijing: China Machine Press, 2009. (in Chinese)

[4] 張錚，王艷平，薛桂香. 數(shù)字圖像處理與機(jī)器視覺(jué)[M]. 北京：人民郵電出版社，2010. Zhang Z, Wang Y P, Xue G X.DigitalImageProcessingandMachineVision[M]. Beijing: Ports & Telecom Press, 2010. (in Chinese)

[5] 陶婷婷，張亞萍. 多投影顯示系統(tǒng)的幾何校正及邊緣融合技術(shù)研究與實(shí)現(xiàn)[J]. 云南師范大學(xué)學(xué)報(bào)，2014，34(1): 54-60. Tao T T, Zhang Y P. Research andrealization of geometric calibration and edge blending for multi-projector display system [J].JournalofYunnanNormalUniversity, 2014, 34(1): 54-60. (in Chinese)

[6] 劉淑. 多通道大屏幕圖像無(wú)縫拼接技術(shù)研究[D]. 北京：北京交通大學(xué)，2011. Liu S. Theresearch on multi-projectors large format mosaic [D]. Beijing: Beijing Jiaotong University, 2011. (in Chinese)

[7] Integrated Silicon Solution, Inc. IS61LV25616_Datasheet.pdf [OL]. www.issi.com, 2001.

[8] 葉茂. 多屏投影顯示系統(tǒng)的自動(dòng)校正技術(shù)[D]. 成都：四川大學(xué)，計(jì)算機(jī)應(yīng)用，2006. YE M. Automaticcalibration techniques for multi-projector display systems [D]. Chengdu: Sichuan University, 2006. (in Chinese)

[9] Video Electronics Standards Association. VESA and industry standards and guidelines for computer display monitor timing (DMT) [EB]. 2004.

[10] 蔡山，張浩，陳洪輝，等. 基于最小二乘法的分段三次曲線擬合方法研究[J]. 科學(xué)技術(shù)與工程，2007, 7(3): 352-355. Cai S, Zhang H, Chen H H,etal. Research of piecewise cubic-fitting method based on least-square principle [J].ScienceTechnologyandEngineering, 2007, 7(3): 352-355. (in Chinese)

Design of video geometric calibration system based on FPGA

ZHANG Hao1,2, LING Chao-dong1,2*, CHEN Hu1,2, HUANG Xin1,2, YANG Xiao1,2, TANG Wei1, YAN Zheng1

(1.InstituteofInformationScienceandEngineering,HuaQiaoUniversity,Xiamen361021,China;2.KeyLaboratoryofASICandSystemofXiamen,Xiamen361008,China)

In order to realize the real-time video image geometric calibration in large field of view image applications, especially in large format projection mosaic technique field, this paper analyzes the video image geometric calibration and its realization based on FPGA. First, according to the basic theory of image geometric calibration, this paper describes the simulation of algorithms with Matlab and other tools, and designs the basic frame of the video image geometric calibration system. Then, the system structure is detailed designed based on the hardware resources of DE2 platform and the geometric calibration module is simulated. Finally, based on the actual calibration test, this paper concludes that the experimental results achieve the desired target of real-time video image geometric calibration. Experimental results show that the image which has been calibrated and projected by projector is consistent with the simulation results. The delay of system is less than 10 clock cycles, far less than millisecond level, and the value of delay time is a constant. The inaccuracy of the calibration system is no more than one pixel. This design achieves the desired target of real-time video geometric calibration, which has considerable significance for reference.

large field of view; projection mosaic technique; geometric calibration; FPGA

張 飆(1969-)，男，四川人，碩士，主要從事LED顯示技術(shù)、激光雷達(dá)技術(shù)的研究。E-mail：75990383@qq.com 周?chē)?guó)清(1965-)，男，江西人，博士，教授，博士生導(dǎo)師，主要從事遙感技術(shù)的研究。E-mail：glitezhou@yahoo.com

2014-10-14；

2014-11-06.

國(guó)家自然科學(xué)基金(No.61203369，No.61204122); 福建省自然科學(xué)基金(No.2011J01351); 福建省科技計(jì)劃重點(diǎn)項(xiàng)目(No.2013H0029) ；泉州市科技計(jì)劃項(xiàng)目(No.2013Z33)

1007-2780(2015)03-0459-08

TN911.73

A

10.3788/YJYXS20153003.0459

*通信聯(lián)系人，E-mail：edac@hqu.edu.cn