溫洪波

摘 要： 針對傳統(tǒng)處理系統(tǒng)一直存在多通道視頻多幀圖像信息處理不全面的問題，提出并設計基于FPGA+2DSP架構(gòu)的大型視頻多幀圖像信息處理系統(tǒng)。設計過程主要分為硬件設計及軟件設計兩部分，在給出系統(tǒng)整體模塊圖的基礎上，通過視頻多幀圖像采集卡、DSP復位電路、串口控制電路等模塊對硬件部分進行設計分析；軟件部分主要通過其整體軟件實現(xiàn)流程為主，并給出了部分結(jié)構(gòu)圖。實驗結(jié)果表明，采用改進設計系統(tǒng)其圖像信息處理結(jié)果跟蹤誤差分析結(jié)果比傳統(tǒng)處理系統(tǒng)提高了15.02像素。

關(guān)鍵詞： 大型視頻； 多幀圖像； 信息處理； 采集卡； 串口控制； DSP

中圖分類號： TN911.73?34； TP271 文獻標識碼： A 文章編號： 1004?373X（2018）20?0053?04

Abstract： As the traditional processing system has a long?term existing problem of incomprehensive information processing of multi?frame images in the multi?channel video， a multi?frame image information processing system based on the FPGA+2DSP architecture is proposed and designed for the large?scale video. The design process is mainly divided into two parts of hardware design and software design. On the basis of presenting the overall module diagram of the system， the hardware part is designed and analyzed by using the modules of video multi?frame image acquisition card， DSP reset circuit， and serial port control circuit. The software part is focused on the overall software implementation process. The partial structure diagrams are given. The experimental results show that， in comparison with the traditional processing system， the improved design system′s tracking error from analysis of image information processing results is increased by 15.02 pixels.

Keywords： large?scale video； multi?frame image； information processing； acquisition card； serial port control； DSP

0 引 言

圖像處理技術(shù)的應用范圍變得越來越廣泛，如在軍事、醫(yī)學、工業(yè)和交通等多領域的使用。這些不同領域的不同應用[1]，也產(chǎn)生了大量的視頻圖像，說明圖像處理技術(shù)已經(jīng)越來越深入的應用到人們的生活和社會工業(yè)生產(chǎn)中。因此根據(jù)行業(yè)需求的不同，圖像幀數(shù)也不同，視頻多幀圖像也逐漸出現(xiàn)在圖像庫中，各種對視頻多幀圖像處理軟件也被開發(fā)出來，但不同軟件的應用方向和側(cè)重點都不相同，且存在各種各樣的問題[2]。如何對大型視頻多幀圖像信息進行處理，如何使處理系統(tǒng)界面簡潔明了，圖像信息處理功能完善，采用什么方法優(yōu)化處理系統(tǒng)，解決系統(tǒng)處理速度慢、可擴展性差的問題成為了該領域亟待解決的問題。文獻[3]通過SoPc和FPGA兩大處理技術(shù)，以視頻轉(zhuǎn)換芯片SAA7113完成視頻圖像采集模塊設計，采用CY7C1049 SRAM完成圖像數(shù)據(jù)的存儲，設計VGA顯示輸出控制關(guān)聯(lián)模塊，同時重新修改了顯示芯片具體運作形式的配置信息，達到優(yōu)化圖像信息處理系統(tǒng)優(yōu)化的目的，但是該方法存在運行耗時長的問題。對此，提出并設計了基于FPGA+2DSP架構(gòu)的大型視頻多幀圖像信息處理系統(tǒng)。

1 視頻多幀圖像信息處理系統(tǒng)整體結(jié)構(gòu)設計

采用運算能力滿足系統(tǒng)運行要求的處理器對視頻多幀圖像信息處理系統(tǒng)進行設計。為了使處理系統(tǒng)能夠滿足多級預警機制和多路處理機制，選擇合適的FPGA器件對內(nèi)部緩存信息進行并行處理，采用適合的數(shù)字信號處理芯片（DSP）進行信息過濾和目標識別[4]。在選擇系統(tǒng)硬件核心處理器時，主要以達到信息處理系統(tǒng)處理需求為基礎，結(jié)合處理器功能特點進行系統(tǒng)整體結(jié)構(gòu)設計。根據(jù)選用核心處理器的特點及其不同的技術(shù)指標，對大型視頻多幀圖像信息處理系統(tǒng)進行優(yōu)化設計，如圖1所示。

由圖1可知，為達到對圖像信息處理時可多級預警及多路處理，設計圖像處理系統(tǒng)需滿足多路圖像子幀數(shù)據(jù)同步處理。在對目標圖像信息進行識別時，系統(tǒng)需在設定時間里實現(xiàn)特征提取及相應方法的運算，而現(xiàn)有系統(tǒng)多使用FPGA+單DSP架構(gòu)，無法滿足系統(tǒng)的實時性要求。對此，引入DSP架構(gòu)[5]，將原有的FPGA+單DSP架構(gòu)轉(zhuǎn)變?yōu)镕PGA+2DSP架構(gòu)，優(yōu)化原有系統(tǒng)對圖像信息處理能力。在設計過程中選擇Xilinx公司生產(chǎn)的XC5VLX110T型FPGA內(nèi)部資源豐富，共有17 280個資源片，每個資源片內(nèi)核都包括25[×]18的乘法器，加法器和累加器；另外此型號FPGA的內(nèi)部資源還包含了RAM、時鐘管理模塊、鎖相環(huán)、[PCI?e]核，可供應用戶使用的[IO]資源。采用XC5VLX110T型的FPGA，其功能內(nèi)核寄存儲資源較為豐富，可達到圖像信息濾波處理、控制等功能的使用目的[6]。選用TI公司DSP芯片中適合進行視頻多幀圖像信息處理的TMS320C6455型DSP芯片。該芯片乘加運算的處理能力運用90 nm加工技術(shù)達到每秒9 600×106次。其最高工作頻率為1.2 GHz，包含SRIO通信模塊。利用SRIO協(xié)議進行處理器間的通信，這與早期C6000系列DSP芯片有很大的不同，有效提高處理器間的通信速率。

2 視頻多幀圖像信息處理系統(tǒng)硬件結(jié)構(gòu)

該系統(tǒng)硬件部分有兩個子系統(tǒng)：一是圖像采集模塊，主要是對圖像信息處理的觸發(fā)，采集性能；二是DSP圖像處理系統(tǒng)，實現(xiàn)圖像處理性能。其中最主要的是視頻多幀圖像的采集卡、DSP復位電路模塊及串口控制電路模塊的設計。

2.1 視頻多幀圖像采集卡

計算機通過使用CCD鏡頭獲得視頻圖像信息流，通過視頻卡將采集的視頻多幀圖像信息進行格式轉(zhuǎn)變、存儲，方便軟件使用，實現(xiàn)視頻多幀圖像信息的處理。視頻卡組成及工作原理，如圖2所示。

圖2中，以復合視頻輸入為基礎，選取一路或一組視頻當作目前輸入的圖像信息，傳輸給數(shù)字解碼器，對圖像信息進行分析[7?8]。數(shù)字解碼器把傳輸?shù)膹秃弦曨l進行分離，經(jīng)過控制電路讓它達到同步要求的單號變成亮度信號Y及色差信號UV，傳輸?shù)紸/D實行模/數(shù)轉(zhuǎn)換，獲得圖像幀數(shù)。經(jīng)各種處理視頻多幀圖像信息后，采用PCI總線，將信息傳送到VGA卡進行顯示及存儲。

2.2 DSP復位電路

DSP復位電路芯片選用MAX823芯片，該芯片能夠提供自動啟動復位、手動復位和看門狗電路功能，其結(jié)構(gòu)如圖3所示。

2.3 串口控制電路

系統(tǒng)采用RS 485串行接口，為完成圖像信息處理系統(tǒng)使用max481芯片當作串口的控制芯片，由FPGA進行編寫串口控制邏輯，結(jié)構(gòu)如圖4所示。

3 軟件系統(tǒng)整體設計

一個完整的圖像信息處理系統(tǒng)應重點包含視頻圖像信息采集、圖像信息傳輸、信息處理和視頻圖像信息輸出等部分，其中又包括各個部分的性能細節(jié)的達成。若要構(gòu)建一套完整的圖像信息處理系統(tǒng)，一個完善的軟件體系是不可缺少的[9?10]。軟件部分關(guān)鍵點是依據(jù)系統(tǒng)需求進行設計，系統(tǒng)的整體軟件框架如圖5所示。

4 實驗結(jié)果分析

4.1 系統(tǒng)硬件配置

系統(tǒng)硬件配置CCD攝像頭；CPLD采用Altera公司MAX7000系列EPM7128SQC100；FIFO采用TI公司SN74ALVC7804；DSP采用TI公司TMS320C6205，PCI2.2接口；FLASH采用SST公司SST39CF160存儲格式為1M[×]16 bit 2 MB（2片）；SDRAM采用HYNIX公司HY57V651620B存儲格式4Banks[×]1M[×]16 bit 8 MB（2片）；電源管理方面采用TI公司的TPS70148 3.3 V/1.5 V、MICREL公司的MIC29150；時鐘方面采用DSP，20 MHz晶體 TDK ACF451832濾波芯片，SAA7111，25 MHz晶體輸出 13.5 MHz LLC2。

4.2 實驗結(jié)果分析

為了更精確地對診斷效果進行對比，采用FPGA+2DSP架構(gòu)的診斷評價指標，對兩個系統(tǒng)的診斷誤差進行對比分析，其中目標中心位置由手動的模式經(jīng)過在每一幀圖像上標注而獲得。圖7是傳統(tǒng)系統(tǒng)和改進系統(tǒng)對寫作誤差診斷結(jié)果分析。

圖7中，橫坐標代表圖像序列的幀數(shù)，縱坐標代表目標的正確寫作診斷信息和診斷誤差估計的診斷結(jié)果與實際結(jié)果的距離差值，傳統(tǒng)系統(tǒng)和改進系統(tǒng)的平均誤差分別為19.80和4.78像素。

5 結(jié) 論

針對傳統(tǒng)處理系統(tǒng)一直存在多通道視頻多幀圖像信息處理不全面的問題，提出并設計了基于FPGA+2DSP架構(gòu)的大型視頻多幀圖像信息處理系統(tǒng)。在設計過程中主要分為硬件及軟件兩部分，在給出系統(tǒng)整體模塊圖的基礎上，通過視頻多幀圖像采集卡、DSP復位電路、串口控制電路等模塊對硬件部分進行設計分析；軟件部分主要通過其整體軟件實現(xiàn)流程為主，并給出部分結(jié)構(gòu)圖。實驗結(jié)果表明，采用改進設計系統(tǒng)其圖像信息處理結(jié)果跟蹤誤差分析結(jié)果比傳統(tǒng)處理系統(tǒng)提高了15.02像素。

參考文獻

[1] 王秉，吳超，黃浪.基于安全信息處理與事件鏈原理的系統(tǒng)安全行為模型[J].情報雜志，2017，36（9）：119?126.

WANG Bing， WU Chao， HUANG Lang. System′s safety behavior model based on the cognitive safety information processing and chain?of?events [J]. Journal of intelligence， 2017， 36（9）： 119?126.

[2] 鄭冰，趙陽，葛東林.農(nóng)機快速導航系統(tǒng)設計：基于圖像邊緣檢測和3D深度視頻幀內(nèi)編碼[J].農(nóng)機化研究，2018，40（5）：181?184.

ZHENG Bing， ZHAO Yang， GE Donglin. Design for fast navigation system of agricultural machinery based on image edge detection and 3D depth video coding [J]. Journal of agricultural mechanization research， 2018， 40（5）： 181?184.

[3] 田杰，王廣龍，喬中濤，等.基于FPGA高速視頻圖像實時采集與處理系統(tǒng)設計[J].電子器件，2016，39（3）：623?627.

TIAN Jie， WANG Guanglong， QIAO Zhongtao， et al. Design of a high?speed real?time video acquisition and processing system based on FPGA [J]. Chinese journal of electron devices， 2016， 39（3）： 623?627.

[4] 唐寧，趙鵬，吳紹啟.基于FPGA的實時視頻圖像去霧系統(tǒng)[J].計算機工程與設計，2016，37（11）：3124?3129.

TANG Ning， ZHAO Peng， WU Shaoqi. Real?time video image dehazing system based on FPGA [J]. Computer engineering and design， 2016， 37（11）： 3124?3129.

[5] 袁慶升，張冬明，靳國慶，等.視頻檢索中圖像信息量度量[J].通信學報，2016，37（2）：80?87.

YUAN Qingsheng， ZHANG Dongming， JIN Guoqing， et al. Image information measurement for video retrieval [J]. Journal on communications， 2016， 37（2）： 80?87.

[6] 曾志華，馬小雨.FPGA及DSP技術(shù)下的實況視頻圖像處理多種算法探究[J].現(xiàn)代電子技術(shù)，2016，39（16）：88?90.

ZENG Zhihua， MA Xiaoyu. Various live video image processing algorithms based on FPGA and DSP technologies [J]. Modern electronics technique， 2016， 39（16）： 88?90.

[7] 姚佳，高志勇，張小云，等.基于眾核平臺的多路超高清視頻編碼系統(tǒng)設計[J].電視技術(shù)，2016，40（4）：7?11.

YAO Jia， GAO Zhiyong， ZHANG Xiaoyun， et al. Multi?channel UHD video encoding system based on many?core platform [J]. Video engineering， 2016， 40（4）： 7?11.

[8] 王嘉成，孫海江，劉培勛，等.高分辨率多傳感器融合圖像跟蹤系統(tǒng)的設計與實現(xiàn)[J].液晶與顯示，2016，31（8）：825?830.

WANG Jiacheng， SUN Haijiang， LIU Peixun， et al. Design and implementation of high resolution multi?sensors fusion tracking system [J]. Chinese journal of liquid crystals and displays， 2016， 31（8）： 825?830.

[9] 戴軍，唐湘成，高志峰.海空背景下紅外圖像處理系統(tǒng)設計與實現(xiàn)[J].紅外技術(shù)，2016，38（2）：121?125.

DAI Jun， TANG Xiangcheng， GAO Zhifeng. Design and implementation of an infrared image processing system under sea and sky background [J]. Infrared technology， 2016， 38（2）： 121?125.

[10] 劉偉，門金瑞，華園園.空間目標圖像觀測系統(tǒng)設計仿真研究[J].計算機仿真，2016，33（10）：254?257.

LIU Wei， MEN Jinrui， HUA Yuanyuan. Research and simulation of space target observation system [J]. Computer simulation， 2016， 33（10）： 254?257.