摘 要： 針對嵌入式系統(tǒng)在紅外圖像處理領域的應用，提出在紅外圖像處理方面構(gòu)建一種一體化信息處理器。采用基于SOPC+DSP的體系架構(gòu)，實現(xiàn)雙波段紅外圖像的預處理、圖像壓縮、目標檢測與識別、與其他系統(tǒng)的通信等功能。給出了一種適用于該領域的通用架構(gòu)，并對該架構(gòu)進行了論證，結(jié)合具體應用進行硬件和軟件設計。在此基礎上，對系統(tǒng)架構(gòu)進行測試，經(jīng)過驗證，硬件平臺運行結(jié)果與軟件仿真結(jié)果誤差很小，達到設計要求。同時，該系統(tǒng)可以完成兩路紅外圖像的處理工作，提高了系統(tǒng)處理速度，減少了CPU的工作量。

關(guān)鍵詞： 通用架構(gòu)； 嵌入式系統(tǒng)； 紅外圖像； SOPC； DSP

中圖分類號： TN929.1?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2016）03?0039?04

Integrated design of infrared image information processor based on general architecture

CHEN Peng

（College of Economic and Management， Taizhou University， Taizhou 225300， China）

Abstract： Aiming at the application of embedded system in the field of infrared image processing， the method that an integration information processor is constructed in the aspect of infrared image processing is put forward. The system architecture based on SOPC+DSP is adopted to accomplish the dual band infrared image preprocessing， image compression， target detection， target recognition， communication with other systems and other functions. A general architecture suiting for this field is given and demonstrated. The hardware and software were designed in combination with the specific application， and based on this， the system architecture was tested. The test results show that the error coming from the operation result of hardware platform and software simulation result is very small， which can meet the test requirement. The system can complete the processing work of two?channel infrared image， improve the processing speed， and reduce the workload of CPU.

Keywords： general architecture； embedded system； infrared image； SOPC； DSP

0 引 言

非PC信息設備與具體應用相結(jié)合，應用范圍廣泛，而其主體正是嵌入式系統(tǒng)[1]。目前在一些發(fā)達國家，以嵌入式系統(tǒng)為基礎的數(shù)字電視的市場值已達到相當規(guī)模，另外，基于實時操作系統(tǒng)（RTOS）的EI（Embedded Internet）也成為了該領域的一個新熱點。在國內(nèi)，基于嵌入式系統(tǒng)的信息家電也是信息技術(shù)領域的研究熱點之一[2]。嵌入式系統(tǒng)的發(fā)展是基于特定應用的，因此即使對同一應用而言，采用的處理系統(tǒng)架構(gòu)也各不相同。這也導致了嵌入式技術(shù)雖然發(fā)展快速，但是開發(fā)過程零散，同時重復開發(fā)成本高[3]。因此，如果能在如此專用的嵌入式技術(shù)的發(fā)展中加入更多的通用性，針對某一類應用，設計一種通用化、可編程、可擴展的處理器就顯得非常有意義。

1 紅外圖像信息處理系統(tǒng)架構(gòu)設計

一般硬件驅(qū)動由設備廠商提供，而操作系統(tǒng)由專門開發(fā)操作系統(tǒng)的公司提供，如Microsoft，Google，Apple等。用戶程序開發(fā)者只需在應用層開發(fā)相應的程序，不需要硬件基礎。但是對于紅外圖像處理領域則不然。紅外圖像處理領域沒有一個統(tǒng)一的軟硬件標準，對于不同的系統(tǒng)功能需求，采取不同的設計方法[4]。

紅外圖像信息處理領域具有處理任務多種多樣、結(jié)構(gòu)差異大、算法復雜度相差大、實時性和可靠性要求高[5]、對體積和功耗的要求也越來越高等特點?；谶@些特點，目前紅外圖像信息處理器設計對訂制的要求較多，造成重復投入，研制周期加長，成本提高。本文目的是要研究類似民用領域的通用化信息處理平臺，使得不同的程序可以運行于同樣的硬件平臺上。

一個較好的方案是把對性能要求較高的常用圖像處理算法設計成硬件處理模塊，處理器選擇ARM，在進行圖像處理時，ARM只需運行頂層處理算法[6]，底層算法調(diào)用硬件模塊執(zhí)行。而且目前的ARM處理器處理能力越來越強，已經(jīng)發(fā)展到四核，主頻2 GHz，并配備專用浮點處理單元。

本文提出了一種適用于紅外圖像處理的通用架構(gòu)設計方案，如圖1所示。該架構(gòu)采用了一個ARM處理器，常用的數(shù)據(jù)密集型圖像處理算法采用硬件模塊實現(xiàn)。ARM主要負責頂層算法，特點是算法復雜度高但是數(shù)據(jù)量較少，其實現(xiàn)方式多樣，可以是SOPC，SoC，也可以是FPGA+ARM。其中的圖像預處理器主要完成紅外圖像非均勻校正、中值濾波、高斯濾波、降噪、電子穩(wěn)像等；視頻協(xié)處理器主要完成圖像壓縮、直方圖統(tǒng)計、灰度投影、角點檢測、連通域標記等；視頻后處理器主要完成圖像顯示，包括視頻顯示控制、OSD（On Screen Display）、圖像縮放。

在該系統(tǒng)中，將目前最有發(fā)展前景的1394接口、RapidIO接口、光纖通道接口都集成到系統(tǒng)中，可根據(jù)不同需要連接不同接口；存儲器接口主要用于系統(tǒng)與外部存儲器連接，如DDR2 SDRAM，SBSRAM，F(xiàn)LASH等；其他接口可保留傳統(tǒng)接口，如RS 485，RS 422，開關(guān)量接口等。

2 紅外圖像一體化信息處理器設計

紅外圖像一體化信息處理器包括信息處理單元（FPGA+DSP）、存儲器（SBSRAM，F(xiàn)LASH，DPRAM等）、外圍接口芯片、二次電源等一體化信息處理系統(tǒng)所需要的硬件資源，以及底層支持軟件和圖像處理軟件等。

其中，處理器采用SOPC+DSP為基本框架。 接口電路包括開關(guān)量接口、RS 422/RS 485接口、LVDS接口。對處理器部分所要完成的功能要根據(jù)處理器的特點進行功能劃分，以便充分利用處理器的資源，使處理器工作在最優(yōu)狀態(tài)。對上述體系結(jié)構(gòu)圖進行細化得到如圖2所示的結(jié)構(gòu)。

2.1 硬件設計

紅外圖像一體化信息處理器的設計思路是采用SOPC+DSP技術(shù)，通過高性能的DSP完成復雜的控制算法和數(shù)據(jù)計算，采用SOPC技術(shù)在單片F(xiàn)PGA上完成信號流水處理、圖像預處理算法等。SOPC+DSP技術(shù)有效結(jié)合了兩種技術(shù)的優(yōu)點，互相彌補單獨采用某一種技術(shù)的不足，可以大大地提高系統(tǒng)的性能[7]。

處理器的硬件由FPGA，DSP，雙口RAM，SBSRAM，F(xiàn)LASH，配置芯片，開關(guān)量接口，差分LVDS芯片，通信接口，視頻DA，電源芯片，連接器等組成。具體硬件組成框圖如圖3所示。

在處理器要完成的所有功能中，圖像預處理、圖像壓縮、RS 485通信中的HDLC協(xié)議等由FPGA邏輯來實現(xiàn)；兩個軟核CPU分別實現(xiàn)兩路紅外圖像的特征提取和初檢測。軟核CPU主要實現(xiàn)兩路圖像的特征提取及初檢測，并將處理后的圖像特征傳送給DSP。DSP的主要功能是完成圖像融合算法。在系統(tǒng)上電后，DSP將FLASH中存儲的程序調(diào)入相應的RAM緩存中運行，為了完成圖像融合算法，DSP需要通過EMIF總線讀取外部DPRAM中的紅外圖像特征數(shù)據(jù)，另外，DSP還要與外界進行開關(guān)量和RS 485通信，可通過外部中斷，GPIO口完成。

根據(jù)需要針對該架構(gòu)的功能需求進行芯片選型，考慮到要預留一定的裕量，選用Altera公司的EP3SE110，其內(nèi)部邏輯單元約11萬個，RAM約1 MB，硬件乘法器896個，其中內(nèi)部RAM的最高工作頻率為600 MHz，高性能DSP塊最高工作頻率為550 MHz。綜合對比C6701，C6711，C6713三款芯片，選用C6713。考慮靜態(tài)RAM比動態(tài)RAM可靠性高，采用同步靜態(tài)RAM，容量1M×36位，選用ISSI公司的IS61LPS102436A。為了滿足系統(tǒng)處理兩路紅外圖像的需求，包括特征提取，二值化，連通域標記，目標檢測與跟蹤等，兩路圖像各用一片SBSRAM，選用ISSI公司的IS61LPS102436A。FPGA外部DPRAM選用IDT公司的IDT70T3539M。進一步地完成處理器所涉及的開關(guān)量接口、RS 422/RS 485通信接口、圖像輸入/輸出等接口的設計。

2.2 軟件設計

在很多圖像處理系統(tǒng)中，單個成像器所得到的圖像信息往往不完整，精確度低[8]，此時，如果增加一個成像器提供補充數(shù)據(jù)，然后把兩個成像器的數(shù)據(jù)進行融合就能夠獲得對該場景中更多、更精確的信息，降低單一成像器所造成的不確定性。因此，通過圖像融合技術(shù)可以在很大程度上提高圖像數(shù)據(jù)的可靠性和抗干擾性。

紅外目標的圖像特征主要表現(xiàn)為目標的外形輪廓、灰度、紋理等。對于要處理的紅外目標，可以事先確定目標的面積范圍、形狀特征[9]。可以根據(jù)目標的面積和形狀復雜度對真假目標進行判斷。

本文采用的圖像幾何濾波的計算方法如下：

（1） 目標面積計算。分別統(tǒng)計各疑似目標所包含的總像素點數(shù)，作為疑似目標的面積。

（2） 目標外接矩形的長度和寬度。通過同一目標的[x，y]坐標的取值范圍來確定。計算公式如下：

式中：[W]代表目標外接矩形的寬度；[L]代表目標外接矩形的長度；[ymax]代表目標[y]坐標最大值；[ymin]代表目標[y]坐標最小值；[xmax]代表目標[x]坐標最大值；[xmin]代表目標[x]坐標最小值。

（3） 周長計算：圖像處理中，目標的周長可以通過統(tǒng)計同一目標邊界點的個數(shù)之和得到。在得到上述目標特征之后，依據(jù)先驗的目標特征對疑似目標逐一判斷，濾除不符合條件的疑似目標。

對于要處理的紅外目標，可以事先獲得紅外目標的灰度分布情況，以此為依據(jù)對真假紅外目標進行識別?？刹捎玫幕叶忍卣饔校簣D像的均值、最大值位置、行均值提取、列均值提取。根據(jù)上述提取的計算特征，與先驗目標特征比較，濾除不符合條件的疑似目標。

單幀的目標檢測算法無法完全提取真正的目標，仍會存在一些干擾噪聲點。此時，需要利用序列圖像目標運動的連續(xù)性即多幀軌跡關(guān)聯(lián)進一步剔除噪聲提取真目標。

本文所采用的圖像融合方法為決策級融合，對提取出的目標特征信息進行處理，利用的目標特征信息包括目標的形狀、大小、位置，通過決策級融合達到去除虛警點，準確保留真實目標的目的。

如圖4所示，在編碼端，首先輸入原始圖像，將原始圖像分割為8×8的基本處理模塊，首先根據(jù)前后幀的相關(guān)性來判別塊的編碼方式，如果是幀內(nèi)編碼，直接對塊圖像進行JPEG編碼，即DCT變換、之字編碼、變長編碼、添加塊信息，輸出碼流即可；如果是幀間編碼，則需要進行運動估計。運動估計是將前一幀量化后的圖像經(jīng)過逆量化、反DCT變換還原后保存為參考幀，當前塊經(jīng)運動估計及隨后的運動補償，然后原始圖像與重建圖像的差異值在經(jīng)過離散余弦變換、量化、之字編碼、變長編碼、添加塊信息，輸出碼流。同時，運動矢量也傳給變長編碼器進行編碼傳遞。

根據(jù)HDLC協(xié)議的描述進行FPGA實現(xiàn)的模塊劃分：發(fā)送或者接收控制，標志字產(chǎn)生，數(shù)據(jù)的并/串轉(zhuǎn)換，數(shù)據(jù)發(fā)送，CRC校驗，插0功能。其中發(fā)送或者接收控制模塊是核心模塊，控制整個發(fā)送或者接收數(shù)據(jù)的流程在各個功能模塊間進行切換。

3 算法仿真與系統(tǒng)測試

中值濾波、最大值及均值計算、閾值判斷都在FPGA中完成，可不考慮處理時間。因此仿真時可以只針對二值化以后的圖像進行仿真，主要仿真識別效果和運行時間。仿真環(huán)境為NiosⅡ IDE，CPU系統(tǒng)時鐘為150 MHz，處理時間包括CPU中完成的所有工作，如特征提取、灰度映射、幾何濾波、軌跡關(guān)聯(lián)等。

當有多個目標滿足灰度特征，且?guī)缀螢V波后還有多個目標時，僅跟蹤面積最大的目標，處理時間348 μs，處理結(jié)果如圖5所示。跟蹤所有滿足灰度特征及幾何特征的目標，四個目標滿足條件，處理時間450 μs，處理結(jié)果如圖6所示。同時跟蹤10個目標，處理時間為1.12 ms，處理結(jié)果如圖7所示。

FPGA部分的調(diào)試涉及到FPGA芯片和其外接芯片。

（1） JTAG接口和EPCS芯片測試：通過編寫FPGA程序，并將程序加載到EPCS芯片，重新上電，通過程序運行狀態(tài)判斷JTAG接口和EPCS芯片是否正常。

（2） FPGA外接存儲器測試：包括DPRAM，SBSRAM，F(xiàn)LASH。編寫FPGA程序?qū)Υ鎯ζ鬟M行遍歷讀寫，若沒有錯誤則說明存儲器正常。

（3） FPGA外接視頻DA測試：編寫FPGA程序，通過ADV7123輸出固化在ROM中的LENA圖像，用電視盒接收圖像，若接收圖像無錯誤，則說明DA工作正常。

DSP部分的調(diào)試涉及到DSP芯片和其外接芯片。

（1） DSP芯片的外接存儲器測試，包括DPRAM，SBSRAM，F(xiàn)LASH，配置DSP的EMIF總線寄存器，對片外存儲器進行遍歷讀寫，沒有錯誤。

（2） DSP與FPGA的通信測試：配置DSP的EMIF寄存器，DSP可以通過EMIF總線操作FPGA的DPRAM，將FPGA上的數(shù)據(jù)緩存讀取到DSP的內(nèi)存中。

軟件調(diào)試的驗證方法通過對比硬件平臺上的處理結(jié)果與Matlab仿真的結(jié)果是否一致來判斷，下面對核心模塊連通域標記部分進行驗證，對比連通域標記的Matlab仿真結(jié)果和SOPC的CPU運行結(jié)果。所采用的連通域標記輸入圖像如圖8所示。處理結(jié)果如表1。

統(tǒng)計CPU處理時間，對于該輸入圖像來說，目標個數(shù)，復雜程度超過實際應用，CPU頻率設置為100 MHz，處理時間為4.76 ms，滿足系統(tǒng)要求。將圖像數(shù)據(jù)傳輸給MPEG壓縮模塊，經(jīng)過壓縮模塊壓縮后輸出壓縮碼流，另一端通過上位機接收壓縮碼流，并對壓縮碼流進行解碼顯示。經(jīng)測試，圖像壓縮模塊工作正常，上位機可以連續(xù)的接收壓縮碼流并進行解碼顯示。

4 結(jié) 論

本文在研究當前嵌入式技術(shù)現(xiàn)狀與前景的基礎上，以某一紅外圖像處理項目為依托，提出了一種基于通用架構(gòu)的紅外圖像一體化信息處理器，結(jié)合需求，給出了該架構(gòu)的硬件設計。研究了紅外圖像處理領域的相關(guān)圖像處理算法，主要有特征提取、二值化、連通域標記、圖像融合、目標檢測跟蹤和圖像壓縮等，另外還有通信接口所涉及的HDLC協(xié)議，給出了所有功能的軟件設計，并在硬件平臺上調(diào)試通過。在今后的研究中，主要在圖像處理算法部分仍需要根據(jù)實際圖像數(shù)據(jù)進一步修改完善，保證其精度；在成像器接口、圖像處理算法、通信接口、處理器數(shù)據(jù)處理能力方面也需要進一步完善。

參考文獻

[1] 楊恢先，王緒四，謝鵬鶴，等.改進閾值與尺度間相關(guān)的小波紅外圖像去噪[J].自動化學報，2011，37（10）：1167?1174.

[2] 堯征.基于SOPC嵌入式實時操作系統(tǒng)的應用設計[D].上海：東華理工大學，2013.

[3] 蘇玉強，劉穎.基于消息的嵌入式系統(tǒng)應用框架研究[J].計算機測量與控制，2011，19（5）：1142?1145.

[4] 游福成.數(shù)字圖像處理Digital Image Processing[M].北京：電子工業(yè)出版社，2011：67?68.

[5] SHEN L， JIA S， JI Z， et al. Extracting local texture features for image?based coin recognition [J]. IET Image Processing， 2011， 5（5）： 394?401.

[6] 王曉曦.紅外圖像活動輪廓分割方法研究[D].重慶：重慶大學，2013.

[7] 康志亮，許麗佳.基于小波的紅外圖像去噪算法研究[J].計算機仿真，2011，28（1）：265?267.

[8] 岳改麗，王棟，楊蕊.幾種邊緣檢測算子在紅外圖像處理方面應用研究[J].西安科技大學學報，2012，32（4）：500?504.

[9] 張會敏，謝澤奇，張云龍.紅外圖像報警系統(tǒng)的研究與實現(xiàn)[J].計算機測量與控制，2011，19（2）：432?436.