楊學(xué)博，李 磊，陳光拓

(1.電子科技大學(xué) 電子科學(xué)技術(shù)研究院，四川 成都 611730；2.成都信息工程大學(xué) 電子工程學(xué)院，四川 成都 610000)

彩色視頻增強(qiáng)算法關(guān)鍵技術(shù)FPGA實(shí)現(xiàn)

楊學(xué)博1，李 磊1，陳光拓2

(1.電子科技大學(xué) 電子科學(xué)技術(shù)研究院，四川 成都 611730；2.成都信息工程大學(xué) 電子工程學(xué)院，四川 成都 610000)

隨著視頻設(shè)備的高速發(fā)展，數(shù)字視頻相關(guān)應(yīng)用同樣發(fā)展迅速，如監(jiān)控設(shè)備、行車記錄儀以及手機(jī)等電子產(chǎn)品。而如今數(shù)字視頻圖像增強(qiáng)的算法層出不窮，由于算法的復(fù)雜程度比較高，很難滿足實(shí)時(shí)性這一基本的要求。討論了基于 Retinex模型的處理圖像像素以及拉伸尺度可配置的關(guān)鍵技術(shù)，對(duì)關(guān)鍵模塊進(jìn)行實(shí)踐以及仿真，最后將其通過(guò)FPGA實(shí)現(xiàn)（Vertex-5），系統(tǒng)時(shí)鐘125 MHz，可以滿足30 f/s的(2 000×2 048)像素的圖像。

retinex；視頻增強(qiáng)；FPGA；實(shí)時(shí)處理

0 引言

視頻增強(qiáng)技術(shù)應(yīng)用范圍廣泛，例如醫(yī)療電子、工業(yè)控制、消費(fèi)電子以及深空探測(cè)。Retinex理論是由Edwin Land在1971年提出?；赗etinex模型的使用較為廣泛的有單尺度Retinex算法(Single Scale Retinex，SSR)、多尺度Retinex算法(Multi Scale Retinex，MSR)、帶有顏色校正的多尺度Retinex算法(Multi Scale Retinex with Color Restoration，MSRCR)，基于先驗(yàn)?zāi)Ｐ偷乃惴ㄈ缁谵q分框架的Retinex算法，但是這種算法的復(fù)雜度過(guò)高會(huì)消耗過(guò)多硬件資源，還不能在實(shí)際中得到很好的應(yīng)用。而單尺度或多尺度 Retinex算法對(duì)圖像增強(qiáng)效果同樣顯著，多尺度Retinex算法的主要硬件結(jié)構(gòu)就是單尺度Retinex算法硬件電路的重構(gòu)。本文旨在視頻增強(qiáng)算法硬件關(guān)鍵技術(shù)的研究，所以采取單尺度 Retinex算法，然而對(duì)于這樣的算法用CPU也不能滿足其視頻處理過(guò)程中實(shí)時(shí)性的要求，本文采用 125 MHz頻率FPGA，可以滿足 30 f/s的 (2 000×2 048)像素的圖像。

本文主要討論了基于 Retinex的關(guān)鍵算法，基于圖像像素可配置以及拉伸尺度可配置。提出針對(duì)可適應(yīng)不同像素視頻的硬件架構(gòu)。實(shí)現(xiàn)對(duì)關(guān)鍵模塊的設(shè)計(jì)和仿真，通過(guò) Vertex-5型號(hào) FPGA實(shí)現(xiàn)整個(gè)設(shè)計(jì)，最后評(píng)估算法的處理效果。

1 基于Retinex模型的視頻增強(qiáng)算法

圖1為視頻增強(qiáng) Retinex算法流程圖。視頻中的幀圖像通過(guò)RGB將HSV轉(zhuǎn)化成灰度幀圖像V，色度幀圖像S，飽和度幀圖像H。估計(jì)照度幀圖像，適當(dāng)拉伸處理后得到光照分量V2以及反分量像V3。經(jīng)過(guò)拉伸處理以及合成處理后的圖像O即為處理完成的一幀圖像。

1.1 RGB轉(zhuǎn)HSV

由于RGB色彩空間圖像直接處理會(huì)產(chǎn)生色彩失真，因此需要轉(zhuǎn)換色彩空間。

圖1 Retinex算法流程圖

1.2 提取光照?qǐng)D像和反色圖像

原幀圖像 I(x，y)能夠被分解成兩部分[2]。一部分是光照幀圖像 L(x，y)，另一部分為反射幀圖像 R(x，y)，如式（1）所示。

本文采用高斯濾波器進(jìn)行光照估計(jì)，將高頻成分(圖像的細(xì)節(jié)部分和噪聲部分)濾掉。

提取反射幀圖像R(x，y)，反射幀圖像是圖像的高頻成分(圖像的細(xì)節(jié)部分和噪聲部分)。

由Retinex結(jié)構(gòu)式(4)得到式(5)。為了防止式(5)分母為0，δ取值0.001。

1.3 反射幀分量處理方法及光照分量的處理

反射分量可以通過(guò)sigmoid函數(shù)進(jìn)行非線性拉伸。以此可以很好地抑制噪聲同時(shí)放大有用的細(xì)節(jié)成分。

本文使用參數(shù)u=3，β=0.6。

光照分量通過(guò)L′=[L]r函數(shù)拉伸。

1.4 HSV圖像到RGB圖像轉(zhuǎn)換

RGB色彩空間是一種由紅綠藍(lán)三種色彩組成，用于顯示器顯示，所以將HSV圖像轉(zhuǎn)換為RGB圖像。

2 視頻增強(qiáng)硬件邏輯架構(gòu)

自適應(yīng)視頻增強(qiáng)VLSI架構(gòu)如圖2所示，圖2中框內(nèi)為FPGA實(shí)現(xiàn)部分，框外的部分由MATLAB實(shí)現(xiàn)轉(zhuǎn)換。本系統(tǒng)由decoder模塊對(duì)內(nèi)部配置寄存器進(jìn)行配置，主要任務(wù)是配置處理圖像像素。SRAM_interface是SRAM連接外部圖像數(shù)據(jù)流的緩沖，SRAM內(nèi)部分配兩個(gè)存儲(chǔ)空間用來(lái)對(duì)視頻數(shù)據(jù)乒乓操作。濾波器采用的是改進(jìn)型的二維濾波器。本濾波器可以適應(yīng)不同像素圖片濾波較高的處理速度。由濾波器估計(jì)光照?qǐng)D像同時(shí)由于對(duì)數(shù)運(yùn)算和減法的復(fù)雜程度相對(duì)較高，并且使得亮度較高像素失真，本文采用較高精度除法器得到反射圖像。同時(shí)通過(guò)兩個(gè)拉伸函數(shù)處理經(jīng)過(guò)乘法器得到增強(qiáng)后的圖像，經(jīng)由HVSRGB還原成RGB圖像。

圖2 自適應(yīng)視頻增強(qiáng)VLSI架構(gòu)

2.1 改進(jìn)后的濾波器模塊

本文基于文獻(xiàn)[3][4]提出了一個(gè)可配置處理像素大小和具有較好的時(shí)序特征的二維濾波器。架構(gòu)如圖3所示。本文的濾波器分為3部分，第一部分的作用是將兩個(gè)8位的數(shù)據(jù)合并成一個(gè)16位的數(shù)據(jù)，并依次寫入不同F(xiàn)IFO。第二部分是可配置的 FIFO，通過(guò)配置內(nèi)部寄存器來(lái)配置 FIFO的深度，給不同行的濾波器窗寫數(shù)據(jù)。第三部分為濾波器窗口，將16位數(shù)據(jù)轉(zhuǎn)換成8位寫到濾波器窗兩個(gè)像素點(diǎn)，下一個(gè)周期將這兩個(gè)像素點(diǎn)移位到后面兩個(gè)像素點(diǎn)。通過(guò)濾波系數(shù)每個(gè)周期得到新的處理后的像素點(diǎn)。這種結(jié)構(gòu)不僅節(jié)約資源，而且可以配置處理視頻圖像像素點(diǎn)多少，處理過(guò)程中的時(shí)鐘頻率是一半的系統(tǒng)時(shí)鐘頻率，更好地滿足時(shí)序要求。

圖3 濾波器硬件架構(gòu)

2.2 高速乘法器

本設(shè)計(jì)中用到了一些乘法器[5-7]，由于時(shí)序原因本文采用高速乘法器，圖4為乘法器硬件架構(gòu)圖，乘法器包括基-4的 booth算法，由 CSA組成的Wallace樹和超前進(jìn)位加法器。

圖4 高速乘法器硬件架構(gòu)

部分和產(chǎn)生器是基 4 booth算法，將部分和減少近一半，通過(guò)CSA累加單元組成的Wallace樹結(jié)構(gòu)，得到兩個(gè)部分和通過(guò)超前進(jìn)位加法器最后得到乘積。

2.3 除法器

本文采用精度較高除法器，減少因?yàn)檫\(yùn)算產(chǎn)生的誤差，高速除法器硬件電路如圖5所示，由乘法器和查找表組成，查找表存儲(chǔ)除數(shù)的倒數(shù)。

圖5 高速除法器硬件電路

2.4 幀圖像拉伸和調(diào)整

光照幀圖像實(shí)現(xiàn)伽馬校正，本文采用查找表的方法。

反射圖像做拉伸運(yùn)算，采用圖6所示架構(gòu)來(lái)實(shí)現(xiàn)，本文是可配置的拉伸，本方法可以實(shí)現(xiàn)通過(guò)改變Con寄存器改變其拉伸程度。改變其圖像處理效果。Fun1和Fun用來(lái)實(shí)現(xiàn)函數(shù)的組合電路。

圖6 可配置拉伸尺度圖像拉伸模塊架構(gòu)

3 基本模塊仿真和實(shí)驗(yàn)結(jié)果

由于VCS仿真能力強(qiáng)于modesim對(duì)于各個(gè)模塊的仿真，本文使用8核16線程48 G的內(nèi)存濾波器debian linux操作系統(tǒng)，VCS 2013版本的仿真平臺(tái)，得到結(jié)果如圖7、圖8所示。

圖7 濾波器仿真結(jié)果

圖8 chipscope抓取輸出信號(hào)

本文采用Vertex_5_FXT(FX70/100T)_FF1136 FPGA芯片搭建的硬件平臺(tái)實(shí)現(xiàn)圖中方框內(nèi)部關(guān)鍵部分，其他部分由AMD 4核4 G內(nèi)存matlab 2014b實(shí)現(xiàn)。圖9、圖10是對(duì)不同圖片的處理結(jié)果。

圖9 汽車

圖10 塔

4 算法評(píng)估

熵是信息論里面重要概念，表示了信息量的多少，在圖像中也反映了圖像的內(nèi)容多少[8-9]。式(11)為熵的表達(dá)式。

圖像增強(qiáng)前后熵的對(duì)比如表1所示。

5 結(jié)語(yǔ)

本文主要分析了基于Retinex視頻圖像增強(qiáng)算法的不同架構(gòu)，先驗(yàn)的Retinex算法由于算法復(fù)雜度較高，本文選擇了單尺度 Retinex算法關(guān)鍵技術(shù)，經(jīng)過(guò)單尺度算法重構(gòu)即為多尺度 Retinex算法，基于圖像像素可配置以及拉伸尺度可配置提出硬件架構(gòu)，并對(duì)各個(gè)模塊進(jìn)行實(shí)現(xiàn)和仿真，最后通過(guò)FPGA實(shí)現(xiàn)，并評(píng)估圖像處理效果。

表1 圖像增強(qiáng)前后熵的對(duì)比

[1]Wang Wen，Li Bo，Zeng Jin，et al.A fast multi-scale retinex algorithm for color image enhancement[C].Proceedings of the 2008 International Conference on Wavelet Analysis andPattern Recognition，Hong Kong，2008：30-31.

[2]Fu Xueyang，Sun Ye，LiWang Minghui，et al.A novel retinex based approach for image enhencement with illumination adjustment[C].2014 IEEE International Conference on Acoustic，Speech and Signal Processing，2014：1190-1194.

[3]BAILEY D G.Effcient implementation of greyscale morphological filters[C].International conference on Field Programmalle Technology.2010：421-424.

[4]SEDCOLE P.Reconfigurable platform-based design in FPGAs for video image processing[D].Deparment of Electrical and Electronic Engineering，imperial College，London，UK.2006.

[5]Yao Aihong，Li Ling，Sun Mengzhe.Design of pipeline multiplier based on modified booth′s algorithm and wallace tree[C].Advanced Researon Electronic Commerce，Web Application，and CommunicationInternational Conference，ECWAC 2011 Guangzhou，China，2011，Part I.

[6]Jagadeshwar Rao M，DUBEY S.A high speed and area efficient booth recoded wallace tree multiplier for fast arithmetic circuits[C].2012Asia Pacific Conference on Postgraduate Research in Microelectronics&Electronics，2012.

[7]HENSLEY J，LASTRA A，SINGH M.A scalable counterflowpipelined asynchronous radix-4 booth multiplier[C]. International Symposium on Asynchronous Circuits and Systems，2005：128-137.

[8]Xu Xin，Chen Qiang，Pheng Ann Heng，et al.A fast halofree image enhancement method based on retinex[J].Journal of computer-aided design&computer graphics，2008，20(10). [9]LEVERICK G，WU C，SZTURM T.Coarse quantization in calculations of entropy measures for experimental time series[J].Nonlinear Dynamics，2014，79(1)：93-100.

Key technology of color video enhancement algorithm and FPGA implementation

Yang Xuebo1，Li Lei1，Chen Guangtuo2
（1.Electronic Science and Technology Research Institute，University of Electronic Science and Technology of Chengdu，Chengdu 610000，China；2.Institute of Electrical Engineering Chengdu Information Engineering University，Chengdu 610000，China)

With the high speed development of video equipment,digital video related applications also developed fast.Such as monitoring equipment,vehicle traveling data recorder and cellphone.The algorithm of image enhancement is emerge in endlessly. But due to the increasement of the quality and algorithm complexity of the image,video processing is very difficult to meet the basic requirements of real-time.This paper discusses the key technology based on retinex which used in the wide field，and put forward the key modules and implement simulation，then realize the key technology by FGPA implementation，processing rate 125 MHz by using Vertex-5.

Retinex；video enhancement；FPGA；real-time

TP317.4

A

10.16157/j.issn.0258-7998.2016.11.008

楊學(xué)博，李磊，陳光拓.彩色視頻增強(qiáng)算法關(guān)鍵技術(shù) FPGA實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用，2016，42(11)：37-39，43.

英文引用格式：Yang Xuebo，Li Lei，Chen Guangtuo，et al.Key technology of color video enhancement algorithm and FPGA implementation[J].Application of Electronic Technique，2016，42(11)：37-39，43.

2016-06-26)

楊學(xué)博(1988－)，通信作者，男，碩士研究生，主要研究方向：圖像處理、超大規(guī)模集成電路，E-mail：503454911@qq.com。

李磊(1982－)，男，博士，碩士生導(dǎo)師，副研究員，主要研究方向：超大規(guī)模集成電路。

陳光拓(1989－)，男，碩士研究生，主要研究方向：數(shù)字信號(hào)處理、模式識(shí)別。