李龍華 王肅國

摘 ?要：針對傳統(tǒng)的中值濾波軟件處理速度慢，無法達(dá)到圖像處理高實時性要求的特點。文獻(xiàn)中提出了基于FPGA的快速中值濾波算法，充分結(jié)合硬件的高實時性和軟件的調(diào)度復(fù)雜性，同時采用流水線結(jié)構(gòu)，使圖像中值濾波處理的實時性得到提高。文章對已有的算法進(jìn)行改進(jìn)，簡化了硬件結(jié)構(gòu)，而又不失圖像處理的實時性。該算法通過仿真驗證，得出算法在圖像中值濾波處理中的可行性，能夠滿足實時性要求。

關(guān)鍵詞：中值濾波;實時性;FPGA;硬件結(jié)構(gòu);仿真驗證;可行性

中圖分類號：TP391.41 ? ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）21-0097-04

Software and Hardware Optimization of Image Median Filtering Algorithm

LI Longhua，WANG Suguo

（Shandong Vocational Institute of Fashion Technology，Taian ?271000，China）

Abstract：Aiming at slow speed of software processing for the traditional median filtering，unable to meet the characteristics of the high real-time requirements of image processing. The literature proposed the FPGA-based fast median filtering algorithm，taking full advantage of high real-time hardware and software scheduling complexity，along with adopting a pipelined structure，so that improve the processing of real-time of image median filtering. The article improves existing algorithm，simplifies the hardware structure，and does not lose the real-time image processing. The algorithm is verified by simulation，and the feasibility of the algorithm in the image median filter processing is obtained，and it can meet the real-time requirements.

Keywords：median filtering;real-time;FPGA;hardware structure;simulation verification;feasibility

0 ?引 ?言

物聯(lián)網(wǎng)是當(dāng)今世界的一大研究熱點，摒棄了原來只研究軟件算法，或者只研究硬件結(jié)構(gòu)的學(xué)科研究單一性的問題，真正地將軟硬件結(jié)合實現(xiàn)快速中值濾波算法，以交叉學(xué)科的形式落實到計算機(jī)教學(xué)中。隨著越來越多高職院校相繼開設(shè)物聯(lián)網(wǎng)技術(shù)（包含校企合作）等專業(yè)，以山東服裝職業(yè)學(xué)院為例，開設(shè)物聯(lián)網(wǎng)技術(shù)（中興校企合作專業(yè)），使得高職學(xué)生對于物聯(lián)網(wǎng)有了一個全方位的了解學(xué)習(xí)機(jī)會。采用軟硬件結(jié)合的方式，在軟件算法實現(xiàn)過程中，引進(jìn)硬件方案，從而加速軟件算法實現(xiàn)的過程，提高算法效率。學(xué)生在學(xué)習(xí)物聯(lián)網(wǎng)專業(yè)知識之初，對物聯(lián)網(wǎng)技術(shù)有個簡單的認(rèn)識，及對軟硬件結(jié)合解決軟件算法效率較低問題有個初步的了解，故本文以中值濾波算法在軟硬件結(jié)合技術(shù)方面做出研究，引起學(xué)生對物聯(lián)網(wǎng)的學(xué)習(xí)興趣。

在高職物聯(lián)網(wǎng)應(yīng)用技術(shù)專業(yè)的技術(shù)類課程教學(xué)中采用中值濾波算法處理圖像為切入點，利用軟硬件結(jié)合優(yōu)化算法，可極大提高學(xué)生學(xué)習(xí)程序的興趣，感受算法的魅力，增進(jìn)其對專業(yè)的了解。因此在物聯(lián)網(wǎng)應(yīng)用技術(shù)教學(xué)中，應(yīng)用軟硬件協(xié)同優(yōu)化圖像中值濾波算法具有理論意義和實踐意義。文章在傳統(tǒng)的中值濾波算法的基礎(chǔ)上，引入軟硬件協(xié)同，采用基于FPGA技術(shù)設(shè)計，并減少算法在硬件結(jié)構(gòu)設(shè)計上的投入。同時，又能滿足在圖像處理中實時性的要求。相比其他的濾波技術(shù)，既能有效的消除脈沖噪聲和椒鹽噪聲，又可以較好的保持圖像的邊緣信息[1]。

1 ?中值濾波原理

1.1 ?中值濾波的基本原理

采用合理算法去除圖像噪聲是一種有效的方法[2]。中值濾波（Median Filtering）是一種非線性的圖像處理技術(shù)，能有效地抑制圖像中的噪聲。相關(guān)原理是對圖像中的所有像素值的整個區(qū)域進(jìn)行數(shù)值排序，找出該值域的中位值，當(dāng)作該像素鄰域的輸出值，參與圖像的呈現(xiàn)。在這種算法中，最大像素值及最小像素值在算法實施過程中不再作為像素輸出。因而，該算法能夠在圖像的平滑操作中，有效地過濾尖銳噪聲，例如常見的椒鹽噪聲等。算法的數(shù)學(xué)表達(dá)如下：

g（x，y）=median{f（x-i，y-j）};（i，j）∈S ? （1）

式（1）中g(shù)（x，y）和f（x，y）分別為處理后及原圖像中的像素值，S為窗口，可以是線性、正方形、十字形等窗口[3]。

1.2 ?傳統(tǒng)的中值濾波算法分析

傳統(tǒng)的算法排序是采用冒泡法對像素值比較排序，對于一個像素值為n的窗口，采用冒泡法，要進(jìn)行以n2的數(shù)量級的排序。與此同時，采用冒泡法[4]，需要產(chǎn)生第（n+1）/2個大值時方能產(chǎn)生一個中值，所以都要經(jīng)過若干個時鐘周期才能產(chǎn)生一個中值。以3×3窗口為例，采用中值濾波純軟件算法，需要冒泡排序36次。采用5×5，7×7等窗口時，過程將會十分繁瑣，根本無法滿足圖像處理實時性的要求。

針對傳統(tǒng)算法在實時性要求較高的工程中無法滿足需求的不足，文獻(xiàn)中提出基于FPGA的快速中值濾波算法，該算法S選為矩陣模版，以三值排序模塊為基礎(chǔ)[5]。先在每行內(nèi)進(jìn)行排序，再進(jìn)行列排序，最后在主對角線上的像素進(jìn)行取中值。以3×3矩陣的模板窗口為例進(jìn)行分析。行內(nèi)排序需要9次。同理，列排序也需要9次，最后的取中值運算需要3次。再者，比較次數(shù)的多少決定了所需三值排序模塊的多少。通過上述分析可知，得到一個3×3的中值，需要進(jìn)行21次比較，7個三值排序模塊。

2 ?改進(jìn)中值濾波算法

2.1 ?算法分析

以文獻(xiàn)[5]中FPGA的中值濾波算法為基礎(chǔ)，本文對此進(jìn)行改進(jìn)。再次降低算法的比較次數(shù)，所需三值排序模塊的數(shù)量進(jìn)一步減少，從而使硬件模塊化設(shè)計進(jìn)一步簡化。具體過程如表1、表2、表3所示。

其中的中值就是a3**，b2**，c1**三者之間的中間值，具體分析如下。

對三個表的操作如下：第一步，對表1中的每行數(shù)值并行處理，即對三個數(shù)值從小至大排序，得表2。第二步，根據(jù)排序操作，可得出，其中a2*，b2*，c2*為所在行中值。然后，以這三個中值按從小到大順序，對表2數(shù)據(jù)進(jìn)行行間排序，產(chǎn)生表3。

對表3進(jìn)行分析得出中值，首先排除一定不是中值的點。a1**，a2**顯然不是中間值，如果這兩個值為中值，其中比其大的值不超過四個。以a2**為例，因為對表1進(jìn)行的排序是從小到大的，所以a3**比它大。又因為對表2的排序是行間按從小到大的排序，所以b2**，c2**也比它大，自然b3**，c3**也要比a2**大，所以a2**不可能是最大值。同理a1**也不可能是。c2**，c3**顯然也不是中值，c2**為例，根據(jù)數(shù)據(jù)處理的方法，得出小于c2**的數(shù)有五個，分別是a3**、b1**、b2**、b3**、c1**。同理可得出c3**也不是所需中值。

剩下的五個值a3**、b1**、b2**、b3**、c1**中就包含了我們所需要的中值，因為b1**、b2**、b3**已有順序，進(jìn)而無需重復(fù)參與排序。按照插入排序的方式，只要a3**、b2**、c1**進(jìn)行排序并取出其中的中間值，即為我們所要求的。

算法復(fù)雜度分析，第一步并行方式對行內(nèi)數(shù)值排序，比較9次，第二步各行中值比較，比較3次，第三步對三個數(shù)值進(jìn)行比較排序，比較3次。由此得出，本文改進(jìn)算法需要15次比較，比文獻(xiàn)[5]中的算法減少了6次。比較次數(shù)的降低，從而使三值排序模塊的使用個數(shù)減少。改進(jìn)的中值濾波算法只需5個三值排序模塊就能夠?qū)崿F(xiàn)。在硬件結(jié)構(gòu)的設(shè)計上，可以達(dá)到簡化的目的。本文算法與純軟件、文獻(xiàn)[5]算法的具體比較如表4所示。

2.2 ?改進(jìn)中值濾波算法的設(shè)計

此算法的設(shè)計分為兩大部分：一是模塊產(chǎn)生部分，二是對產(chǎn)生的模塊進(jìn)行取中值部分。模塊產(chǎn)生部分即為N×N窗口生成模塊，將帶有噪聲的圖像的像素以窗口形式進(jìn)行呈現(xiàn)，參與中值濾波算法中去。文章采用3×3窗口，因此需要3×3窗口。對產(chǎn)生的模塊進(jìn)行取中值部分，對已產(chǎn)生的3×3窗口像素進(jìn)行取中值操作，用于完成中值濾波算法。

2.2.1 ?3×3窗口生成模塊

原理框圖如圖1所示。

圖1中包括7個移位寄存器R1～R7，兩個先進(jìn)先出的存儲器FIFO1與FIFO2，F(xiàn)IFO用來存儲一行的數(shù)據(jù)[2]，使9個數(shù)據(jù)輸出排列呈如表1所示的3×3模板所對應(yīng)的圖像數(shù)據(jù)[6]。像素值輸入，就相當(dāng)于一個3×3的窗口掃過整個圖像，得到圖像中的全部像素。

2.2.2 ?中值濾波設(shè)計

改進(jìn)中值濾波模塊示意圖如圖2所示。

C為三個數(shù)值排序模塊[7]，M1，M2，M3是已經(jīng)過上一周期各行排序后的中間值為基準(zhǔn)，進(jìn)行排序產(chǎn)生的新模塊。分別以模塊M1的最大值，模塊M2中間值，模塊M3的最小值做為C31的輸入值進(jìn)行排序，輸出median。

快速中值濾波算法的實現(xiàn)就是以三點排序的模塊為單位，由圖2可以看出，此算法利用5個排序模塊，比文獻(xiàn)[5]中算法實現(xiàn)所需模塊數(shù)目減少了2個，達(dá)到硬件結(jié)構(gòu)設(shè)計簡化的目的。再加上時序的合理安排，采用流水線實現(xiàn)模式，最終達(dá)到處理所需要的效果。

由上可知，三值排序模塊是快速中值濾波算法的一個基礎(chǔ)，實現(xiàn)此三值排序模塊的流程圖如圖3所示。

其中R1存放a1與a2中較大的值，R2存放兩者中較小的值，然后再將R1、R2與R3進(jìn)行比較，從而對三者進(jìn)行最終排序[7]。將9個數(shù)以行為單位分成三組，進(jìn)行并行處理，為9個數(shù)值的排序取中值縮短了時間，提高算法的處理效率。

3 ?改進(jìn)中值濾波算法的仿真

3.1 ?Quartus II與Modelsim的仿真

通過使用Quartus II 11.0和ModelSim SE 6.5a進(jìn)行仿真驗證，可得到如圖4所示的仿真圖形。

由圖可以看到，時鐘clk上升沿有效，復(fù)位信號rst_n有效。這里采用了流水線處理方法，流水線處理[8]是提高組合邏輯設(shè)計處理效率和吞吐量最常用的方法。如流程圖2所示，采用流水線處理方法，雖然第一次輸出有較長的的延時，當(dāng)經(jīng)過若干個周期的延遲后，可以每個周期產(chǎn)生一個結(jié)果。本算法中采用三級流水線結(jié)構(gòu)，經(jīng)過三個周期后，產(chǎn)生了第一個結(jié)果，之后的每個時鐘周期都可以產(chǎn)生輸出值，這樣大大地增加了系統(tǒng)的吞吐量。再者，這種流水線的設(shè)計方式解決了系統(tǒng)工作頻率的瓶頸問題，提高了系統(tǒng)的帶寬以及資源利用率。

3.2 ?ModelSim與Matlab進(jìn)行聯(lián)合仿真

為了節(jié)省仿真時間，筆者采用Link for ModelSim組件進(jìn)行軟硬件協(xié)助仿真[9]，這種仿真方式縮小了算法同硬件實現(xiàn)之間的鴻溝，縮短了仿真驗證的時間，且簡單易行。通過對加入椒鹽噪聲的cameraman圖片的處理，并與文獻(xiàn)[5]中的處理效果進(jìn)行比較，可以發(fā)現(xiàn)處理的效果大致相同。但是，在硬件部分上，該算法的硬件結(jié)構(gòu)得到了進(jìn)一步簡化，節(jié)約了硬件資源，也為此系統(tǒng)的設(shè)計提供了方便。

4 ?結(jié) ?論

物聯(lián)網(wǎng)技術(shù)是一門軟硬件協(xié)同工作的技術(shù)，屬于交叉學(xué)科。在高職院校引入物聯(lián)網(wǎng)技術(shù)專業(yè)，相對高職學(xué)生而言，從技術(shù)和理論上是一種比較新的事物，從接觸專業(yè)開始就應(yīng)該有一個全面的了解。高職院校的物聯(lián)網(wǎng)教學(xué)，需要采用以點帶面的教學(xué)方式，找到適當(dāng)?shù)恼n程切入點，使學(xué)生能夠更形象的了解學(xué)科組成結(jié)構(gòu)等方面的知識。因此文章為更好實現(xiàn)對物聯(lián)網(wǎng)應(yīng)用技術(shù)的教學(xué)工作，提高學(xué)生學(xué)習(xí)物聯(lián)網(wǎng)技術(shù)的積極性，通過對現(xiàn)有的中值濾波算法進(jìn)行軟硬件協(xié)同優(yōu)化，與單純的算法實現(xiàn)相比，實時性有很大的提高，其處理穩(wěn)定性與可靠性有所改善。同時又增加與文獻(xiàn)[5]的比較，在不影響快速實現(xiàn)中值濾波算法效率下，又對硬件結(jié)構(gòu)做出優(yōu)化，節(jié)省了硬件投入。不僅可以更好地滿足物聯(lián)網(wǎng)中圖像中值濾波算法簡單、高效的特點，同時，也對學(xué)生了解物聯(lián)網(wǎng)技術(shù)設(shè)計的靈活性，了解物聯(lián)網(wǎng)技術(shù)具有廣闊的應(yīng)用前景有很大的幫助。

參考文獻(xiàn)：

[1] 韓團(tuán)軍.快速中值濾波算法研究及其FPGA硬件實現(xiàn) [J].電子器件，2017，40（3）：697-701.

[2] 沈?qū)W利，王肅國.基于FPGA的改進(jìn)型中值濾波算法研究 [J].微電子學(xué)與計算機(jī)，2014，31（1）：21-24.

[3] 馬麗圓，常錦才.一種迭代的自適應(yīng)中值濾波算法 [J].軟件，2020，41（9）：69-71.

[4] 張海生.FPGA在圖像處理系統(tǒng)設(shè)計與仿真中的應(yīng)用研究 [J].電子世界，2020（21）：155-156.

[5] 李新春，趙璐.基于中值濾波算法濾波器的FPGA實現(xiàn) [J].計算機(jī)系統(tǒng)應(yīng)用，2011，20（9）：82-85+72.

[6] 趙亮，劉鵬，王曉曼，等.基于FPGA快速中值濾波算法的硬件實現(xiàn) [J].長春理工大學(xué)學(xué)報（自然科學(xué)版），2018，41（5）：97-100+115.

[7] 仙云森.基于FPGA的圖像處理算法研究及硬件設(shè)計 [D].大連：大連理工大學(xué)，2008.

[8] 潘松，黃繼業(yè)，潘明.EDA技術(shù)實用教程——Verilog HDL版：第4版 [M].北京：科學(xué)出版社，2010.

[9] 夏宇聞.Verilog數(shù)字系統(tǒng)設(shè)計教程：第2版 [M].北京：北京航空航天大學(xué)出版社，2008.

作者簡介：李龍華（1988—），女，漢族，山東泰安人，助教，碩士，研究方向：計算機(jī)網(wǎng)絡(luò)技術(shù);王肅國（1987—），男，漢族，山東濟(jì)寧人，助教，碩士，研究方向：計算機(jī)應(yīng)用技術(shù)。