楊如林，丑修建，李 慶，梁艷菊

(1.中北大學(xué) 電子與計算機科學(xué)技術(shù)學(xué)院，山西 太原 030051；2.中科院微電子所昆山分所，江蘇 蘇州 215300)

一種快速魯棒的紅外圖像分割方法

楊如林1，丑修建1，李 慶2，梁艷菊2

(1.中北大學(xué) 電子與計算機科學(xué)技術(shù)學(xué)院，山西 太原 030051；2.中科院微電子所昆山分所，江蘇 蘇州 215300)

介紹了一種快速魯棒的紅外圖像分割方法，算法是為了滿足工程化應(yīng)用。首先采用Canny邊緣檢測算子提取圖像的邊緣像素；然后統(tǒng)計邊緣像素灰度值得到紅外行人圖像的分割閾值，并利用自適應(yīng)雙閾值算法對圖像進行初始分割；最后通過邊緣掃描對初始分割的圖像區(qū)域進行邊界修正，得到邊界更加精確的目標(biāo)區(qū)域。實驗結(jié)果表明，該方法能夠較好地保留行人的邊緣信息，減少了區(qū)域像素錯誤分割，且具有較強的實時性。

圖像分割；Canny邊緣；自適應(yīng)閾值

圖像分割是利用亮度、彩色、反射率、紋理等信息將視覺傳感器獲取的圖像數(shù)據(jù)分割為具有相似特性的同質(zhì)區(qū)域。圖像分割可以達到簡化處理數(shù)據(jù)，增強目標(biāo)的目的，是圖像數(shù)據(jù)分析的首要步驟。目前常用的圖像傳感器有普通視覺傳感器和紅外傳感器，本文算法主要研究紅外傳感器圖像分割。傳統(tǒng)的圖像分割算法有基于閾值的分割[1-4]、基于邊緣的分割[5-6]和基于區(qū)域的分割[7]，對于靜態(tài)圖像，背景差法也是一種不錯的方法[8]。近年來又發(fā)展了一些新的圖像分割方法，如均值移位(Mean Shift)[9]、模糊連接性(Fuzzy Connetivity)、變形模型(Deformable Models)[10]等分割方法。這些新算法往往復(fù)雜度過高，本文研究主要為了滿足工程性應(yīng)用，對算法的實時性要求較高?；陂撝档姆指罘椒ㄊ鞘褂米疃嘁彩亲钣行У姆指罘椒ㄖ?，它通過設(shè)定一個或多個閾值將目標(biāo)從背景中分割出來，閾值分割方法在圖像分析中往往是快速有效的。邊緣是圖像不連續(xù)的表征，它標(biāo)示了圖像在灰度、彩色、紋理等方面不連續(xù)的位置，這種不連續(xù)性往往反映在目標(biāo)和背景或目標(biāo)之間的邊界位置，因此邊緣信息對于分割非常重要[11]。本文結(jié)合了這兩種方法實現(xiàn)紅外圖像的分割。

紅外傳感器成像是靠感應(yīng)環(huán)境中熱紅外的輻射量，溫度較高的物體熱紅外輻射量大，反應(yīng)在紅外圖像中為灰度值大。由于紅外成像背景簡單，不受光線、紋理、顏色和陰影等信息的影響，使其特別適用于發(fā)熱物體的檢測。本文通過統(tǒng)計紅外圖像目標(biāo)邊緣像素點灰度值信息得到分割閾值，并利用自適應(yīng)雙閾值算法對紅外圖像進行初始分割；然后通過邊緣掃描對初始分割的目標(biāo)區(qū)域進行邊界修正，得到邊界更加精確的目標(biāo)區(qū)域，修整后的目標(biāo)區(qū)域能夠保留更多的邊界信息，方便后續(xù)的處理過程。本文算法已應(yīng)用在紅外行人檢測中，下文處理圖像均為紅外行人圖像。

1 算法實現(xiàn)流程

1.1 基于邊緣像素統(tǒng)計的閾值分割

在紅外圖像中，邊緣是灰度值不連續(xù)的部分，紅外圖像中目標(biāo)區(qū)域具有灰度一致性，區(qū)域內(nèi)部像素值高度相關(guān)，而在目標(biāo)和背景之間的邊界處，像素值出現(xiàn)階躍。圖1為OTCBVS基準(zhǔn)數(shù)據(jù)集中的一幅紅外行人圖像，圖片大小為360×240。

圖1 OTCBVS紅外圖像

從圖1c的三維視圖中可以看到行人區(qū)域的灰度值明顯高于背景，這是由于行人溫度高于環(huán)境。圖像灰度值在目標(biāo)區(qū)域和背景區(qū)域交界處存在較大變化，如果能夠取得行人區(qū)域和背景區(qū)域灰度值中間的某個值作為閾值對圖像進行分割，就能夠很好地將目標(biāo)和背景分割開。邊緣作為目標(biāo)區(qū)域和背景區(qū)域的分界線，其所在位置的原始圖像灰度值能很好地反映目標(biāo)區(qū)域與背景區(qū)域灰度分界值，如圖1d，背景像素(灰色)主要集中在低像素值區(qū)域，而前景像素(灰白)主要集中在高像素值區(qū)域，邊緣像素(黑色)主要分布在中間區(qū)域，且其均值(144)能夠很好地將背景像素和目標(biāo)像素分割開。本文采用Canny邊緣檢測算法檢測圖像邊緣，并統(tǒng)計邊緣像素值得到分割閾值。

1.1.1 Canny邊緣提取

Canny邊緣檢測算子[12]是John F.Canny于1986年提出的一個多級邊緣檢測算法。Canny的目標(biāo)是找到一個最優(yōu)的邊緣檢測算法，最優(yōu)的含義是：好的信噪比，即非邊緣點被判為邊緣點或?qū)⑦吘夵c判為非邊緣點的概率低；好的定位性能，即檢測出的邊緣點要盡可能在實際邊緣的中心；對單一邊緣具有唯一響應(yīng)，并且對虛假邊緣響應(yīng)得到最大抑制。Canny邊緣檢測算法實現(xiàn)分為4個步驟：

1)圖像的平滑濾波

用式(1)的高斯函數(shù)對原始圖像進行卷積，得到平滑后的圖像，如式(2)所示

(1)

F(x,y)=f(x,y)*G(x,y)

(2)

式中：f(x,y)為原始函數(shù)；G(x,y)為高斯濾波函數(shù)；F(x,y)為平滑后的圖像。

2)計算梯度幅值和方向

用一階偏導(dǎo)的有限差分來計算梯度的幅值和方向為

φx(x,y)=f(x+1,y)-f(x-1,y)

(3)

φy(x,y)=f(x,y+1)-f(x,y-1)

(4)

(5)

(6)

式中：f(x,y)為原圖像像素值；f(x-1,y)，f(x+1,y)，f(x,y-1)和f(x,y+1)為f(x,y)左、右、上、下4個鄰點；φx(x,y)為x方向梯度幅值；φy(x,y)為y方向梯度幅值；φ(x,y)為像素點梯度；θ(x,y)為像素點角度。

3)對梯度幅值進行非極大值抑制

在梯度幅值圖像中，為了得到單點寬度的邊緣，需要抑制掉真實邊緣附近梯度幅值不為0的點。方法是依次搜索梯度幅值圖像中每個像素梯度方向兩邊的像素梯度值，若兩邊有大于該像素梯度的點，則將該點梯度值賦值0，只保留梯度方向上幅值變化最大的點。

4)用雙閾值算法檢測和鏈接邊緣

經(jīng)非極大值抑制得到的結(jié)果是一個圖像的邊緣陣列，但仍然存在許多由噪聲和紋理引起的假邊緣，需進一步閾值化處理，去除假邊緣。具體方法是：對梯度幅值圖像的梯度值按從小到大順序統(tǒng)計得到梯度幅值直方圖，百分比80%處的梯度值設(shè)為高閾值th，高閾值的40%為低閾值tl。經(jīng)過最大值抑制后的梯度圖中，梯度值大于th的點標(biāo)記為邊緣點，梯度值小于tl的點視為背景點刪除。梯度值介于tl和th之間的點，分為兩種情況：若其8領(lǐng)域中存在已經(jīng)標(biāo)記的邊緣點，則該點標(biāo)記為邊緣點；否則視為背景點。

1.1.2 閾值的獲取

設(shè)經(jīng)Canny邊緣檢測得到目標(biāo)物體的邊緣像素集S={s(1),s(2),…,s(N)}，其中S為所有邊緣像素集合，N為邊緣像素個數(shù)。為了對目標(biāo)邊緣像素進行統(tǒng)計得到分割閾值，需要對邊緣像素進行篩選：首先去掉孤立點，這些孤立點往往是由于噪聲引起的，掃描每個邊緣像素點周圍的八鄰域，如果鄰域中不存在其他邊緣像素點則刪除該點；由于目標(biāo)區(qū)域的灰度值往往高于背景，對于灰度值較低的邊緣點也予以去除，本文設(shè)置最小邊緣像素值為圖像像素灰度均值。去除不符合要求的邊緣像素點后的邊緣像素點集為S′={s′(1),s′(2),…,s′(N′)}，該其平均灰度為

(7)

式中：N′為去除不符合要求的邊緣像素點后的邊緣像素數(shù)；s′(i)為像素點集中的一個像素。本文采用自適應(yīng)雙閾值對圖像進行分割，其中低閾值取Save，高閾取值介于低閾值和目標(biāo)區(qū)域像素最大值之間

(8)

式中：Th，Tl分別為高低閾值；Pmax為目標(biāo)區(qū)域最大像素值；α為調(diào)節(jié)系數(shù)，控制高閾值的取值范圍，通過實驗取0.5。

1.1.3 閾值分割

本文采用自適應(yīng)雙閾值算法對圖像進行分割，閾值為上文計算的高低閾值，分割公式為

(9)

式中：f(x,y)為原始圖像；B(x,y)為分割后的二值圖像；Th和Tl為高、低閾值。式(9)將原始圖像中大于高閾值Th的像素賦值為255，低于低閾值Tl的像素賦值為0，取值介于低閾值和高閾值之間的像素，搜索周圍的鄰域確定賦予的值。圖2為分別采用單閾值Tl，Th和雙閾值對圖像進行分割的效果。

圖2 雙閾值分割

圖2b為當(dāng)采用低閾值對圖像進行分割時，產(chǎn)生大量冗余分割，特別是在較亮的地面區(qū)域，有大片的地面被分割出來。圖2c為當(dāng)采用高閾值對圖像進行分割時，由于閾值設(shè)置過高而行人軀干和背景像素值差別較小導(dǎo)致過分割，行人區(qū)域缺失嚴(yán)重。由圖1b可以看出當(dāng)采用雙閾值分割算法不僅能夠很完整地將行人分割出來，也能夠抑制大量的噪聲區(qū)域，這是由于首先采用高閾值排除了區(qū)域灰度值較小的區(qū)域，減少了冗余區(qū)域，而低閾值的設(shè)定又能通過區(qū)域增長保證分割的完整性。由于雙閾值的計算是針對于單幀圖像，該算法對于環(huán)境變化具有較強的自適應(yīng)能力。同時閾值是通過統(tǒng)計邊緣像素獲得，分割后的目標(biāo)區(qū)域邊界更接近真實邊界。

1.2 基于邊緣約束的邊界修正

經(jīng)過閾值分割后的目標(biāo)區(qū)域邊界往往和區(qū)域的真實邊界有差別。為了使分割的目標(biāo)區(qū)域更加精確，減少過度分割和欠分割，本文對雙閾值分割后的目標(biāo)區(qū)域進行進一步的邊界修正。目標(biāo)區(qū)域的邊界像素值在梯度方向上遞增，邊緣的梯度方向總是指向目標(biāo)區(qū)域。通過邊緣掃描可以發(fā)現(xiàn)邊緣梯度方向兩邊目標(biāo)區(qū)域錯誤分割情況并修正。為節(jié)省計算時間，將邊緣像素梯度角分為4個區(qū)域(如圖3)，對應(yīng)4種情況，(如圖4)。

圖3 邊緣像素方向角劃分

圖4 邊緣掃描

修正步驟如下：

1)依次掃描每個邊緣像素點，若其方向角度在區(qū)域1或區(qū)域3則轉(zhuǎn)向步驟2)；若其方向角度在區(qū)域2或區(qū)域4則轉(zhuǎn)向步驟3)。

2)對該邊緣像素點的水平鄰域進行掃描，掃描寬度為l，這里取目標(biāo)區(qū)域?qū)挾鹊?/2。首先向邊緣像素點方向角一側(cè)(方向角在區(qū)域1時向右，否則向左)掃描，如果掃描到前景像素點(像素值為255)，則停止掃描并將已掃描的像素點都標(biāo)識為前景點；如果掃描中遇到邊緣點或是掃描完l個像素點，則停止掃描。然后掃描另一側(cè)，如果掃描到未標(biāo)識的像素點(像素值為0)，則停止掃描并將已掃描的像素點置0；如果掃描完l個像素或是遇邊緣點，則停止掃描。

3)對該邊緣像素點的垂直鄰域進行掃描，掃描寬度為l，這里取目標(biāo)區(qū)域?qū)挾鹊?/2。首先向邊緣像素點方向角一側(cè)(方向角在區(qū)域2時向上，否則向下)掃描，如果掃描到前景像素點(像素值為255)，則停止掃描并將已掃描的像素點都標(biāo)識為前景點；如果掃描中遇到邊緣點或是掃描完l個像素點則停止掃描。然后掃描另一側(cè)，如果掃描到未標(biāo)識的像素點(像素值為0)，則停止掃描并將已掃描的像素點都置0；如果掃描完l個像素或是遇邊緣點則停止掃描。

4)若所有的邊緣像素點都搜索完則退出，否則轉(zhuǎn)到步驟1)。

圖4中，灰白色區(qū)域為行人區(qū)域，黑色像素點為Canny算法檢測到的邊緣，灰色直線為掃描線。圖4a、圖4c中，行人區(qū)域存在欠分割，通過掃描線掃描標(biāo)記中間未標(biāo)識的像素點，使目標(biāo)區(qū)域邊界趨向檢測到的真實邊界；圖4b、圖4d中，目標(biāo)區(qū)域存在冗余分割，通過掃描線掃描可以刪除邊緣外側(cè)冗余的區(qū)域，使目標(biāo)區(qū)域邊界趨向檢測到的真實邊界。經(jīng)過邊界修正后的行人區(qū)域的邊界與邊緣檢測的邊界相同，更加符合真實行人區(qū)域。

2 實驗結(jié)果與分析

為了驗證本文算法的分割效果，分別從標(biāo)準(zhǔn)數(shù)據(jù)庫和自己拍攝的紅外視頻中選取了幾組紅外行人圖片進行實驗。用Microsoft Visual C++2010編寫C語言程序，并在Intel Pentium Dual-Core 2.2 GHz CPU，2 Gbyte內(nèi)存的平臺上運行。分割效果如圖5所示。

圖5 整體算法分割效果

由實驗結(jié)果可知，雖然紅外圖像分辨率較低，采用本文算法仍能很好地將目標(biāo)區(qū)域分割出來。在第二幅圖像中行人軀干像素值較低，單獨采用閾值分割很難完整分割圖像，但行人邊界仍比較明顯，經(jīng)邊緣修正后得到了較好的分割效果。

同時，將本文算法與近年提出的幾種適用于工程化的分割算法進行對比試驗。文獻[11]中的分割算法為紅外行人檢測的一部分，文中使用介于圖像像素均值和最大值之間的值作為閾值分割圖像；文獻[13]首先用OSTU算法計算圖像整體閾值對圖像進行預(yù)分割，然后通過十字掃描窗逐點掃描圖像進行精細(xì)分割；文獻[14]假設(shè)紅外圖像背景服從單高斯分布，通過建立單高斯模型得到圖像分割閾值對圖像進行分割。圖6為幾種算法的分割效果。

圖6 紅外圖像分割效果對比

為了直觀分析算法性能，比較了幾種方法的錯分類誤差(ME)，計算如下

(10)

式中：BR和FR分別表示手動分割的目標(biāo)和背景像素集合；BT和FT表示閾值分割后目標(biāo)和背景像素集合；∩表示兩者的并集；ME取值范圍為0～1，值越小說明分割越好，如表1所示。

圖6中可以看出，文獻[11]中方法假設(shè)圖像像素值分布均勻，不能適用于大部分分割情況，自適應(yīng)能力較弱；文獻[13]中算法由于采用局部閾值，容易產(chǎn)生冗余分割，且由表1可知該算法實時性較差；文獻[14]分割效果接近本文算法，但仍然需要調(diào)整參數(shù)(參數(shù)k)以適應(yīng)不同環(huán)境的要求，且本文算法進行了邊界修正，誤分割明顯降低。

表1 算法性能

該算法應(yīng)用到紅外行人檢測中，能夠很好地滿足分割精度和實時性要求。移植到TI的DSP芯片TMS320DM6437，600MHz運行平均速度達到22 ms，可運用在嵌入式實時系統(tǒng)中，工程化程度高。

3 結(jié)論

本文提出了一種快速魯棒的紅外圖像分割算法，算法通過統(tǒng)計目標(biāo)區(qū)域邊緣像素得到圖像分割閾值，并利用雙閾值算法分割圖像，有效減少了目標(biāo)區(qū)域的欠分割和冗余分割，分割出的目標(biāo)區(qū)域比較接近真實目標(biāo)區(qū)域。最后通過邊緣掃描修正目標(biāo)區(qū)域邊界，得到更加精確的分割結(jié)果，完整地保留了區(qū)域邊緣信息，方便后續(xù)的處理過程。實際測試結(jié)果驗證了算法的魯棒性以及運動場景環(huán)境變換的自適應(yīng)性。

[1]OTSU N.A threshold selection method from gray-level histograms[J].IEEE Trans.System Man and Cybernetic，1979，9(1)：62-66.

[2]SAHOO P K.A survey of thresholding techniques[J].Computer Vision，Graphics and Image Processing，1988，41(2)：233-201.

[3]顧鵬，張玉.改進的紅外圖像2維Otsu分割算法[J]．中國圖象圖形學(xué)報，2011，16(8)：50-52．

[4]夏晶，孫繼銀.基于區(qū)域生長的前視紅外圖像分割方法[J]．激光與紅外，2011，41(1)：107-110．

[5]CHU C，AGGARWAL J.The integration of image segmentation maps usings region and edge information[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1993，15(12)：1241-1252.

[6]陶唐飛，韓崇昭，代雪峰，等.綜合邊緣檢測和區(qū)域生長的紅外圖像分割算法[J]．光電工程，2004，31(10)：50-52．

[7]SCHETTINI R.A segmentation algorithm for color images[J].Pattern Recognition Letters，1993，14(6)：499-506.

[8]MAADI A E，MALDAGUE X.Outdoor infrared video surveillance： a novel dynamic technique for the subtraction of a changing background of IR images[J].Infrared Physics & Technology，2007，49(3)：261-265.

[9]COMANICIU D，MEER P.Mean shift： a robust approach toward feature space analysis[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2002，24(5)：603-619.

[10]CASELLES V，CATTE F，COLL T，et al.A geometric model for active contours in image processing[J].Numer.Math.，1993，66(1)：1-31.

[11]杜奇，向健勇，袁勝春.基于邊緣強度的紅外圖像閾值分割方法研究[J]．紅外與激光工程，2004，33(3)：288-291．

[12]CANNY J F.A computational approach to edge detection[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1986，8(6)：679-698.

[13]石祥濱，劉曉娜，劉芳，一種雙閾值紅外行人分割方法[J]．計算機工程，2012，38(12)：5-8．

[14]梁英宏.紅外視頻圖像中的人體目標(biāo)檢測方法[J]．紅外與激光工程，2009，38(5)：931-935．

[15]BERTOZZI M，BROGGI A，HILARIO G，et al.Pedestrian detection in far infrared images based on the use of probabilistic templates[C]//Proc.IEEE Intelligent Vehicles Symposium，Istanbul.Turkey：IEEE Press，2007：327-332.

楊如林(1988— )，碩士生，主要從事紅外傳感器圖像處理識別的研究；

丑修建(1979— )，教授，主要從事電子信息功能材料與微器件方面的研究工作；

李 慶(1974— )，研究員，主要從事紅外傳感器圖像處理識別的研究；

梁艷菊(1985— )，女，博士，主要從事紅外傳感器圖像處理識別的研究。

責(zé)任編輯：時 雯

Fast and Robust Infrared Image Segmentation Method

YANG Rulin1，CHOU Xiujian1，LI Qing2，LIANG Yanju2

(1.ElectronicsandComputerScience&Technology，NorthUniversityofChina，Taiyuan030051，China；2.InstituteofMicroelectronicsofChineseAcademyofSciences，KunshanBranch，JiangsuSuzhou215300，China)

A fast and robust infrared image segmentation method is introduced，the algorithm is designed to meet the engineering application.Firstly，the edge pixels of the image is extracted using Canny algorithm.Then it gets the segmentation threshold by analyzing the edge pixels and segments the image using adaptive dual-threshold.Finally，it trims the boundary of the foreground region by scan the image edge and gets object regions with more precise boundary.The experimental results show that the segmentation method can retain more edge information of the pedestrian and reduce the wrong segmentation，also it’s a real-time algorithm.

image segmentation； Canny edge； adaptive threshold

【本文獻信息】楊如林，丑修建，李慶,等.一種快速魯棒的紅外圖像分割方法[J].電視技術(shù),2015，39(3).

中國科學(xué)院先導(dǎo)項目(XDA06040300)；廣東省教育部產(chǎn)學(xué)研結(jié)合項目(2012B091000163)

TP391

A

10.16280/j.videoe.2015.03.003

2014-02-17