孫 銳，方 蔚，高 雋

?

暗通道和測(cè)度學(xué)習(xí)的霧天行人再識(shí)別

孫 銳，方 蔚，高 雋

( 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，合肥 230009 )

行人再識(shí)別就是給定一張圖片，在非重疊的視場(chǎng)行人數(shù)據(jù)庫(kù)中，識(shí)別出相同的行人。行人再識(shí)別面臨各種困難，針對(duì)來自于霧霾惡劣天氣的影響，先利用暗通道先驗(yàn)知識(shí)的方法對(duì)圖像去霧，再用局部最大特征和測(cè)度學(xué)習(xí)的算法對(duì)去霧圖片行人再識(shí)別。實(shí)驗(yàn)結(jié)果表明，去霧后的行人再識(shí)別第1識(shí)別率(排名第1的搜尋結(jié)果)為41.75% 和第10識(shí)別率(排名第10的搜尋結(jié)果)81.26%相對(duì)于有霧條件第1識(shí)別率35.64%和第10識(shí)別率46.75%。

暗通道；局部最大特征；測(cè)度學(xué)習(xí)；行人再識(shí)別

0 引 言

行人再識(shí)別[1-3]指在非重疊區(qū)域多攝像頭監(jiān)控下進(jìn)行行人匹配，即從不同的角度確定目標(biāo)是否為同一個(gè)行人。行人再識(shí)別在社會(huì)公共安全領(lǐng)域有著重要的應(yīng)用，然而受視角、光照、背景變化、攝像頭因素的影響，導(dǎo)致同一個(gè)人外貌變化很大。針對(duì)這些問題目前再識(shí)別方法可分為：特征表示法[4-6]、機(jī)器學(xué)習(xí)法[7-8]。

然而再識(shí)別過程中，現(xiàn)實(shí)生活中其實(shí)存在著更難的問題，那就是惡劣霧霾天氣帶來的影響。霧霾天氣使得大量的行人細(xì)節(jié)信息丟失，對(duì)行人匹配帶來巨大的挑戰(zhàn)，圍繞這個(gè)問題本文提出了相應(yīng)的方法。

對(duì)于霧霾天氣下的行人再識(shí)別，本文的思路是，先用暗通道先驗(yàn)原理[9-10]去除霧霾，再用測(cè)度學(xué)習(xí)算法[11]進(jìn)行行人再識(shí)別。

1 暗通道先驗(yàn)知識(shí)的圖像去霧

本文采取暗通道先驗(yàn)知識(shí)對(duì)輸入的霧化行人圖片進(jìn)行預(yù)處理，去除圖片中的霧，便于后續(xù)行人再識(shí)別。

1.1 暗通道先驗(yàn)知識(shí)

如圖1所示，清晰圖片和霧天圖片的暗通道圖有著很多相似之處，即暗通道先驗(yàn)知識(shí)。經(jīng)統(tǒng)計(jì)發(fā)現(xiàn)，圖像的三個(gè)通道中至少有一個(gè)通道像素值很小。即非常小，其中是圖像的某一像素，是該像素的某一顏色通道。若選擇某一像素的鄰域內(nèi)所有像素的最小值作為該像素的最暗通道,其值接近于0，即：

圖1 清晰圖片與霧天圖片及其對(duì)應(yīng)的暗通道圖

1.2 霧天圖像基本模型

將霧天條件下的圖像模型假設(shè)為

對(duì)與大氣光的計(jì)算將暗通道圖中的像素點(diǎn)按亮度排序，選取前0.1%處的亮度作為大氣光的值。

2 基于測(cè)度學(xué)習(xí)的行人再識(shí)別

對(duì)于霧天條件下的行人再識(shí)別，經(jīng)過前面的去霧處理后，采用局部最大特征(LOMO)和交叉視角二次判別分析的方法進(jìn)行行人再識(shí)別。

行人在不同的攝像頭下呈像的視角可能不一樣，在不同的角度下的行人匹配難度比較大。為了解決這個(gè)問題，將圖片分成6個(gè)橫條區(qū)域，接著從每一個(gè)區(qū)域提取簡(jiǎn)單直方圖。這個(gè)方法在解決視角問題上有一定作用，但仍然會(huì)丟失一些局部空間細(xì)節(jié)信息，于是我們加以改進(jìn)，下面是特征提取的詳細(xì)過程。

采用滑動(dòng)窗口描述行人的局部細(xì)節(jié)信息。使用大小為10′10的窗口，每次的滑動(dòng)步長(zhǎng)為5個(gè)像素，通過這樣的方式來定位到圖片中的局部小塊。從窗口中提取SILTP直方圖和以及8′8′8-bin的HSV直方圖。每一個(gè)直方圖代表在窗口中對(duì)應(yīng)模式出現(xiàn)的概率。為了解決視角問題，檢查圖片中同一行的所有窗口中提取特征，找到使每個(gè)模式出現(xiàn)概率最大的特征。最后得到的直方圖特征既解決了視角變化問題，同時(shí)得到行人的局部細(xì)節(jié)特征。為了證明方法的有效性，在VIPeR數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)庫(kù)上的圖片具有兩個(gè)視角。圖2就是該LOMO特征提取過程。

圖2 LOMO特征提取過程

3 交叉視角二次判別分析(XQDA)

3.1 Bayesian Face和 KISSME Revisit

而且推導(dǎo)出x和x之間的距離函數(shù)為

3.2XQDA

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)和評(píng)價(jià)標(biāo)準(zhǔn)

本文所有實(shí)驗(yàn)是在數(shù)據(jù)庫(kù)VIPeR上進(jìn)行的，這個(gè)數(shù)據(jù)庫(kù)對(duì)于行人再識(shí)別來說都具有一定的挑戰(zhàn)性。基于霧天的行人再識(shí)別的思想是，采用一定的方式對(duì)原始的圖片進(jìn)行去霧，然后再用經(jīng)典的行人再識(shí)別方法去處理去霧后的圖片。通過對(duì)比兩個(gè)結(jié)果，我們的方法的確能夠提高行人匹配的準(zhǔn)確率。

4.2 實(shí)驗(yàn)結(jié)果與分析

本文采用了MATLAB對(duì)霧天條件下的行人再識(shí)別進(jìn)行了仿真實(shí)驗(yàn)。暗通道處理完圖片后會(huì)使得圖片的整體亮度變暗，如圖3(a)所示，亮度低會(huì)隱藏一定的細(xì)節(jié)信息，對(duì)圖片進(jìn)行適當(dāng)?shù)牧炼日{(diào)整，如圖3(b)所示。利用暗通道原理去霧后，最后使用LOMO+XQDA方法在常規(guī)情況(無(wú)霧)下行人再識(shí)別。為了突出本文方法在霧天下行人再識(shí)別的可行性，將本文方法和直接用LOMO+XQDA對(duì)霧天圖片再識(shí)別進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖4所示。通過比較第一匹配率(Rank1)發(fā)現(xiàn)去霧前只有35.64%，而去霧后達(dá)到了41.75%效果十分明顯。

圖3 (a) 暗通道處理后圖片亮度降低； (b) 亮度調(diào)整后的圖片

圖4 去霧前和去霧后對(duì)比

實(shí)驗(yàn)說明對(duì)于霧天下的行人再識(shí)別，本文的方法取得了一定的效果。但現(xiàn)實(shí)生活中霧的濃度會(huì)有所差別，行人離攝像頭的距離會(huì)產(chǎn)生尺度的差異，針對(duì)這種情況分別進(jìn)行了近距離重霧霾和遠(yuǎn)距離重霧霾的情況實(shí)驗(yàn)，如圖5所示。

圖5 (a) 近距離濃霧；(b) 遠(yuǎn)距離濃霧

圖6 近距離濃霧和遠(yuǎn)距離濃霧對(duì)比

實(shí)驗(yàn)結(jié)果如圖6所示。通過對(duì)比可以發(fā)現(xiàn)，當(dāng)霧的濃度增大或行人尺度變小時(shí)，本文的方法依然有一定的效果，不過不是很明顯，準(zhǔn)確率相比原來有所下降，這是需要努力和改進(jìn)的地方，能夠在濃霧和小尺度的情況下仍然有較高的行人再識(shí)別的準(zhǔn)確率。

5 結(jié) 論

霧天對(duì)于行人再識(shí)別是一個(gè)很大的挑戰(zhàn)，白色的霧使得整個(gè)圖片呈現(xiàn)大面積白色，隱藏了大量行人外貌信息。針對(duì)這個(gè)問題，本文提出先使用暗通道先驗(yàn)知識(shí)去霧，這樣就可以排除霧對(duì)行人再識(shí)別的干擾。在數(shù)據(jù)庫(kù)VIPeR上進(jìn)行了實(shí)驗(yàn)可以清楚地看見去霧后，行人再識(shí)別的準(zhǔn)確率大大的提高。去霧就是將不利于識(shí)別的霧去除，相當(dāng)于恢復(fù)到天氣良好的情況下進(jìn)行行人再識(shí)別，這樣就排除了惡劣天氣帶來的不利影響。城市中霧霾較嚴(yán)重，但視頻監(jiān)控仍然要進(jìn)行，霧天下如果可以很好保證行人再識(shí)別的準(zhǔn)確率，對(duì)于視頻監(jiān)控來說有著重要的意義。

[1] GONG Shang，Cristani M，SUN Yan，. Person Re-Identification [M]. Springer London，2014：1-21.

[2] Doretto G，Sebatian T，TU P，. Appearance-based person re-identification in camera networks：problem overview and current approaches [J]. Journal of Ambient Intelligence and Humanized Computing(S1868-5137)，2011，2(2)：127-151.

[3] 齊美彬，顫勝順，王運(yùn)俠，等. 基于多特征子空間與核學(xué)習(xí)的行人再識(shí)別 [J]. 自動(dòng)化學(xué)報(bào)，2016，42(2)：299-308.

QI Meibin，TAN Shengshun，WANG Yunxia，. Multi-feature Subspace and Kernel Learning for Person Re-identification [J]. Acta Automatica Sinica，2016，42(2)：299-308.

[4] Gray DBrennan S，HONG Tao. Evaluating appearance models for recognition，reacquisition and tracking [C]// IEEE International Workshop on Performance Evaluation of Tracking and Surveillance，Rio de Janeiro，Brazil，October 14-16，2007，14(2)：1524-1531.

[5] Farenzena M，Bazzani L. Person re-identification by symmetry-driven accumulation of local features [C]// The IEEE Conference on Computer Vision and Pattern Recognition，San Francisco，California，USA，June 13-18，2010：2360-2367.

[6] Prosser B，WANG ZhengPerson re-identification by support vector ranking [C]// British Machine Vision Conference，Aberystwyth，UK，August 31-September 3，2010：21.1-21.11.

[7] WANG Zheng，GONG Shang. Re-identification by relative distance comparison [J]. IEEE Transaction on Pattern and Machine Intelligence(S0162-8828)，2012，35(3)：653-668.

[8] ZHAO Rui，OUYANG Wanli，WANG Xiaogang. Unsupervised Salience Learning for Person Re-identification [C]// IEEE Conference on Computer Vision and Pattern Recognition，Oregon Convention Center，Portland，Jun 25-27，2013：3586-3593.

[9] 褚宏莉，李元祥，周則明，等. 基于黑色通道的圖像快速去霧優(yōu)化算法 [J]. 電子學(xué)報(bào)，2013，41(4)：791-797.

CHU Hongli，LI Yuanxiang，ZHOU Zeming，. Optimized Fast Dehazing Method Based on Dark Channel Prior [J].Acta Electronica Sinica，2013，41(4)：791-797.

[10]HE Kaiming，SUN Jian，TANG Xian，. Single Image Haze Removal Using Dark Channel Prior [C]// IEEE Conference on Computer Vision and Pattern Recognition，Miami，F(xiàn)lorida，USA，June 20-25，2009：1956-1963.

[11] LIAO Shan，HU Ying，ZHU Xiao，. Person Re-identification by Local Maximal Occurrence Representation and Metric Learning [C]// IEEE Conference on Computer Vision and Pattern Recognition，Boston，USA，June 7-12，2015：2197-2206.

Person Re-identification in Foggy Weather Based on Dark Channel Prior and Metric Learning

SUN Rui，F(xiàn)ANG Wei，GAO Jun

( College of Computer and Information, Hefei University of Technology, Hefei 230009, China)

Person re-identification, identifying the same person in database from non-overlapping camera views, is a challenging task. To reduce the influence of foggy weather on person re-identification, dark channel prior is used to remove haze from input image first. Then, local maximal occurrence representation and metric learning is used to identify the same person’s images which remove haze. Experimental results show that the recognition rate of haze removed achieving 41.75% rank-1 and 81.26% rank-10, is higher than the recognition rate without haze removing which achieve 35.64 % rank-1and 46.75% rank-10.

dark channel; local maximal occurrence representation; metric learning; person re-identification

1003-501X(2016)12-0142-05

TP301.6

A

10.3969/j.issn.1003-501X.2016.12.022

2016-07-13；

2016-10-10

國(guó)家自然科學(xué)基金項(xiàng)目(61471154)

孫銳(1976-)，男(漢族)，安徽蚌埠人。教授，博士，主要研究工作是計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)智能信息處理。E-mail：sunrui@hfut.edu.cn。

方蔚(1993-)，男(漢族)，安徽黃山人。碩士研究生，主要研究工作是計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)。E-mail：1204764020@qq.com。