李昱兵， 周文興， 張 霍， 趙季中

1(西安交通大學(xué) 電子與信息工程學(xué)院，西安 710049)

2(長虹美菱股份有限公司 技術(shù)研究中心，合肥 230061)

3(中國航天員科研訓(xùn)練中心，北京 100094)

目標檢測過程中目標本身特征是系統(tǒng)檢測成功的關(guān)鍵所在，若目標運動或變化、遮擋等，則很難獲取目標的真實形態(tài)或值. 而今工業(yè)、消費領(lǐng)域中的諸多應(yīng)用場景則對于效率、計算開銷要求很高，比如在圖像識別中最常見的人臉識別通常是通過對于目標物的背景值和固定點匹配來做區(qū)分，從而間接區(qū)分出目標圖像，通過目標特征值反復(fù)確認，以得到最有效的檢測結(jié)果.

1 哈爾特征

通常目標或運動檢測都會采用目標特征檢測、計算或補償，采用不同算法來提高檢測效率.

國內(nèi)外有很多研究者在從事人臉識別研究，提出了較多人臉識別與檢測方法，比如Schneiderman[1-4]等人，這其中就開發(fā)了基于受限制的貝葉斯網(wǎng)絡(luò)[1]上的高性能探測器，這個檢測器可以實現(xiàn)比較高的檢測率，但由于它需要復(fù)雜計算，因此它不能被用于實時應(yīng)用，還有進一步提升的應(yīng)用空間. Viola和Jones也提出一種能使用哈爾(Haar)特征進行檢測的新的Adaboost級聯(lián)[4]方法，該探測器是第一個具有高命中率的人臉檢測實時探測器，同樣由于計算開銷與復(fù)雜度等問題，還需要提升效率.

國內(nèi)也有不少研究者去研究目標檢測，比如區(qū)蘇[5]提出相對穩(wěn)定的值作為參考點，模擬相鄰幀差分方法來做，但也不能夠真正覆蓋全部目標值，精確也需要進一步提升. 齊燕武等人[6]研究將Haar-like特征多分類器集成方法中將人的三個維度面，選擇其中一個進行訓(xùn)練，另外兩面和背景作為負樣本，雖然做法也有效能夠提供識別率降低誤識別率，但多級聯(lián)分類器的方法效率集成算法在使用時運算時間過長，實時性也有待提升; 江倩殷等人[7，8]提出方法也證實相關(guān)背景集成方式將檢測的范圍縮小，從運動范圍區(qū)域內(nèi)去獲取Haarlike特征，提升了算法的實時性，這是一種新的思路，但是并不是適合多人群和靜止人員的識別. 顏學(xué)龍、楊秋芬、蔣政等[9-14]則提出擴展Haar特征、提取特征，以此來獲取和訓(xùn)練新的分類器，可相對準確找到與人相關(guān)的特征，效率也有所提升，通過他們的研究結(jié)果來看，研究成果不但不能夠完全有效改善人臉識別的效果，還增加了計算量，應(yīng)用也需進一步研究和挖掘. 綜上分析，結(jié)合一般目標識別流程必須性，需要一種新型特征去提高目標位置的識別同時減少開銷，因此能進一步提高效率的特征方法是值得去研究.

1.1 提高級聯(lián)結(jié)構(gòu)

幀國外學(xué)者維爾納(Viola)和瓊斯(Jones)的Adaboost級聯(lián)框架[4]結(jié)合了三個關(guān)鍵思想，以達到高命中率和更少檢測時間的目的. 首先，該方法需為每個圖像使用“積分圖”方法來加速Haar特征的計算，這個Haar特征將在第1.2部分中描述. 其次，該方法使用Adaboost算法來選擇少量弱分類器一個接一個地連接成強分類器，定義了一個分布P(分布P—樣本X的權(quán)重表達)，采用弱學(xué)習(xí)算法取得既定弱分類器. 第三，該方法提出由這些每個階段的分類器結(jié)合在一起組成級聯(lián)分類器(如圖1)，在這種分類檢測器中，每一個子窗口都會被檢測到的，級聯(lián)階段構(gòu)成可分為兩步，第一步使用AdaBoost練習(xí)分類器，第二步不斷調(diào)整閾值來最大限度減少負誤視率.

圖1 增強級聯(lián)分類器的結(jié)構(gòu)圖

注意，默認的AdaBoost閾值旨在數(shù)據(jù)處理，為了在此過程中產(chǎn)生較低錯誤率. 一般來說，一個較低的閾值會產(chǎn)生較高的檢測速度以及更高的正的誤視率.

通過這些分類器一個接一個的鏈接形成級聯(lián)，該方法中探測器可快速丟棄背景圖像. 雖然這些想法非常簡單，但比其他方法更有效，比如SVM[2]、貝葉斯決策規(guī)則[1]和神經(jīng)網(wǎng)絡(luò)[3]等.

1.2 Haar特征

使用的簡單特征與哈爾基函數(shù)[15]有關(guān). 哈爾特征包含三種類型(如圖2左半部分所示)，其值是白色的矩形區(qū)域像素和黑色矩形區(qū)域內(nèi)像素和之間的差. 這些區(qū)域具有相同的尺寸和形狀，水平和垂直相鄰，但與Haar基礎(chǔ)不同，這組特征是過于完整[4].

圖2 Haar和Haar-Like特征

對于哈爾特征的計算，維爾納(Viola)和瓊斯(Jones)研究成果則是用一個“積分圖”來加速Haar特征計算(如圖3(a)). 首先，計算原始整體圖像的像素值，得到所有左上角區(qū)域像素值，然后計算這些像素值的總和為：

圖3 Haar特征的積分圖

在特征值計算中，只需要整體圖像的4個像素的值來計算一個矩形內(nèi)的所有像素值的總和(如圖3(b))：

針對上述方式，Lienhart和Maydt[15，16]使用了一組類Haar的特征(圖2中的右半部分)，通過將哈爾特征旋轉(zhuǎn)45度[5]，即一組類Haar的特征(如圖4(a))，其也提供了積分圖來加速該方法的類Haar特征(如圖4)的計算：

在特征值計算中，這個公式與Haar特征是相同(圖4(b))：

圖4 Haar-like特征的積分圖

2 分開的Haar特征思路

由于在不同的訓(xùn)練數(shù)據(jù)集的圖像中，Haar特征在相鄰矩形的邊緣位置和角度不同，一些正樣本的邊緣不在相鄰矩形中間，這使得相鄰矩形之間的不同值沒有足夠能力將負樣本分離出來. 因此，本文創(chuàng)新提出在相鄰矩形之間添加一個不關(guān)心區(qū)域(如圖5左半部分)，即為分開的Haar特征(Sep-Haar). 通過在黑色和白色矩形之間添加一個不關(guān)心區(qū)域，可以避免在不同的樣本中有不同位置和角度的邊緣在這個不關(guān)心區(qū)域被覆蓋，這樣就可以為每個特征獲得一個更有效的值，然后使用一個新的閾值將正樣本從負樣本中分離出來，從而獲得更大的命中率(HR)或更小的誤報率(FAR).

圖5 分開的Haar特征

3 使用Sep-Haar特征人臉檢測

3.1 寬度選擇

在為不關(guān)心區(qū)域的寬度添加不同值之后，采用這種方式將獲得相對于傳統(tǒng)Haar特征4倍以上的特征數(shù)量，這將增加學(xué)習(xí)過程中的計算和時間開銷. 本文提出為這個寬度選擇最好的幾個值(如圖6中的“d”)，基于上圖的思路，在學(xué)習(xí)訓(xùn)練前為訓(xùn)練樣本上增加一個從負12度到正12度的旋轉(zhuǎn)過程，讓這個不關(guān)心區(qū)域覆蓋所有邊的范圍為負12度到正12度，以達到檢測旋轉(zhuǎn)臉部和取得選擇區(qū)域?qū)挾鹊淖罴阎档哪康?

圖6 分開的Haar特征寬度參數(shù)

因此，本文提出在“dx”和tan(12度)的乘積上選擇最佳寬度值“d”：

表1顯示了間距“d”的選擇取決于長度“dx”的值.

表1 “d”的取值

圖像是運動目標誤判的結(jié)果，為什么會出現(xiàn)這種現(xiàn)象? 接下來的實驗將揭示原因.

3.2 機器學(xué)習(xí)

在Adaboost和級聯(lián)算法中[4]，一個誤報率閾值用于控制舞臺的性能，本文研究提出的Sep-Haar特征可以通過使用很少的弱分類器來實現(xiàn)這個閾值，在檢測器學(xué)習(xí)中使用更多弱的分類器來獲得更好的性能(圖7)，新的特征設(shè)計與新的檢測器將獲得新的創(chuàng)新效果.

圖7 機器學(xué)習(xí)步驟[4]

最佳的閾值是保障能在相同的誤報率和檢測時間內(nèi)達到更好的命中率的基礎(chǔ)，同時為了保證檢測時間，還需要保持每個階段都使用的弱分類器，并且可將誤報率閾值更改為弱分類器數(shù)量閾值，通過反復(fù)試驗找到此最佳值即將誤報率閾值設(shè)置為原始閾值的0.8倍，就可以達到這個目的.

每個階段的誤報率減少，也可減少級聯(lián)學(xué)習(xí)階段的數(shù)量，使用最后的誤報率閾值來控制它，當最后的檢測器的誤報率達到這個閾值時，整個過程學(xué)習(xí)就完成了.

4 實驗

為了更好的測試人臉在小角度偏轉(zhuǎn)下的本特征的人臉檢測效果，本實驗選用了UMIST人臉數(shù)據(jù)集(圖8)和UMIST臉部測試集[17]進行實驗，通過單一的實驗結(jié)果來驗證后這種新的特征設(shè)計思路的效果. UMIST人臉數(shù)據(jù)集是一個多視角數(shù)據(jù)集，該數(shù)據(jù)集其中包含了20人564個灰度圖像，每個具有各種姿勢從一側(cè)到前方. 通過實驗，獲取總共有10 152個灰色的臉部樣本，大小為20×20，這些樣本來自于這些564個樣本，包括鏡像、旋轉(zhuǎn)角度分為負12、正9、負6、負3、0、正3、正6、正9、正12.

圖8 UMIST臉部測試集中的樣本示例

在檢測中，實驗中使用UMIST臉部測試集，它包含1148個灰色圖像，大小為320×240到640×480，在一個測試圖像中只有一個人臉. 首先，使用相同的模型參數(shù)來訓(xùn)練兩個20個階段的檢測器，這兩個cascade分類器在各個stage中的結(jié)束性能閾值是一樣的，命中率為99.8%，誤報率為50%. 其中一個使用傳統(tǒng)Haar特性(稱之為檢測器1)，另一個使用Sep-Haar特性(設(shè)為檢測器2)，相同的各階段結(jié)束條件和階段數(shù)意味著檢測器1和2有著近似的識別率每個階段. 本文研究者近20天在臺式電腦上完成這一訓(xùn)練學(xué)習(xí)過程.

使用UMIST人臉測試數(shù)據(jù)集來測試這兩個檢測器的性能，圖9也反應(yīng)了學(xué)習(xí)測試過程中的命中率和誤報率的表現(xiàn)，表2中則呈現(xiàn)了總檢測時間關(guān)系對比.

圖9 3個檢測器的性能比較圖

檢測器1和檢測器2在每個階段都接受相同的參數(shù)訓(xùn)練，這兩個檢測器的性能幾乎是相同的(如圖9所示)，本文研究結(jié)果認為性能的差異來自于每個階段的細微差別. 由于在階段訓(xùn)練的Adaboost算法中，它會一個接一個地添加弱分類器(特征)，直到階段的性能達到我們想要的(99.98%的命中率，50%誤報率)[4]. 而表2顯示了使用Sep-Haar的檢測器與傳統(tǒng)Haar特性檢測器在相同的訓(xùn)練參數(shù)下對比，檢測2的檢測時間比檢測器1少約10%. 這是本文提出的Sep-Haar特征的優(yōu)點.

表2 三個檢測器在UMIST數(shù)據(jù)測試中的時間花費

根據(jù)檢測器1的20個階段中每個階段使用的特征數(shù)來訓(xùn)練一個在各個階段使用相同特征數(shù)目、使用不同訓(xùn)練參數(shù)并基于Sep-Haar特征的檢測器(稱之為檢測器3)，相同的特征數(shù)意味著檢測器1和3有著近似的運算量和運算時間，讓每個階段的特征數(shù)量與檢測器1相同. 在級聯(lián)訓(xùn)練中，每個階段的分類器都獨立訓(xùn)練，讓本階段的弱分類器數(shù)目扽與檢測器1的弱分類器數(shù)目相同，直到最后的檢測器誤報率遠小于檢測器1的誤報率. 由于使用Sep-Haar特征的每個階段的誤報率都有很大的減少，所以只需要15個階段就能達到本文研究最初想要的目標. 圖9也顯示檢測器3比檢測器1命中率能提高0.8%. 表二顯示檢測器3的檢測時間和檢測器1近似(少1%). 綜上，在人臉檢測的應(yīng)用中使用Sep-Haar特征訓(xùn)練的檢測器可在相同誤報率和檢測時間中達到高0.8%的命中率.

通過實驗驗證研究，使用Sep-Haar特征的檢測器能夠做到減少10%檢測時間. 首先在每個階段都訓(xùn)練幾個帶有Haar特性和Sep-Haar特性的檢測器，且誤報率(FAR)分別是0.5、0.1和0.01.

其次實驗數(shù)據(jù)，如表3展示了通過比較不同特征類型和參數(shù)中每個階段使用的弱分類器的數(shù)量. 從表3中可以看出，Sep-Haar特征中使用的弱分類器的數(shù)量比Haar特征少了8%到10%. 在一個階段的檢測中，需要用階段分類器來計算弱分類器的所有特征值(如圖1(a))，所以減少8%到10%的弱分類器是可以減少10%的檢測計算時間.

表3 分類器內(nèi)部各Stage使用特征數(shù)量表

再使用相同數(shù)量的弱分類器來訓(xùn)練一些檢測器，二者進行性能比較. 通過實驗得到的數(shù)據(jù)如表4顯示由于這些檢測器的每個階段使用的弱分類器的數(shù)量是相同的，每個階段的檢測時間是相同的，但使用Sep-Haar特征能夠明顯減小誤報率.

表4 各FAR條件下Haar分類器相同特征數(shù)的條件下，分開的Haar特征減少的誤報率百分比

5 結(jié)論與展望

本文主要介紹了一組用于訓(xùn)練增強級聯(lián)分類器的Sep-Haar特征的設(shè)計思路和驗證結(jié)果，這組特征在使用不同的訓(xùn)練參數(shù)并在每個階段可以減少誤報率30%，或者減少10%的檢測時間，命中率也提高了0.8%. 本文研究成果是在總結(jié)前人研究成果的基礎(chǔ)上，運用了新的設(shè)計思路，這種新的技術(shù)成果在現(xiàn)有的機器視覺學(xué)習(xí)和圖像處理、檢測方面有著較大的應(yīng)用價值. 通過實驗證明本文研究成果即Sep-Haar特征相對傳統(tǒng)Haar特征在使用時是更高效的，在人臉識別算法中應(yīng)用也是真實可行的，它可以廣泛應(yīng)用需要圖像檢測識別、目標識別的應(yīng)用中，也能夠提高效率.