卓武漢，嚴(yán)京旗

0 引言

工業(yè)檢測(cè)、模式識(shí)別和計(jì)算機(jī)視覺等應(yīng)用領(lǐng)域中，高光是普遍存在著的，當(dāng)我們對(duì)圖像進(jìn)行處理時(shí)，圖像中的高光就經(jīng)常成為圖像檢測(cè)識(shí)別的一大障礙，嚴(yán)重影響著對(duì)圖像的后續(xù)處理。例如，高光的存在會(huì)極大地影響條形碼、二維碼、關(guān)鍵字符等的識(shí)別；并對(duì)圖像分割、邊緣檢測(cè)、目標(biāo)跟蹤等算法的精度和魯棒性也有很大的影響。如圖1所示的是工業(yè)生產(chǎn)線上所拍的9張連續(xù)的飲料瓶圖像，我們可以很明顯看出每張圖像中均存在著較大范圍的高光區(qū)域。

圖1 具有高光的飲料瓶連續(xù)圖像

現(xiàn)在已有的去高光處理方法主要是針對(duì)單幅圖像的，但是單幅圖像的處理比較困難，去除高光的結(jié)果很難到達(dá)預(yù)期。例如，針對(duì)單幅圖像去高光的處理，Lee[1]曾經(jīng)提出了一個(gè)在色度空間估計(jì)光源色度的方法，但是由于圖像噪聲的影響，直接利用該方法估計(jì)光源色度，往往得不到理想的結(jié)果。Novak 和Shafer[2]曾經(jīng)從 RGB空間中的像素分布估計(jì)表面的粗糙程度和物體的幾何形狀，并以此估計(jì)高光像素簇的扭曲程度，以便獲得一個(gè)更精確的光源顏色估計(jì)，但是由于圖像噪聲等的影響，僅僅從像素的分布形狀往往很難可靠地估計(jì)出這些信息。對(duì)于單張圖像去高光而言，并且由于圖像中經(jīng)常有其他顏色的物體存在，完全自動(dòng)檢測(cè)高光區(qū)域是一個(gè)非常困難的問題?；趩畏鶊D像的去高光算法并不適用于本課題。連續(xù)圖像在工業(yè)流水線上是較容易獲得的，并且由于高光區(qū)域在每個(gè)連續(xù)幀圖像中的位置是不同的，從而我們可以利用連續(xù)幀圖像的信息融合去除或削弱高光的影響，進(jìn)一步提高圖像檢測(cè)的識(shí)別性能、目標(biāo)檢測(cè)和跟蹤精度和魯棒性等。在此，提出了一種基于SURF特征點(diǎn)匹配的去除高光方法，該方法的研究?jī)?nèi)容主要包括兩個(gè)模塊：圖像配準(zhǔn)和圖像融合。大致分為以下兩個(gè)步驟：首先，利用SURF算法提取連續(xù)幀圖像穩(wěn)定的特征點(diǎn)，生成特征向量描述符，而后采用最近鄰向量匹配法進(jìn)行特征匹配。其次，對(duì)配準(zhǔn)后的連續(xù)幀圖像進(jìn)行融合。該方法對(duì)去除工業(yè)流水線上產(chǎn)生的高光有良好的效果。

1 SURF算法的簡(jiǎn)介

圖像配準(zhǔn)技術(shù)是將不同時(shí)間、不同傳感器或不同視角下獲取的同一場(chǎng)景的兩幅或多幅圖像進(jìn)行匹配的圖像處理過程,是圖像處理的一個(gè)基本問題。圖像配準(zhǔn)的方法大致可以分為基于灰度和基于特征兩類，其中基于特征的圖像配準(zhǔn)方法是目前圖像配準(zhǔn)最常用的方法之一,基于特征的圖像配準(zhǔn)方法有兩個(gè)重要環(huán)節(jié)：特征提取和特征匹配?？梢赃x取的特征包括點(diǎn)、線與區(qū)域。基于特征的圖像配準(zhǔn)方法主要有兩方面優(yōu)點(diǎn)：圖像的特征點(diǎn)比圖像的像素點(diǎn)要少很多，大大減少了匹配過程的計(jì)算量；特征點(diǎn)的提取過程可以減少噪聲的影響，對(duì)灰度變化、圖像形變以及遮擋等都有較好的適應(yīng)能力。并且其最大的優(yōu)點(diǎn)在于能夠?qū)?duì)整個(gè)圖像進(jìn)行的各種分析轉(zhuǎn)化為對(duì)圖像特征(特征點(diǎn)、特征曲線等)的分析,從而大大減小了圖像處理過程的運(yùn)算量，并具有執(zhí)行速度快、精度高等優(yōu)點(diǎn)。SIFT是基于特征的圖像配準(zhǔn)方法之一，并成為近年來研究的一大熱點(diǎn)，但SIFT方法數(shù)據(jù)量較大、計(jì)算處理耗時(shí)較長(zhǎng)，而SURF算法可以說是SIFT算法的加速版，相比于SIFT算法，SURF具有計(jì)算量小、速度快等優(yōu)點(diǎn)，近年來得到廣泛應(yīng)用，在本課題的圖像配準(zhǔn)這一環(huán)節(jié)，我們就是采用基于SURF的算法來進(jìn)行處理。

基于SURF特征的圖像配準(zhǔn)主要由如下3個(gè)步驟組成：

(1)SURF局部特征的檢測(cè)。SURF特征點(diǎn)的檢測(cè)仍然是基于Hessian矩陣，并且Hessian矩陣H(x,σ)在尺度為σ的x點(diǎn)是被定義為：

(2)SURF局部特征的描述。首先，根據(jù)圍繞感興趣點(diǎn)的圓形區(qū)域提供的信息，我們可以確定一個(gè)可復(fù)寫的方向。然后，我們根據(jù)被選定的方向特性構(gòu)造一個(gè)正方形區(qū)域，并從中提取出SURF描述子。圖2所示的是飲料瓶其中兩張圖像的SURF特征點(diǎn)及特征區(qū)域，我們用紅色小圓圈標(biāo)出。

圖2 SURF特征點(diǎn)及特征區(qū)域

(3)基于SURF局部特征的圖像匹配。用SURF方法獲得參考圖像和待配準(zhǔn)圖像的特征點(diǎn)后，進(jìn)行特征匹配，常用的方法有：相關(guān)系數(shù)法、各種相似性度量法、不變距、Hausdofff距離、各種距離度量值等。圖3所示的是利用SURF算法對(duì)上圖2的兩張圖像進(jìn)行特征匹配的結(jié)果圖。

圖3 SURF特征匹配結(jié)果圖

2 改進(jìn)方法：

圖像融合的主要目的是通過對(duì)多幅圖像間的冗余數(shù)據(jù)進(jìn)行處理，進(jìn)而提高圖像的可靠性，通過對(duì)多幅圖像間互補(bǔ)信息的處理提高圖像的清晰度。近年來，圖像融合已經(jīng)成為圖像理解和計(jì)算機(jī)視覺領(lǐng)域中一項(xiàng)重要而又非常有用的新技術(shù)。在本文應(yīng)用中，我們處理的對(duì)象是連續(xù)幀圖像，而不是針對(duì)單幅圖像的去高光處理。在工業(yè)應(yīng)用上，首先，監(jiān)控設(shè)備所拍到的圖像高光區(qū)域的亮度級(jí)普遍高于非高光區(qū)域的亮度級(jí)。其次，高光區(qū)域在連續(xù)圖像中的位置也是連續(xù)出現(xiàn)的。基于以上兩點(diǎn)特性，我們?cè)趯?duì)配準(zhǔn)后的圖像進(jìn)行融合時(shí)，主要采用選取最小灰度值的方法對(duì)圖像進(jìn)行融合。實(shí)驗(yàn)設(shè)計(jì)上，我們也對(duì)采用基于灰度平均值，基于 DOG[8]（Difference of Gaussians）和平均值的經(jīng)典融合方法進(jìn)行比較。

圖4 最終融合結(jié)果

上圖4所示的3張圖像依次是采用取最小灰度值,取灰度平均值，基于DOG[8]（Difference of Gaussians）和平均值的方法對(duì)圖1所示的飲料瓶圖像進(jìn)行配準(zhǔn)和融合處理的結(jié)果圖像，圖像配準(zhǔn)這一步驟采用的是第二部分所介紹的SURF算法。

本實(shí)驗(yàn)設(shè)計(jì)的核心思想是對(duì)移動(dòng)物體的連續(xù)幀圖像進(jìn)行配準(zhǔn)（在此實(shí)驗(yàn)中，我們選取了中間圖像作為基準(zhǔn)圖像），然后對(duì)有用信息（沒有高光的區(qū)域）進(jìn)行融合，最后輸出圖像的合成結(jié)果。該實(shí)驗(yàn)主要包括兩個(gè)模塊：圖像配準(zhǔn)和圖像融合，以下分別對(duì)這兩個(gè)模塊進(jìn)行介紹。圖像配準(zhǔn)這一模塊主要包括以下4個(gè)主要步驟：

（1）特征檢測(cè)（采用fast Hessian-Laplace[3]算子來進(jìn)行SURF局部特征檢測(cè)）。

（2）特征描述（采用簡(jiǎn)單Harr[3]變換對(duì)SURF局部特征進(jìn)行描述）。

（3）特征匹配（采用1st和2nd最近鄰距離比進(jìn)行特征匹配）。

（4）計(jì)算變換矩陣（計(jì)算圖像配準(zhǔn)的變換矩陣參數(shù)，以便傳入圖像融合模塊進(jìn)行圖像融合處理）。

圖像融合模塊主要有以下幾個(gè)步驟：

（1）圖像配準(zhǔn)后，圖像變換矩陣被傳入圖像融合模塊。

（2）根據(jù)圖像變換矩陣結(jié)果，對(duì)齊所有圖像。

（3）采用取最小像素灰度值，取灰度平均值，DOG[8]和中值結(jié)合的方法對(duì)圖像進(jìn)行融合，并輸出最終圖像融合結(jié)果。

3 結(jié)果與分析

下圖5所示的分別是鋰電池和啤酒瓶蓋原始連續(xù)圖像，接下來我們將對(duì)這兩組連續(xù)圖像進(jìn)行實(shí)驗(yàn)，并給出最終合成結(jié)果圖像。

圖5 兩組原始實(shí)驗(yàn)數(shù)據(jù)(連續(xù)的幾幀圖像)

圖6是兩組原始圖像配準(zhǔn)后采用3種不同融合方法的融合結(jié)果，它們分別是基于取最小灰度值，取灰度平均值，DOG和中值結(jié)合的方法。通過多組實(shí)驗(yàn)對(duì)比，我們發(fā)現(xiàn)基于SURF特征的圖像配準(zhǔn)返回了正確的匹配結(jié)果，且取最小灰度值的融合方法效果比另外兩種方法好，且較為簡(jiǎn)單，融合結(jié)果令人滿意，基本達(dá)到了去除高光的目的，字跡都較為清晰，對(duì)于去除圖像高光而言，達(dá)到了理想的效果，有一定的理論和應(yīng)用價(jià)值。

圖6 最終融合結(jié)果

4 結(jié)論

本文提出了一種基于 SURF的連續(xù)幀圖像配準(zhǔn)及高光去除的方法，相比較于基于單張圖像去除高光的處理方法，該方法尤其適用于局部紋理比較多的物體，但對(duì)于那些紋理比較少或者結(jié)構(gòu)比較簡(jiǎn)單的物體的高光去除表現(xiàn)不佳。經(jīng)過反復(fù)實(shí)驗(yàn)驗(yàn)證，最小灰度值選取的方法尤其適用于連續(xù)幀圖像的高光去除，且該方法相比較于其他經(jīng)典的融合算法，它數(shù)據(jù)分析簡(jiǎn)單，執(zhí)行速度快，達(dá)到了理想的效果。

[1]Lee H-C.Method for computing the scene-illuminant chromaticity from specular highlights.Journal of the Optical Society of America A,1986,1(10).

[2]Noak C L,Shafer S A.Anatomy of a color histogram.In:Proc.Of the IEEE Computer Vision and Pattern Recognition.1992.599～605.

[3]Herbert Bay,Tinne Tuytelaars,and Luc Van Gool,SURF:Speeded Up Robust Features,ECCV,2006.

[4]Chipman L J,Orr T M and Lewis L N.Wavelets and image fusion,IEEE Transactions on Image Processing,3,pp.248-251,1995.

[5]張銳娟,張建奇,楊翠.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程,2009,Vol.38 No.1.

[6]Barbara Zitova,Jan Flusser,Image registr-ation methods:a survey,Image and Vision Computing 21 (2003)977–1000.