， ,3

(1.無(wú)錫太湖學(xué)院 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214064; 2.江蘇省物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)建設(shè)實(shí)驗(yàn)室，江蘇 無(wú)錫 214064; 3.江南大學(xué) 通信與控制工程學(xué)院，江蘇 無(wú)錫 214122)

0 引言

使用X射線進(jìn)行行李安全檢查是減少犯罪和恐怖襲擊風(fēng)險(xiǎn)的有效手段[1]。目前，X射線掃描儀在機(jī)場(chǎng)、火車(chē)站、地鐵站等場(chǎng)所安檢中已廣泛應(yīng)用。然而，當(dāng)危險(xiǎn)品目標(biāo)放置在一個(gè)緊密包裹中、被其他物品遮擋、存在旋轉(zhuǎn)等情況為基于X射線圖像進(jìn)行危險(xiǎn)品檢查制造了一些困難[2]。X射線圖像是透視投影的陰影圖像?；赬射線的檢查系統(tǒng)可通過(guò)圖像分割和偽彩色算法來(lái)提高X射線圖像的質(zhì)量。

目前，基于X射線的目標(biāo)自動(dòng)檢測(cè)方法通常為圖像匹配法，可分為基于灰度信息、基于變換域和基于特征的匹配法[3]。其中，基于特征的匹配法較為有效。采用的特征通常有角點(diǎn)特征[4]、尺度不變特征變換(scale invariant feature transform, SIFT)描述符[5]、快速魯棒特征(speed-up robust feature, SURF)描述符[6]等。由于危險(xiǎn)品目標(biāo)的姿態(tài)通常是多變的，為了從X射線圖像中獲得對(duì)姿態(tài)變化具有魯棒性特征，通過(guò)提取尺度不變特征是一種有效方法。

為此，采用了SIFT特征和隱式形狀模型(implicit shape model, ISM)構(gòu)建一種X射線圖像危險(xiǎn)品檢測(cè)方法。首先，采集具有不同目標(biāo)姿態(tài)的X射線圖像集合，通過(guò)SIFT特征方法提取關(guān)鍵點(diǎn)及其局部視覺(jué)描述符。然后，在訓(xùn)練階段，基于這些特征生成目標(biāo)ISM模型，將一個(gè)目標(biāo)對(duì)象通過(guò)特定類(lèi)外觀ISM模型中的部分視覺(jué)描述符來(lái)表示。在測(cè)試階段，將輸入圖像中提取的目標(biāo)描述符與ISM模型進(jìn)行匹配，通過(guò)投票機(jī)制來(lái)確定目標(biāo)所屬的類(lèi)別，以此實(shí)現(xiàn)危險(xiǎn)品目標(biāo)的檢測(cè)。對(duì)具有不同姿態(tài)的酒瓶和手槍這兩種危險(xiǎn)品進(jìn)行了檢測(cè)實(shí)驗(yàn)，結(jié)果證明了提出方法的有效性。

1 目標(biāo)表示與ISM模型

目標(biāo)表示分為3個(gè)步驟：1)采集訓(xùn)練圖像：采集具有代表性的危險(xiǎn)品X射線圖像; 2)提取SIFT關(guān)鍵點(diǎn)，利用SIFT特征提取方法獲得目標(biāo)的關(guān)鍵點(diǎn)信息；3)生成ISM模型：使用關(guān)鍵點(diǎn)和局部視覺(jué)描述符創(chuàng)建ISM模型。

1.1 訓(xùn)練圖像采集

訓(xùn)練數(shù)據(jù)集使用了N個(gè)X射線圖像。為了獲取目標(biāo)對(duì)象不同姿態(tài)的代表性X射線圖像，需要從不同視點(diǎn)獲取X射線圖像。為此，將目標(biāo)對(duì)象固定放置于一個(gè)塑料球體內(nèi)，通過(guò)旋轉(zhuǎn)球體來(lái)獲得不同視角的X射線圖像。其中，設(shè)定目標(biāo)對(duì)象的α、β、γ角度分別與球體的X、Y、Z軸相關(guān)聯(lián)。

然而，由于一部分圖像在視覺(jué)上是重復(fù)的，因此只有少部分被選擇為訓(xùn)練圖像。訓(xùn)練圖像數(shù)據(jù)庫(kù)包含了在以下角度獲得的100幅圖像：α∈{120°,150°,180°,210°,240°}、γ∈{120°,150°,180°,210°,240°}、β∈{0°,30°,60°,90°}。

1.2 提取SIFT關(guān)鍵點(diǎn)

用SIFT特征點(diǎn)檢測(cè)算子提取訓(xùn)練圖像集中每幅X射線圖像的關(guān)鍵點(diǎn)。

首先，需要找出在不同方向觀察物體時(shí)都不會(huì)受影響的位置和尺度。通過(guò)一個(gè)連續(xù)尺度函數(shù)來(lái)尋找穩(wěn)定的特征點(diǎn)，即將一個(gè)尺度可變的高斯函數(shù)與二維圖像I(x,y)進(jìn)行卷積，表達(dá)式如下[7]：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

式中，σ為尺度因子，G(x,y,σ)為高斯函數(shù)：

(2)

為了尋找L(x,y,σ)尺度空間的極大值點(diǎn)和極小值點(diǎn)，將每一個(gè)采樣點(diǎn)與同尺度的相鄰點(diǎn)進(jìn)行比較，將極值點(diǎn)對(duì)應(yīng)的采樣點(diǎn)作為特征點(diǎn)[8]。

然后，依據(jù)極值點(diǎn)鄰域像素的梯度方向分布特性，給每個(gè)極值點(diǎn)分配一個(gè)方向。每個(gè)取樣點(diǎn)的梯度模值和方向的表達(dá)式如下：

m(x,y)=

(3)

(4)

圖1所示為對(duì)一幅X射線圖像提取的SIFT特征點(diǎn)及其方向?？梢钥闯觯繕?biāo)物體的SIFT特征點(diǎn)能全部檢測(cè)到。

圖1 SIFT特征提取結(jié)果

1.3 生成ISM模型

在這個(gè)階段，基于提取出的SIFT特征，將一個(gè)目標(biāo)對(duì)象通過(guò)特定類(lèi)ISM模型中的部分視覺(jué)描述符來(lái)表示。

為了確保為對(duì)象的各個(gè)部分都能開(kāi)發(fā)有效的視覺(jué)描述符，需要將具有相似特征的視覺(jué)部分進(jìn)行聚類(lèi)以構(gòu)建一個(gè)局部外觀ISM模型。在本文中，使用一種了層次聚類(lèi)策略來(lái)進(jìn)行聚類(lèi)。在層次聚類(lèi)的初始化階段中，將每個(gè)SIFT特征fk分別分配到一個(gè)簇中。將簇間距離最小的簇(最相似的簇)按順序合并，直到滿足準(zhǔn)則條件。從形式上看，簇p被定義為包含全部SIFT特征fk的集合。對(duì)于p和q兩個(gè)簇，其距離度量可通過(guò)下式定義：

d(Cp,Cq)=min(dE(fp,fq))，fp∈Cp,fq∈Cq

(5)

(6)

式中，fp和fq為SIFT描述符，fp(i)和fq(i)分別是第i個(gè)元素的fp和fq。

當(dāng)一定數(shù)目或所有簇的類(lèi)間距離均大于某一閾值時(shí)，聚類(lèi)停止。在本文中，使用預(yù)定義類(lèi)別數(shù)作為準(zhǔn)則條件以實(shí)現(xiàn)更好的聚類(lèi)效果。對(duì)于各種目標(biāo)類(lèi)，預(yù)定義的類(lèi)別數(shù)M為400。那么，聚類(lèi)p的中心為ISM模型中的一個(gè)描述符[10]，定義為：

(7)

其中:np為簇Cp中關(guān)鍵點(diǎn)的數(shù)量；ISM模型根據(jù)各聚類(lèi)中心以及類(lèi)中樣本定義。

接下來(lái)，為目標(biāo)的每個(gè)簇進(jìn)行關(guān)鍵點(diǎn)聚合，簇p的聚合定義為集合Zp，其中p=1,…,M。Zp包含與Cp聚類(lèi)中心具有相似描述符的訓(xùn)練圖像的關(guān)鍵點(diǎn)。為此，Zp是一組坐標(biāo)zk=(xk,yk)，定義如下：

Zp={zk:dE(fk,Cp)<θ}

(8)

式中，fk為關(guān)鍵點(diǎn)zk的SIFT描述符。關(guān)鍵點(diǎn)的坐標(biāo)是相對(duì)于對(duì)象中心定義的。

2 目標(biāo)檢測(cè)

對(duì)X射線圖像的目標(biāo)檢測(cè)分為兩個(gè)階段：1)特征提取; 2) ISM模型匹配和投票。

2.1 特征提取

2.2 ISM模型匹配與投票

(9)

(10)

(11)

然后將所有這些投票的進(jìn)行融合，獲得該目標(biāo)中心位置分類(lèi)檢測(cè)的評(píng)分score(on,λ)：

(12)

最后，從全部候選檢測(cè)中選擇得分最高的作為最終檢測(cè)結(jié)果。

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)設(shè)置

利用MATLAB軟件對(duì)所提出方法進(jìn)行了實(shí)驗(yàn)評(píng)估。實(shí)驗(yàn)中的X射線圖像來(lái)源于配備數(shù)字X射線檢測(cè)儀(Canon CXDI-50G)，X射線發(fā)射管(Poskom PXM-20BT)的安檢儀器。X射線圖像大小為2208×2688像素。實(shí)驗(yàn)檢測(cè)兩種不同的危險(xiǎn)品目標(biāo)：手槍和酒瓶，如圖2所示。

圖2 行李中的危險(xiǎn)品目標(biāo)

3.2 訓(xùn)練和測(cè)試圖像

首先，對(duì)于每個(gè)目標(biāo)對(duì)象，采集具有特定姿態(tài)的X射線圖像。實(shí)驗(yàn)中所用的訓(xùn)練圖像的數(shù)量為：酒瓶100張以及手槍200張。由于手槍具有多種內(nèi)在的變化形狀，因此使用了更多的訓(xùn)練圖像。另外，所有的目標(biāo)對(duì)象都使用邊界框手動(dòng)注釋?zhuān)硎緸闃?biāo)記框BBgt，標(biāo)注了目標(biāo)對(duì)象在X射線圖像中的位置。

選用了兩組行李箱X射線測(cè)試圖像(每個(gè)目標(biāo)對(duì)象一組)。每個(gè)測(cè)試集由100張X射線圖像組成，又可分為以下3個(gè)子集：1)100張具有一個(gè)目標(biāo)對(duì)象的不同姿態(tài)圖像；2)30個(gè)具有兩個(gè)目標(biāo)對(duì)象的圖像；3)20張沒(méi)有目標(biāo)對(duì)象的圖像。即每個(gè)測(cè)試集包含Np=100+2×30=160個(gè)陽(yáng)性待測(cè)對(duì)象。另外，每一個(gè)X射線圖像中都包含多種非目標(biāo)對(duì)象(如衣物、充電線、筆記本電腦、CD、夾子、螺釘、鉗子、發(fā)卡等)。圖3給出了行李箱中不同姿態(tài)的手槍和酒瓶的X射線圖像。

圖3 不同姿態(tài)目標(biāo)的X射線圖像

3.3 性能評(píng)估

使用PASCAL視覺(jué)目標(biāo)分類(lèi)規(guī)則[13]作為性能度量。即：檢測(cè)邊界框BBdt與標(biāo)記框BBgt的標(biāo)準(zhǔn)化重疊區(qū)域ao大于θa時(shí)，判定檢測(cè)正確，通常設(shè)置θa=0.5，ao定義如下：

(13)

式中，BBdt∩BBgt表示兩框的公共區(qū)域，而B(niǎo)Bdt∪BBgt則表示兩框的合并區(qū)域，如圖4所示。

圖4 重疊區(qū)域規(guī)則的解釋

首先測(cè)量了整個(gè)數(shù)據(jù)集中真陽(yáng)性(TP)和假陽(yáng)性(FP)的樣本數(shù)量，即，所有滿足a0≥θa的樣本即為T(mén)P樣本，所有不滿足以上條件的樣本即為FP樣本。理想的情況下，TP=Np(Np為目標(biāo)對(duì)象總數(shù))，而FP=0。定義真陽(yáng)性率(TPR)為：TPR=TP/Np，假陽(yáng)性率(FPR)為：FPR=FP/Nn。其中，Nn為非目標(biāo)對(duì)象總數(shù)。圖5給出了算法對(duì)手槍和酒瓶檢測(cè)的受試者工作特性(ROC)曲線。可以通過(guò)計(jì)算ROC曲線下的面積來(lái)評(píng)估檢測(cè)性能。

圖5 酒瓶和手槍檢測(cè)的ROC曲線

可以看出，本文方法對(duì)酒瓶的檢測(cè)非常有效，在一個(gè)非常

低FPR處就能獲得高TPR，例如FPR=0.05時(shí)TPR=0.996。而對(duì)于手槍的檢測(cè)結(jié)果稍差，這是因?yàn)槭謽尀榉菍?duì)稱(chēng)的無(wú)規(guī)則形狀物體，由于其質(zhì)心與實(shí)際中心偏移較遠(yuǎn)，可能導(dǎo)致目標(biāo)內(nèi)外的分散檢測(cè)，檢測(cè)準(zhǔn)確度會(huì)下降。但在此不良因素下，本文方法依然獲得了可接受的結(jié)果，例如當(dāng)FPR = 0.12時(shí)，F(xiàn)PR = 0.99。

3.4 性能比較

將提出的方法與兩種已知的危險(xiǎn)品目標(biāo)檢測(cè)方法進(jìn)行比較。這兩種方法分別為：1)文獻(xiàn)[5]提出的基于傳統(tǒng)SIFT描述符和支持向量機(jī)分類(lèi)器的單視角X射線圖像檢測(cè)方法；2)文獻(xiàn)[6]提出的基于快速魯棒特征(SURF)描述符的X射線圖像檢測(cè)方法。

將酒瓶圖像測(cè)試集的100幅圖像作為測(cè)試集，計(jì)算每種算法的TP和FP的數(shù)量。其中，陽(yáng)性和陰性樣品數(shù)量分別為Np=100和Nn=1800。圖6給出了3種算法的ROC曲線。表1給出了在FPR=0.05時(shí)，所對(duì)應(yīng)的TPR值。可以看出，本文方法具有最佳性能，在FPR=0.05時(shí)，TPR=0.996，識(shí)別準(zhǔn)確性比其他方法有著明顯提高。

圖6 3種方法的ROC曲線比較

方法TPR0．05值提出的方法0．996文獻(xiàn)[5]0．826文獻(xiàn)[6]0．617

4 結(jié)束語(yǔ)

提出了一種可以在X射線圖像中自動(dòng)識(shí)別特定危險(xiǎn)品目標(biāo)的方法。通過(guò)采集多姿態(tài)的目標(biāo)圖像構(gòu)建訓(xùn)練集，通過(guò)SIFT算法提取目標(biāo)特征點(diǎn)來(lái)獲得目標(biāo)描述符，從而構(gòu)建目標(biāo)的ISM模型。在檢測(cè)過(guò)程中，通過(guò)目標(biāo)描述符合ISM模型的匹配結(jié)果來(lái)檢測(cè)危險(xiǎn)品。在包含多個(gè)非目標(biāo)物體的行李箱X射線圖像上進(jìn)行了相關(guān)實(shí)驗(yàn)，提出的方法都能夠有效的檢測(cè)出危險(xiǎn)品目標(biāo)并標(biāo)注其位置，對(duì)目標(biāo)姿態(tài)的變化具有很好的魯棒性。

在未來(lái)工作中，將進(jìn)一步提高對(duì)不規(guī)則形狀目標(biāo)的檢測(cè)性能，同時(shí)嘗試多視角X射線圖像的目標(biāo)檢測(cè)，以此提高檢測(cè)精度。

[1] 王小鵬, 于揮, 閆建偉. 一種基于X射線圖像和特征曲線的危險(xiǎn)品檢測(cè)方法[J]. 中國(guó)體視學(xué)與圖像分析, 2014,23(4):330-337.

[2] Mery D. Computer vision technology for X-ray testing[J]. Insight - Non-Destructive Testing and Condition Monitoring, 2014, 56(3):147-155(9).

[3] 董 浩. 基于多視角的X射線圖像分析方法研究[D]. 南京：東南大學(xué), 2016.

[4] 唐守軍, 吳洪武. 基于Snake模型和協(xié)作表示分類(lèi)的魯棒人臉識(shí)別方法[J]. 湘潭大學(xué)自科學(xué)報(bào), 2016, 38(2):104-108.

[5] Matravers D. Active X-ray testing of complex objects[J]. Insight - Non-Destructive Testing and Condition Monitoring, 2012, 54(1):28-35.

[6] Gong J H, Zhang J H, An Z Z, et al. An approach for X-ray image mosaicing based on Speeded-Up Robust Features[A]. International Conference on Wavelet Active Media Technology and Information Processing[C]. IEEE, 2012:432-435.

[7] 楊 敏, 賴惠成, 董九玲,等. 改進(jìn)SIFT融合五官特征的旋轉(zhuǎn)人臉檢測(cè)算法[J]. 計(jì)算機(jī)測(cè)量與控制, 2016, 24(4):189-192.

[8] Tao Y, Xia Y, Xu T, et al. Research Progress of the Scale Invariant Feature Transform (SIFT) Descriptors[J]. Journal of Convergence Information Technology, 2010, 5(1):116-121.

[9] Kher H R, Thakar V K. Scale Invariant Feature Transform Based Image Matching and Registration[A]. Fifth International Conference on Signal and Image Processing[C]. 2014:50-55.

[10] 張路平, 李 飚, 王魯平,等. 基于兩級(jí)隱式形狀模型的抗遮擋目標(biāo)跟蹤[J]. 國(guó)防科技大學(xué)學(xué)報(bào), 2013, 32(6): 96-102.

[11] Leibe B, Leonardis A, Schiele B. Robust Object Detection with Interleaved Categorization and Segmentation[J]. International Journal of Computer Vision, 2008, 77(1):259-289.

[12] 郭樹(shù)青, 趙鳳霞, 張琳娜,等. 基于Hough變換的金剛石顆粒測(cè)量方法研究[J]. 計(jì)算機(jī)測(cè)量與控制, 2015, 23(10):3260-3263.

[13] 趙永威, 李弼程, 柯圣財(cái). 基于弱監(jiān)督E2LSH和顯著圖加權(quán)的目標(biāo)分類(lèi)方法[J]. 電子與信息學(xué)報(bào), 2016, 38(1): 38-46.