劉揚東 王璐 李棟

?

針對檢疫物的CT圖像著色和自動識別方法研究*

劉揚東1王璐2李棟2

（1.中華人民共和國廣州白云機場海關(guān) 2.同方威視技術(shù)股份有限公司）

針對CT檢疫設(shè)備在識別檢疫物時出現(xiàn)誤報、漏報等問題，提出一種基于深度學(xué)習(xí)的CT圖像著色和自動識別方法。通過采集檢疫物的名稱、形態(tài)和數(shù)量等屬性，建立檢疫物和安全品數(shù)據(jù)庫；重建CT圖像的密度、等效原子序數(shù)等三維形狀特征；提取三維物體特征的3個歸一化正交截面，作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，使用多輸入的卷積神經(jīng)網(wǎng)絡(luò)進行三維物體識別。同時，對金屬、輕薄物、種子和水果等檢疫物進行CT圖像著色方法的改進，提高了檢疫物的顯示效果。在Python平臺進行深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練，結(jié)果表明，CT檢疫設(shè)備檢出準(zhǔn)確率提高了約20%。

深度學(xué)習(xí)；圖像著色；圖像自動識別

0　引言

隨著現(xiàn)代電子商務(wù)和跨境物流的快速發(fā)展，我國與世界各地往來的快件、郵寄物品數(shù)量激增，品種逐漸復(fù)雜。其中，郵寄動植物產(chǎn)品、診斷試劑、植物種子、化礦、輕紡以及其他禁止出入境物品等檢疫物，不斷呈快速增長態(tài)勢[1-2]。這些危險性有害檢疫物給我國生態(tài)環(huán)境、農(nóng)業(yè)生產(chǎn)等國家公共安全帶來較大的風(fēng)險和威脅。

針對此類情況，CT型動植物智能檢疫設(shè)備在某快件監(jiān)管中心投入使用。該設(shè)備可生成被測行李物品的三維立體影像，多角度觀察行李物品內(nèi)部的分布和層次；并通過獲取被測物品密度及原子序數(shù)等多維信息，對肉類、乳制品、動物及制品等重點監(jiān)管對象進行有效識別和自動報警。該設(shè)備采用的檢疫專用算法，可對檢疫物區(qū)分賦色、自動報警。但在使用中存在誤報和漏報的情況，給查驗人員判斷成像中的檢疫物帶來一定困擾。

為了解決此問題，本文研究了針對檢疫物的CT圖像著色方法和基于深度學(xué)習(xí)的自動識別算法。根據(jù)海關(guān)和安檢部門列明的主要檢疫物種類，建立郵寄物品數(shù)據(jù)庫，提取和重建郵寄物品特征，作為深度學(xué)習(xí)優(yōu)化網(wǎng)絡(luò)的輸入，并優(yōu)化檢疫物著色，提高CT檢疫設(shè)備自動識別能力和顯示效果。

1 　基于深度學(xué)習(xí)的自動識別算法

從CT成像著手，建立檢疫物和安全品數(shù)據(jù)庫，采用深度學(xué)習(xí)優(yōu)化檢疫物自動識別算法。

1.1　搭建數(shù)據(jù)庫

檢疫違禁物品種類繁多，用傳統(tǒng)的機器學(xué)習(xí)方法，難以設(shè)計有效提取郵寄物品復(fù)雜特征和識別違禁物品的模型。深度學(xué)習(xí)以盡可能多的CT圖像作為輸入樣本，且對輸入樣本的縮放、平移和扭曲等特性處理保持高度不變性；訓(xùn)練過程的特征融合[3-4]，提高了復(fù)雜特征提取算法的準(zhǔn)確率。

為提高檢疫物的復(fù)雜特征識別率和抗干擾能力，本文建立具有良好擴展性的專用檢疫CT圖像數(shù)據(jù)庫，主要包括檢疫物數(shù)據(jù)庫和安全品數(shù)據(jù)庫2部分。

檢疫物數(shù)據(jù)庫中采集的檢疫物種類主要以中國農(nóng)業(yè)部、原國家質(zhì)檢總局第1712號公告里列明的主要檢疫物為準(zhǔn)。

安全品數(shù)據(jù)庫采集的非檢疫物種類包括檢疫物外的所有物品。

采集數(shù)據(jù)的方式：在CT檢疫設(shè)備中采集每種檢疫物，依次放置在托盤、紙箱及加入干擾物的紙箱中；變換姿態(tài)進行采集，并記錄檢疫物的名稱、形態(tài)、數(shù)量和質(zhì)量等屬性。

為提高自識別模型的抗干擾能力，對原始采集的成像數(shù)據(jù)進行亮度、對比度調(diào)節(jié)和隨機反轉(zhuǎn)等預(yù)處理，并以固定的數(shù)據(jù)結(jié)構(gòu)形式存入數(shù)據(jù)庫，以備算法后續(xù)使用。

1.2　CT圖像的自動識別

目前，CT檢疫設(shè)備主要利用CT重建得到密度、等效原子序數(shù)等物質(zhì)屬性，輔以弱形狀和紋理特征，對檢疫物進行識別和分類。此方法對具有強可分性的違禁物品識別取得良好效果，如爆炸物。但由于檢疫物種類較多，其組成和物理屬性也比較復(fù)雜，CT檢疫設(shè)備應(yīng)用存在一定的局限性。

通過對檢疫物成像的觀察和分析，得知檢疫識別的目標(biāo)多呈現(xiàn)較強的三維形狀特征。將三維物體的形狀和紋理特征作為深度神經(jīng)網(wǎng)絡(luò)優(yōu)化模型的輸入，可進一步區(qū)分物理屬性重疊的檢疫物與安全品，提高三維物體識別的準(zhǔn)確率。

三維檢測分為三維物體生成、三維物體數(shù)據(jù)預(yù)處理和三維物體識別3個主要步驟。

1.2.1三維物體生成

三維物體生成流程如圖1所示。采用CT設(shè)備的最大密度投影，獲取一定厚度檢疫物的最大CT值，建立檢疫物的特征概率模型。在體素投影的背景平面上，構(gòu)建具有所有或部分高強化密度特征的三維標(biāo)記矩陣。對密度特征值相同或相似區(qū)域進行三維標(biāo)記連通（連通體遍歷），得到標(biāo)記的三維物體。采用合并和篩選優(yōu)化標(biāo)記的方法，最終生成三維物體。

1.2.2三維物體數(shù)據(jù)預(yù)處理

為規(guī)范卷積神經(jīng)網(wǎng)絡(luò)的輸入，對每個生成的三維物體進行預(yù)處理，如圖2所示?？紤]到算法的實用性和運算效率，本文提取三維物體的3個正交截面作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。

在高分辨率下，將生成的三維物體進行三維數(shù)據(jù)點重采樣。利用采樣矩陣旋轉(zhuǎn)和平移運算實現(xiàn)三維物體不同視角的變換。統(tǒng)計三維物體面積的總體分布，割離3個正交截面，分別歸一化每個通道的三維物體樣本數(shù)據(jù)。

圖1 　三維物體生成流程圖

圖2　 三維物體數(shù)據(jù)預(yù)處理流程圖

1.2.3三維物體識別

卷積神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域的一種典型結(jié)構(gòu)，具有局部連接、權(quán)重共享、空間上的重采樣以及一定程度的平移縮放不變性等。本文采用多輸入的卷積神經(jīng)網(wǎng)絡(luò)識別三維檢疫物。

對CT圖像進行卷積運算，以提取檢疫物不同特征。卷積層只能提取如邊緣、線條和角等低級特征，而多層網(wǎng)絡(luò)能從低級特征中迭代提取更復(fù)雜的著色紋理特征。

在卷積層之后，得到維度較大的CT圖像特征圖。將特征圖切成幾個區(qū)域，取其最大值或平均值，得到新的、維度較小的特征圖。

在多層卷積識別過程中，為降低維度，卷積神經(jīng)網(wǎng)絡(luò)引入池化層，通過降采樣來避免過擬合[5]。池化（降采樣）函數(shù)通常取一個區(qū)域內(nèi)神經(jīng)元輸出的最大值或平均值。

訓(xùn)練使用反向傳播算法計算梯度，隨機梯度下降更新參數(shù)為

本文采用的卷積神經(jīng)網(wǎng)絡(luò)輸入為3個正交截面的歸一化圖像，每個輸入圖像對應(yīng)一個特定方向的二維卷積神經(jīng)網(wǎng)絡(luò)。經(jīng)過多層前饋后的特征向量進行融合，融合后的特征向量進行部分的全連接層處理，最終輸出三維物體類別標(biāo)簽概率分布。

2　CT圖像著色方法優(yōu)化

優(yōu)化檢疫物的著色顯示，有利于查驗人員通過CT圖像顏色精細區(qū)分物品種類。著色方法優(yōu)化包括3部分：

1）金屬顯示優(yōu)化，對金屬弱化顯示；

2）輕薄物體顯示優(yōu)化，通過調(diào)整看圖軟件的透明度進行觀察；

3）按檢疫物種類著色優(yōu)化，根據(jù)檢疫物的物理屬性，建立物品種類和顏色的對應(yīng)關(guān)系，強化不同有機物類別的視覺區(qū)分。原本只呈現(xiàn)橙色的有機物品，根據(jù)密度、原子序數(shù)等信息的不同，賦予不同的擴展顏色，如種子（苗）、蔬菜等顯示為紫色或紫紅色；水果等顯示為紅色或橙紅色；肉制品等顯示為亮黃色或橙黃色。

3　實驗驗證

實驗的硬件環(huán)境為Intel(R) Core(TM) i5-7200U CPU @ 2.50 GHz，內(nèi)存4 G，實驗平臺Python for Win10。為驗證本文提出的CT圖像著色方法和基于深度學(xué)習(xí)的自動識別算法的有效性，對金屬、輕薄物、種子、水果和肉制品檢疫物的CT圖像進行實驗測試。

3.1　著色實驗與結(jié)果分析

金屬（金屬罐頭）顯示優(yōu)化前后對比如圖3所示。

圖3　 對金屬CT圖像的著色

輕薄物體（燕窩）顯示優(yōu)化前后對比如圖4所示。

圖4　 對輕薄物CT圖像的著色

檢疫物種類著色優(yōu)化示例如圖5所示。

圖5 (a) 種子顯示效果示例（紫色&紫紅色）

CT原圖像受到噪聲干擾，成像后的三維圖像立體視覺效果較差，可辨識度低；通過CT圖像著色方法優(yōu)化后，增強了角度、輪廓和紋理等細節(jié)信息，得到辨別性強的三維立體圖具有較好的顯示效果。

3.2　CT圖像識別與結(jié)果分析

采用本文的卷積神經(jīng)網(wǎng)絡(luò)模型分別對識別算法優(yōu)化前后的種子、水果（蘋果）和肉制品的CT圖像進行檢測識別，實驗結(jié)果如表1所示。

表1 識別算法優(yōu)化前后的CT圖像識別結(jié)果

由表1可知：采用深度學(xué)習(xí)優(yōu)化CT圖像識別算法對3類檢疫物進行識別，CT圖像識別誤報率優(yōu)化后比優(yōu)化前低2倍；CT圖像識別平均檢出率優(yōu)化后比優(yōu)化前提高至少20%。

4 　結(jié)論

本文構(gòu)建檢疫物品和安全品CT圖像數(shù)據(jù)庫，采用深度學(xué)習(xí)優(yōu)化CT圖像識別方法，并對著色方法進行改進，有效提高CT檢疫設(shè)備的檢出率，大幅降低了誤報率。利用優(yōu)化后的顯示效果，可幫助查驗人員通過人工方式進一步進行判斷。該方法投入使用后，通過數(shù)據(jù)的不斷積累，深度學(xué)習(xí)網(wǎng)絡(luò)會繼續(xù)優(yōu)化模型，進一步提高自動查驗結(jié)果的準(zhǔn)確性。

[1] Couey H M, Chew V. Confidence limits and sample size in quarantine research[J]. Journal of Economic Entomology, 1986, 79(4):887-890.

[2] 閆世艷,陳艷,邊勇,等.從日本進境郵寄物中截獲傷殘短體線蟲[J].生物安全學(xué)報,2016,25(4):291-294.

[3] 何鑫,陳迅.基于深度學(xué)習(xí)與改進Gabor特征融合的FVR[J].計算機仿真,2018,35(11):356-361.

[4] Park S W , Park J , Bong K , et al. An Energy-Efficient and Scalable Deep Learning/Inference Processor with Tetra-Parallel MIMD Architecture for Big Data Applications[J]. IEEE Transactions on Biomedical Circuits and Systems, 2015, 9(6):838-848.

[5] Arino J, Jordan R, Van d D P. Quarantine in a multi-species epidemic model with spatial dynamics[J]. Mathematical Biosciences, 2005, 206(1):46-60.

Research on CT Image Coloring and Automatic Recognition Method for Quarantine Objects

Liu Yangdong1Wang Lu2Li Dong2

(1.Guangzhou Baiyun Airport Customs House of Guangzhou Customs District of the P.R.C 2.Nuctech Company Limited)

Aiming at the faults of automatic alarms such as false alarms and false negatives when CT equipment identifies quarantine objects, the deep learning for coloring and automatic recognition of CT image is adopted. We firstly collect the names, forms, quantities and other attributes of quarantine objects to establish a database of quarantine objects and safety products. Based the database, three-dimensional shape features is reconstructed, such as density and equivalent atomic number of CT images. Then, we extract three normalized orthogonal sections, as an input to the deep learning network, from three-dimensional object features. In the two-dimensional convolutional neural network with specific directions of CT images, multi-layer forward-backward feedback for feature fusion is used to optimize the identification and coloring of quarantine objects. The optimization model based on the deep learning network was established on the Python platform, and the objects such as metal, light and thin things, seeds and fruits are set for simulation. The results show that the detection accuracy of CT quarantine equipment increases by 20%.

Deep Learning; Image Coloring; Image Automatic Recognition

劉揚東，男，1977年生，工程碩士，高級工程師，主要研究方向：海關(guān)檢驗檢疫。E-mail: liushipyard@163.com

王璐，女，1982年生，碩士，工程師，主要研究方向：圖像處理與模式識別。E-mail: wanglu@nuctech.com

李棟，男，1985年生，碩士，工程師，主要研究方向：計算機視覺。E-mail: li.dong@nuctech.com

國家重點研發(fā)計劃（2018YFC0809203）；廣東檢驗檢疫局科技項目（2018GDK02）。