肖力煬,李 偉,高 榮,申 浩,王 孟

(長安大學 信息工程學院,西安 710064)

隨著人們生活水平的不斷提高,人們對生活用品的質量要求也日益提升,對產品的安全更是重視.在服飾的生產縫制過程中常常出現(xiàn)斷針現(xiàn)象,殘留在衣服和鞋子里的斷針、多余針頭等金屬異物會對人們的生命安全造成很大的傷害.上世紀70年代日本曾發(fā)生過一起紡織品斷針殘留導致兒童受傷致死的事件,后來日本立法《檢針法》明令所有紡織品以及與人體皮膚接觸的所有穿戴品進入市場前必須進行尖銳金屬異物檢測[1,2].

隨著服飾類加工行業(yè)的技術復雜度不斷提高,各種服飾內殘留斷針的風險也會增大,對服飾進行金屬異物的檢測也因此必不可少.對服飾的異物檢測通常是對其X 光圖像進行檢測,X 光具有穿透性[3,4],因此可以避免開包檢查成箱的服飾及鞋盒.傳統(tǒng)的服飾異物檢測手段主要是利用人工目檢進行識別.目前市面上主要存在兩種檢測機,一種是基于電磁感應方式,這種檢測方式無法感應微小斷針,且不能進行成箱級檢測[5];另一種是基于射線的人工目檢方法,通過人工分析經過檢針機的X 光圖像,判斷是否隱藏斷針,這種方法具有較強的主觀性,且人工目檢效率低,容易出現(xiàn)漏判和錯判現(xiàn)象[6].針對這些問題,本文采用深度學習的方法對服飾和鞋底異物進行目標檢測,讓機器代替人工去辨別異物圖像,拋棄了傳統(tǒng)檢測方法的缺點.

深度學習技術近幾年來發(fā)展迅速,其在圖像識別、目標檢測等領域都取得了很好的應用效果[7-10].近年來出現(xiàn)了Fast R-CNN[11]、SSD[12]、YOLO[13]、Faster RCNN[14]等一系列目標檢測算法,這些算法在一些公開數(shù)據集中都取得了不錯的檢測效果.因此也為自動判斷X 光圖像中是否存在金屬斷針提供了可能.

由于現(xiàn)有的服飾類檢測的相關產品和研究都較少,且目前沒有X 光服飾金屬異物自動檢測方面的研究,因此本文的主要工作是提出一種基于深度學習的X 光服飾異物檢測系統(tǒng),對生產線上的異物金屬X 光圖像進行檢測和預警.在采集服飾斷針的X 光圖像數(shù)據的同時使用深度學習算法迅速有效地篩選出含有異物金屬的服飾,并將這些異物圖像標注出來,通過系統(tǒng)畫面展示給用戶,同時通過蜂鳴器及閃爍的報警燈提示用戶發(fā)現(xiàn)異物金屬.經過驗證,此檢測系統(tǒng)的正確率能夠達到95%以上,可以有效檢測鞋飾內殘留的斷針,該方法可以用于檢測遺留在不同類型鞋子中的訂書針、細鐵屑、斷針、鞋釘、鋼珠等不同形狀的鐵質金屬異物,有效降低了異物檢針機的使用成本,提高了對殘留在服飾鞋類中斷針的檢測效率.

1 異物檢測系統(tǒng)介紹

本文提出了一種基于深度學習的X 射線鞋底異物檢測系統(tǒng).首先將鞋子依次放在傳送帶上送入檢針機,經過X 光照射采集圖像,之后通過深度學習網絡模型識別當前圖像是否含有金屬異物,并檢測異物所處位置,如果判斷為含有異物則通過蜂鳴器報警,最后將檢測結果通過圖像界面展示出來.整體流程框圖如圖1所示.

圖1 金屬異物檢測流程框圖

1.1 圖像預處理

圖2(a)為殘留在鞋子和鞋盒中的訂書針、斷針、鞋釘?shù)冉饘俅螽愇?圖2(b)為殘留的鋼珠等小異物.由于采集到的圖像本身存在噪聲干擾,因此需要對拍攝的X 光圖像進行圖像預處理.

本文采用Sobel 梯度算子銳化來增強圖像中的異物.圖像銳化處理的目的是為了增強圖像的邊緣及灰度跳變的部分,使圖像的細節(jié)變得清晰.它可以突出圖像上地物的邊緣、輪廓,或某些線性目標要素的特征,提高地物邊緣與周圍像元之間的反差,因此也被稱為邊緣增強.通常采用微分運算可以達到該效果.

Sobel 算子有兩個,一個是檢測水平邊緣的;另一個是檢測垂直邊緣的.Sobel 算子對于像素的位置的影響做了加權,可以降低邊緣模糊程度,因此效果更好.本文采用的是3×3 模板,水平方向和垂直方向梯度公式如式(1)和式(2)所示,模板如圖3所示.

圖2 不同形狀的金屬異物

圖3 Sobel 梯度算子

經過銳化后的圖像再進行中值濾波,消除圖像中的椒鹽噪聲的同時可以保留跳變點的尖銳度.圖4為圖像為處理前和處理后的結果,從圖中可以看出,預處理之后的這些金屬異物變得更加清晰可見,有利于后續(xù)模型的訓練和檢測.

圖4 圖像預處理后的效果

1.2 Faster R-CNN 算法

目標檢測領域的算法從RCNN 開始,通過引入卷積神經網絡取得了很大的進展,但由于選擇性搜索(selective search)產生候選區(qū)域這一步,需要耗費大量的時間,還是未能擺脫傳統(tǒng)的區(qū)域建議算法的限制[15].后來提出的Fast R-CNN 算法[11]中提到如果去除區(qū)域建議的算法,網絡就可以接近實時進行檢測,其中的原因是,卷積神經網絡運行在GPU 上,而選擇性搜索是運行在CPU 上的.為了進一步減少檢測網絡的運行時間,微軟的任少卿等提出了最新的目標檢測方法Faster R-CNN[14],這種方法從提高區(qū)域建議的速度出發(fā)提出了區(qū)域建議網絡RPN (Region Proposal Network)并通過GPU 實現(xiàn)了快速區(qū)域建議的運算,RPN的出現(xiàn)代替了之前的選擇性搜索方法,它和檢測網絡共享全圖的卷積特征,使得區(qū)域建議檢測幾乎不花時間.Faster R-CNN 在生成區(qū)域建議上的改進,使得目標檢測的效率得到了極大的提升.現(xiàn)如今,Faster R-CNN 不僅用于物體的檢測,還可以用于許多商業(yè)的領域,如服裝檢測,人臉識別等,已經成為了通用的檢測框架.因此本文采用Faster R-CNN 模型作為鞋服金屬異物的檢測算法.

Faster R-CNN的網絡結構如圖5所示.待檢測圖像沒有固定的尺寸要求,網絡結構中的ROI Pooling 層用來將輸入圖像的尺寸轉換為固定尺寸,以滿足后續(xù)全連接網絡層的要求.待檢測圖像首先通過深度神經網絡來生成圖像特征,這些特征既被候選的RPN 使用,又被后續(xù)的檢測過程使用,即實現(xiàn)了兩個不同目的的特征共享,這也就是圖中被稱為共享神經網絡的原因.

圖5 Faster R-CNN 算法的網絡結構

Faster R-CNN 提出了一種加速區(qū)域建議計算的方法,即建立RPN 網絡.RPN是Faster R-CNN 中的核心部分,RPN的網絡結構如圖6所示.其輸入數(shù)據是來自共享卷積網絡的輸出,維度是1×512×38×50,即1 張圖片,512 個特征圖(feature map),每個feature map的尺寸是38×50.用一個滑動窗口(3×3的卷積核)在一個卷積特征圖上進行滑動,這個卷積特征圖是由共享卷積網絡得到,滑動操作可以獲得一個512 維的向量,將這個向量送入到兩個平行的全連接層,即分類層(cls layer)和位置回歸層(reg layer),用來得到分類信息和位置信息.

圖6 RPN 結構模型

每個滑動窗口的中心會對應k個錨點(anchor).每個anchor 都會對應不同種的尺寸和長寬比.RPN 使用3 種尺寸{128×128,256×256,512×512}和3 種長寬比{1:1,1:2,2:1},所以每個滑動窗口就有3×3=9 個anchor.相應的,在每個滑動窗口的位置同時預測9 個區(qū)域建議,所以位置回歸層有4×9 個輸出,代表9個區(qū)域建議框的位置坐標;分類層有2×9 個輸出,代表對每個建議框是否是目標的概率.

為了訓練RPN,對于每個anchor 需要先定義一個二值類別標簽(判斷是否是異物).本文規(guī)定,正標簽為:(1)與真實窗口有最高IoU 重疊率的anchor;(2)與任意真實窗口的IoU 大于0.7的anchor.負標簽為:與所有真實窗口的IoU 都小于0.3的anchor.舍棄那些既不是正標簽也不是負標簽(IoU 在0.3 到0.7 之間)的anchor.

本文對損失函數(shù)定義為式(3):

其中,i代表anchor的索引,pi代表anchor 預測為目標的概率,如果該anchor為正標簽時p?i=1,為負標簽時p?i=0.ti={tx,ty,tw,th}是一個向量,表示預測框的4 個坐標,ti?是與正標簽對應的真實窗口的坐標向量.式(4)Lcls(pi,p?i)是兩個類別(是否是目標)的對數(shù)損失;式(5)Lreg(ti,ti?)是回歸損失;式(5)中R是SmoothL1函數(shù),即式(6).p?i Lreg意味著只有當p?i=1(即判斷為目標時)才有回歸損失.

Ncls和Nreg都是設定值,λ為平衡因子,用來權衡分類損失和回歸損失,λ值越大越重視回歸,λ值越小越重視分類(文中 λ取10).

1.3 實現(xiàn)細節(jié)

本文使用的數(shù)據是由檢針機中內置的X 光相機拍攝的鞋子X 射線圖像(如圖7所示),由于X 光相機采集到的圖像尺寸很大[16-18],且為了提高運行效率,數(shù)據在進入模型訓練之前必須要resize 將尺寸變小,由于斷針鋼珠等金屬異物本身就是小目標,resize 之后會變得更小,因此需要在resize的同時對標注文件中每個異物點的標注框也進行相應的擴大,才能保證模型訓練時的匹配.

本文使用VIA 標注工具進行鞋底異物的標注,對于每一個標注文件,在進入模型訓練之前采用程序對標注框的4 個頂點坐標進行擴大,使得圖像resize 之后仍然可以完整包圍異物點,圖8中的內框為原始標注框,外框為擴大之后的框.

圖7 采集不同種類的鞋底X 光圖像

圖8 微調標注框的結果

2 實驗結果與分析

2.1 數(shù)據采集及環(huán)境平臺

圖9為本文開發(fā)的鞋底金屬異物檢針機,表1為該檢針機的技術參數(shù).為了模擬鞋服中殘留金屬異物的情況(訂書針、細鐵屑、斷針、鞋釘、鋼珠等),如圖10所示,在進入X 射線拍攝之前人為的在每雙鞋子中放入不同種類和個數(shù)的金屬異物,按順序依次送入檢針機,經過內置的X 射線相機照射采集鞋子X 光圖像并保存到計算機中,用于模型的訓練和測試.為了適用于多種版型的檢測對象,本實驗使用的數(shù)據有板鞋、休閑鞋、運動鞋、拖鞋等多種鞋型以及裝箱的鞋子數(shù)據.本實驗采集的X 光圖像共計9851 張,按9:1的比例將樣本數(shù)據隨機劃分為訓練集和測試集,即訓練集8866 張,測試集985 張,每張圖像的尺寸為5000×1024像素.

圖9 鞋服金屬異物檢測機

表1 鞋底異物檢針機的技術參數(shù)

圖10 模擬鞋子生產中殘留的金屬異物

本文使用MMDetection 深度學習目標檢測工具箱來實現(xiàn)Faster R-CNN 算法,MMDetection是一個基于Pytorch的開源對象檢測工具箱,支持Faster R-CNN,Mask R-CNN,Fast R-CNN 等主流的目標檢測框架[19,20],其優(yōu)點是訓練速度快、所需顯存小.本文實驗所使用的實驗設備以及軟件版本的詳細信息如表2所示.

為有效訓練Faster R-CNN 模型,本文設置初始學習率為0.02,動量參數(shù)為0.9,權重衰減為0.0001,總共迭代100 次,batch size 設為1,訓練過程中的loss 曲線如圖11所示,可知,迭代50 次以后loss 基本趨于平穩(wěn).

表2 實驗環(huán)境配置詳情

圖11 異物檢測模型損失函數(shù)loss 曲線

2.2 實驗對比

為了驗證該方法的有效性,本文采用精度(Pr)、召回率(Re)和平均精度(AP)對模型進行評價,計算公式如下.

其中,TP表示正確提取異物信息的個數(shù),TN表示正確識別背景信息的個數(shù),FN表示未被檢測出來的異物信息個數(shù),FP表示錯誤提取異物信息的個數(shù).AP是Pr-Re 曲線下的面積,可以反映模型的性能好壞,該值越大代表模型性能越好.

實驗結果的PR曲線如圖12所示,由圖可知,加了預處理和調整標注框之后的模型性能最優(yōu).表3是模型訓練結果的AP值,分別對是否經過圖像預處理和調整標注框進行了對比,從表中可以看出,僅使用Faster R-CNN 模型對異物進行識別,檢測精度只有13.9%,只能識別到部分的大異物,像鋼珠點等小異物根本無法檢測到.而經過圖像銳化和濾波操作之后,異物變得清晰可見,檢測精度也有了提升.同時針對圖像本身尺寸大、異物目標小的問題,對標注文件進行改動(擴大標注框),可以防止resize 縮小尺寸之后目標看不見的情況.經過這些改進,檢測精度提升到了97.3%,因此本文提出的模型可以有效檢測遺留在鞋底中的金屬異物.

圖12 異物檢測模型的P-R 曲線

表3 鞋底數(shù)據模型訓練結果

2.3 檢測結果

圖13展示了一些鞋底異物的檢測效果,從圖中可以看出,該方法可以正確區(qū)分鞋子的鞋帶環(huán)和金屬異物,對于復雜的異物形態(tài),以及不同種類的金屬異物均可以做到精準的檢測.

實驗結果表明,該系統(tǒng)對于不同種類以及有復雜背景的鞋子,都能達到準確的區(qū)分,具有可靠的精度.且通過此深度學習訓練出來的模型不需要對每一款鞋型進行專用的模版設計,有效降低了異物檢測機的使用成本,提高了對殘留在服飾鞋類中斷針的檢測效率.

3 結束語

本文提出了一種基于深度學習的X 射線鞋底異物檢測系統(tǒng),在采集鞋底斷針X 光圖像數(shù)據的同時使用深度學習算法迅速有效的篩選出含有異物金屬的服飾,并將這些異物定位.通過實驗表明,采用圖像預處理和調整標注框之后有效提高了模型的檢測精度.經過驗證,此檢測系統(tǒng)的平均精度能夠達到97%以上,可以有效檢測遺留在不同類型鞋子中的訂書針、細鐵屑、斷針、鞋釘、鋼珠等鐵質金屬異物,具有非常重要的商業(yè)價值.

圖13 不同鞋底異物檢測結果(包含鋼珠、斷針、鐵釘?shù)?