周 有，郭志浩

(西安郵電大學(xué) 自動化學(xué)院，陜西 西安 710121)

隨著自動化和計算機技術(shù)的發(fā)展，工業(yè)自動化對工件的精準檢測與識別提出了更高的要求。工件檢測算法分為傳統(tǒng)的工件檢測算法和基于深度學(xué)習(xí)的工件檢測算法。傳統(tǒng)的工件檢測算法一般結(jié)合Blob特征[1]，Sobel算子[2]和圖像Hu矩[3]等通過模板匹配的方法對工件進行檢測。利用局部二值特征模式[4](local binary pattern,LBP)對不同工件特征進行多模式多尺度提取，可對工件進行匹配識別。在此基礎(chǔ)上，融合基于遺傳算法尋優(yōu)的梯度方向直方圖，增加了算法在形狀特征上的匹配效果[5]。文獻[6]提出基于角點通過閉合區(qū)域識別工件邊界，再根據(jù)邊界識別出不同幾何關(guān)系的角點類型。上述方法適用于特征區(qū)分度高，特征容易建立的場景，但在不同形狀、工件種類多的情況下的檢測精度較低，達不到工業(yè)場景的基本要求。

近年來，深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用于圖像分類[7]，目標(biāo)檢測[8]和圖像分割[9]等眾多復(fù)雜任務(wù)中。對工件的目標(biāo)檢測可轉(zhuǎn)換為目標(biāo)檢測問題。基于深度學(xué)習(xí)的目標(biāo)檢測算法可以分為兩類。一類是基于兩階段的區(qū)域目標(biāo)檢測算法，該類算法首先生成候選區(qū)域，然后放入分類器分類并對候選區(qū)域進行位置回歸。例如，區(qū)域卷積神經(jīng)網(wǎng)絡(luò)[10](region convolutional neural network，RCNN)、快速區(qū)域卷積網(wǎng)絡(luò)[11](fast region with convolution neural networks,Fast RCNN)、更快速區(qū)域卷積網(wǎng)絡(luò)[12](faster region with convolution neural networks,Faster RCNN)、空間金字塔池化網(wǎng)絡(luò)[13](spatial pyramid pooling network,SPP Net)及掩碼區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(mask region convolutional neural networks,Mask RCNN)[14]，此類算法檢測精度較高但速度慢。另一類算法以YOLO[15](you only look once)和單點多盒檢測器[16](single shot multibox detector，SSD)為代表，將目標(biāo)檢測問題轉(zhuǎn)換為回歸問題，通過默認的檢測框?qū)︻A(yù)測目標(biāo)進行回歸，該類算法檢測速度快，但對于小目標(biāo)檢測精度不高。相對于基于候選區(qū)域的目標(biāo)檢測算法，直接對預(yù)測邊界框進行回歸可以有效地提高檢測速率，但YOLO對原圖像進行網(wǎng)格劃分，較為粗糙，SSD雖然基于YOLO加以改進，對不同網(wǎng)絡(luò)層劃分了不同的尺度窗口，但對小目標(biāo)的檢測精度依然差于Faster RCNN。

以Faster RCNN網(wǎng)絡(luò)作為工件檢測的基礎(chǔ)框架，針對實際應(yīng)用場景存在部分光照較強或者光照較暗的工件無法檢測、網(wǎng)絡(luò)特征提取能力不佳、網(wǎng)絡(luò)模型擬合效果不夠，以及多種工件檢測中小目標(biāo)難以檢測等問題，提出一種改進Faster RCNN的工件檢測算法。先通過自動色彩均衡(automatic color equalization,ACE)算法統(tǒng)計圖像中的光照強度信息，將光照強度較大或較小的目標(biāo)處理為網(wǎng)絡(luò)模型最為敏感的光照強度分布，克服光照強度的影響。再通過增加按照固定比例設(shè)置的預(yù)定義錨點(Anchor)的數(shù)量并修改其尺寸優(yōu)化網(wǎng)絡(luò)模型，提高模型的學(xué)習(xí)能力，以期改善目標(biāo)尺寸差異大的影響，進一步提高小目標(biāo)工件檢測的準確率。

1 工件檢測算法

1.1 工件檢測算法的核心框架

結(jié)合Faster RCNN與ACE算法，構(gòu)建工件檢測算法模型。先將數(shù)據(jù)集制作成VOC 2007格式，生成目標(biāo)位置以及類別信息。然后通過ACE算法對輸入圖像進行處理，調(diào)整圖像中顏色和亮度的關(guān)系，實現(xiàn)局部以及非線性特征的色彩映射關(guān)系，利用差分計算目標(biāo)及其周圍圖像像素點的相對明暗關(guān)系矯正最終的像素值。最后，通過增加錨點個數(shù)并修改其尺寸改進區(qū)域建議網(wǎng)絡(luò)[17](region proposal network，RPN)，結(jié)合Fast RCNN交替優(yōu)化共享特征信息，提高網(wǎng)絡(luò)效率。工件檢測算法核心框架如圖1所示。

圖1 工件檢測算法的核心框架

1.2 Faster RCNN算法

Faster RCNN由區(qū)域建議網(wǎng)絡(luò)模塊RPN和目標(biāo)檢測模塊Fast RCNN組成。Faster RCNN采用交替訓(xùn)練使兩個網(wǎng)絡(luò)共享卷積層，RPN模塊采用“注意力”機制產(chǎn)生候選區(qū)域，讓Fast RCNN有方向的檢測目標(biāo)，同時縮短檢測時間并提升檢測精度。Faster RCNN網(wǎng)絡(luò)示意圖如圖2所示。

圖2 Faster RCNN網(wǎng)絡(luò)

RPN的基本思想是通過區(qū)域提議網(wǎng)絡(luò)在特征圖上找到所有可能的目標(biāo)候選區(qū)域，以任意大小的圖像作為輸入，輸出一組矩形的目標(biāo)提議。為了生成區(qū)域提議，在最后的共享卷積層輸出的卷積特征映射上滑動一個小網(wǎng)格，將輸入卷積特征映射的n×n空間窗口作為輸入，每個滑動窗口映射到一個低維特征，并被輸入到邊框回歸層和邊界框分類層。在每個滑動窗口位置同時預(yù)測多個區(qū)域提議，每個位置的最大可能建議數(shù)量為K,即對特征圖上的每個位置設(shè)置多個錨點，預(yù)測不同尺度和長寬的候選區(qū)域?；貧w層輸出4K個參數(shù)化坐標(biāo)，分類層輸出2K個目標(biāo)分數(shù)，RPN網(wǎng)絡(luò)示意圖如圖3所示。

圖3 區(qū)域建議網(wǎng)絡(luò)

Fast RCNN基于RPN產(chǎn)生的候選區(qū)域邊界框檢測并識別候選框中的工件。在訓(xùn)練時，首先將工件數(shù)據(jù)集送入網(wǎng)絡(luò)中，通過基礎(chǔ)網(wǎng)絡(luò)進行特征提取，再通過RPN產(chǎn)生候選區(qū)域映射至特征圖，感興趣區(qū)域(region of interest，ROI)產(chǎn)生固定大小的特征圖送入全連接層，輸出目標(biāo)置信度和位置信息。RPN 和Fast RCNN共享特征提取網(wǎng)絡(luò)，實現(xiàn)高效檢測。

Faster RCNN使用多任務(wù)損失函數(shù)度量工件檢測網(wǎng)絡(luò)模型預(yù)測值與真實值之間的差值，包括分類損失和回歸損失，計算表達式為

(1)

2 改進Faster RCNN的工作檢測算法

2.1 基于ACE算法的光照處理

工業(yè)場景下，針對光照直接影響待檢測工件的檢測精度，部分光照較強或者較暗的工件無法檢測的問題，考慮到圖像中顏色和空間位置關(guān)系，采用 ACE算法對數(shù)據(jù)集進行處理。該算法對圖像進行局部特性的自適應(yīng)濾波，利用差分計算目標(biāo)與周圍圖像像素點的相對明暗關(guān)系，校正最終的像素值，從而提高網(wǎng)絡(luò)的學(xué)習(xí)能力。算法主要包括以下兩部分。

1)對圖像進行色彩以及空域的調(diào)整，完成圖像的色差矯正，得到空域重構(gòu)圖像。調(diào)整空域后，待處理像素點p與其周圍像素點j的差值表示為

(2)

式中：c為色道；S為工件圖像中參與運算的所有像素點的子集；Ic(p)-Ic(j)為工件圖像兩個不同像素點之間的亮度差值；d(p,j) 為兩點之間的距離度量函數(shù)；r(·)為相對亮度函數(shù)，表示一個點與其周圍點的相對亮度差值，放大圖像中較小的差異，并豐富較大的差異。一般情況下，

其中，T為飽和界限。距離度量函數(shù)采用曼哈頓距離公式表示，即

d(i,j)=|xi-xj|+|yi-yj|

其中，xi和yi為圖像中i點的坐標(biāo)，xj和yj為j點的坐標(biāo)。

2)對于彩色圖像，需要進行紅綠藍(red green blue,RGB)三通道單獨處理，然后合并為一幅完整圖像。對式(2)處理后的工件圖像進行動態(tài)擴展，擴展方式為

Oc(p)=round[127.5+ScRc(p)]。

式中：Oc為通道c的工件圖像；Sc為線段(mc,0)到(Mc,255)的斜率，其中

mc=min[Rc(p)]，

Mc=max[Rc(p)]。

最后將線性擴展后的數(shù)據(jù)映射到[0,255]空間中，得到處理后的工件圖像

2.2 RPN網(wǎng)絡(luò)改進

Anchor的數(shù)量是RPN網(wǎng)絡(luò)中非常重要的超參數(shù)，直接影響了后續(xù)候選區(qū)域的生成。在Faster RCNN的源代碼中，每個滑動窗口產(chǎn)生9種Anchor，包括128×128、256×256和512×512等3種尺度，以及1∶1、1∶2和2∶1等3種比例。但是，工件數(shù)據(jù)集中,5個目標(biāo)的像素點分布范圍在30×40～60×80之間，默認的Anchor參數(shù)對小目標(biāo)工件無法召回，因此，在默認Anchor設(shè)置的基礎(chǔ)上，增加一組64×64的Anchor，則RPN每個滑動窗口產(chǎn)生12組Anchor，尺度大小分別為64×64、128×128、256×256和512×512，縱橫比分別為1∶1、1∶2和2∶1，從而提高模型對工件的檢測精度。

3 實驗分析

3.1 實驗環(huán)境配置

實驗在GeForce GTX 1080 Ti GPU，內(nèi)存為8 GB Windows 10操作系統(tǒng)中,利用CUDA 8.0以及CUDNN 6.0加速深度學(xué)習(xí)運算，基于Tensorflow-GPU 1.4.0學(xué)習(xí)框架進行相關(guān)代碼和參數(shù)的訓(xùn)練。運行環(huán)境為Pyhon 3.5，網(wǎng)絡(luò)框架Faster RCNN選用在ImageNet[18]分類預(yù)訓(xùn)練網(wǎng)絡(luò)視覺幾何組16(visual geometry group，VGG-16)進行權(quán)重初始化。在訓(xùn)練工件檢測網(wǎng)絡(luò)模型時，學(xué)習(xí)率為0.001，批量大小為256，迭代次數(shù)為80 000次。

3.2 構(gòu)建數(shù)據(jù)集

工件檢測的數(shù)據(jù)集來源于某公司，共1 200張工件圖片，每張圖片包含小洞(hole)、大洞(bighole)、螺絲正裝(nut)、螺絲反裝(bolt)和鉚釘(rivet)等5種工件類別。各類工件數(shù)目統(tǒng)計如表1所示。隨機按照4∶1的比例分為訓(xùn)練集和測試集，根據(jù)實驗要求對各類工件進行人工標(biāo)注，人工標(biāo)注的工件類別及位置信息如圖4所示。

表1 工件數(shù)目統(tǒng)計

圖4 人工標(biāo)注圖片數(shù)據(jù)

3.3 實驗結(jié)果和分析

利用多任務(wù)損失函數(shù)式(1)對改進的Faster RCNN算法進行迭代訓(xùn)練，訓(xùn)練過程中記錄每一次迭代邊框回歸和分類回歸產(chǎn)生的損失值，繪制損失函數(shù)迭代曲線，如圖5所示。可以看出，算法在迭代40 000次后開始收斂。

圖5 損失函數(shù)迭代曲線

根據(jù)平均精度(average precision，AP)和平均準確率均值(mean average precision，mAP)兩種評估指標(biāo)[19]，分別對比改進前后Faster RCNN網(wǎng)絡(luò)模型的檢測精度。AP衡量網(wǎng)絡(luò)模型對給定工件類別的檢測精度，mAP衡量網(wǎng)絡(luò)模型對所有工件類別的檢測精度。改進前后Faster RCNN網(wǎng)絡(luò)模型的AP以及mAP如表2所示。

表2 改進前后的AP以及mAP變化

由表2可以看出，改進后Faster RCNN的測試精度提升了3.6%，網(wǎng)絡(luò)的擬合能力得到了明顯提高。

原算法與改進算法在實際圖片中的檢測結(jié)果如圖6所示?？梢钥闯?，圖6(b)相對于圖6(a)能檢測出更多的工件，且置信度也較高,表明改進算法能有效優(yōu)化網(wǎng)絡(luò)模型，檢測效果好。

圖6 改進前后算法檢測結(jié)果對比

4 結(jié)語

結(jié)合ACE算法，基于Faster RCNN提出了一種改進Faster RCNN的工件檢測算法。首先通過ACE算法處理工件圖像的像素點分布，改善光照不均問題，然后通過修改RPN網(wǎng)絡(luò)中錨點的個數(shù)及尺寸提高網(wǎng)絡(luò)模型的擬合能力，解決了多種工件目標(biāo)尺寸差異大對檢測結(jié)果的影響。實驗結(jié)果表明，改進算法對多種工件的檢測精度有明顯提升。