吳蓬勃，張金燕，王拓，張靜

（1.石家莊郵電職業(yè)技術(shù)學院，河北省高?？爝f智能技術(shù)與裝備應(yīng)用技術(shù)研發(fā)中心，河北石家莊，050021；2.河北工程技術(shù)學院，河北石家莊，050091）

0 引言

近年來，作為現(xiàn)代流通體系重要組成部分的郵政快遞業(yè)正向著數(shù)字化、智能化方向快速發(fā)展。隨著交叉帶分揀、擺輪分揀、AGV 分揀等技術(shù)的不斷成熟，快遞包裹的分揀效率逐步提高；但是，快遞包裹中占比10%以上的超輕、超薄異形件[1～2]仍然需要人工分揀，分揀效率一直無法提高。

經(jīng)分析發(fā)現(xiàn)：傳統(tǒng)分揀機主要依靠包裹自身重力脫離分揀機托盤，進而落入指定格口實現(xiàn)分揀；但是輕薄件無法通過重力掉落并且易吸附在分揀機托盤上，從而導(dǎo)致輕薄件無法上機分揀。

本文基于飛漿PP-ShiTu 圖像識別系統(tǒng)，設(shè)計了輕薄件智能識別系統(tǒng)，結(jié)合機械臂抓取和AGV 搬運等設(shè)備，可實現(xiàn)快遞輕薄件的智能分揀，從而降低作業(yè)人員勞動強度、提高分揀效率。

1 系統(tǒng)總體設(shè)計

系統(tǒng)架構(gòu)圖如圖1 所示，系統(tǒng)主要包括：NVIDIA AGX嵌入式平臺（以下簡稱：AGX 平臺）、機械臂、3D 相機、路由器和AGV 分揀機器人。AGX 平臺通過網(wǎng)絡(luò)分別連接3D相機和機械臂；3D 相機對輕薄件進行三維圖像采集；AGX平臺對采集的圖像進行物體識別和定位，并將輕薄件三維位置信息發(fā)送給機械臂；機械臂抓取輕薄件，首先掃描底部條碼并放置到AGV 托盤上，如果底部掃描到條碼，則AGV 開始進行分揀作業(yè)，如果底部未掃描到條碼，則進行頂部條碼掃描，如果掃描到條碼，則AGV 開始分揀作業(yè)，如果兩次都未掃描到條碼，則AGV 將輕薄件倒入拒識格口，由人工進行分揀。

圖1 系統(tǒng)架構(gòu)圖[3]

本系統(tǒng)主要包括：輕薄件識別、圖像坐標到機械臂坐標的轉(zhuǎn)換兩個部分，本文重點對第一部分進行介紹，第二部分請參考文獻[3]。

2 模型選擇與訓練

■2.1 模型選擇

快遞輕薄件在運輸中會出現(xiàn)臟污、翻滾、相互擠壓變形等情況，各異的形態(tài)會導(dǎo)致一些輕薄件的識別率下降，需要再次采集數(shù)據(jù)并進行模型訓練和更新；模型訓練和更新耗時越短，對生產(chǎn)作業(yè)的影響越小。

因此，本系統(tǒng)選用了可快速進行模型更新的PPShiTuV2（PP-ShiTu 的第2 個版本）實時輕量級圖像識別系統(tǒng)對輕薄件進行識別。PP-ShiTuV2 基于百度飛漿圖像識別開發(fā)套件PaddleClas，主要包括：主體檢測、特征提取和向量檢索三個部分，如圖2 所示。系統(tǒng)主要思路為：主體檢測部分基于PicoDet 模型將圖像前、背景分離，提取物體的ROI 圖像；特征提取基于PP-LCNetV2 模型提取物體圖像特征；向量檢索部分基于Faiss 算法，在已知圖像特征庫（即：通過對訓練集圖片提取特征而構(gòu)建的特征庫）中進行快速檢索，查找出與物體圖像特征最相似的特征，獲取該特征所對應(yīng)的分類，從而實現(xiàn)物體識別。

圖2 PP-ShiTuV2 框架[4]

采用PP-ShiTuV2 進行輕薄件識別的好處在于：僅需要訓練一套模型，在生產(chǎn)中如出現(xiàn)未識別的輕薄件，只需采集少量代表性圖片，放入底庫圖片（一般為訓練集圖片）gallery 中并進行特征提取，生成底庫圖片特征庫即可。

■2.2 輕薄件數(shù)據(jù)采集與處理

本系統(tǒng)共采集了1533 張輕薄件圖像用于模型訓練，如圖3 所示，其中包括：單個輕薄件（正、反面）、多個輕薄件無序堆疊兩種形式。為了在識別輕薄件的同時也可以判斷其正反面（有面單的為正面），縮短后續(xù)讀碼時間，在進行圖像分類時，將輕薄件正反面分開。根據(jù)材質(zhì)，輕薄件共分為6 類：envelop（信封袋，面單在上）、envelopN（信封袋，面單在下）、paperBag（紙箱，面單在上）、paperBagN（紙箱，面單在下）、plasticBag（塑料袋，面單在上）和plasticBagN（塑料袋，面單在下）共計6 個類別。

圖3 輕薄件數(shù)據(jù)集

由于PP-ShiTuV2 系統(tǒng)的主體檢測模型PicoDet 已在大量公開數(shù)據(jù)集上進行了訓練，具備一定的目標檢測能力，所以不再進行模型訓練。本系統(tǒng)中重點對特征提取部分進行模型訓練，即對主體檢測模型輸出的物體圖像進行分類。圖像分類模型的輸入需為單個物體的圖像，所以需要對輕薄件數(shù)據(jù)集中的圖片依據(jù)標注文件進行分割，圖片分割效果如圖4所示。

圖4 分割后的圖像

■2.3 模型訓練

本部分主要對特征提取模型PP-LCNetV2 進行訓練。PPLCNetV 模型基于飛漿圖像識別與分類工具集PaddleClas 進行訓練，首先，需要修改模型配置文件GeneralRecognitionV2_PPLCNetV2_base.yaml（位于ppcls/configs），設(shè)置：預(yù)訓練模型位置、訓練設(shè)備（cpu 或gpu）、推理文件保存路徑、圖像數(shù)據(jù)集路徑等參數(shù)；然后，運行tools 目錄下的train.py文件開啟模型訓練，設(shè)置訓練批次batch_size=16，初始學習率learning_rate=0.06，當訓練批次epoch=100 時，損失率loss 達到一個相對穩(wěn)定的數(shù)值1.85，圖5 展示了模型訓練中損失率的變化曲線；最后，通過tools 目錄下的eval.py 進行模型評估，均值平均精度mAP 達到了0.97246（如圖6 所示），表明模型在數(shù)據(jù)集中有非常好的表現(xiàn)，可進一步在實際場景應(yīng)用[5]。

圖5 模型訓練中損失率的變化曲線

圖6 模型評估

■2.4 向量檢索

基于訓練好的特征提取模型，對所有底庫（一般為訓練集）圖片進行特征提取，構(gòu)建底庫圖片特征庫。待識別物體通過特征提取后，可得到相應(yīng)的特征向量，將該特征向量在底庫圖片特征庫中進行快速檢索（基于Faiss 算法），找到最相似特征，獲取其對應(yīng)的分類標識，即可實現(xiàn)物體識別。向量檢索工作原理，如圖7 所示。

圖7 向量檢索工作原理

對底庫圖片建立特征索引庫的具體步驟為：修改配置文件inference_general.yaml（位于deploy/configs），設(shè)置：主體檢測模型、圖像分類模型以及數(shù)據(jù)集文件的路徑；通過運行build_gallery.py（位于deploy/python）建立特征索引庫。

3 系統(tǒng)測試

將模型部署到AGX 平臺上，進行圖像識別測試。測試效果如圖8、圖9 所示。圖8 展示了對信封和紙箱材質(zhì)輕薄件的識別效果，圖9 展示了對塑料材質(zhì)輕薄件的識別效果。

圖8 輕薄件識別測試1

圖9 輕薄件識別測試2

4 總結(jié)與展望

本文面向快遞業(yè)輕薄件分揀場景，設(shè)計了一套基于視覺的機械臂分揀系統(tǒng)。選取PP-ShiTu 輕量級圖像實時識別系統(tǒng)進行輕薄件的識別，構(gòu)建了輕薄件圖像數(shù)據(jù)集，對圖像特征提取模型PP-LCNetV2 進行了訓練，并建立了圖像特征索引庫，最終實現(xiàn)了輕薄件的圖像識別。將輕薄件中心像素坐標通過坐標變換，可轉(zhuǎn)換為機械臂坐標系坐標，結(jié)合3D 相機測距，可實現(xiàn)視覺引導(dǎo)機械臂抓取輕薄件，結(jié)合條碼讀取和AGV 分揀機器人，最終可實現(xiàn)輕薄件的智能分揀。