張向鴻, 楊海馬, 李曉東, 劉 瑾, 方 剛, 丁大民
(1.上海理工大學 光電信息與計算機工程學院,上海 200093; 2.上海工程技術大學 電子電氣工程學院,上海 201620;3.上海航天衛(wèi)星應用有限公司,上海 200439)
近年來,隨著各國經濟的發(fā)展與世界貿易的興起,物流產業(yè)配套技術也獲得了巨大的進步,自動導引車(automatic guided vehicle,AGV)物流運輸車作為物流環(huán)節(jié)重要組成,是現代倉儲服務的關鍵部分之一,其具有工作效率高,可靠性好,自動化程度高等優(yōu)點,在港口集裝區(qū)和貨場堆棧出棧等領域獲得了廣泛應用。
實現貨物標識的自動識別與制定相應策略實現科學搬運是AGV系統的核心技術,采用視覺導引的方式可以方便快捷、科學高效的完成目標識別,同時也可以提升AGV在復雜工作環(huán)境下的適應性,對于相關技術的研究廣闊的應用價值。陳顯寶等人將圖像算法引入AGV控制領域[1],梁禮明等人將YOLOv3算法應用到AGV圖像識別領域[2,3],孔繁望、任彧對AGV的識別算法和路徑規(guī)劃進行改進[4,5]。
本文采用單目視覺算法進行目標識別,同時作為AGV的導航信號,實時導引AGV進行工作。在近距離失去圖像信號時,利用激光雷達信號通過模糊控制算法精準定位,完成貨物的插取和放置,根據上述研究思路設計的控制系統,可以快捷高效地運用于AGV的工作目標識別、精準插取和科學運輸問題。
現階段在物流運輸工作環(huán)境中,五輪式叉車的使用最為廣泛,在驅動輪兩側添加萬向輪后,使得叉車支撐能力增強,載重量提升,運行時狀態(tài)平穩(wěn),平衡性能優(yōu)異,同時五輪式叉車轉彎半徑小,因此適用于多種環(huán)境復雜的工作場景。此次所研究的五輪式叉車結構尺寸圖如圖1所示。
圖1 五輪式叉車結構
五輪式叉車AGV由于驅動輪在車體后方的特殊構造,可以以左右前叉頂點連線的中點為圓心,以自身長度為半徑原地旋轉完成轉向,但原地轉向時不產生橫向位移,無法改變車體橫向位置。對于與車體姿態(tài)平行的目標先轉向90°與目標垂直后,運動到與目標處于同一條直線的位置上,再次旋轉90°回到初始角度,即可對準目標。在車體與目標的位置關系不能直接完成工作時,也可以通過上述方法調整車體姿態(tài)。
本設計使用單目相機采用視覺導引方式控制AGV運動,方案硬件成本可控,軟件算法價值高,通過單目相機實時獲取現場圖像,利用深度學習模型匹配現場環(huán)境中的目標,實時跟蹤捕捉目標,控制叉車進行準確位移和貨物取放,完成工作要求,該方式具有識別準確度高,應用環(huán)境廣,定位精確的優(yōu)點,工程應用前景廣泛,具有良好的應用價值。
控制系統主要由三部分構成,即信息采集單元、決策運算單元和接收執(zhí)行單元。信息采集單元選擇單目相機采集圖像信息,利用激光雷達測量AGV與目標之間的實際距離,車身安裝超聲波傳感器防止碰撞和判斷是否完成插取動作。運算決策單元選擇工控機進行圖像處理,同時接收激光雷達和超聲波傳感器的數據,制定適當的控制策略,控制AGV運動和工作。接收執(zhí)行單元接收運算決策單元下發(fā)的控制指令,驅動AGV運動完成工作,控制電路與驅動電路之間選用繼電器做隔離輸出。
為實現對AGV的完全控制保障測試安全,在完善自動控制功能基礎上,保留手動控制功能,輔助調試工作進行。在實際工程應用中除了編寫AGV的轉彎程序、加減速程序和高速運行程序外,還需要編寫制動程序、取放托盤工作程序和防碰撞安全程序[6,7]。
本文所探討的基于深度學習的托盤的目標識別是利用YOLOv5深度卷積神經網絡模型,搭建基于PyTorch 深度學習框架下的多場景插盤目標檢測實驗環(huán)境,通過數據集制取,樣本標注、模型訓練、系統評估等步驟完成對復雜場景中的托盤目標識別和坐標定位。通過選取數據樣本對檢測模型進行驗證,并根據訓練結果不斷改進,引入一些適用于托盤識別的優(yōu)化方法和網絡結構。
本文的圖像檢測部分利用YOLOv5深度學習目標檢測算法對目標進行實時檢測識別,其中YOLOv5網絡模型結構,主要由以下三個主要組件組成:1)Backbone:在不同圖像細粒度上聚合并形成圖像特征的卷積神經網絡;2)Neck:一系列混合和組合圖像特征的網絡層,并將圖像特征傳遞到預測層;3)Head(檢測):對圖像特征進行預測,生成邊界框和預測類別。
識別模型學習數據集為現場獲取的目標圖像,數據集大小為1 500張,分辨率為1 280×720,數據集部分內容如圖2所示。
圖2 目標樣本數據集
實驗采用Labelimg對圖像進行標注,對樣本數據集進行分類,訓練集、驗證集和測試集按照0.8︰0.16︰0.04的比例進行劃分。YOLOv5模型采用單階段檢測結構,其主要分為五個階段:1)Input:圖像輸入端并且進行了數據處理,進行Mosaic、Cutout或矩陣訓練操作;2)Backbone:提取出高中低層的特征,使用了CSP、Fcous、Leaky ReLU等;3)Neck:將各層次的特征進行融合提取出大中小的特征圖;4)Head:進行最終檢測部分,在特征圖上應用錨定框,并生成帶有類概率、對象得分和包圍框的最終輸出向量;5)Loss:計算預測結果與Ground truth的Loss,反向傳播更新模型的參數。通過上述算法原理編寫目標識別程序,對學習模型進行訓練,直到識別準確率達到98 %后,將目標識別程序封裝為模塊使用。
將實驗用托盤放置于AGV前方,實地測試目標識別準確率,識別效果如圖3所示。經過測試,實驗模型能夠準確地對復雜場景的托盤目標進行高精度的分類識別與定位,識別準確率高于95 %,滿足實驗測試要求,相機視線被遮擋失去目標后,遮擋物離開視線過程中,工作目標遮擋部分小于50 %時可以重新識別捕捉目標,模型抗干擾性能強。
圖3 目標識別效果
當上位機通過圖像信息識別到目標時,AGV需要運動到目標正前方1m固定位置,方便后續(xù)完成插取動作,此時AGV與目標位置之間的位置關系可以近似為一個直角三角形,運動路線有以下三種策略,如圖4所示[8,9]。當目標位于AGV正前方時,近似簡化為三角形的一條直角邊。
圖4 路徑規(guī)劃示意
當AGV行進到理想插取位置時,視覺算法識別失去圖像信息,同時在實驗過程中,由于AGV沒有與地面產生強關聯,因此,AGV的實際運動軌跡與理論計算軌跡會產生一定量的偏差,此時需要通過激光雷達精準限位,完成近距離插取目標工作[10,11]。
模糊邏輯控制簡稱模糊控制,是以模糊集合論、模糊語言變量和模糊邏輯推理為基礎的一種計算機數字控制技術,具有較好的魯棒性、適應性和容錯性,在本控制系統設計中可以將復雜的控制算法轉化為簡單的執(zhí)行指令,控制AGV運動[12,13]。
將超聲波傳感器測得的距離值與判斷是否完成插取的設定距離值進行比較,達到設定距離值,L0指示燈亮起插取完成,反之指示燈L0不亮AGV繼續(xù)工作[14]。將激光雷達1和2測得的距離值進行比較,1大于2時指示燈L1亮起,AGV左轉,反之L2亮起,AGV右轉,若1和2的差值小于設定要求值,則L1和L2熄滅,AGV直行,運動關系如表1所示。
表1 傳感器狀態(tài)與運動關系
以AGV前叉端點正對托盤孔洞中點為基點,AGV中軸線與托盤中軸線夾角等于0°作為基準,評價AGV由原點位置運動到理想插取位置的誤差。選取前方4 m、右方3 m處,作為測試位置放置目標,完成識別后,分別利用上述三種策略運動到理想插取位置,記錄重復100次的距離值偏差和角度值偏差,結果如圖5所示[15,16]。
圖5 距離和角度偏差
根據測試結果,通過計算不同策略的距離值偏差和角度值偏差的均值與方差,分析距二者之間的影響關系,由于運動過程受到控制策略和系統延遲影響,距離值和角度值的偏差均為正值,通過路徑1和路徑2運動到指定位置時,距離值和角度值的偏差較為離散相關性弱,通過路徑3運動時,偏差值相對收斂相關性強。同時在行進過程中實時記錄運動速度值,通過積分計算距離值定位AGV位置,根據剩余行進距離調整接近速度,提高控制精度。
在AGV運動到目標正前方理想工作位置時,通過表1的控制方式,調整AGV完成插取工作,設置距離和角度的偏差值不同,記錄插取階段AGV調整的次數與完成調整所需時間,如表2所示。
表2 調整時間與預設偏差值關系
由表2分析偏差值與調整次數之間的關系,可以得到設置距離和角度的偏差值越小,調整次數越多;反之,調整次數減小。同時,調整次數與調整時間具有一定的正相關性,在滿足實驗條件的前提下,選定距離角度的偏差值分別為3 cm和5°。
放置目標托盤在AGV前方4 m、右方3 m的位置,進行整體實驗。當AGV進入自動工作狀態(tài)時首先進入遠距離識別階段,根據單目相機采集的圖像信息,通過目標識別捕獲程序識別目標托盤,然后控制AGV運動到理想插取位置,此時AGV位于托盤正前方1 m處位置,控制程序切換為近距離插取階段,在調整姿態(tài)正對托盤的過程中,修正距離值誤差,直到距離和角度參數值滿足誤差要求時直行完成插取。
記錄AGV插取目標托盤時距離值和角度值的偏差,采取路徑1、路徑2和路徑3各自連續(xù)進行50次重復實驗,記錄實驗結果,由小到大排序,分析所得到實驗值與要求值的偏差程度,結果如圖6所示。
圖6 距離和角度誤差
由圖6可見,AGV在進行一次完整的插取實驗中,最終的橫向距離值誤差與角度值誤差在一定程度上正相關,距離偏差值越小,角度偏差值越小,距離偏差值越大,角度偏差值越大。由實驗結果可見,實驗要求的AGV距離值偏差范圍為±3 cm,角度偏差范圍為±5°,實驗結果滿足要求,兼顧運行時間和插取成功率,選取路徑3進行實驗時,距離和角度的偏差值較為收斂,保證了系統穩(wěn)定性。
針對叉車式AGV的運動特點和單目視覺導引的優(yōu)點,本文所設計的AGV控制系統,通過YOLOv5算法模型進行目標匹配識別,對傳感器數據進行分析制定策略,利用模糊控制策略控制AGV運動,精準高效完成工作任務[17]。通過定位距離值和角度值的偏差評價工作是否成功及其精準度,未來應該考慮目標搭載貨物時的精確識別,如何更好地利用傳感器信息,優(yōu)化路徑規(guī)劃時的運動控制,以及控制系統的遲滯帶來的偏差如何修正,使其可以在實際的工程應用中,適應復雜的工作環(huán)境,高速高效完成工作任務[18]。