林若波,姚 亮,謝 揚(yáng),陳旭文,吳容冰,許澤波
(1. 揭陽職業(yè)技術(shù)學(xué)院,522000,廣東,揭陽;2. 廣東偉興電子科技有限公司,522000,廣東,揭陽)
隨著AI技術(shù)和5G網(wǎng)絡(luò)在我國的大規(guī)模商用,基于5G網(wǎng)絡(luò)的各項(xiàng)應(yīng)用將如雨后春筍般不斷推陳出新,各種智能身份識(shí)別設(shè)備更是廣泛地應(yīng)用于各個(gè)領(lǐng)域,并得到很好的應(yīng)用效果,也取得很多相關(guān)研究成果[1-4]和專利成果[5-6]。如朱靜在面向再制造拆卸產(chǎn)品的工業(yè)機(jī)器人視覺識(shí)別與定位研究方面,提出一種輕卷積層的特征金字塔SSD目標(biāo)檢測(cè)網(wǎng)絡(luò),并以可視化界面的形式進(jìn)行成果展示[1]。顧丹鵬等人在基于云原生技術(shù)的工程數(shù)據(jù)管理平臺(tái)研究方面,采用云原生微服務(wù)Spring Cloud 框架進(jìn)行設(shè)計(jì)與實(shí)現(xiàn),使平臺(tái)具備資源按需分配和彈性伸縮以及自動(dòng)化部署和管理的能力[3]。孫堅(jiān)提出一種基于5G和AI云邊協(xié)同的工業(yè)智能質(zhì)檢系統(tǒng),通過綜合識(shí)別性能、識(shí)別效率、成本等多個(gè)維度,采用云服務(wù)和邊緣計(jì)算相結(jié)合的部署方式,通過5G網(wǎng)絡(luò)對(duì)需要云端識(shí)別的數(shù)據(jù)進(jìn)行傳輸,從而實(shí)現(xiàn)高效、高性能、低成本的工業(yè)智能質(zhì)檢系統(tǒng)[6]。以上研究表明:在工業(yè)視覺檢測(cè)中的應(yīng)用,應(yīng)用各種神經(jīng)卷積網(wǎng)絡(luò)以及AI智能算法進(jìn)行機(jī)器學(xué)習(xí)和訓(xùn)練,對(duì)提高工業(yè)產(chǎn)品識(shí)別正確率,起到?jīng)Q定性的作用,但同時(shí)也消耗了大量存儲(chǔ)資源,特別是高速海量數(shù)據(jù)傳輸,對(duì)傳輸網(wǎng)絡(luò)提出更高的技術(shù)要求。為此,本文基于5G網(wǎng)絡(luò),研究工業(yè)產(chǎn)品識(shí)別裝置及系統(tǒng)設(shè)計(jì),利用開源底層物體識(shí)別設(shè)備傳輸大批量數(shù)據(jù),并從靜態(tài)和動(dòng)態(tài)上進(jìn)行掃描,實(shí)現(xiàn)多種工業(yè)產(chǎn)品的樣本采集和機(jī)器學(xué)習(xí),提高識(shí)別準(zhǔn)確度和管控效率。
圖1給出了基于5G網(wǎng)絡(luò)的工業(yè)產(chǎn)品識(shí)別系統(tǒng)框圖,包括:識(shí)別裝置采集端、識(shí)別裝置控制板、5G網(wǎng)絡(luò)、云端識(shí)別系統(tǒng)、識(shí)別裝置管控端5個(gè)部分。
圖1 基于5G網(wǎng)絡(luò)的工業(yè)產(chǎn)品識(shí)別系統(tǒng)框圖
識(shí)別裝置采集端利用移動(dòng)機(jī)器人Jetson系列進(jìn)行動(dòng)態(tài)掃描,可根據(jù)具體識(shí)別物體或識(shí)別精度調(diào)整模塊級(jí)別,并可配合巡弋四輪機(jī)器人對(duì)物體進(jìn)行多角度,多維度立體識(shí)別,確保其準(zhǔn)確率。通過定位傳感器反饋的信息進(jìn)行判斷和定位,確定檢測(cè)對(duì)象,然后通過工業(yè)相機(jī)進(jìn)行視頻或圖像采集,采集數(shù)據(jù)與識(shí)別裝置的識(shí)別裝置控制板連接。
識(shí)別裝置控制板通過數(shù)據(jù)處理模塊,將工業(yè)相機(jī)采集到的數(shù)據(jù)進(jìn)行處理,通過數(shù)據(jù)塊發(fā)送模塊與5G網(wǎng)絡(luò)連接,實(shí)現(xiàn)5G通信。
云端識(shí)別系統(tǒng)包括標(biāo)準(zhǔn)工業(yè)產(chǎn)品掃描建模、特征提取算法、機(jī)器學(xué)習(xí)算法、工業(yè)產(chǎn)品模型數(shù)據(jù)庫、工業(yè)產(chǎn)品識(shí)別算法;標(biāo)準(zhǔn)工業(yè)產(chǎn)品掃描通過工業(yè)相機(jī)完成采集,通過特征提取算法完成建模;機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)工業(yè)產(chǎn)品模型數(shù)據(jù)庫自動(dòng)更新;工業(yè)產(chǎn)品識(shí)別算法對(duì)接收模塊的數(shù)據(jù)進(jìn)行比對(duì)和識(shí)別。
識(shí)別裝置管控端與云端識(shí)別系統(tǒng)連接,通過顯示屏或計(jì)數(shù)器等終端顯示識(shí)別結(jié)果,通過追溯碼實(shí)現(xiàn)工業(yè)產(chǎn)品的溯源。
工業(yè)產(chǎn)品數(shù)據(jù)模型庫的創(chuàng)建,包括標(biāo)準(zhǔn)工業(yè)產(chǎn)品靜態(tài)掃描、特征提取、機(jī)器學(xué)習(xí)、工業(yè)產(chǎn)品模型數(shù)據(jù)庫的生成。標(biāo)準(zhǔn)工業(yè)產(chǎn)品掃描采用工業(yè)相機(jī)進(jìn)行采集,通過特征提取算法完成工業(yè)產(chǎn)品特征點(diǎn)的提取,再通過機(jī)器深度學(xué)習(xí)和記憶存儲(chǔ),完成所述工業(yè)產(chǎn)品的模型數(shù)據(jù)。
卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種前饋神經(jīng)網(wǎng)絡(luò),它通過卷積、池化及激活等操作,能夠較好地學(xué)習(xí)空間上關(guān)聯(lián)特征[7-8]。深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)依賴于CNN模型將圖像轉(zhuǎn)換為預(yù)測(cè)分類,CNN 的卷積運(yùn)算將來自一個(gè)層的輸入數(shù)據(jù)(特征映射)與卷積核(濾波器)組合以形成下一層的變換特征映射,DNN深度神經(jīng)網(wǎng)絡(luò)模型圖如圖2所示。
本系統(tǒng)設(shè)計(jì)中,DNN卷積網(wǎng)絡(luò)加入控制參數(shù)
圖2 DNN深度神經(jīng)網(wǎng)絡(luò)模型圖
kp,更有效地實(shí)現(xiàn)采集數(shù)據(jù)的變換特征映射,這時(shí)DNN卷積網(wǎng)絡(luò)數(shù)學(xué)模型為:
χ(i,j)=1,0≤i,j≤n
0,others。
經(jīng)實(shí)踐測(cè)試,kp取值為直線y=x附近的離散數(shù)值(p為離散數(shù)列),取值范圍為0
圖3 kp的取值范圍及離散分布圖
動(dòng)態(tài)掃描獲得的數(shù)據(jù),采用DNN深度神經(jīng)網(wǎng)絡(luò)算法進(jìn)行處理后,將數(shù)據(jù)分辨率提升至4K像素,數(shù)據(jù)量和文件大小將會(huì)比原始數(shù)據(jù)大好多倍,必須通過高帶寬、低時(shí)延網(wǎng)絡(luò)環(huán)境進(jìn)行高速傳輸處理。
為解決高帶寬、低時(shí)延技術(shù)問題,本系統(tǒng)采用5G網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)實(shí)時(shí)傳輸。數(shù)據(jù)采集完成后,需要對(duì)數(shù)據(jù)進(jìn)行分塊加密,再通過5G網(wǎng)絡(luò)傳輸給云計(jì)算服務(wù)器,云計(jì)算服務(wù)器計(jì)算后轉(zhuǎn)換為簡單識(shí)別參數(shù)或部分確定圖像,傳輸給客戶端進(jìn)行驗(yàn)證確認(rèn)。
圖4給出了數(shù)據(jù)塊加密與解密流程圖,包括5G網(wǎng)絡(luò)數(shù)據(jù)塊發(fā)送端和接收端。在數(shù)據(jù)發(fā)送端,工業(yè)相機(jī)采集的數(shù)據(jù),經(jīng)數(shù)據(jù)處理模塊打包后形成數(shù)據(jù)塊,通過開源客戶端設(shè)備,采用公鑰密碼體制PKC(public key cryptosystem,),嵌入加密密鑰和認(rèn)證,形成加密數(shù)據(jù)塊,通過可信第3方PKG(private key generator,)生成私鑰,打包生成發(fā)送數(shù)據(jù),通過數(shù)據(jù)塊發(fā)送模塊進(jìn)行傳輸,送往5G網(wǎng)絡(luò);若不成功則進(jìn)行數(shù)據(jù)處理,按要求補(bǔ)充數(shù)據(jù)塊。在數(shù)據(jù)塊接收端,經(jīng)5G網(wǎng)絡(luò)傳送的數(shù)據(jù)流,經(jīng)數(shù)據(jù)塊接收模塊接收后,根據(jù)發(fā)送端發(fā)送的密鑰,進(jìn)行數(shù)據(jù)解密,成功則送往工業(yè)產(chǎn)品識(shí)別算法進(jìn)行運(yùn)算和識(shí)別,完成數(shù)據(jù)塊的加密和解密通信;不成功則進(jìn)行數(shù)據(jù)處理,按要求補(bǔ)充數(shù)據(jù)塊。
圖4 基于5G網(wǎng)絡(luò)的數(shù)據(jù)塊加密與解密流程圖
本系統(tǒng)摒棄傳統(tǒng)數(shù)據(jù)庫的模式,傳輸數(shù)據(jù)以Hash的形式,進(jìn)入云計(jì)算服務(wù)器進(jìn)行存儲(chǔ)。由于機(jī)器學(xué)習(xí)的系統(tǒng)需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理后才能及時(shí)反饋?zhàn)R別結(jié)果,故采用預(yù)采集數(shù)據(jù)對(duì)云計(jì)算單元進(jìn)行訓(xùn)練和預(yù)測(cè)概率,在正式應(yīng)用中采用及時(shí)數(shù)據(jù)進(jìn)行傳輸識(shí)別,并將實(shí)際數(shù)據(jù)繼續(xù)用于對(duì)云計(jì)算單元的訓(xùn)練,進(jìn)一步提升物體識(shí)別的識(shí)別率,并為識(shí)別系統(tǒng)的廣泛應(yīng)用提供后續(xù)支持。對(duì)于從5G傳輸過來的數(shù)據(jù),采用算法對(duì)其進(jìn)行識(shí)別運(yùn)算,并依據(jù)計(jì)算處理后的結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)入云計(jì)算單元的Hash中,處理過程應(yīng)重新編寫代碼并通過內(nèi)部Pipe管道進(jìn)行傳輸,減小系統(tǒng)之間數(shù)據(jù)傳輸?shù)臏蠛腿哂喱F(xiàn)象。
系統(tǒng)云計(jì)算單元使用Pytorch進(jìn)行物體識(shí)別的匹配運(yùn)算,其算法為基本矩陣的加減乘除,算法簡單實(shí)用沒有多余計(jì)算,可以快速提高計(jì)算的效率并準(zhǔn)確計(jì)算出需要輸出的結(jié)果。對(duì)于Pytorch識(shí)別出的結(jié)果,可依據(jù)需求進(jìn)行傳輸,其過程性文件及結(jié)果文件應(yīng)保留于云計(jì)算服務(wù)器中,以備檢查和系統(tǒng)識(shí)別應(yīng)用。因機(jī)器學(xué)習(xí)過程中產(chǎn)生大量數(shù)據(jù),并且運(yùn)算過程不能像過程性程序般可以查看,其中間文件和運(yùn)算結(jié)果文件就尤其重要,可用于問題查驗(yàn)和bug尋找等功能。
機(jī)器學(xué)習(xí)是一種不間斷的學(xué)習(xí),在識(shí)別其運(yùn)行過程中,在沒有監(jiān)控的情況下出現(xiàn)意想不到的運(yùn)算錯(cuò)誤,故本系統(tǒng)配套備份系統(tǒng)。備份系統(tǒng)可以有效恢復(fù)到正確應(yīng)用的版本,并繼續(xù)完成系統(tǒng)的正常運(yùn)行。系統(tǒng)備份時(shí)間間隔以時(shí)間點(diǎn)為標(biāo)志,后續(xù)數(shù)據(jù)通過運(yùn)行模塊,按照y=x+b的累加式備份,進(jìn)行高效率備份。
為實(shí)現(xiàn)工業(yè)產(chǎn)品的識(shí)別,本文開發(fā)了一套基于5G網(wǎng)絡(luò)的工業(yè)產(chǎn)品識(shí)別與溯源平臺(tái),驗(yàn)證本設(shè)計(jì)的實(shí)用性,主要功能包括系統(tǒng)登錄、系統(tǒng)管理、識(shí)別和溯源過程和識(shí)別結(jié)果顯示等,登錄界面如圖5所示。
圖5 登錄界面
識(shí)別和溯源過程包括標(biāo)準(zhǔn)模型創(chuàng)建、工業(yè)產(chǎn)品識(shí)別參數(shù)設(shè)置、工業(yè)產(chǎn)品溯源等。其中:標(biāo)準(zhǔn)件配置可以實(shí)現(xiàn)工業(yè)產(chǎn)品模型庫的創(chuàng)建,并對(duì)工業(yè)產(chǎn)品進(jìn)行建模和文字說明操作;工業(yè)產(chǎn)品識(shí)別參數(shù)設(shè)置實(shí)現(xiàn)識(shí)別精度和識(shí)別效率的控制,對(duì)識(shí)別參數(shù)進(jìn)行手工調(diào)整,優(yōu)化識(shí)別結(jié)果,圖6為某工業(yè)產(chǎn)品識(shí)別參數(shù)設(shè)置前后的識(shí)別比較效果。從識(shí)別效果可以看出:本系統(tǒng)對(duì)于工業(yè)產(chǎn)品識(shí)別,具有很好的準(zhǔn)確率和識(shí)別效果。
本文主要提出3個(gè)創(chuàng)新點(diǎn)。
(1)未進(jìn)行參數(shù)設(shè)置的識(shí)別效果
(2)進(jìn)行參數(shù)設(shè)置的識(shí)別效果
(3)進(jìn)一步參數(shù)優(yōu)化設(shè)置后的最終識(shí)別效果
1)提出一種基于5G網(wǎng)絡(luò)的工業(yè)產(chǎn)品識(shí)別系統(tǒng)設(shè)計(jì)框架,實(shí)現(xiàn)工業(yè)產(chǎn)品識(shí)別和溯源。
2)應(yīng)用深度神經(jīng)網(wǎng)絡(luò)算法DNN進(jìn)行數(shù)據(jù)處理時(shí),加入控制參數(shù)kp,而kp取值為直線y=x附近的離散數(shù)值(p為離散數(shù)列),取值范圍為0
3)開發(fā)一套基于5G網(wǎng)絡(luò)的工業(yè)產(chǎn)品識(shí)別與溯源平臺(tái),驗(yàn)證本系統(tǒng)的實(shí)用性,結(jié)果表明:本系統(tǒng)對(duì)于工業(yè)產(chǎn)品識(shí)別,具有很好的準(zhǔn)確率和識(shí)別效果。