孫 賀,冷于浩,劉默嘉,劉勝波
(青島中導辰遠智能科技有限公司,山東 青島 266500)
產(chǎn)品質(zhì)量一直是工業(yè)生產(chǎn)中關鍵性的環(huán)節(jié),直接關系到產(chǎn)品的市場認可度,具有高質(zhì)量的產(chǎn)品才能在激烈市場競爭中獲取一席之地[1]。隨著制造業(yè)水平的提升,為了確保企業(yè)的核心競爭力,需要不斷地提高產(chǎn)品的質(zhì)量、檢測速度及精度。然而,目前大部分企業(yè)的質(zhì)量檢測仍然依靠人工抽檢,存在漏檢、誤檢、檢驗標準不統(tǒng)一等問題;同時還存在著耗費時間較多、數(shù)據(jù)難以統(tǒng)一管理、監(jiān)測等問題,檢測結果數(shù)據(jù)無法得到充分有效的利用,無法實現(xiàn)共享[2]。
隨著新一代信息技術的不斷發(fā)展和應用領域的不斷擴展,適用于工業(yè)產(chǎn)品質(zhì)量檢測的全自動化缺陷檢測系統(tǒng)隨之發(fā)展起來。近年來,數(shù)字圖像處理技術和機器視覺技術正在持續(xù)發(fā)展,并在工業(yè)產(chǎn)品表面缺陷檢測方面的應用不斷擴大[3]。由于檢測的快速性、低成本和結果的可靠性,基于圖像處理和機器視覺的自動目視檢測技術已經(jīng)成為熱點。毫無疑問,自動目視檢測技術顯著地提高了工業(yè)產(chǎn)品的質(zhì)量檢測性能以及產(chǎn)品品質(zhì)[4]。
針對以上問題,本文緊密結合國內(nèi)產(chǎn)品檢測的實際情況,利用5G,AI,MEC(Mobile Edge Computing)等相關技術,對產(chǎn)品質(zhì)量檢測進行基于機器視覺的云邊端一體化方案實施,打造行業(yè)成熟的檢測標準化算法倉庫,提煉視覺算法、軟件、機械等模型,實現(xiàn)系統(tǒng)化設計開發(fā)、測試應用,助力工廠生產(chǎn)制造的全流程、全要素提質(zhì)增效。系統(tǒng)總體架構體系如圖1所示。
圖1 系統(tǒng)總體架構體系
本檢測系統(tǒng)的搭建是基于云邊協(xié)同處理模式,相機設備、視覺算法等本地分離,即將工業(yè)相機在現(xiàn)場部署,視覺算法部署在廠區(qū),MEC、檢測模型設計部署在企業(yè)云端。通過端、邊、云互相協(xié)同發(fā)揮各自優(yōu)勢,實現(xiàn)機電分離、模型和算法快速迭代,創(chuàng)建新的檢測模式。經(jīng)過云/邊端的算法層智能分析決策,用戶通過模塊化編輯界面實現(xiàn)可視化管理,系統(tǒng)可以App/PC系統(tǒng)版本賦能輪胎、家電等企業(yè)產(chǎn)品檢驗檢測的應用場景中,實現(xiàn)統(tǒng)一監(jiān)管、智能檢測及精準閉環(huán)[5]。
設備端包括各檢測設備資源,如光源、相機、鏡頭、智能儀表等基礎設施的物聯(lián)管理,為表面產(chǎn)品質(zhì)量分析提供可靠、穩(wěn)定、有效的數(shù)據(jù)來源。物聯(lián)管理實現(xiàn)設備數(shù)據(jù)與系統(tǒng)的對接管理及資源分配管理。檢測系統(tǒng)以5G網(wǎng)絡傳輸數(shù)據(jù),以網(wǎng)絡切片和邊緣計算配合智能檢測技術打通工廠各生產(chǎn)要素,實現(xiàn)不同生產(chǎn)要素間的高效協(xié)同[6]。同時,系統(tǒng)利用5G網(wǎng)絡避免了多個視覺點帶來的多路線布置困難、空間占用大的問題,降低了工廠視覺檢測使用成本的50%~70%。
針對輪胎、家電、機械零件等產(chǎn)品質(zhì)量檢測的工業(yè)場景,在企業(yè)園區(qū)機房部署MEC設備,將設備與5G 基站相接,在MEC設備的軟件平臺中下載部署智能質(zhì)量檢測系統(tǒng)以及相關的視覺算法。多個工位不同的視覺檢測過程同時在MEC側運行,并將檢測結果返回到工位控制端。該方式可將多個相同工位的檢測結果匯集成數(shù)據(jù)庫,基于系統(tǒng)實現(xiàn)視頻流的快速算法分析及產(chǎn)品缺陷檢測即時報警[7]。
為提升系統(tǒng)的產(chǎn)品檢測效率,云端涵蓋圖像數(shù)據(jù)的標定、數(shù)據(jù)集管理、模型訓練與部署等功能。視覺AI算法部署包括以下流程:數(shù)據(jù)準備,包括標注數(shù)據(jù)以及從其他數(shù)據(jù)集抽取的數(shù)據(jù);模型訓練,包括傳統(tǒng)的訓練方式以及聯(lián)邦學習訓練方式[8]。當產(chǎn)線需要更新模型或者算法升級時,供應商通過網(wǎng)絡將在云端提前訓練好的AI模型和算法提供給工廠;模型部署,包括服務器端模型部署和嵌入式計算平臺模型部署,為方便移植與部署,在服務器端模型部署需要部署到容器中,嵌入式平臺部署則根據(jù)需要進行模型壓縮。
此外,檢測系統(tǒng)還進一步融合MES,WMS等系統(tǒng)數(shù)據(jù)、產(chǎn)品物料數(shù)據(jù)、市場反饋追蹤數(shù)據(jù),形成產(chǎn)品全生命周期質(zhì)量追溯,對市場質(zhì)量反饋進行自動分析及判定,一鍵式提供產(chǎn)品的所有生產(chǎn)過程數(shù)據(jù),提供有理有據(jù)的質(zhì)量評定結果,減少質(zhì)量糾紛現(xiàn)狀[9]。
在檢測系統(tǒng)建設過程匯總,重點解決了如下關鍵科學和技術問題。
采用5G、邊緣計算、云計算技術,現(xiàn)場部署5G網(wǎng)關和終端,實現(xiàn)數(shù)據(jù)高速傳輸、生產(chǎn)事件秒速響應;邊緣端海量數(shù)據(jù)處理、高效協(xié)同,減少現(xiàn)場部署成本;中心云與邊緣端核心數(shù)據(jù)實時同步,減少云端數(shù)據(jù)儲存以及計算量。所有的視覺算法都部署在云端,對后期視覺軟件、算法的升級以及存儲信息的集中管理更加方便[10]。
率先將卷積神經(jīng)網(wǎng)絡等算法在工業(yè)領域應用,可以通過上千萬實際產(chǎn)品缺陷圖像樣本訓練算法模型,不斷學習,自我進化升級。“聯(lián)邦學習+區(qū)塊鏈”的聯(lián)邦智能知識發(fā)現(xiàn)方法,解決了本地更新模型的問題,保障了數(shù)據(jù)的安全性、完整性和隱私性[11]。同時利用安全魯棒的聯(lián)邦智能知識發(fā)現(xiàn)新機制,實現(xiàn)多模態(tài)信息的有效融合,解決了數(shù)據(jù)可信問題以及神經(jīng)網(wǎng)絡模型泛化性問題,大大提升了檢測柔性,進一步提升了企業(yè)產(chǎn)品的市場競爭力。
對于視頻圖像,根據(jù)不同的檢測識別任務,通過卷積神經(jīng)網(wǎng)絡(如:Res-Net,VGG等深度神經(jīng)網(wǎng)絡)進行特征提取,并在特定的任務當中引入注意力機制(Attention Model),以提高檢測性能,最后使用目標檢測(如:FaterRCNN,YOLOR等)與追蹤技術(如:DeepSORT,Tracktor 等)實現(xiàn)基于圖像與視頻的質(zhì)量管控智能化與數(shù)字化,達到對產(chǎn)品質(zhì)量的實時監(jiān)控,構建圖像視頻智能分析預警模型[12]。
系統(tǒng)檢測流程如圖2所示。
圖2 系統(tǒng)檢測主要流程
系統(tǒng)的主要特點如下:
(1)系統(tǒng)集成線掃、面陣相機,采用多組合方式,適應現(xiàn)場檢測需求。
(2)采用合適的定位系統(tǒng),保證檢測的可靠性。
(3)同時集成印刷品檢測系統(tǒng),對印刷品的型號進行防錯檢測。
(4)使用數(shù)據(jù)采集系統(tǒng),實時上傳檢測數(shù)據(jù)。
(5)采用AI算法,持續(xù)迭代更新。
(6)所有檢測結果可以上傳生產(chǎn)信息系統(tǒng),同時可以按要求導出各種質(zhì)量報表,方便對生產(chǎn)進行有效的質(zhì)量管理。
(1)檢測自動化。產(chǎn)品到達后,因觸發(fā)裝置自動停位,運動控制及機械手協(xié)同視覺檢測裝置實現(xiàn)產(chǎn)品的在線自動檢測。
(2)檢測柔性化。產(chǎn)品到達后,識別產(chǎn)品攜帶的唯一身份RFID成品碼,通過識別“身份”,匹配檢測路徑,實現(xiàn)產(chǎn)線柔性檢測及產(chǎn)品數(shù)據(jù)的綁定。
(3)檢測智能化。對視覺檢測系統(tǒng)采集的圖像及視頻流數(shù)據(jù),通過算法去噪、算法融合及智能識別、深度學習訓練等算法,實現(xiàn)產(chǎn)品缺陷的高精準度檢測反饋。
(4)檢測結果數(shù)據(jù)化。基于AI及大數(shù)據(jù)分析的質(zhì)量追溯系統(tǒng)打通數(shù)據(jù)鏈,構建3個連接:市場不良與檢測工位關聯(lián);各工序質(zhì)量檢測數(shù)據(jù)與MES,WMS等系統(tǒng)互聯(lián);產(chǎn)品信息與供應商出廠檢測、產(chǎn)業(yè)入廠檢測、過程檢測、下線檢測等關聯(lián)。
輪胎生產(chǎn)檢測工藝流程如圖3所示。
圖3 輪胎生產(chǎn)檢測工藝流程
4.1.1 痛點問題
輪胎作為汽車的重要部件,其質(zhì)量的好壞直接關系到汽車的安全行駛問題。為此,在輪胎的制造過程中實時檢測輪胎的質(zhì)量是至關重要的。傳統(tǒng)輪胎人工檢測質(zhì)檢勞動強度大,檢測速度慢、檢測準確率不穩(wěn)定(隨著人眼檢測時間的增加,檢測準確率明顯下降)、不同質(zhì)檢員的檢測水平、責任心和狀態(tài),都會直接影響產(chǎn)品的品質(zhì)。
4.1.2 應用情況
緊密結合某大型輪胎生產(chǎn)企業(yè)實際情況,檢測系統(tǒng)結合成熟的5G,AI,MEC等相關技術方案,針對“輪胎質(zhì)量檢測”進行云化方案應用。
缺陷檢測:統(tǒng)一檢測標準,通過AI檢測算法滿足生產(chǎn)線對接頭搭接、偏心、接頭間隙、接頭偏歪以及氣泡等缺陷的檢測要求。
柔性檢測:滿足柔性生產(chǎn)的需求,全型號匹配,通過維護軟件檢測模板,檢測系統(tǒng)根據(jù)產(chǎn)品型號自動匹配,調(diào)取相關型號檢測參數(shù)。
實時保存:通過工業(yè)相機和5G網(wǎng)絡實時保存檢測對象,分類分時存儲。
實時反饋:通過人機界面和全覆蓋5G網(wǎng)絡實時分享檢測數(shù)據(jù),并聯(lián)人人質(zhì)量系統(tǒng),真正做到質(zhì)量到人、實時到人。
算法共享:使用5G技術,算法實時、遠程迭代。
檢測系統(tǒng)的應用可實現(xiàn)輪胎缺陷的實時在線檢測、缺陷類型判定,極大地提高了輪胎缺陷檢測的效率和準確率。通過對企業(yè)輪胎質(zhì)量的管理及數(shù)據(jù)分析,檢測系統(tǒng)有效實現(xiàn)生產(chǎn)線上缺陷產(chǎn)品的精確管理。運行6 個月后,有效提升產(chǎn)品質(zhì)量,降低廢品率7%,防止批量缺陷產(chǎn)品的產(chǎn)生;同時提升產(chǎn)品檢測效率80%,產(chǎn)品生產(chǎn)周期縮短15%,實現(xiàn)了企業(yè)營收20%的增加,客戶滿意度提升20%。
4.2.1 痛點問題
隨著當代社會經(jīng)濟的不斷發(fā)展,人們對于產(chǎn)品的包裝需求逐漸有所提升。具備廣告促銷、美化產(chǎn)品及保護產(chǎn)品等不同功效的包裝為產(chǎn)品實體的關鍵構成部分,產(chǎn)品的功效、價值、質(zhì)量及總體形象等均能夠通過產(chǎn)品包裝體現(xiàn)[13]。若包裝具有缺陷則會令消費者的滿意度降低,且對于產(chǎn)品品牌的信譽度與價值均帶來影響,而完美無缺陷的產(chǎn)品包裝能夠提高消費者對產(chǎn)品品牌的信任度與依賴感,提升消費者的感官享受。利用檢測系統(tǒng),企業(yè)可以高效率地完成對產(chǎn)品的包裝檢測,還可以正確讀取產(chǎn)品的包裝信息,從而對產(chǎn)品進行有效追蹤。
4.2.2 應用情況
針對某家電公司產(chǎn)品包裝檢測的需求,檢測系統(tǒng)應用光機電一體化、機器視覺、編碼識別及通信等技術,利用基于機器視覺的計量封印在線質(zhì)量檢測系統(tǒng),在高速生產(chǎn)線中對外包裝安全條進行快速有無的判斷,以確保安全包裝條無缺失。憑借其出色的讀碼能力,可以準確、迅速地讀取各種包裝材質(zhì)上的字符。實現(xiàn)家電包裝、標志、安裝質(zhì)量的全自動、高速、高精度在線識別與檢測,并進行瑕疵分類處理,旨在為家電行業(yè)產(chǎn)品包裝檢測及管理提供完整的在線檢測與處理方案,實現(xiàn)自動化、智能化、信息化檢測與管理。在某大型家電公司生產(chǎn)工廠應用后,產(chǎn)品包裝檢測效率及響應速度提高2倍,產(chǎn)品誤檢率<2.5%,包裝質(zhì)量提升,顧客滿意度增加;同時,現(xiàn)場檢測人員減少4人/班組,預計人力成本每年減少100萬元以上。
4.3.1 痛點問題
發(fā)動機曲軸連桿的外形有很高的相似度,不同發(fā)動機所使用的連桿之間,甚至于一個連桿的正反兩面往往也只有幾個特征點有明顯不同。半成品的曲軸連桿在進入加工中心進行精加工前,需要使用視覺傳感器代替人工鑒別檢測。利用檢測系統(tǒng)可以自動對不同類型的曲軸連桿進行辨別,助力自動化生產(chǎn)線的高效運行。
4.3.2 應用情況
通過對某汽車零件廠曲軸連桿的型號檢測及管理,檢測系統(tǒng)有效實現(xiàn)生產(chǎn)線上曲軸連桿的精確管理。運行3 個月后,產(chǎn)品檢測效率提升2倍,產(chǎn)品入庫周期縮短10%;同時產(chǎn)品缺陷率降低5%,直接經(jīng)濟效益達到數(shù)百萬元。
本文提出了一種基于機器視覺、5G、MEC等技術的表面質(zhì)量檢測系統(tǒng)。該系統(tǒng)一方面創(chuàng)建新的運作模式,通過端、邊、云協(xié)同發(fā)揮各自優(yōu)勢,即將工業(yè)相機在生產(chǎn)線部署,視覺算法部署在工廠,MEC、模型設計部署在云端,實現(xiàn)相機設備、視覺算法、模型訓練等本地分離。另一方面,將傳統(tǒng)孤立視覺系統(tǒng)(包含視覺控制器、視覺應用軟件和工業(yè)相機)轉化為“集中處理+分布采集”的控制模式,多個工位不同的視覺檢測工程,同時在MEC側運行,并將檢測結果返回到工位控制端。系統(tǒng)可將檢測結果匯集成數(shù)據(jù)庫,并融合MES,WMS等系統(tǒng)數(shù)據(jù)、產(chǎn)品物料數(shù)據(jù)、市場反饋追蹤數(shù)據(jù),對缺陷類型、產(chǎn)生原因進行深入研究,為生產(chǎn)線優(yōu)化升級提供合理建議,保證企業(yè)優(yōu)質(zhì)出品,減少廢品。