葛 爽，姜明君，李明輝

（博世汽車部件（長沙）有限公司，長沙 410100）

0 引言

機器視覺是利用機器設(shè)備代替人工進行檢測或測量任務(wù)的技術(shù)，它是集機械、電子、光學(xué)和軟件計算等技術(shù)為一體的工業(yè)化應(yīng)用，目前已被廣泛應(yīng)用于測量、檢測、引導(dǎo)和識別等領(lǐng)域。傳統(tǒng)機器視覺檢測需要人工設(shè)計特征提取算法進行分類識別任務(wù)，檢測方法具有針對性，系統(tǒng)魯棒性能差[1]。近年來，隨著計算機技術(shù)的迅猛發(fā)展，深層卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中強大特征提取與歸納能力取得重大進展，在圖像識別、圖像分類、目標檢測、語義分割、生成對抗等計算機視覺各個領(lǐng)域中應(yīng)用[2]。

傳統(tǒng)工業(yè)互聯(lián)網(wǎng)主要是依靠有線網(wǎng)絡(luò)或者WiFi網(wǎng)絡(luò)進行數(shù)據(jù)交互或者遠程控制的，工業(yè)應(yīng)用具有很大局限性，如有線網(wǎng)絡(luò)對設(shè)備部署帶來很多限制，WiFi網(wǎng)絡(luò)存在信號不穩(wěn)定，傳輸速度慢，響應(yīng)時間長等問題[3]。5G即第五代移動通訊技術(shù)，它不僅帶來了無線網(wǎng)絡(luò)服務(wù)架構(gòu)的革新，而且具有低延時、大帶寬、高可靠等特點，能有效解決生產(chǎn)線設(shè)備線束多，網(wǎng)絡(luò)信號不穩(wěn)定及干擾等問題，從而為工業(yè)網(wǎng)絡(luò)連接提供高可靠服務(wù)保障。隨著5G技術(shù)的不斷發(fā)展，基于AI的機器視覺系統(tǒng)正在催生更大的應(yīng)用市場[4]。通過5G網(wǎng)絡(luò)將數(shù)發(fā)送到云端服務(wù)器，可以實現(xiàn)更加復(fù)雜的運算和更短的時間響應(yīng)。但是將5G和深度學(xué)習(xí)技術(shù)同時應(yīng)用到工業(yè)視覺檢測領(lǐng)域的案例仍然非常少，其中重要原因，第一是目前市場上還沒有真正的成熟的5G工業(yè)相機，通過5G終端實現(xiàn)的圖片數(shù)據(jù)傳輸方案比較復(fù)雜，成本高；第二是因為雖然深度學(xué)習(xí)技術(shù)具有特征提取自學(xué)習(xí)、魯棒性強和更靈活等特點，但是對計算機算力要求也更高，所以相應(yīng)需要更大的算力硬件投入[5]。

針對以上問題，本文提出了在工廠5G專網(wǎng)架構(gòu)下，充分發(fā)揮5G和人工智能結(jié)合的優(yōu)勢，開發(fā)5G工業(yè)相機進行圖像數(shù)據(jù)的采集和傳輸，設(shè)計開發(fā)基于深度學(xué)習(xí)的智能視覺檢測平臺，并通過多個測試工位共享該智能視覺檢測平臺，搭建快速的、并行的、智能化檢測系統(tǒng)，并應(yīng)用于實際生產(chǎn)測試中，不僅提高了檢測效率，減小了誤報率，而且降低硬件投入成本，推動基于5G的智能機器視覺檢測在工業(yè)領(lǐng)域的應(yīng)用與普及。

1 5G智能機器視覺檢測系統(tǒng)

機器視覺檢測已是工業(yè)檢測的重要組成部分，貫穿于產(chǎn)品加工、測試、組裝、包裝等各個生產(chǎn)環(huán)節(jié)，但當前各生產(chǎn)環(huán)節(jié)還是存在大量依靠人工目檢的視覺檢測的場景，由于檢測結(jié)果主觀性強，易受檢測人員經(jīng)驗、心情等因素的影響，所以容易造成產(chǎn)品質(zhì)量風(fēng)險隱患[6]?；?G智能機器視覺檢測系統(tǒng)通過在5G工廠專網(wǎng)架構(gòu)下，利用自研發(fā)的5G工業(yè)相機大帶寬、低延時等特點實現(xiàn)海量高清圖片數(shù)據(jù)的采集和傳輸并與遠程部署的AI服務(wù)器進行交互，根據(jù)不同生產(chǎn)應(yīng)用場景或者不同工位視覺測試需求，搭建快速的、并行的、智能化的檢測網(wǎng)絡(luò)。

通過遠程端AI算法服務(wù)器的部署，不僅能提升圖像分析處理能力，而且提高了設(shè)備端輕量化程度和靈活性，同時多檢測工位可以共享AI算法服務(wù)，減少了硬件及算力的浪費，同時設(shè)備的日常維護或算法更新等工作也只需要在服務(wù)器端進行，大大降低了維護成本?；?G的智能機器視覺檢測系統(tǒng)結(jié)構(gòu)如圖1所示，整個系統(tǒng)核心包括5G工業(yè)相機和智能視覺檢測平臺兩個部分。

1.1 5G工業(yè)相機

工業(yè)相機的功能是將光信號轉(zhuǎn)變成有序的電信號，具有更高的成像穩(wěn)定性、傳輸能力和抗干擾能力等，其性能好壞不僅直接影響圖像的分辨率和質(zhì)量，更關(guān)系著整個生產(chǎn)過程的效率[7]。由于圖像的數(shù)量和精度快速攀升，對網(wǎng)絡(luò)傳輸?shù)牡脱舆t需求愈發(fā)強烈，在4G時代，受限于傳輸速度和時延等性能，圖像傳輸前端和后端通訊響應(yīng)時間比較長，無法實現(xiàn)實時通訊，在5G技術(shù)加持下，工業(yè)相機傳輸實現(xiàn)了性能的突破。

現(xiàn)有的傳統(tǒng)工業(yè)相機，如果需要通過5G網(wǎng)絡(luò)傳輸圖片數(shù)據(jù)到基站，必須借助于CPE信號轉(zhuǎn)換，并不是真正意義的5G工業(yè)相機，同時，增加的CPE和線束影響設(shè)備端的輕量化和靈活度。目前市場還沒有成熟的5G工業(yè)相機設(shè)備，因此，開發(fā)無線5G工業(yè)相機進行圖像數(shù)據(jù)采集和傳輸是5G機器視覺檢測的基礎(chǔ)和必要條件。自研發(fā)的5G無線工業(yè)相機如圖1所示，相機主要由成像模組、控制器和5G通訊模塊3個部分組成。

圖1 基于5G的智能機器視覺檢測系統(tǒng)結(jié)構(gòu)

（1）成像模組。包括一個CMOS面陣傳感器和鏡頭。主要負責(zé)現(xiàn)場端圖像的獲取，可根據(jù)不同應(yīng)用場景需求進行適配和選型。

（2）控制器。5G工業(yè)相機的核心，主要負責(zé)控制成像模組圖像采集和GPIO輸出控制，以及提供5G通訊模塊接口等。

（3）5G通訊模塊。提供大帶寬、高可靠、低延時的網(wǎng)絡(luò)環(huán)境，支持sub-6 GHz和毫米波頻段以及5G獨立組網(wǎng)（SA）和非獨立組網(wǎng)（NSA）兩種運行模式。

1.2 智能視覺檢測云平臺

智能視覺檢測平臺是檢測系統(tǒng)的核心，一般部署在遠程端，主要負責(zé)數(shù)據(jù)的云存儲、云處理和云協(xié)同等功能，同時利用容器技術(shù)將不同檢測工位組網(wǎng)，實現(xiàn)1對多的檢測任務(wù)與應(yīng)用支持，降低硬件成本和設(shè)備端復(fù)雜程度。智能視覺檢測平臺架構(gòu)如圖2所示，分為存儲層、容器層、算法層、應(yīng)用層和決策層。

圖2 5G工業(yè)相機

（1）存儲層。數(shù)據(jù)的存儲是智能視覺檢測平臺的基礎(chǔ)工作，由于需要存儲的圖片數(shù)據(jù)體量大，因此采用基于Hadoop分布式存儲技術(shù)，保證海量生產(chǎn)數(shù)據(jù)的快速、高效、可靠性傳輸和存儲。

（2）容器層。根據(jù)實際應(yīng)用需求，利用Kubern-etes或Docker技術(shù)構(gòu)建算法上層應(yīng)用接口，實現(xiàn)1對n的檢測任務(wù)。

（3）算法層。對圖像數(shù)據(jù)進行處理分析實現(xiàn)對特定目標的檢測、分析與識別，包含基于open-cv傳統(tǒng)算法和深度學(xué)習(xí)算法。各個算法高度集成化、模塊化，以便于重復(fù)調(diào)用。

（4）應(yīng)用層。根據(jù)實際應(yīng)用需求，通過編排器的方式將算法模塊進行組合和調(diào)用，以完成檢測程序的封裝。

（5）決策層。依據(jù)圖像分析結(jié)果進行決策判斷，并制定相應(yīng)響應(yīng)策略，包括控制，協(xié)同與顯示等。

2 5G智能視覺檢測系統(tǒng)關(guān)鍵技術(shù)

2.1 自研發(fā)的5G工業(yè)相機

工業(yè)相機是機器視覺系統(tǒng)中一個關(guān)鍵組件，其本質(zhì)的功能是將光信號轉(zhuǎn)變成有序的能被電子系統(tǒng)處理的電信號，具有高的成像穩(wěn)定性、高傳輸能力和高抗干擾能力等特點[8]。目前所有的5G視覺解決方案中，工業(yè)相機采集圖片后都需要借助于5G終端或者CPE傳輸圖片數(shù)據(jù)，大大增加了設(shè)備端的復(fù)雜程度。

5G工業(yè)相機是依靠5G的大帶寬、低延時和高可靠性等特點實現(xiàn)海量高清數(shù)據(jù)的采集功能，為保證特殊場景圖像傳輸速度，自研發(fā)5G工業(yè)相機利用MPEG-4 AVC圖片編碼技術(shù)對圖片進行壓縮后傳輸，5G工業(yè)相機關(guān)鍵技術(shù)開發(fā)如圖3所示。相對于現(xiàn)有的5G圖像采集傳輸方案，自研發(fā)的5G工業(yè)相機配置簡單，支持遠程部署和控制，插卡即用，依靠高效、穩(wěn)定的5G網(wǎng)絡(luò)實現(xiàn)端對端的實時圖像數(shù)據(jù)采集傳輸任務(wù)，可滿足當前許多工業(yè)智能檢測應(yīng)用場景。

圖3 智能視覺檢測云平臺架構(gòu)

2.2 平臺化系統(tǒng)設(shè)計

傳統(tǒng)視覺檢測系統(tǒng)通常是為特定場景定制化開發(fā)的，光源、工業(yè)相機、圖像處理等單元模塊都在設(shè)備端，體積大，系統(tǒng)復(fù)雜，升級維護成本高。5G智能視覺檢測系統(tǒng)是基于C/S架構(gòu)設(shè)計的，設(shè)備端只保留5G工業(yè)相機，圖像處理能力移到后端智能檢測平臺上，各檢測工位只需采集圖片傳輸?shù)狡脚_端處理即可獲得檢測結(jié)果，具有以下優(yōu)勢。

（1）通過5G內(nèi)網(wǎng)架構(gòu)實現(xiàn)企業(yè)整體視覺檢測體系，可同時滿足多場景、多檢測點并行的檢測及智能化管理需求。

（2）圖像的存儲和分析處理算法主要部署在平臺端，極大提升設(shè)備的存儲和數(shù)據(jù)分析處理能力，減少了硬件及算力浪費，實現(xiàn)數(shù)據(jù)云存儲，云計算和云協(xié)同。

（3）設(shè)備端只需5G相機即可實現(xiàn)智能視覺檢測，有效降低工位檢測成本，提高設(shè)備端輕量化程度及靈活性。

（4）對于設(shè)備的日常維護或者算法更新，只需要在服務(wù)器端進行即可，降低了設(shè)備維護成本。

圖4 5G工業(yè)相機關(guān)鍵技術(shù)開發(fā)

2.3 基于深度學(xué)習(xí)的智能視覺算法

傳統(tǒng)圖像處理算法主要靠算法開發(fā)人員根據(jù)具體應(yīng)用所處環(huán)境、光源及被檢產(chǎn)品特點等因素人工設(shè)計特征提法方法，該方法對開發(fā)人員專業(yè)知識要求較高且泛化能力及魯棒性能差，只能用來解決特定場景、可人工定義、設(shè)計、理解的圖像分析任務(wù)。

深度學(xué)習(xí)算法主要是基于數(shù)據(jù)驅(qū)動進行圖像特征提取的方法，該方法根據(jù)大量圖片樣本的學(xué)習(xí)可以得到更深層、更高效和更準確的圖像特征表示，泛化能力和魯棒性更強，并且是端對端的，無需復(fù)雜的調(diào)參過程[9]。本系統(tǒng)搭建的智能視覺檢測云平臺支持深度學(xué)習(xí)算法訓(xùn)練的全部流程，包括數(shù)據(jù)集存儲管理、圖片標注、模型訓(xùn)練、模型部署等功能。目前已集成部署的深度學(xué)習(xí)算法有分類算法（VGG16，Resnet50，SENet等），目標檢測算法（Faster-RCNN，YOLOv3，YOLOv5），圖像分割算法（FCN，Unet），光學(xué)字符識別OCR（advanced EAST+CRNN），生成對抗網(wǎng)絡(luò)GAN（encode+decode，Pix2Pix），智能平臺通過模塊化、標準化的系統(tǒng)設(shè)計，大大降低了算法應(yīng)用開發(fā)的難度，縮短了算法模型驗證和部署的時間。

3 系統(tǒng)應(yīng)用驗證

長沙博世作為5G工業(yè)互聯(lián)網(wǎng)示范工廠，目前已經(jīng)實現(xiàn)5G專網(wǎng)信號無死角全覆蓋，可同時保障5G信號強度及上下行帶寬（下行700 Mb/s以上，上行200 Mb/s以上），可保證所有智能視覺檢測應(yīng)用測試場景對網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)男枨蟆?/p>

馬達包裝是所有馬達產(chǎn)線最后一個生產(chǎn)工序，如果馬達包裝發(fā)生漏裝或者裝錯型號的情況，沒有其他有效手段進行攔截，將直接造成客戶投訴。由于傳統(tǒng)圖像處理算法對于環(huán)境和位置的變化要求非常高，所以不適用于此場景檢測，目前包裝重量的測量方法可以有效規(guī)避馬達包裝漏裝的情況，但是馬達錯裝的情況仍無法有效檢測。

針對博世產(chǎn)線馬達包裝漏裝檢測需求，以馬達數(shù)量和型號為檢測目標，進行馬達包裝檢測，基于5G的馬達包裝智能檢測臺如圖5所示，通過自研發(fā)5G工業(yè)相機進行實時圖片數(shù)據(jù)采集并傳輸?shù)竭h程端AI服務(wù)器中智能檢測平臺進行處理，實現(xiàn)馬達型號和數(shù)量的端對端的實時檢測，并在操作員拿走包裝后觸發(fā)結(jié)果輸出，利用聲光報警裝置告知操作員檢測結(jié)果。

圖5 基于5G的智能馬達包裝檢測臺

為方便技術(shù)人員查看結(jié)果，智能視覺檢測平臺輸出的可視化界面如圖6所示，應(yīng)用的平臺算法主要是目標檢測算法YOLOv5和分類算法VGG-16。

圖6 基于5G智能馬達包裝檢測可視化界面

實際生產(chǎn)測試表明系統(tǒng)可實時檢測各種型號馬達和數(shù)量，準確率達99.5%以上，與重量測試檢測方法相比，生產(chǎn)效率提高0.5%，誤報率降低8%。并且通過該系統(tǒng)的應(yīng)用和推廣，實施成本降低30%，運維成本降低25%，實現(xiàn)了低成本、智能化的工業(yè)視覺檢測任務(wù)。

4 結(jié)束語

基于5G的智能機器視覺檢測系統(tǒng)是將5G和AI技術(shù)相結(jié)合，為生產(chǎn)的各種場景實現(xiàn)端對端的檢測而打造的平臺化、智能化工業(yè)視覺檢測系統(tǒng)。相較于現(xiàn)有的工業(yè)視覺檢測成本高、誤報率高、功能單一等問題，該系統(tǒng)成本低、功能完善，滿足多場景視覺檢測需求，適合在工業(yè)領(lǐng)域大規(guī)模部署。自研發(fā)的5G工業(yè)相機的采用大大降低了設(shè)備端的復(fù)雜度，有利于設(shè)備端的輕量化和靈活度，模塊化的算法設(shè)計和標準化的操作流程提高了系統(tǒng)的通用性和可復(fù)制性。系統(tǒng)測試表明，通過多測試工位并行接入，大大降低投入成本，有效解決制造業(yè)產(chǎn)品視覺檢測系統(tǒng)響應(yīng)慢、誤報率高、成本高等痛點和難點問題。