郭亨長(zhǎng)，李麗

（上海晨光文具股份有限公司 中國(guó)輕工業(yè)制筆工程技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海，201406）

0.引 言

傳統(tǒng)的工業(yè)產(chǎn)品制造過(guò)程中，多數(shù)基于人工實(shí)現(xiàn)品質(zhì)檢驗(yàn)分揀、依賴人工視覺(jué)離線檢測(cè)來(lái)完成。而機(jī)器視覺(jué)的目標(biāo)就是使機(jī)器通過(guò)觀察和學(xué)習(xí)，最終也會(huì)像人一樣具有適應(yīng)環(huán)境并自主學(xué)習(xí)的能力[1]。機(jī)器視覺(jué)作為智能制造技術(shù)的一個(gè)分支，主要通過(guò)處理分析圖像或者多維數(shù)據(jù)來(lái)獲取有用的信息，輔助智能制造系統(tǒng)進(jìn)行判斷或分類等。機(jī)器視覺(jué)的特點(diǎn)有檢測(cè)精度高、快速、高效與非接觸等，使用機(jī)器視覺(jué)可以提升制造業(yè)水平，并且機(jī)器視覺(jué)在檢測(cè)領(lǐng)域可以發(fā)揮有利的作用[2]。近年來(lái)，機(jī)器視覺(jué)技術(shù)發(fā)展迅速，其非接觸式測(cè)量的客觀、可靠、無(wú)損傷及高精度等優(yōu)點(diǎn)滿足了現(xiàn)代制造業(yè)高效率生產(chǎn)的要求，可以用于測(cè)量、檢測(cè)、識(shí)別、定位等實(shí)際的工業(yè)現(xiàn)場(chǎng)中[3][4][5]，并被推廣于農(nóng)業(yè)[6]、醫(yī)藥[7]、紡織[8]、電子制造[9]等領(lǐng)域。對(duì)于制筆和辦公文體用品行業(yè)來(lái)說(shuō)，機(jī)器視覺(jué)技術(shù)在國(guó)內(nèi)尚未得到推廣，質(zhì)量檢測(cè)、包裝等工序仍以手工勞動(dòng)為主，檢測(cè)速度達(dá)不到大規(guī)模高速實(shí)時(shí)的要求。本文結(jié)合制筆工業(yè)的實(shí)際需要，通過(guò)開(kāi)發(fā)基于機(jī)器視覺(jué)的筆頭、筆芯、零配件和包裝印刷智能檢測(cè)技術(shù)，應(yīng)用到制筆工業(yè)生產(chǎn)線各環(huán)節(jié)中。

1.機(jī)器視覺(jué)系統(tǒng)介紹

機(jī)器視覺(jué)系統(tǒng)通常包含硬件系統(tǒng)和軟件系統(tǒng)兩個(gè)組成部分。硬件系統(tǒng)主要包括光學(xué)系統(tǒng)、照明系統(tǒng)、機(jī)械系統(tǒng)、電氣系統(tǒng)等。軟件系統(tǒng)包含圖像采集、圖像處理、數(shù)據(jù)通信、人機(jī)交互等。一般機(jī)器視覺(jué)系統(tǒng)由工業(yè)相機(jī)、鏡頭、光源、光源控制器、圖像采集卡、傳感器、工控機(jī)、PLC控制結(jié)構(gòu)組成[10][11]。具體的流程是由光源控制器控制光源，光源照射在待檢測(cè)目標(biāo)上，傳感器觸發(fā)光學(xué)成像系統(tǒng)對(duì)檢測(cè)目標(biāo)進(jìn)行圖像采集，圖像采集卡會(huì)將采集到的圖像傳輸至工控機(jī)，工控機(jī)對(duì)圖像進(jìn)行分析判斷，并將判斷結(jié)果（如分類、剔除、報(bào)警等）傳送給PLC 控制系統(tǒng)。PLC 控制系統(tǒng)主要用于接收工控機(jī)判斷的結(jié)果并執(zhí)行分類、剔除、報(bào)警等動(dòng)作。系統(tǒng)結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

2.筆頭的智能檢測(cè)技術(shù)

在金屬筆頭檢測(cè)環(huán)節(jié)，筆頭長(zhǎng)度、球珠外露（露珠）、碗口質(zhì)量是影響筆頭質(zhì)量的直接因素[12]。在工業(yè)生產(chǎn)中，檢測(cè)標(biāo)準(zhǔn)要求筆頭的檢測(cè)誤差小于5μm。傳統(tǒng)的工業(yè)生產(chǎn)中采用人眼檢測(cè)，必須依靠顯微鏡、千分尺等輔助儀器。經(jīng)過(guò)計(jì)算，熟練檢測(cè)工每分鐘檢測(cè)筆頭不超過(guò)12 只，效率低于筆頭加工機(jī)每分鐘150 只以上的產(chǎn)量。

針對(duì)當(dāng)前在筆頭長(zhǎng)度、露珠高度和碗口質(zhì)量檢測(cè)，開(kāi)發(fā)了基于機(jī)器視覺(jué)的金屬筆頭智能檢測(cè)系統(tǒng)，提高檢測(cè)效率[13]。其軟件模塊主要包含圖像采集與處理、目標(biāo)檢測(cè)及質(zhì)量篩選三大模塊，軟件系統(tǒng)整體框架如圖2所示。主要對(duì)圖像采集速度與曝光時(shí)間、增益參數(shù)、相機(jī)安裝空間、筆頭檢測(cè)所在的環(huán)節(jié)和設(shè)定的節(jié)拍等進(jìn)行有針對(duì)性的調(diào)節(jié)與改造，利用機(jī)器視覺(jué)算法構(gòu)建筆頭自動(dòng)檢測(cè)視覺(jué)軟件系統(tǒng)。并使系統(tǒng)能應(yīng)用于工業(yè)中實(shí)際使用的電腦配置與系統(tǒng)，能與現(xiàn)場(chǎng)硬件設(shè)備進(jìn)行通信連接使用。

圖2 軟件系統(tǒng)整體框架

針對(duì)筆頭的露珠檢測(cè)，通過(guò)計(jì)算機(jī)視覺(jué)進(jìn)行的具體操作為：首先，通過(guò)工業(yè)相機(jī)進(jìn)行圖像采集，通過(guò)讀取采集到的圖片并輸入智能圖像處理系統(tǒng)做數(shù)字化處理，再由該系統(tǒng)對(duì)圖像進(jìn)行邊緣檢測(cè)。在邊緣檢測(cè)中采取的方式為，將邊緣弧線用最小二乘法圓度擬合，得到平滑完整的曲線輪廓。接著對(duì)擬合后的曲線圖形進(jìn)行高度測(cè)量，最后以筆頭質(zhì)檢標(biāo)準(zhǔn)作為露珠高度是否合格的評(píng)判依據(jù)。測(cè)試效果如圖3所示，黑色陰影部分即筆頭和露珠的外輪廓，而綠色線條即為經(jīng)過(guò)機(jī)器視覺(jué)算法處理后擬合生成的線條，通過(guò)對(duì)線條的長(zhǎng)度測(cè)量即可得知露珠露出的長(zhǎng)度，最終判斷是否合格,檢測(cè)筆頭速度可達(dá)每分鐘120 只以上。

圖3 露珠高度測(cè)試效果圖

通過(guò)圖像采集和數(shù)字化，進(jìn)入圖像處理系統(tǒng)進(jìn)行濾波和增強(qiáng)等圖像處理，去除噪聲，增強(qiáng)對(duì)比度，得到可供計(jì)算機(jī)計(jì)算的圖像模式和參數(shù)，然后進(jìn)行Blob 分析。通過(guò)分析可以在采集并處理過(guò)的圖像中獲取感興趣的碗口區(qū)域（即目標(biāo)區(qū)域ROI），最后利用邊緣檢測(cè)算法Canny 算子提取亞像素級(jí)邊緣，結(jié)合最小二乘法對(duì)圖像進(jìn)行邊緣擬合，并利用差影法進(jìn)行缺陷檢測(cè)與判斷，得到的最終筆頭缺陷測(cè)試效果，如圖4所示。圖中右邊為判斷不合格的產(chǎn)品，可以在圖中看到這套系統(tǒng)不僅能在結(jié)果中顯示是否合格，還可以將被檢測(cè)筆頭的各個(gè)參數(shù)一一列出，并將圖像中分析擬合出的邊緣用圓滑線條表示。

圖4 筆頭缺陷測(cè)試效果圖

進(jìn)一步提升質(zhì)量檢測(cè)水平，將通過(guò)缺陷類別及特征庫(kù)建立，采用深度學(xué)習(xí)、實(shí)時(shí)識(shí)別等人工智能技術(shù)，進(jìn)行在線檢測(cè)與準(zhǔn)確判斷。

3.筆芯的智能檢測(cè)技術(shù)

3.1 透明筆芯油墨與尾塞油注入量檢測(cè)技術(shù)

筆芯生產(chǎn)環(huán)節(jié)主要對(duì)油墨和密封油（尾塞油）注入量進(jìn)行檢測(cè)。油墨和尾塞油注入量都有嚴(yán)格長(zhǎng)度控制，誤差一般不能超過(guò)1mm?？梢赃M(jìn)行增加機(jī)器視覺(jué)檢測(cè)裝置，嵌入安裝于圓珠筆筆芯生產(chǎn)流水線之上，匹配流水線使用的計(jì)算機(jī)系統(tǒng)，實(shí)現(xiàn)實(shí)時(shí)性的透明筆芯油墨、尾塞油檢測(cè)。在接通剔除裝置控制信號(hào)過(guò)后，實(shí)時(shí)剔除不合格產(chǎn)品，顯著提高了檢測(cè)效率。透明筆芯的油墨與尾塞油注入量檢測(cè)技術(shù)算法流程如下圖5所示。

圖5 軟件算法流程

在實(shí)際生產(chǎn)中，流水線上筆芯正常傳輸，架設(shè)兩臺(tái)工業(yè)相機(jī)，分別采集油墨和尾塞油圖像進(jìn)行灰度處理，設(shè)置閾值進(jìn)行圖像分割處理。通過(guò)閾值設(shè)置后進(jìn)行圖像切割處理，從而將油墨、尾塞油圖像切割開(kāi)。油墨、尾塞油測(cè)試效果如圖6所示。

圖6 筆芯油墨、尾塞油測(cè)試效果圖

生產(chǎn)線基本參數(shù)主要包括鏈條運(yùn)動(dòng)速度、每次向前運(yùn)送的筆芯數(shù)量及間距、節(jié)拍等。根據(jù)相機(jī)的像素、像元尺寸、視野范圍、景深要求、鏡頭到筆尖的距離等調(diào)整與設(shè)置工位。在應(yīng)用中利用軟件程序?qū)τ湍?、尾塞油進(jìn)行檢測(cè)，輔助以一定比例函數(shù)，可得到油墨、尾塞油注入量信息。經(jīng)過(guò)機(jī)器視覺(jué)算法運(yùn)算與判斷，從而確保生產(chǎn)出的圓珠筆筆芯油墨與尾塞油注入量合格。該系統(tǒng)還可以通過(guò)對(duì)閾值切割的動(dòng)態(tài)調(diào)整可實(shí)現(xiàn)對(duì)不同型號(hào)、不同規(guī)格的圓珠筆筆芯全兼容式檢測(cè)。

3.2 非透明筆芯油墨與尾塞油注入量檢測(cè)技術(shù)

非透明筆芯則不能從側(cè)面直接檢測(cè)墨水和尾塞油，而是通過(guò)光學(xué)定位筆芯尾端中心，再進(jìn)行微距成像，通過(guò)油墨界面成像的模糊程度來(lái)估量油墨高度。如圖7所示，成像過(guò)程可以看作是點(diǎn)擴(kuò)展函數(shù)對(duì)景物進(jìn)行卷積的過(guò)程[14]。通過(guò)逆向工程進(jìn)行倒推的的可逆計(jì)算[15]，可以得出由卷積后的模糊邊界推算出的景物的真實(shí)邊界，進(jìn)而估算筆芯尾塞油高度，但是這種方式計(jì)算量大、效果得不到保證。因此，本套機(jī)器視覺(jué)智能檢測(cè)系統(tǒng)利用了對(duì)于成像系統(tǒng)來(lái)說(shuō)，所獲取的圖像的清晰程度可以直接反應(yīng)其離焦程度[16]的特征關(guān)聯(lián)，通過(guò)計(jì)算筆芯尾端圖像中心位置的像斑模糊程度來(lái)估算筆芯尾塞油在筆芯管中所處高度，成功地在避免了大量的計(jì)算的同時(shí)得到了滿意的檢測(cè)結(jié)果。

圖7 景物邊界成像原理圖

智能圖像處理系統(tǒng)首先通過(guò)使用灰度方差法、差的平方和法、結(jié)構(gòu)相似性法和邊緣梯度法對(duì)采集到的數(shù)據(jù)進(jìn)行清晰度評(píng)估。經(jīng)過(guò)實(shí)驗(yàn)與對(duì)比，最終得到灰度方差法和結(jié)構(gòu)不滿足單峰性，差的平方和法無(wú)偏性較差，而邊緣梯度法的效果較好。如圖8所示，圖像可以完整并明顯地表現(xiàn)出矩形區(qū)域中圓斑的模糊程度，最終根據(jù)此模糊程度判斷出筆芯油墨高度是否合格，從而剔除掉油墨偏多或偏少的筆芯[17]。

圖8 非透明筆芯油墨注入量測(cè)試效果圖

4.劃線檢測(cè)技術(shù)

模擬人工劃線檢測(cè)筆芯書(shū)寫(xiě)質(zhì)量，開(kāi)發(fā)基于機(jī)器視覺(jué)的筆芯劃線缺陷檢測(cè)系統(tǒng)，同樣包含圖像采集與處理、目標(biāo)檢測(cè)及質(zhì)量篩選三大模塊。在生產(chǎn)線上的筆芯通過(guò)機(jī)械臂抓取，在紙帶上進(jìn)行自動(dòng)劃線，通過(guò)對(duì)筆芯書(shū)寫(xiě)劃線拍攝并做形態(tài)學(xué)處理，根據(jù)特征值來(lái)判斷筆芯的書(shū)寫(xiě)性能是否合格[18]。圖像處理由于直接通過(guò)二值化得到的圖像存在許多噪點(diǎn)以及不平整的邊緣，系統(tǒng)就在這里作濾波和開(kāi)運(yùn)算進(jìn)行優(yōu)化，最終得到可用于應(yīng)用算法的圖像[19]。筆芯劃線全檢圖像處理過(guò)程如圖9所示。

圖9 筆芯劃線圖像處理分析圖

筆芯劃線缺陷測(cè)試效果如圖10所示。圖中斷墨的缺陷圖可以明顯看出經(jīng)過(guò)圖像處理得到的斷墨的起點(diǎn)和終點(diǎn)，并用紅色點(diǎn)標(biāo)注出。而積墨圖中可以明顯看出經(jīng)過(guò)計(jì)算機(jī)視覺(jué)圖像處理后的劃線積墨部分被藍(lán)色圈出并標(biāo)記。合格劃線圖無(wú)標(biāo)注。

圖10 筆芯劃線缺陷測(cè)試效果圖

5.零配件檢測(cè)技術(shù)

市場(chǎng)上圓珠筆不同的外觀和結(jié)構(gòu)有數(shù)千種，其零配件種類比較多，形狀各異，常見(jiàn)的檢測(cè)包括尺寸、形狀、結(jié)構(gòu)、外觀質(zhì)量、注塑缺陷等內(nèi)容。以晨光K35 中性筆握筆護(hù)套裝配過(guò)程涉及的形狀識(shí)別為例，開(kāi)發(fā)了基于機(jī)器視覺(jué)的檢測(cè)零配件方向識(shí)別技術(shù)，并將其應(yīng)用于生產(chǎn)線上。通過(guò)采集大量正反樣本圖像并進(jìn)行標(biāo)記，基于Pytorch 機(jī)器學(xué)習(xí)框架提供的預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)CNN 模型，利用多模型特征向量融合技術(shù)及遷移學(xué)習(xí)技術(shù)，構(gòu)建二分類監(jiān)督學(xué)習(xí)模型，對(duì)護(hù)套的正反方向進(jìn)行判斷。經(jīng)過(guò)反復(fù)調(diào)參提高模型的泛化能力，最終通過(guò)對(duì)護(hù)套方向的準(zhǔn)確判斷從而向機(jī)械臂發(fā)送正確的行為指令。模型構(gòu)建流程圖如圖11所示。

圖11 機(jī)器視覺(jué)檢測(cè)流程圖

6.包裝印刷檢測(cè)技術(shù)

圓珠筆生產(chǎn)除了上述零配件裝配，還需要進(jìn)行貼標(biāo)和包裝。在實(shí)際生產(chǎn)中印刷機(jī)器、轉(zhuǎn)印膜等諸多外界因素干擾，偶爾出現(xiàn)標(biāo)簽印刷瑕疵。因此針對(duì)標(biāo)簽印刷與貼合的問(wèn)題，計(jì)算機(jī)視覺(jué)智能圖像檢測(cè)系統(tǒng)利用模版匹配的方式，可以實(shí)現(xiàn)除了檢測(cè)漏印缺印、偏色、臟點(diǎn)墨點(diǎn)、拉邊毛邊、錯(cuò)位偏位等常規(guī)缺陷外，還可對(duì)文字?jǐn)?shù)字錯(cuò)誤、小數(shù)點(diǎn)、型號(hào)條形碼等做精確檢測(cè)。

基于Python 語(yǔ)言的強(qiáng)可讀和完全開(kāi)源特性，采用Python 作為開(kāi)發(fā)語(yǔ)言，使用Anaconda 軟件作為開(kāi)發(fā)環(huán)境，利用深度學(xué)習(xí)圖像特征提取方法以及監(jiān)督學(xué)習(xí)多標(biāo)簽檢測(cè)分類方法，實(shí)現(xiàn)此印刷檢測(cè)技術(shù)。前期進(jìn)行了大量圖像采樣，并基于百度EasyDL 進(jìn)行圖像打標(biāo)簽處理，分別對(duì)圖像進(jìn)行多標(biāo)簽標(biāo)記；然后基于PIL 及OpenCV 強(qiáng)大的圖像處理能力對(duì)圖像進(jìn)行灰度圖轉(zhuǎn)化，圖像旋轉(zhuǎn)，大小縮放，中心剪裁等圖像增強(qiáng)，采用基于百度PaddleHub 的卷積神經(jīng)網(wǎng)絡(luò)圖像分類模型對(duì)圖像進(jìn)行特征提取；繼而利用基于Scikitlearn 的集成算法構(gòu)建分類器，對(duì)提取出來(lái)的特征向量進(jìn)行多標(biāo)簽分類模型訓(xùn)練。利用深度神經(jīng)網(wǎng)絡(luò)的前向傳遞及反向傳播機(jī)制，借助百度AIStudio GPU 服務(wù)器進(jìn)行模型finetune 訓(xùn)練，使模型對(duì)圖像數(shù)據(jù)集進(jìn)行擬合，并在圖像測(cè)試集上進(jìn)行預(yù)測(cè)結(jié)果驗(yàn)證，反復(fù)調(diào)參，增強(qiáng)模型泛化能力。最終實(shí)現(xiàn)對(duì)標(biāo)簽圖案的缺陷檢測(cè)，其流程如圖12所示：

圖12 包裝印刷智能檢測(cè)流程

7.總 結(jié)

綜上所述，基于機(jī)器視覺(jué)的智能檢測(cè)技術(shù)適合制筆工業(yè)生產(chǎn)過(guò)程的質(zhì)量檢測(cè)，所開(kāi)發(fā)硬件和軟件在筆頭、筆芯、零配件和印刷包裝等環(huán)節(jié)均成功得到應(yīng)用。隨著智能制造技術(shù)應(yīng)用越來(lái)越廣泛，在制筆行業(yè)中，相對(duì)傳統(tǒng)的人工檢測(cè)，基于機(jī)器視覺(jué)的智能檢測(cè)一方面可以提高生產(chǎn)效率，降低企業(yè)成本，另一方面可以提升產(chǎn)品品質(zhì)，為企業(yè)帶來(lái)更大的品牌價(jià)值。新的智能技術(shù)與制造業(yè)的深度融合，正在引發(fā)影響深遠(yuǎn)的產(chǎn)業(yè)變革，形成新的生產(chǎn)方式、產(chǎn)業(yè)形態(tài)、商業(yè)模式和經(jīng)濟(jì)增長(zhǎng)點(diǎn)[21]。