鐘治魁

（泉州華中科技大學(xué)智能制造研究院，福建泉州 362000）

0 引言

中國不僅是制鞋大國，全球較大的鞋業(yè)制造基地，而且也是全球較大的鞋類產(chǎn)品消費(fèi)市場。2019年中國鞋類產(chǎn)量為135 億雙左右，約占全球產(chǎn)量的56%[1-3]。制鞋是勞動密集型制造，隨著國內(nèi)勞動力成本的上升，中國傳統(tǒng)手工制鞋業(yè)逐漸失去了優(yōu)勢。但隨著中國制鞋行業(yè)眾多要素特別是人力成本的不斷上升，國際貿(mào)易環(huán)境日趨復(fù)雜多變，制鞋產(chǎn)業(yè)開始向東南亞等地快速轉(zhuǎn)移，我國鞋業(yè)面臨的國際競爭不斷加劇，產(chǎn)量占世界的份額已經(jīng)連續(xù)數(shù)年呈下降趨勢[4-5]。因此，提升制鞋成型自動化來突破傳統(tǒng)勞動密集型制鞋的現(xiàn)狀顯得尤為重要。

由于制鞋工藝的復(fù)雜性，目前多數(shù)工藝采用人工完成，其中打磨和噴膠工藝是制鞋成型工藝中影響制鞋質(zhì)量最重要的因素之一，占用人工最多，花費(fèi)工時(shí)最長，且膠水中的化學(xué)物質(zhì)對人體健康有一定的影響[6]。因此，制鞋成型迫切需要引入機(jī)器視覺等先進(jìn)技術(shù)解決傳統(tǒng)人工涂膠、打磨等工藝。

隨著機(jī)器視覺技術(shù)飛躍發(fā)展，尤其在3D視覺成像技術(shù)方面[7]，通過3D 傳感器獲得物體的三維信息，利用點(diǎn)云處理技術(shù)提取鞋材的關(guān)鍵信息，結(jié)合工業(yè)機(jī)器人實(shí)現(xiàn)制鞋成型過程中的噴膠和打磨等工藝，解決現(xiàn)有人工打磨、噴膠存在的問題，不斷實(shí)現(xiàn)機(jī)器代替人工的過程。如何設(shè)計(jì)合理的3D視覺制鞋成像測量系統(tǒng)，提取鞋材的關(guān)鍵信息，以及基于3D視覺工藝技術(shù)的研究，是制鞋自動成型的關(guān)鍵。

1 制鞋成型測量系統(tǒng)

本文研究的測量系統(tǒng)主要針對制鞋成型中段的3D視覺關(guān)鍵技術(shù)研究，鞋材經(jīng)過復(fù)雜多種的工藝，如打磨、噴膠等，最終完成制鞋成型過程。制鞋成型3D視覺測量系統(tǒng)包括成像系統(tǒng)、光條提取、標(biāo)定等內(nèi)容。測量系統(tǒng)的性能直接影響鞋材輪廓數(shù)據(jù)獲取的速度和精度，間接影響制鞋成型工藝，最終影響制鞋成型質(zhì)量。因此，如何搭建制鞋成型3D視覺測量系統(tǒng)至關(guān)重要。

通過對激光三角測距技術(shù)的研究，設(shè)計(jì)符合制鞋成型掃描的測量系統(tǒng)，根據(jù)鞋材成型成像需求，提出一種基于嵌入式的制鞋成像系統(tǒng)方案和一種基于FPGA 實(shí)現(xiàn)光條提取算法的研究。

1.1 激光三角測距技術(shù)

激光三角法測量系統(tǒng)主要由激光光源、透鏡和光敏傳感器組成[8]，其中激光器可分為點(diǎn)激光、線激光和其他形式激光。通過激光照射被測物體表面，然后在某一個(gè)方向的成像面上觀察反射光斑的位置，從而計(jì)算出激光光條在成像平面的位置。根據(jù)入射光與被測面法線之間的關(guān)系可將測量系統(tǒng)分為直射式和斜射式兩大類[9]，其原理如圖1和圖2所示。激光測量具有精度高，抗干擾能力強(qiáng)等特點(diǎn)，非常適合應(yīng)用于制鞋成型掃描。

圖1 直射式激光三角法

圖2 斜射式激光三角法

1.2 成像系統(tǒng)設(shè)計(jì)

為了設(shè)計(jì)方面，采用基于直射式激光三角測距技術(shù)，考慮直射式測量視野的局限性，以及鞋材形狀及成型工藝的要求，引進(jìn)Scheimpflug 測量原理，如圖3所示，即在光路設(shè)計(jì)時(shí)成像平面旋轉(zhuǎn)一個(gè)固定角α。

圖3 Scheimpflug測量光路

常用3D視覺掃描測量的方式是通過計(jì)算機(jī)集成相機(jī)API 獲取每一幀全幅圖像，經(jīng)過每幀圖像處理，獲取測量數(shù)據(jù)，由于數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)傳輸，掃描速率受到很大的影響，且這種方案成本也較高[7]。

基于制鞋成型工藝，提出一種更適合制鞋成型的3D掃描成像系統(tǒng)，如圖4所示，掃描系統(tǒng)框架包括兩部分：成像軟件和成像硬件。其中成像硬件由CCD、處理器、機(jī)器人或輸送線和光學(xué)系統(tǒng)組成。處理器采用一種基于ARM+FPGA 微處理器的嵌入式三維重建系統(tǒng)圖像采集平臺，ARM 通過CCD 采集圖像，經(jīng)過FPGA 處理，將數(shù)據(jù)發(fā)送成像軟件進(jìn)行顯示和處理，構(gòu)建三維重建系統(tǒng)，通過成像軟件的操作來控制嵌入式三維重建系統(tǒng)的工作，實(shí)現(xiàn)整個(gè)三維重建系統(tǒng)的軟件操作性。

圖4 掃描成像系統(tǒng)框架

圖5 成像軟件

基于ARM+FPGA 的嵌入式平臺，軟硬件兼容性高，系統(tǒng)集成化程度高，硬件平臺所占的空間比較少，而且系統(tǒng)內(nèi)核源碼較小，系統(tǒng)通過裁剪比較精簡，實(shí)際的開發(fā)周期短，適合用于需要實(shí)時(shí)性處理的場景中。FPGA架構(gòu)的導(dǎo)入，彌補(bǔ)ARM 算力不足的問題，同時(shí)為后續(xù)點(diǎn)云處理算法的研究提供硬件支持。

1.3 基于FPGA光條提取算法實(shí)現(xiàn)

光條提取是3D 視覺成像中的關(guān)鍵，提取質(zhì)量直接影響三維重建精度[10]。本文基于FPGA提出一種鞋材掃描成像的光條提取算法，算法流程如圖6所示，通過逐行讀取圖像信息，圖像預(yù)處理、圖像處理。圖像預(yù)處理包括高斯濾波、中值濾波和膨脹濾波，主要作用是濾除圖像的高斯噪聲、椒鹽噪聲濾，消除高斯濾波與中值濾波對于邊界灰度值的影響。根據(jù)光條算法，基于FPGA 平臺設(shè)計(jì)的光條提取電路如圖7所示。

圖6 FPGA光條提取算法流程

圖7 FPGA光條提取電路

圖像二值化過程采用固定閾值的方式，實(shí)現(xiàn)圖像二值化預(yù)處理，為了克服噪點(diǎn)過大對灰度重心法的干擾，在圖像二值化后對圖像進(jìn)行腐蝕與膨脹運(yùn)算。通過計(jì)算二值化后圖像每行灰度的重心來獲取光條位置的坐標(biāo)，利用坐標(biāo)轉(zhuǎn)換獲得三維空間點(diǎn)。

基于FPGA 內(nèi)建光條提取系統(tǒng)可被抽象為5 個(gè)模塊，模塊與模塊之間的連接關(guān)系以及數(shù)據(jù)傳輸如圖8所示。

圖8 FPGA光條提取系統(tǒng)模塊

節(jié)點(diǎn)1：表示AXI接口FPD模塊通過總線，將ARM中DDR4所存的圖片數(shù)據(jù)傳輸?shù)阶x控制器緩沖FIFO的過程。

節(jié)點(diǎn)2：表示讀控制器將圖片數(shù)據(jù)從緩沖FIFO讀出，并將其作為光條提取算法的數(shù)據(jù)輸入的過程。

節(jié)點(diǎn)3：表示將光條提取算法的運(yùn)算結(jié)果（光條水平位置）傳輸?shù)綄懣刂破骶彌_FIFO的過程。

節(jié)點(diǎn)4：表示寫控制器將緩沖FIFO 中的運(yùn)算結(jié)果寫入片內(nèi)BRAM 的過程，最后ARM 只需要通過AXI 接口LPD模塊就可以訪問片內(nèi)BRAM讀取數(shù)據(jù)了。

2 鞋面點(diǎn)云配準(zhǔn)技術(shù)

點(diǎn)云配準(zhǔn)技術(shù)是通過一定的算法或統(tǒng)計(jì)學(xué)規(guī)律，利用計(jì)算機(jī)計(jì)算兩塊點(diǎn)云之間的錯(cuò)位，達(dá)到兩片點(diǎn)云自動配準(zhǔn)效果，其實(shí)質(zhì)是把在不同的坐標(biāo)系中測量得到的數(shù)據(jù)點(diǎn)云進(jìn)行坐標(biāo)變換，以得到整體的數(shù)據(jù)模型。常用的配準(zhǔn)技術(shù)有一對點(diǎn)云配準(zhǔn)、對應(yīng)估計(jì)、對應(yīng)關(guān)系去除、變換矩陣估算、迭代最近點(diǎn)點(diǎn)位算法和采樣一致性初始對齊算法等[11-12]。

2.1 ICP配準(zhǔn)算法

在精匹配算法中，最近迭代點(diǎn)（Iterative Closest Point，ICP）算法是使用最廣泛的算法[13]。ICP 算法由Besl 和Mckay 在1992年提出，是一種基于自由形態(tài)曲面的匹配算法。ICP 算法的目的是求得旋轉(zhuǎn)變換R和平移變換T，使得目標(biāo)點(diǎn)云經(jīng)過R、T變換后能夠與參考點(diǎn)云最大限度重合。ICP 是基于最小二乘法的最優(yōu)匹配算法，通過重復(fù)尋找最近點(diǎn)對、計(jì)算變換矩陣、應(yīng)用變換矩陣的迭代過程，直到滿足點(diǎn)云間距離和最小或其他限制條件（如最大迭代次數(shù)、距離和變化幅度）。

ICP 算法的實(shí)現(xiàn)：已知目標(biāo)點(diǎn)云P，坐標(biāo)為{pi,i=1,2,…,np}，源點(diǎn)云Q，其坐標(biāo)為{qi,i=1,2,…,nq}，按照一定的約束條件，找到最鄰近點(diǎn)，計(jì)算最優(yōu)的匹配參數(shù)R和T（R為旋轉(zhuǎn)矩陣，T為平移向量），通過式（1）計(jì)算誤差函數(shù)E，使其最小。

ICP 配準(zhǔn)是一個(gè)不斷迭代，直到收斂的過程。第k次迭代過程，尋找Q與點(diǎn)云P距離最近的點(diǎn)云，設(shè)其坐標(biāo)為{Qki,i=1,2,…,np}和{Pki,i=1,2,…,np}，由對應(yīng)點(diǎn)計(jì)算Pk與Qk之間的變換矩陣Rk、Tk，并對點(diǎn)云Pk應(yīng)用新變換，直到點(diǎn)云P和點(diǎn)云Q之間的平均距離小于給定值τ，即滿足迭代收斂要求。具體迭代步驟如下：

（1）目標(biāo)點(diǎn)云P中取點(diǎn)云Pki∈P(i=1,2,…,np)；

（2）源點(diǎn)云Q中搜索Pki對應(yīng)點(diǎn)Qki∈Qk，使得最小，k++；

（3）計(jì)算旋轉(zhuǎn)矩陣Rk與平移向量Tk；

（4）計(jì)算Pk+1，如式（2）：

（5）計(jì)算dk+1，如式（3）：

總之，“以人為本”的教育管理精髓可以詮釋為：點(diǎn)亮人性的光輝，回歸生命的價(jià)值，尊重個(gè)性的豐富發(fā)展，共創(chuàng)人類的繁榮和幸?！盵4]。教育管理者只有重視弘揚(yáng)被管理者的個(gè)性，尊重人性，才能培養(yǎng)真正的人。因此，管理者轉(zhuǎn)變管理理念、注重管理的人本化、關(guān)注人性的回歸已經(jīng)成為教育管理改革的主旋律和時(shí)代最強(qiáng)音。

若dk+1＞τ，返回步驟（2），直至dk+1＜τ或者達(dá)到設(shè)置的迭代次數(shù)為止（k＜mmax），鞋面點(diǎn)云配送迭代流程如圖9所示。

圖9 點(diǎn)云配準(zhǔn)算法流程

2.2 基于配準(zhǔn)算法鞋面軌跡提取技術(shù)

制鞋成型生產(chǎn)過程中，鞋面因材質(zhì)、樣式等，導(dǎo)致鞋面的款式復(fù)雜、多樣，在實(shí)現(xiàn)自動化過程中變得更加復(fù)雜，如何結(jié)合3D視覺掃描實(shí)現(xiàn)不同款式的生產(chǎn)也是研究的關(guān)鍵問題，基于對配準(zhǔn)算法的研究，提出一種鞋款模板提取方法，建立不同鞋款的模板數(shù)據(jù)，并通過配準(zhǔn)糾正生產(chǎn)過程中的誤差，以某鞋碼為例，具體步驟如下。

（1）貼黑色美紋紙：將鞋面貼上一層黑色美紋紙，完全包裹整個(gè)鞋面。

（2）第一掃描鞋面：將貼好的鞋面，通過3D掃描測量系統(tǒng)，采集鞋面輪廓數(shù)據(jù)M，作為鞋面配準(zhǔn)的點(diǎn)云模板數(shù)據(jù)。

（3）劃線：將步驟（1）貼好的鞋面與同碼鞋底進(jìn)行貼合，沿著鞋底的輪廓，在鞋面上畫出相應(yīng)的輪廓線，輪廓線顏色必須與鞋面顏色保證較大的對比度。

（4）貼白色美紋紙：根據(jù)步驟（3）畫出的輪廓線，沿著輪廓線，貼上白色美紋紙。

（5）第二次掃描：設(shè)置合適的掃描參數(shù)，使得掃描只成像白色美紋紙輪廓，采集相應(yīng)的點(diǎn)云輪廓N，如圖10所示。

圖10 噴膠軌跡提取效果圖

（7）配準(zhǔn)修正軌跡：通過實(shí)時(shí)掃描鞋面輪廓，獲取點(diǎn)云O，點(diǎn)云M與O進(jìn)行配準(zhǔn)獲得配準(zhǔn)矩陣，如圖11所示，以此來修正步驟（6）提取的噴膠軌跡模板。如果實(shí)際視覺引導(dǎo)效果較差，重新回到步驟（6），優(yōu)化軌跡，直到達(dá)到生產(chǎn)要求。

圖11 鞋面點(diǎn)云配準(zhǔn)

3 基于聚類算法的鞋底打磨軌跡提取

鞋底打磨軌跡提取技術(shù)的研究，基于本文研究的3D掃描測量系統(tǒng)，掃描獲取鞋底的輪廓信息，提出基于聚類算法的打磨軌跡提取方法，具體步驟如下。

（1）鞋底掃描數(shù)據(jù)預(yù)處理，計(jì)算鞋底的中心點(diǎn)坐標(biāo)，將該中心點(diǎn)坐標(biāo)對應(yīng)的法向量作為基準(zhǔn)法向量V1。

（2）指定K值，對于鞋底點(diǎn)云，通過其K個(gè)近鄰點(diǎn)計(jì)算其法向量V2，K的取值范圍為：75 ≤K≤85，計(jì)算法向量V2與基準(zhǔn)法向量V1的夾角θ，如式（4）所示。

（3）設(shè)定閾值θ1（25°≤θ1≤35°），將小于θ1的坐標(biāo)點(diǎn)組成點(diǎn)集A，將A作為鞋底底部的點(diǎn)云數(shù)據(jù)，。

（4）以L間距對鞋底側(cè)邊的點(diǎn)云進(jìn)行等分分割，L的取值范圍為：0.5 mm ≤L≤1.5 mm，得到多個(gè)子點(diǎn)集，分別計(jì)算各子點(diǎn)集的最高點(diǎn)坐標(biāo)和最低點(diǎn)坐標(biāo)，最低點(diǎn)坐標(biāo)群組成點(diǎn)集B，得到鞋底打磨的軌跡坐標(biāo)。

（5）取各子數(shù)據(jù)的最高點(diǎn)坐標(biāo)和最低點(diǎn)坐標(biāo)的平均值，并將平均值坐標(biāo)組成點(diǎn)集C，計(jì)算點(diǎn)集C的面法矢，將面法矢的方向作為工具的Z向矢量，Cn到Cn+1的方向作為對應(yīng)點(diǎn)集C內(nèi)的第n個(gè)點(diǎn)的X向矢量，通過Z向矢量和X向矢量求出第n個(gè)點(diǎn)對應(yīng)的Y向矢量，并根據(jù)X、Y和Z向矢量求出第n個(gè)點(diǎn)對應(yīng)的工具姿態(tài)歐拉角。

計(jì)算工具姿態(tài)歐拉角：設(shè)X向矢量為(nx,ny,nz)、Y向矢量為(ox,oy,oz)和Z向矢量為(ax,ay,az)，通過式（5）計(jì)算工具姿態(tài)歐拉角RPY(φ,θ＇,φ)：

式中：c為余弦函數(shù)；s為正弦函數(shù)。

（6）計(jì)算每一個(gè)軌跡坐標(biāo)與點(diǎn)集C中各點(diǎn)之間的距離，取最小距離的點(diǎn)所對應(yīng)的工具姿態(tài)歐拉角作為該軌跡坐標(biāo)對應(yīng)的工具姿態(tài)，以此類推，遍歷所有的軌跡坐標(biāo)，得到鞋底打磨的軌跡路徑，軌跡規(guī)劃路徑包括各軌跡坐標(biāo)及其對應(yīng)的工具姿態(tài)，打磨軌跡提取效果如圖12所示。

圖12 打磨軌跡提取效果

4 結(jié)束語

根據(jù)制鞋中段成型工藝研究，基于嵌入式、點(diǎn)云處理、光學(xué)測量等技術(shù)，設(shè)計(jì)并搭建了嵌入式制鞋成型測量系統(tǒng)，實(shí)現(xiàn)制鞋成型鞋材的三維重建；基于FPGA 光條提取算法電路設(shè)計(jì)，提升了鞋材三維重建速率，也為后續(xù)HDR 算法的實(shí)現(xiàn)做技術(shù)鋪墊；鞋面點(diǎn)云配準(zhǔn)技術(shù)的研究，提出基于ICP 配準(zhǔn)的鞋面噴膠視覺引導(dǎo)方法，解決鞋面款式復(fù)雜、多樣等生產(chǎn)問題；通過聚類算法的研究，提出基于聚類算法的鞋底打磨軌跡提取算法，實(shí)時(shí)生成鞋底打磨軌跡，提升打磨效率。本文通過對面向制鞋成型的3D視覺關(guān)鍵技術(shù)研究，加快實(shí)現(xiàn)制鞋自動成型的步伐。