邵金鑫，張寶昌,2，曹繼鵬

(1. 北京航空航天大學 自動化科學與電氣工程學院，北京 100191； 2. 深圳航天科技創(chuàng)新研究院，廣東 深圳 518057； 3. 遼東學院 遼寧省功能紡織材料重點實驗室，遼寧 丹東 118003)

梳棉機高速梳理過程中的原理細節(jié)的研究是棉紡織領域的盲點，用可視化和圖像分析技術重新審視和分析纖維在梳棉機梳理過程中的運動，對梳理蓋板、纖維轉移以及均勻混合、固定蓋板梳理作用、棉網(wǎng)清潔器、針布類型等方面進行研究，可提供新的視角和方法，也為實現(xiàn)纖維梳理要求，減少纖維損傷和提高纖維轉移率，優(yōu)化梳理組件提供新的直接方式。

由于梳理速度快(刺輥速度達1 400 r/min[1])，棉纖維線密度極小[2]，梳棉機的工作條件不允許破壞(梳理過程中無法在設備內架設其他裝置)，傳統(tǒng)的光電檢測方法不適用于在高速運轉中的梳棉機內的棉纖維檢測[3]。瑞士的烏斯特公司與澳大利亞的BSC電子公司都曾開發(fā)過基于光電傳感和圖像處理技術的纖維檢測試驗儀，但內部實現(xiàn)原理并未公開，且需要將試樣在特定的檢測條件下送到實驗儀器中，很明顯這些已有設備對于與梳棉機結合使用的場景并不適用[2]。對于這一問題無論是從梳理設備內部纖維信號的獲取，還是后續(xù)的對信號進行檢測算法的設計，都存在很大的挑戰(zhàn)性。

為解決高速運轉的梳棉機內部棉纖維信號無法采集這一問題，本文使用高速攝像結合圖像處理算法進行棉纖維的檢測與識別。首先對梳棉機漏底部分進行開口，通過架設高速攝像機進行內部纖維運動過程的拍攝，得到一系列連續(xù)的梳理過程中混合有刺輥、光斑以及微弱纖維信號的檢測圖像；然后使用傳統(tǒng)的圖像處理方法，以及近年來較為流行的深度學習方法對檢測圖像進行一系列的工業(yè)流程處理，分別使用檢測流程與生成模型對棉纖維進行檢測與識別。

1 基本實驗數(shù)據(jù)采集及處理流程說明

1.1 基本實驗數(shù)據(jù)采集

本文實驗采用膠南永佳紡織機械制造有限公司生產的A186F型梳棉機進行實驗，通過在梳棉機漏底開2.7 cm×2.7 cm的觀察口，使用加拿大Mega Speed Corp.公司生產的75KS2C3104型高速攝像機拍攝梳棉機工作狀態(tài)下梳理纖維的視頻。拍攝頻率為6 000幀/s，得到一系列連續(xù)運動的圖像，圖像分辨率為502像素×504像素，示例圖片如圖 1 所示。

圖1 樣本集示例圖片F(xiàn)ig.1 Sample image of dataset. (a) Sample 1; (b) Sample 2

由圖1可以看出，拍攝圖像底色全黑并帶有強烈的干擾模式，刺輥反光形成的針點形成了明顯的網(wǎng)狀結構，在這些針點之間存在著模式較為明顯的刺輥反射的光斑，構成了整個圖像的主要背景信息。在強烈的干擾模式下，依稀可在無干擾的空白部分看出稀疏的不太明顯的纖維信息。很明顯，在這種強干擾模式下，如果不經(jīng)過處理，即使是人眼也很難對圖像中的紗線進行有效地識別。

1.2 流程說明

整體檢測流程如圖2所示。

圖2 檢測流程圖Fig.2 Detection process

對于原始圖像，首先通過圖像去噪算法得到去除纖維信息而只保留針點與光斑的平滑圖像，然后通過圖像做差得到殘差圖像，即為棉纖維特征初提取圖像；針對特征初提取圖像纖維邊界模糊的特點，使用超分辨率重構算法增加圖像的梯度，便于人眼的進一步觀察以及計算機邊緣識別；最后使用合理的纖維邊緣勾畫算法對纖維邊緣進行勾畫，得到最終的處理結果。

之后嘗試使用生成模型進行棉纖維特征信息提取工作。通過500張原始圖像以及500張經(jīng)過特征增強的處理圖像作為CycleGAN模型訓練的輸入與輸出，使用新的測試集圖像測試生成模型的生成效果。

2 基本檢測流程

2.1 特征初步提取

根據(jù)圖1所示圖像數(shù)據(jù)特點，可發(fā)現(xiàn)刺輥的光斑和針點信息較強并具有明顯的分布規(guī)律，而纖維的信息較弱，并較為稀疏?？蓪⒐獍吆歪橖c的信息作為圖像本身要提取的模式特征，將纖維作為噪聲信息，把勾畫纖維特征的問題轉化為一個提取去噪殘差的圖像去噪問題，則要提取的特征為

If=Ip-Ic

(1)

式(1)可理解為通過原始圖像(Ip)減去平滑后的圖像(Ic)得到殘差圖像，即為要提取的纖維特征圖像(If)。簡單來說，對于一個往干凈圖像中加噪聲的過程，是一個有定解的穩(wěn)定問題，但對于去噪這個逆問題，則是一個非存在唯一穩(wěn)定解的問題[4]，類似于超定方程的求解過程，沒有嚴格的限定條件就不能得到穩(wěn)定的解。因此，一般來說，去噪的效果更多的取決于對噪聲性質的假設程度和對圖像本身性質結構的估計。對于每種去噪方法，都有各自的估計特點，而對于這樣的實際工業(yè)問題來說，去噪殘差提取效果無法用真值(正樣本)來進行比對，只能通過人眼的觀察進行判斷。對于這一問題，在測試了主要的去噪算法之后，最終選定多級小波卷積神經(jīng)網(wǎng)絡(MWCNN)方法進行去噪殘差的提取[5]，其網(wǎng)絡結構如圖 3 所示。

圖3 多級小波卷積神經(jīng)網(wǎng)絡的網(wǎng)絡結構示意圖Fig.3 Network structure of MWCNN

該結構的主要特點為在語義分割網(wǎng)絡U-Net訓練框架上，引入了小波變換及逆變換代替原有的卷積與反卷積操作進行圖像尺度的變換，屬于傳統(tǒng)圖像處理方法與深度學習方法的融合，可減少連接形成的子網(wǎng)絡的特征圖大小，以便在計算效率以及感受野(receptive field)大小間得到更好的權衡結果。

使用前期實驗預訓練模型，即使用200張伯克利分割數(shù)據(jù)集(BSD)、800張DIV2K數(shù)據(jù)集、4 744張滑鐵盧探索數(shù)據(jù)集(WED)在高斯噪聲標準差水平為15、25、50的條件下預訓練圖像去噪重構模型。最終經(jīng)過不斷測試，認為預估計噪聲標準差水平為15時去噪殘差提取肉眼評價效果最好。當估計噪聲標準差水平為15時，所得到的殘差提取結果如圖4所示。

圖4 示例1和2初步提取特征的提取效果Fig.4 Effect of preliminary feature extraction of sample 1 (a) and sample 2 (b)

從圖4可看出：殘差中針點和光斑信息基本都得到了去除，而纖維信息保留較為完好，且有輕微的平滑效果；另外還有一些圖像本身帶有的模糊效果影響觀察?？傮w而言，纖維的特征已基本得到了提取，但由于平滑效果和模糊塊的影響，還達不到能進行邊界勾畫的效果。

2.2 特征增強

很明顯，對于上述初步提取得到的信息圖像，需要進行圖像增強以便進行特征的邊緣勾畫操作。如果圖像的梯度變化較為平滑，則圖像較為模糊；而如果圖像的梯度變化較為劇烈，則圖像較為清晰[6]。從某種程度上來說，超分辨率重構算法是一種增加圖像梯度使圖像邊緣更清晰的操作,其公認的定義為利用圖像特征的先驗知識，在不改變拍攝條件的情況下，利用低分辨率圖像合成出細節(jié)信息更豐富的圖像的過程[7]，從而更好地作出輪廓的提取。在這一思路下，使用深度卷積超分辨率重構網(wǎng)絡(SRCNN)的超分辨率重構方法[8]進行效果重構，該網(wǎng)絡結構如圖5所示。

圖5 深度卷積超分辨率重構網(wǎng)絡結構示意圖Fig.5 Network structure of image super-resolution using deep convolutional networks

深度卷積超分辨率重構網(wǎng)絡是深度學習方法在圖像超分辨率重構領域應用的開創(chuàng)性方法，通過3層卷積層的方法模擬了超分辨率重構中的稀疏編碼方法[9]：通過第1層c×f1×f1×n1大小的卷積核提取輸入圖像的圖像塊，映射到n1張低分辨率特征中，相當于稀疏編碼方法中將圖像塊映射到低分辨率字典中；再通過第2層n1×f2×f2×n2大小的卷積核將n1張低分辨率特征圖映射到n2張高分辨率特征圖，相當于通過稀疏編碼中的字典學習的方法找到圖像塊所對應的高分辨率字典；最后通過n2×f3×f3×c大小的卷積核將n2張高分辨率特征圖卷積成高分辨率的c通道原始圖像，相當于字典學習中通過高分辨率字典進行超分辨率圖像重建。

使用文獻[8]預訓練模型，即使用從ImageNet數(shù)據(jù)集中選擇的395 909張圖片作為訓練數(shù)據(jù)，所選取的卷積參數(shù)為n1=64、n2=32、f1=9、f2=5、f3=5,使用單通道圖像(灰度)即c=1進行超分辨率模型訓練。測試使用圖像超分辨率縮放倍數(shù)即下采樣因子(upscaling factor)x=3，對圖4中初步提取特征的提取效果圖進行超分辨率重構時，可得到如圖6所示的結果。

圖6 示例圖片1和2的超分辨率重構后的 纖維檢測效果Fig.6 Effect of fiber detection after super-resolution reconstruction of sample 1 (a) and sample 2 (b)

由圖6可以看出，相比較于信息初步提取得到的纖維檢測效果，超分辨率重構得到的纖維邊緣更加清晰，更易與背景進行分離，通過這一步得到的結果更易進行下一步纖維特征的勾畫。

2.3 特征勾畫

超分辨率重構后纖維的邊界特征雖然被增強，但本身的模糊效果和噪聲水平同樣被增強，這是由數(shù)據(jù)集本身的特點決定的，因此，使用簡單的基于圖像梯度的勾畫方法(如以索貝爾、坎尼算子為基礎的梯度勾畫方法[10]，這種勾畫方法往往有固定的梯度方向)很難得到有效的結果。一般的圖像邊緣檢測算法更適合于無噪聲、無擾動、邊緣清晰的理想圖像，對于這種強噪聲狀態(tài)下纖維信號的檢測大都得不到理想的結果，因此，本文使用一種利用各方向梯度差值進行強噪聲條件下多尺度邊緣檢測與纖維增強的方法[11]，如果纖維尺度較大則做邊緣檢測，如果尺度較小則相當于纖維增強。算法流程為：首先以多個長度和方向計算方向梯度；然后使用多尺度自適應閾值檢測重要響應；最后通過遞歸決策過程識別相干邊緣。具體實現(xiàn)原理可簡要表示為以下過程。

1)將圖像分為3像素×3像素的小塊，分別計算像素分布的最小標準差。統(tǒng)計整個圖像最小標準差的分布，取主要值來估計圖像的噪聲水平，為N(0,σ2)，即代表整個圖像的噪聲水平滿足均值為0，標準差為σ的正態(tài)分布。

2)在上述噪聲水平的估計條件下，w×l大小的面積內由噪聲產生的梯度響應可估計為

(2)

3)在一定近似條件下推導認為，在整體像素為N時，長為l、寬為w的非噪聲引起的梯度響應的閾值應為

(3)

(4)

式中，F(xiàn)為積分。I(x,y)表示二維圖像域中圖像強度的連續(xù)函數(shù)，所以γ、δ都是代表長寬積分的變量。F表示為如下形式：

(5)

圖8 CycleGAN的模型結構Fig.8 CycleGAN′s model structure

對圖6采用以上算法的勾畫結果如圖7所示，其中深色部分為勾畫后的纖維結果?？梢钥闯觯串嫿Y果滿足了在強噪聲條件和邊界不清晰情況下對纖維邊緣特征的提取與增強，具有很強的說服力，缺點是該方法對計算機的內存和計算能力要求較高，在Intel Core i9-9900X，NVIDIA GEFORCE RTX 2080 Ti，64 GB RAM的計算機條件下，計算1張圖片需要十幾分鐘。

圖7 示例圖片1和2勾畫后的效果圖Fig.7 Sketched result sample 1 (a) and sample 2 (b)

3 通過生成模型進行纖維特征提取

目前有很多生成模型用作圖像域之間的映射轉換，或者說圖像翻譯，比如較為流行的生成對抗網(wǎng)絡(GAN)[12]。很多圖像到圖像的問題都可歸結到圖像翻譯的范圍中來，比如分割、風格遷移等。目前為止，使用生成模型進行圖像域轉換得到的生成結果都好于使用深度神經(jīng)網(wǎng)絡進行監(jiān)督訓練得到的結果，且由于生成模型是一種半監(jiān)督或者無監(jiān)督的模型，使用生成模型不需要進行大量的數(shù)據(jù)標注與匹配；為此，本文使用生成模型中的循環(huán)生成對抗網(wǎng)絡(CycleGAN)模型進行圖像域之間的轉換[15]。相比于普通的GAN模型，CycleGAN模型引入了自然語言處理中2種語言循環(huán)翻譯以檢測翻譯模型效果的思想，通過建立正反向2組生成器(generator)和判別器(discriminitor)進行循環(huán)生成來訓練更好的生成模型，生成器和判別器都使用類似于U-Net的卷積與轉置卷積結構進行訓練，從而實現(xiàn)2種圖像域之間的轉換，因此，CycleGAN的優(yōu)勢在于不需要嚴格的圖像像素對應關系，即可實現(xiàn)圖像域的轉換，生成模型整體結構如圖 8 所示。

優(yōu)化的目標函數(shù)和傳統(tǒng)的GAN網(wǎng)絡類似，優(yōu)化目標為生成器的目標函數(shù)應盡可能小，判別器的目標函數(shù)應盡可能大。定義數(shù)據(jù)域A、B的數(shù)據(jù)集合滿足如下數(shù)據(jù)樣本分布規(guī)律：

(6)

式中2個圖像域A、B中的圖像個體用小寫字母a、b表示，圖像域中分別有n、m個個體，二圖像域中的數(shù)據(jù)滿足pdata(a)、pdata(b)規(guī)律的分布，其中圖像域轉換的生成器與判別器的表示法為

GAB:圖像域A→圖像域B的生成器；GBA:圖像域B→圖像域A的生成器；DA:圖像域A中圖像a與生成圖像GBA(b)的判別器；DB:圖像域B中圖像b與生成圖像GAB(a)的判別器。

將循環(huán)生成對抗網(wǎng)絡看作2個獨立的生成對抗網(wǎng)絡的組合，根據(jù)生成對抗網(wǎng)絡的定義[12]，可將單方向生成對抗網(wǎng)絡的損失函數(shù)寫成如下表達式，如只取生成器GAB，判別器DB為

LGAN(GAB,DB,A,B)=Eb～pdata(b)[ln(DB(B))]+

Ea～pdata(a)[ln(1-DB(GAB(A)))]

(7)

Lcyc(GAB,GBA)=Ea～pdata(a)[‖GBA(GAB(a))-a‖1]+

Eb～pdata(b)[‖GAB(GBA(b))-b‖1]

(8)

則總體的損失函數(shù)為

L(GAB,GBA,DA,DB)=LGAN(GAB,DB,A,B)+

LGAN(GBA,DA,B,A)+λLcyc(GAB,GBA)

(9)

式中，λ為控制參數(shù)。

要求解的生成器模型可表示為

(10)

使用圖2中的采集數(shù)據(jù)和圖6中超分辨率重構后的數(shù)據(jù)各500張分別作為圖像域A和圖像域B中的原始數(shù)據(jù)，進行標準的CycleGAN模型訓練，訓練約40 000個迭代(epoch)時模型趨于收斂。

使用新的測試數(shù)據(jù)進行訓練結果的測試，測試從圖像域A到圖像域B的轉換生成模型(GAB)，為增強顯示結果中纖維信息與背景信息的對比度，對生成圖像進行直方圖增強處理，結果如圖9所示。

圖9 CycleGAN模型的測試輸出結果Fig.9 Test output of CycleGAN model. (a) Test data 1; (b) Test data 2; (3)Output of test data 1; (4) Output of test data 2

由圖9可以看出，模型的生成結果很好地濾去了光斑的影響，但仍有部分針點信息干擾，原本模糊不清的纖維信息被提取地十分連續(xù)完好，方便人眼觀察，不過纖維與背景的邊界仍沒有完全分離，仍有待于模型網(wǎng)絡結構的進一步改進，以提升提取信息的對比度。

4 結 論

本文在高速攝像機拍攝得到高干擾狀態(tài)下纖維梳理視頻后，通過特征初步提取、特征增強以及特征勾畫3個步驟實現(xiàn)了無正樣本下的纖維檢測任務；在得到特征增強的圖像后，將其作為生成器的訓練正樣本，嘗試使用生成模型進行有針對性的訓練，根據(jù)數(shù)據(jù)本身的特點更好地提取要檢測的纖維信息，取得了很好的人眼識別效果。未來的改進方向是通過更加有針對性的監(jiān)督方法進行生成模型的訓練，以期望實現(xiàn)更好的纖維檢測識別效果，比如可嘗試在生成器和判別器中加入條件變量來指導生成器進行更有針對性的生成；或者可在圖像生成中嘗試一些實時交互的生成方法，通過人的預勾畫使生成結果更有針對性。