馬博淵，周佳城，班曉娟，袁兆麟，阮竹恩

(1. 北京科技大學(xué) 北京材料基因工程高精尖創(chuàng)新中心，北京，100083；2. 北京科技大學(xué) 順德創(chuàng)新學(xué)院，廣東 佛山，528300；3. 北京科技大學(xué) 材料領(lǐng)域知識工程北京市重點實驗室，北京，100083；4. 北京科技大學(xué) 人工智能研究院，北京，100083；5. 北京科技大學(xué) 計算機(jī)與通信工程學(xué)院，北京，100083)

礦產(chǎn)資源是人類賴以生存、社會發(fā)展不可缺少的基礎(chǔ)資源，綠色礦山建設(shè)是實現(xiàn)礦業(yè)高質(zhì)量發(fā)展的重要途徑和必然要求，是我國實現(xiàn)由礦業(yè)大國向礦業(yè)強(qiáng)國轉(zhuǎn)變的必由之路[1-2]。膏體充填是綠色礦山建設(shè)過程中的重要組成部分，針對采礦作業(yè)造成的地下采空區(qū)，使用經(jīng)過科學(xué)配制的充填料漿對采空區(qū)進(jìn)行回填，控制覆巖開采破壞和地表沉陷，降低地表塌陷等災(zāi)害發(fā)生的風(fēng)險，保護(hù)生態(tài)環(huán)境，減少土地資源的破壞與占用[2]。基于此，膏體充填技術(shù)已成為當(dāng)前我國礦山開采過程中的重要環(huán)節(jié)之一。

膏體充填對地表沉陷的控制效果主要取決于膏體料漿的濃度[3-4]，因此，膏體濃度的檢測精度是保證充填質(zhì)量的關(guān)鍵因素。合格的膏體具有濃度適中、不沉淀、不析水、不離析和便于輸送等特點[5-6]，因此，在膏體充填過程中，對膏體濃度的準(zhǔn)確檢測是提高充填質(zhì)量的關(guān)鍵環(huán)節(jié)。若膏體濃度太低，則會造成充填強(qiáng)度較低，存在地表塌陷的風(fēng)險，若膏體濃度太高，則會造成充填管道堵塞，無法泵送膏體至采空區(qū)，甚至損壞設(shè)備[7]。傳統(tǒng)的膏體濃度測量方法包括濃度壺測量法、烘干法、射線測量法、壓差法、浮子法和電磁法[6]等，然而，由于這些方法均屬于接觸式測量方法，在攪拌機(jī)高速運(yùn)動過程中，容易損壞測量設(shè)備或因測量時間長而無法獲取實時濃度。在工業(yè)生產(chǎn)中，也常使用濃度計對膏體濃度進(jìn)行測量，主要包括超聲濃度計和核子濃度計。經(jīng)過實際工業(yè)生產(chǎn)驗證，超聲濃度計在高濃度下的精度偏低，并且容易被損壞。核子濃度計存在大量的輻射，出于安全考慮，國內(nèi)并不允許使用核子濃度計測量膏體濃度[4]。基于視覺檢測的非接觸式膏體濃度實時識別方法成為適用于礦山生產(chǎn)的必然選擇。

通過現(xiàn)場大量現(xiàn)場實驗分析，本文作者發(fā)現(xiàn)不同濃度的膏體在紋理表觀上具有明顯差異，如圖1所示。因此，圖像識別方法為膏體濃度識別提供可能的技術(shù)手段。

圖1 不同濃度的膏體形態(tài)Fig. 1 Different morphology of paste with different concentrations

近年來，隨著硬件計算能力的提高和人工智能理論的發(fā)展，基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)依托于其強(qiáng)有效的特征提取能力[8-9]成為圖像處理與分析領(lǐng)域中的主流方法[10-11]。LECUN 等[12]提出卷積神經(jīng)網(wǎng)絡(luò)，KRIZHEVSRY 等[13]提出ALEXNET，在超大型數(shù)據(jù)集ImageNet 上將圖像識別的Top-5 錯誤率降低至16.4%(Top-5錯誤率指對每幅圖像同時預(yù)測5 個標(biāo)簽類別，若預(yù)測的5 個類別任意之一為該圖像的正確標(biāo)簽，則視為預(yù)測正確，否則視為預(yù)測錯誤，Top-5錯誤率指預(yù)測錯誤的圖像數(shù)目與總圖像數(shù)目之比)。VGG[14]，GoogleNet[15]，ResNet[16]和DenseNet[17]等網(wǎng)絡(luò)多次將錯誤率降低，截至2017年最后一屆ImageNet圖像識別競賽，SENet[18]將圖像識別的Top-5錯誤率降低至2.991%，遠(yuǎn)低于人類錯誤率5.1%。目前，針對專有領(lǐng)域的特殊問題，如圖像細(xì)粒度分類[19-20]、神經(jīng)網(wǎng)絡(luò)的可解釋性分析[21-23]、視頻序列分類[24-25]、小樣本圖像學(xué)習(xí)[26-27]等，科研人員進(jìn)一步優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，旨在讓人工智能方法解決應(yīng)用過程中的實際問題。

在膏體圖像濃度識別任務(wù)中，膏體圖像具有紋理特征精細(xì)、干擾多、光照條件不均等特點。基于卷積神經(jīng)網(wǎng)絡(luò)的膏體圖像識別面臨如下挑戰(zhàn)：

1) 膏體圖像具有圖像尺寸大且紋理特征精細(xì)的特點，而在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)分類應(yīng)用中，需要將圖像縮小成固定尺寸(如224 像素×224 像素)，以減少硬件資源的占用，提高訓(xùn)練效率。然而，如果縮小膏體圖像尺寸訓(xùn)練網(wǎng)絡(luò)模型，將損失圖像中的精細(xì)紋理特征，產(chǎn)生模型過擬合的風(fēng)險。

2) 由于膏體圖像識別方法需要在實時工業(yè)生產(chǎn)環(huán)境中運(yùn)行，攪拌機(jī)的轉(zhuǎn)動將會干擾圖像識別進(jìn)程，導(dǎo)致模型識別不準(zhǔn)確。

3) 在工業(yè)條件下，光照不均問題將影響卷積神經(jīng)網(wǎng)絡(luò)對紋理細(xì)節(jié)的分析。

為了解決以上問題，迫切需要針對膏體濃度識別領(lǐng)域中獨有問題改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練過程。采用卷積神經(jīng)網(wǎng)絡(luò)單獨分析局部紋理特征可為濃度識別提供充足的信息，但局部圖像不具有代表性且容易對轉(zhuǎn)動的攪拌機(jī)葉片造成干擾，由此通過特征融合的方式融合多個局部區(qū)域進(jìn)行識別為大尺寸膏體圖像識別任務(wù)提供了可能性。通過預(yù)處理方法進(jìn)行數(shù)據(jù)增廣，可有效提高卷積神經(jīng)網(wǎng)絡(luò)對于工業(yè)現(xiàn)場不同光照條件的穩(wěn)健性。

綜上所述，本文針對膏體濃度檢測領(lǐng)域中傳統(tǒng)接觸式濃度計識別精度低、易損壞且對人體產(chǎn)生有害輻射等問題，提出一種基于視覺檢測的非接觸式膏體濃度識別方法，利用圖像分析方法在非接觸條件下識別膏體的濃度，從而避免接觸式測量對儀器的侵蝕和核子濃度計的輻射對人體的損害。針對膏體監(jiān)測場景下圖像紋理特征精細(xì)、干擾多、光照條件不均等特點，設(shè)計基于深度特征融合的深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過多模型全連接層融合的方式融合局部區(qū)域的細(xì)節(jié)特征，并引入伽馬(Gamma)矯正數(shù)據(jù)增廣策略，有效提高膏體料漿紋理的識別準(zhǔn)確性及不同環(huán)境光照條件下的穩(wěn)健性。

1 基于深度特征融合的膏體圖像濃度識別

1.1 膏體數(shù)據(jù)集采集

在北京科技大學(xué)進(jìn)行模擬膏體制備實驗，并拍攝不同濃度的膏體視頻圖像。整個實驗環(huán)境包括攝像機(jī)、三腳架、攪拌缸、攪拌機(jī)、照明燈光以及混合膏體等。圖2和圖3所示分別為制備實驗示意圖和流程圖。

圖2 模擬膏體制備及圖像采集實驗環(huán)境示意圖Fig. 2 Simulation paste system preparation and image acquisition experiment environment diagram

圖3 模擬膏體制備及圖像采集流程圖Fig. 3 Simulation paste system preparation and image acquisition flow diagram

主要針對灰沙比為1∶16 的混合膏體濃度進(jìn)行研究，成分主要包括尾砂、粗骨料、水等，顏色呈灰色狀。在制備環(huán)境中，使用2 支為功率400 W，色溫為5 000 K，光通量為110 lm的LED燈給圖像采集提供照明。固定在攪拌機(jī)上方兩側(cè)，距底部80 cm。用三腳架將1 臺攝像機(jī)固定于攪拌機(jī)正上方140 cm 處，距離料漿80 cm 以上，拍攝畫面中心與料漿中心一致。

在保證實驗效果的前提下，為節(jié)省財力、物力以及時間成本，使用灰沙比為1∶16 固體物料(包括尾砂、粗骨料等)以及不斷增加清水的方式進(jìn)行混合膏體配制。即先測量高濃度的膏體，然后增加定量的清水以逐級降低濃度。通過初始固體物料的質(zhì)量和每次增加清水之后的膏體總質(zhì)量，確定當(dāng)前的料漿實際濃度。

在數(shù)據(jù)采集前均勻攪拌，以確保濃度識別的準(zhǔn)確性。多濃度膏體視頻數(shù)據(jù)為基于圖像分析的膏體濃度高精度識別提供了關(guān)鍵信息。

在膏體制備過程中，將灰砂比為1∶16 的固體物料(包括尾砂、粗骨料等)和水按配比倒入攪拌缸中，并調(diào)整攝像頭進(jìn)行對焦[28-29]，再用攪拌機(jī)攪拌均勻。其中攪拌方式包括手動攪拌和自動攪拌。

本次拍攝的2 組膏體質(zhì)量分?jǐn)?shù)視頻有45 種(由于工業(yè)現(xiàn)場通常關(guān)注高濃度膏體識別的準(zhǔn)確性，因此本文進(jìn)行分階段采樣，當(dāng)質(zhì)量分?jǐn)?shù)為20%～60%時，按照5%的梯度采集；當(dāng)質(zhì)量分?jǐn)?shù)為60%～78%時，按照0.5%的梯度采集)。每種濃度均按照25 幀/s 的幀率錄制5 min，共有7 500 幀圖像。本文從中選取攪拌均勻、各個參數(shù)一致的5 000 幀，用以制作得到不同濃度的膏體數(shù)據(jù)集，最終在手動攪拌和自動攪拌2 種方式下對均具有112 500幀圖像的數(shù)據(jù)集用于深度學(xué)習(xí)模型分析。

1.2 Gamma矯正策略

在拍攝采集膏體圖像數(shù)據(jù)集時，由于拍攝角度與液位高度的變化，以及隨著拍攝時間的改變，現(xiàn)場光照亮度不穩(wěn)定，并且識別結(jié)果容易受到現(xiàn)場實驗條件下環(huán)境光的影響，導(dǎo)致圖像存在噪聲。因此，本文采用Gamma 矯正策略改變膏體圖像的亮度，作為數(shù)據(jù)增強(qiáng)策略驅(qū)使網(wǎng)絡(luò)模型學(xué)習(xí)真正的紋理細(xì)節(jié)信息，以降低環(huán)境光對濃度識別的干擾，從而提高濃度識別的準(zhǔn)確性。

Gamma矯正策略是指對膏體圖像的Gamma曲線進(jìn)行轉(zhuǎn)換。其公式表示為

式中：I為原始輸入圖像矩陣(取值為[0，1])；f(I)為Gamma 矯正結(jié)果；λ為系數(shù)。當(dāng)λ＞1 時，圖像整體亮度變暗，當(dāng)λ＜1 時，圖像整體亮度變亮，如圖4所示。

圖4 Gamma矯正示意圖Fig. 4 Schematic diagrams of Gamma correction

1.3 單模型特征提取

由于CNN 模型只能輸入固定大小的圖像塊用于分析和計算[30-31]，為充分考慮全局特征和紋理細(xì)節(jié)，本文針對輸入模型的圖像，設(shè)計全圖縮小(full size shrinking)和隨機(jī)裁剪(random cropping) 2 種圖像預(yù)處理方式，將圖像尺寸由1 920 像素×1 080 像素縮小到224像素×224像素輸入CNN模型，如圖5所示。

圖5 2種圖像預(yù)處理方法Fig. 5 Two image processing methods

由圖5可知：全圖縮小的方式雖然可以使網(wǎng)絡(luò)模型訪問到全局圖像信息，但由于縮減過程中造成的紋理細(xì)節(jié)信息缺失，不利于對精細(xì)的膏體紋理細(xì)節(jié)進(jìn)行分析。而隨機(jī)裁剪的方式會丟失全局信息，并且容易受到旋轉(zhuǎn)過程中的攪拌機(jī)葉片干擾，降低識別準(zhǔn)確率。

因此，本文采用模型融合的方式進(jìn)行濃度分類，設(shè)計包括局部圖像級聯(lián)融合、全連接層融合和特征圖融合在內(nèi)的3種模型融合方式，通過結(jié)合全局和局部圖像特征，提升膏體圖像分類準(zhǔn)確率。由于模型融合是把獨立的學(xué)習(xí)器組合起來，因此，需要將裁剪得到的5 幅圖像分別輸入5 個CNN 模型，并且通過參數(shù)共享策略提升模型訓(xùn)練結(jié)果，從而提升學(xué)習(xí)效果。

1.4 多模型特征融合

本文采用多圖融合的方式實現(xiàn)模型融合，具體實現(xiàn)思路是在隨機(jī)裁剪的基礎(chǔ)上，從1 920 像素×1 080 像素的原圖中，按固定位置裁剪出5 幅224 像素×224 像素的小圖(如圖6 所示)，在模型參數(shù)共享的基礎(chǔ)上，分別送入模型進(jìn)行訓(xùn)練、驗證和測試，然后使用2種模型融合方式，提升膏體圖像分類的準(zhǔn)確率。本文選擇局部圖像級聯(lián)融合、全連接層融合以及特征圖融合3種方式進(jìn)行對比分析，模型融合網(wǎng)絡(luò)模型如圖7所示。

圖6 從膏體圖像原圖中按固定位置裁剪5張小圖示意圖Fig. 6 Schematic diagram of cut out five small pictures from original paste image in a fixed position

圖7 3種模型融合算法Fig. 7 Three model fusion algorithms and image stitching algorithm

本文使用的局部圖像級聯(lián)融合方式指將隨機(jī)裁剪得到的5張小圖融合為1張圖片，并將融合得到的圖片送入1 個深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行分析、訓(xùn)練、測試，以驗證與局部裁剪的方式相比，膏體濃度識別準(zhǔn)確率是否有所提升。

使用的全連接層融合方式指將1張大尺寸膏體圖像中得到的5張局部圖像分別送入網(wǎng)絡(luò)的5個參數(shù)共享的特征提取分支中，使每張圖片經(jīng)過的每一層計算參數(shù)都保持一致，最后經(jīng)過逐個提取分支特征，每張局部圖像得到1個包含其屬于每一個分類概率的數(shù)組。然后，將5張局部圖像得到的數(shù)組進(jìn)行平均，再根據(jù)最終求得的概率，將概率最大值的分類作為對應(yīng)大尺寸膏體圖像的預(yù)測分類。

使用的特征圖融合方式指將特征提取分支輸出的5張局部圖像特征圖進(jìn)行通道級聯(lián)，再進(jìn)行全連接分析操作，得到概率矩陣，最后取最大概率對應(yīng)的分類作為預(yù)測結(jié)果。

通過后續(xù)實驗分析，本文選擇VGG16 作為特征提取分支。

2 實驗

首先選擇在圖像分類競賽(imagenet large scale visual recognition challenge, ILSVRC)中典型的3 種模型(VGG16[14]，resnet50[16]和DENSENET121[17])作為特征提取分支的基線模型進(jìn)行分析，并選擇分類效果最好的模型進(jìn)行下一步模型融合實驗。本文僅選擇上述基線模型以證明本文提出的深度特征融合方法的有效性，在實際應(yīng)用中可根據(jù)實際需要更換基線模型。

以經(jīng)過ImageNet 預(yù)訓(xùn)練的CNN 模型為基礎(chǔ)[32]，再用提前劃分得到的膏體圖像訓(xùn)練集，對模型進(jìn)行再訓(xùn)練。本文在手動攪拌和自動攪拌2種數(shù)據(jù)集中均有112 500幀圖像，并按照3∶1∶1的比例分為訓(xùn)練集、驗證集和測試集，即訓(xùn)練集有67 500幀圖像，驗證集和測試集均有22 500 張圖像，并分別標(biāo)記濃度標(biāo)簽。本文在預(yù)處理圖像的過程中，對比是否應(yīng)用Gamma 矯正的實驗結(jié)果，以驗證Gamma矯正對減弱光照條件變化帶來的誤差影響。

使用開源的深度學(xué)習(xí)框架Pytorch 進(jìn)行代碼編寫和資源管理，并采用4 塊NVIDIA GeForce GTX 1080Ti 對圖像識別網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以提高網(wǎng)絡(luò)模型訓(xùn)練的運(yùn)算速度。統(tǒng)一設(shè)置網(wǎng)絡(luò)模型的參數(shù)：訓(xùn)練輪次為20 輪；batch size 為25；學(xué)習(xí)率初始為0.01，并采用cosine函數(shù)遞減算法，每輪次更新學(xué)習(xí)率，逐漸減小；動量設(shè)置為0.9，并利用交叉熵?fù)p失函數(shù)(cross entropy loss)與隨機(jī)梯度下降(stochastic gradient descent, SGD)優(yōu)化器算法逆反饋優(yōu)化網(wǎng)絡(luò)參數(shù)，優(yōu)化網(wǎng)絡(luò)模型[33]。

2.1 單模型識別結(jié)果

針對同一預(yù)處理算法，3種模型的濃度識別準(zhǔn)確率結(jié)果如表1所示，其中，VGG-16與ResNet-50的準(zhǔn)確率明顯比DenseNet-121 的準(zhǔn)確率高，本文推測底層紋理特征適用于膏體濃度識別，而使用深層的卷積神經(jīng)網(wǎng)絡(luò)具有過擬合的風(fēng)險。以VGG-16網(wǎng)絡(luò)為例，輸出局部裁剪的圖像及前5種濃度預(yù)測概率如圖8所示(實際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測結(jié)果中置信度最高的5個類別的置信度，帶有條紋橫向柱代表實際濃度對應(yīng)的置信度)。

表1 不同模型與預(yù)處理算法的膏體濃度識別準(zhǔn)確率Table 1 Paste concentration identification accuracy of different models and preprocessing algorithms

圖8 單模型膏體濃度識別結(jié)果Fig. 8 Recognition results in single model of paste concentration

從表1可以得出：采用單圖隨機(jī)裁剪的預(yù)處理方式，得到的實驗結(jié)果和全圖縮小的實驗結(jié)果相差約10%。從圖8可看出：運(yùn)用單模型的識別準(zhǔn)確率不高，甚至Top-5中不存在預(yù)測正確的濃度。經(jīng)對此分析，單純的局部裁剪無法有效地減弱攪拌機(jī)圖像對膏體信息的干擾，即存在影響濃度識別的噪聲信息，同時，全圖縮小的濃度識別準(zhǔn)確率在無Gamma矯正時超過95%，然而，應(yīng)用Gamma矯正后正確率驟降至25%。本文認(rèn)為該波動超出正常范圍，原因在于采用全圖縮小的模型無法訪問到精細(xì)的膏體紋理特征，將環(huán)境光照亮度變化也作為分類依據(jù)，但這一特征與濃度無關(guān)，據(jù)此，本文設(shè)計全新的模型融合算法，以增強(qiáng)實驗結(jié)果置信度，并降低噪聲信息。

2.2 單模型局部圖像級聯(lián)融合識別結(jié)果

上述結(jié)果表明，直接進(jìn)行局部裁剪并輸入網(wǎng)絡(luò)模型訓(xùn)練難以達(dá)到預(yù)期效果，因此，本文設(shè)計局部模型融合算法，將5張經(jīng)過局部裁剪得到的圖片進(jìn)行拼接融合，輸入網(wǎng)絡(luò)訓(xùn)練與測試。結(jié)果如表2 所示。以VGG-16 網(wǎng)絡(luò)為例，輸出圖像及前5種濃度預(yù)測概率如圖9 所示(實際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測結(jié)果中置信度最高的5個類別的置信度，帶有條紋橫向柱代表實際濃度對應(yīng)的置信度)。

表2 單模型局部圖像級聯(lián)融合算法的膏體濃度識別準(zhǔn)確率Table 2 Paste concentration recognition accuracy of local original image fusion

圖9 單模型局部圖像級聯(lián)融合膏體濃度識別結(jié)果Fig .9 Recognition results in single model local image cascade fusion of paste concentration

從圖9可以看出：局部圖像級聯(lián)融合算法比上述單圖局部裁剪的算法的濃度識別準(zhǔn)確率更高，且在Gamma 矯正后，沒有出現(xiàn)識別準(zhǔn)確率驟降的情況。對比圖8，所有的Top-5 都包含了正確的濃度，且?guī)缀跛袧舛榷荚赥op-1(預(yù)測結(jié)果中置信度最高的一個類別)位置預(yù)測正確。證明此方法可以明顯減小由于光照變化帶來的膏體濃度特征識別誤差，但是其準(zhǔn)確率較低，難以應(yīng)用于實踐。為進(jìn)一步提高膏體濃度識別準(zhǔn)確率，本文設(shè)計2種基于基線模型的模型融合算法：全連接層融合與特征圖融合。

2.3 多模型融合識別結(jié)果

如前文所述，本文設(shè)計并實現(xiàn)2種基于基線模型的模型融合算法：全連接層融合與特征圖融合。得到結(jié)果如表3所示。以VGG-16網(wǎng)絡(luò)和全連接層模型融合為例，輸出圖像及前5種濃度預(yù)測概率如圖10所示(實際質(zhì)量分?jǐn)?shù)標(biāo)注于圖片下方，以橫向柱狀圖展示預(yù)測結(jié)果中置信度最高的5個類別的置信度，帶有條紋橫向柱代表實際濃度對應(yīng)的置信度)。

表3 不同模型融合算法的膏體濃度識別準(zhǔn)確率Table 3 Paste concentration recognition accuracy of different model fusion algorithms

圖10 多模型全連接層融合膏體濃度識別結(jié)果Fig .10 Recognition results in multi-model full-connection layer fusion of paste concentration

由圖10可知：2種模型融合算法都比前述單圖隨機(jī)裁剪算法和單模型局部圖像級聯(lián)融合算法的濃度識別準(zhǔn)確率高。對比3種模型，與上述實驗結(jié)果類似，VGG-16 的濃度識別準(zhǔn)確率最高，而ResNet-50 與DenseNet-121 的結(jié)果與之相比，相差7%～15%。對比2 種模型融合算法，全連接層融合的效果普遍比特征圖融合的效果好，證明對各自獨立的全連接層結(jié)果進(jìn)行平均能夠更好地提取濃度特征，提升濃度識別準(zhǔn)確率。

2.4 Gamma矯正策略對比

應(yīng)用Gamma 矯正策略可以中和圖像的光照信息，降低環(huán)境光噪聲信息對圖像濃度特征信息的干擾，據(jù)此，設(shè)計對比實驗將Gramma矯正作為數(shù)據(jù)增強(qiáng)策略訓(xùn)練CNN模型。

結(jié)果表明，應(yīng)用Gamma 矯正策略可以顯著提高濃度識別準(zhǔn)確率。全圖縮小預(yù)處理方法在應(yīng)用Gamma 矯正策略后，濃度識別準(zhǔn)確率驟降，證明全圖縮小方法由于未訪問到膏體精細(xì)紋理特征造成該方法的泛化性能不強(qiáng)，而全連接層融合算法則可以很好的解決這一問題。全連接層融合算法針對手動攪拌數(shù)據(jù)集和自動攪拌數(shù)據(jù)集在增加Gamma矯正后，濃度識別準(zhǔn)確率均提升約2%。

3 討論

本文針對膏體充填任務(wù)中關(guān)鍵的濃度識別問題，提出一種基于視覺檢測的非接觸式膏體濃度識別方法，以膏體圖像數(shù)據(jù)集為基礎(chǔ)，對膏體濃度監(jiān)測準(zhǔn)確率進(jìn)行分析。實驗證明，本文提出的方法為膏體濃度識別提供一套全新的解決方案，即通過分析膏體的紋理特征可有效對濃度進(jìn)行監(jiān)測。但該方法需要充分考慮現(xiàn)場環(huán)境因素的影響。實驗證明，在引入Gamma 矯正的情況下，模型的準(zhǔn)確率受到一定的影響，但模型的穩(wěn)健性得到提高。

在未來的研究中，擬采用基于視頻分類的分析方法，以充分提取膏體攪拌過程中的紋理信息和運(yùn)動信息，即在同一攪拌機(jī)轉(zhuǎn)速下，濃度高的膏體運(yùn)動慢，濃度低的膏體運(yùn)動快。本文認(rèn)為通過有效提取膏體料漿的運(yùn)動信息有助于提高濃度識別的準(zhǔn)確率。

本文在預(yù)研實驗中僅采集灰砂比為1∶16 的膏體，然而，在實際工業(yè)生產(chǎn)的充填膏體配料中，灰砂比有1∶4，1∶8，1∶16 和1∶24 這4 種配料方式，本文后續(xù)將驗證模型在其他不同材料配比的膏體濃度分類的準(zhǔn)確率，并在輕量化模型部署、模型高速計算等方面進(jìn)行研究與實驗。

4 結(jié)論

1) 采用深度學(xué)習(xí)算法，以膏體圖像數(shù)據(jù)集為基礎(chǔ)的基于視覺檢測的非接觸式膏體濃度識別方法可以有效實現(xiàn)膏體濃度監(jiān)測。

2) Gamma 矯正策略應(yīng)用于模型融合的各項對比實驗中，識別準(zhǔn)確率均提升1.2%以上，對提升算法對不同環(huán)境的適應(yīng)性具有顯著效果。

3) 單模型局部圖像級聯(lián)融合算法比單模型非級聯(lián)算法具有更高的環(huán)境適應(yīng)性，多模型融合算法相較單模型局部圖像級聯(lián)融合算法的濃度識別準(zhǔn)確率提升7%以上，全連接層融合相較特征圖融合的準(zhǔn)確率提升1%以上，其針對手動攪拌數(shù)據(jù)集和自動攪拌數(shù)據(jù)集的濃度識別準(zhǔn)確率分別達(dá)到88.79%和91.42%。

4) 基于視覺檢測的非接觸式膏體濃度識別方法，可有效提高膏體料漿紋理的識別準(zhǔn)確性及對不同環(huán)境條件下的穩(wěn)健性，對于解決傳統(tǒng)接觸式濃度計識別精度低、易損壞且對人體產(chǎn)生有害輻射等問題有重要意義。