亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        融合高級(jí)語(yǔ)義特征的色紡織物圖像快速檢索

        2022-03-28 10:37:24楊亞莉劉軍平
        紡織學(xué)報(bào) 2022年3期
        關(guān)鍵詞:紡織物查全率檢索系統(tǒng)

        谷 遷, 袁 理, 楊亞莉, 劉軍平

        (1. 武漢紡織大學(xué) 電子與電氣工程學(xué)院, 湖北 武漢 430200; 2. 武漢紡織大學(xué) 湖北省功能纖維加工及檢測(cè) 工程技術(shù)研究中心, 湖北 武漢 430200; 3. 武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院, 湖北 武漢 430200)

        隨著信息化技術(shù)的發(fā)展,圖像數(shù)據(jù)量隨之增加。如何利用數(shù)字圖像處理技術(shù)對(duì)大量的紡織品圖像進(jìn)行高效地檢索與數(shù)字化管理,是目前紡織企業(yè)亟待解決的問(wèn)題。

        圖像檢索可分為基于文本和基于內(nèi)容的2種檢索方法。其中,基于內(nèi)容的圖像檢索方法是當(dāng)前研究的主流方向。方珍紅等[1]提出了利用模糊C均值聚類的方式構(gòu)造加權(quán)主顏色直方圖實(shí)現(xiàn)圖像檢索方法,在Corel圖像庫(kù)上的實(shí)驗(yàn)結(jié)果表明,該算法檢索性能優(yōu)于基于傳統(tǒng)顏色直方圖的檢索方法;崔紅靜等[2]提出基于分塊顏色直方圖和邊緣方向直方圖的檢索算法,該算法對(duì)織物圖像的檢索準(zhǔn)確率達(dá)80.83%;向忠等[3]針對(duì)織物印花花型存在同形不同色和同形異構(gòu)的特點(diǎn),提出了一種融合花型邊緣和顏色特征的圖像檢索算法,結(jié)果表明,該算法對(duì)圖片的平移、縮放、旋轉(zhuǎn)具有魯棒性,平均準(zhǔn)確率可達(dá)93.17%。上述圖像檢索算法均是基于圖像的淺層視覺特征進(jìn)行相似性度量從而進(jìn)行圖像檢索,但根據(jù)淺層視覺特征無(wú)法完整地表征紡織品的圖像信息;同時(shí),由于這種檢索方式缺少自主學(xué)習(xí)能力,且非常依賴特征提取模型的架構(gòu)設(shè)計(jì)和優(yōu)化[4],因此,當(dāng)圖像語(yǔ)義屬性和樣本數(shù)量增加時(shí),檢索效果不佳。

        近年來(lái)利用深度學(xué)習(xí)的方式能夠克服淺層特征的局限性,消除圖像特征與高級(jí)語(yǔ)義特征之間存在的“語(yǔ)義鴻溝”[5],并廣泛應(yīng)用于復(fù)雜模型的表征與圖像檢索。孫潔等[6]對(duì)淺層特征以及高級(jí)語(yǔ)義特征在織物圖像檢索中的應(yīng)用進(jìn)行了對(duì)比分析,指出深度卷積神經(jīng)網(wǎng)絡(luò)可以克服淺層視覺特征在大樣本數(shù)據(jù)集檢索中存在的局限性,具有理想的魯棒性;徐慧等[7]提出了基于多尺度特征融合的服裝款式檢索與推薦系統(tǒng),該系統(tǒng)在圖像語(yǔ)義分割的基礎(chǔ)上,利用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取服裝款式語(yǔ)義信息,并結(jié)合空洞空間金字塔池化(ASPP)對(duì)圖像進(jìn)行多尺度特征提取,很大程度上提高了服裝相似性語(yǔ)義推薦的效率。上述基于深度學(xué)習(xí)的方式在一定程度上提升了圖像檢索的效果,但缺失了對(duì)于圖像淺層視覺特征的描述。

        值得注意的是,色紡織物因其特殊的織造工藝[8-9],同時(shí)具備表征色紡織物顏色、形狀以及紋理等特性的淺層視覺特征和描述色紡織物宏觀風(fēng)格等特性的高級(jí)語(yǔ)義特征。為全面表征色紡織物所具備的多層特征,本文提出一種融合淺層視覺特征和高級(jí)語(yǔ)義特征的圖像檢索算法;同時(shí),為提高檢索系統(tǒng)的時(shí)效性,采用二進(jìn)制哈希編碼對(duì)高級(jí)語(yǔ)義特征進(jìn)行降維處理。在此基礎(chǔ)上,構(gòu)建層次化特征分類器,充分利用2類特征的描述特性對(duì)織物圖像進(jìn)行檢索,以期為色紡織物圖像數(shù)字化管理以及產(chǎn)品開發(fā)提供技術(shù)支持。

        1 融合特征提取算法及檢索流程

        1.1 淺層紋理特征提取算法

        局部二值模式(LBP)[10]是描述圖像局部紋理特征的經(jīng)典算法,其基本原理是比較中心像素與其鄰域像素的灰度值大小,鄰域像素值大于或等于中心像素值則編碼為1,小于則編碼為0,具體定義為:

        (1)

        (2)

        式中:LP,R為編碼后的二進(jìn)制值;gc為中心像素點(diǎn)的灰度值;gi為其鄰域像素點(diǎn)的灰度值;P為鄰域像素點(diǎn)個(gè)數(shù);R為鄰域半徑;s(x)為符號(hào)函數(shù)。通過(guò)調(diào)整LBP的參數(shù)及編碼規(guī)則可以獲得不同的紋理特征。

        與此同時(shí),提取織物的方向梯度直方圖(HOG)特征。具體過(guò)程為:首先將圖像轉(zhuǎn)化為灰度圖,對(duì)整個(gè)圖像進(jìn)行Gamma壓縮來(lái)降低圖像局部的陰影和光照變化;然后,將織物圖像分割為若干個(gè)像素的單元,并按照梯度方向平均劃分為9個(gè)區(qū)間進(jìn)行直方圖統(tǒng)計(jì),每相鄰的若干個(gè)單元構(gòu)成1個(gè)塊。色紡織物典型淺層特征如圖1所示。

        圖1 色紡織物淺層特征Fig.1 Low order characteristics of colored spun fabrics.(a) Original image of fabric; (b) LBP pseudo gray spectrum; (c) HOG feature map

        1.2 高級(jí)語(yǔ)義特征提取算法

        卷積神經(jīng)網(wǎng)絡(luò)(CNN)具備理想的高級(jí)語(yǔ)義特征提取能力,被廣泛應(yīng)用于圖像分類與目標(biāo)檢測(cè)等復(fù)雜模式識(shí)別場(chǎng)景。本文采用經(jīng)典的AlexNet網(wǎng)絡(luò)提取色紡織物圖像的高級(jí)語(yǔ)義特征。需要指出的是,該網(wǎng)絡(luò)含65萬(wàn)個(gè)神經(jīng)元,數(shù)千萬(wàn)個(gè)參數(shù),模型收斂過(guò)程很慢。針對(duì)此問(wèn)題,采用遷移學(xué)習(xí)策略[11-12],將預(yù)訓(xùn)練的網(wǎng)絡(luò)作為一個(gè)特征提取器,指定AlexNet網(wǎng)絡(luò)的第2個(gè)全連接層fc7的輸出結(jié)果作為輸入圖片的特征向量,實(shí)現(xiàn)CNN網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。

        在此基礎(chǔ)上,使用深度學(xué)習(xí)二進(jìn)制哈希(DLBH)算法對(duì)提取的高級(jí)語(yǔ)義特征進(jìn)行降維,從而提高檢索效率。高級(jí)語(yǔ)義特征提取過(guò)程如圖2所示。

        網(wǎng)絡(luò)模型的損失函數(shù)為SoftMax損失函數(shù),見下式:

        (3)

        注:fc6、fc7、fc8均為卷積神經(jīng)網(wǎng)絡(luò)的全連接層。圖2 高級(jí)語(yǔ)義特征提取過(guò)程Fig.2 Advanced semantic feature extraction

        1.3 基于融合特征的檢索流程

        檢索流程分為2個(gè)階段:第1階段為初步檢索,使用深度哈希網(wǎng)絡(luò)得到查詢樣本和數(shù)據(jù)庫(kù)圖像的哈希編碼,并按照漢明距離查找最相似的圖像得到Top-20;第2階段將分別提取查詢樣本和Top-20的淺層特征和高級(jí)語(yǔ)義特征,進(jìn)行特征融合后排序,得到最終的檢索結(jié)果Top-10。

        同時(shí),為了保證特征間的有效融合,需要對(duì)Top-20樣本特征進(jìn)行歸一化處理,見下式:

        (4)

        在此基礎(chǔ)上,根據(jù)式(5)進(jìn)行特征相似度融合:

        (5)

        式中:ωi為3種特征的權(quán)重;sij為Top-20圖像中第j張圖像與樣本第i種特征之間的相似度。

        (6)

        最后根據(jù)式(5)得到Top-20中第j張圖像與樣本的最終距離,排序得到Top-10,見下式:

        (7)

        式中,Dj表示Top-20中第j張圖像與樣本的最終距離。

        2 實(shí)驗(yàn)與結(jié)果

        2.1 實(shí)驗(yàn)樣本及系統(tǒng)參數(shù)

        委托合作企業(yè)提供了684份色紡針織物樣本用于測(cè)試分析,織造過(guò)程中的工藝參數(shù)和樣本具體數(shù)量如表1所示。

        表1 樣本參數(shù)Tab.1 Sample parameter

        全部樣本在相對(duì)濕度為65%狀態(tài)下平衡后,通過(guò)DigiEye Digital Imaging System系統(tǒng)進(jìn)行圖像采集,并在采集前通過(guò)白板和標(biāo)準(zhǔn)色卡對(duì)DigiEye系統(tǒng)相機(jī)進(jìn)行白平衡和顏色校正。每份織物樣本獲取其不同區(qū)域的3張標(biāo)準(zhǔn)圖像;同時(shí),對(duì)采集到的圖像進(jìn)行水平鏡像翻轉(zhuǎn),得到4 104張色紡織物圖像,其中3 800張圖像作為訓(xùn)練集,304張圖像作為測(cè)試集。部分樣本圖像如圖3所示。

        圖3 部分色紡織物樣本圖Fig.3 Sample drawing of colored spun fabrics.(a)Budding heather yarn;(b)Home spun heather yarn;(c)Mirage mini heather yarn;(d)Siro heather yarn

        實(shí)驗(yàn)測(cè)試系統(tǒng)為Windows10操作系統(tǒng);算法開發(fā)環(huán)境為Python3.7與MATLAB2016a,并安裝Tensor Flow-gpu1.14.0、CUDA Toolkit10.0與cuDNN7.4。

        2.2 實(shí)驗(yàn)結(jié)果評(píng)估標(biāo)準(zhǔn)

        本文選擇查全率與平均準(zhǔn)確率(mAP)對(duì)檢索結(jié)果進(jìn)行評(píng)估。查全率定義如下:

        (8)

        式中:P為查全率,%;b為檢索結(jié)果中正確查詢到的圖片數(shù)量;a為相似的圖片數(shù)量。查全率只能反映有多少正確的結(jié)果被檢索出,而平均準(zhǔn)確率能補(bǔ)充對(duì)檢索位置信息的評(píng)估,計(jì)算公式為

        (9)

        式中:Q1為平均準(zhǔn)確率,%;m為檢索樣本的數(shù)量;i表示第i張;Q2為每次查詢的檢索精度,其計(jì)算公式為

        (10)

        式中:ni表示第i張圖像的返回結(jié)果中正確查詢到的圖片總數(shù);x為正確查詢到的圖片在相似圖片中的位置;y為正確查詢到的圖片在返回的檢索結(jié)果中的位置。

        2.3 參數(shù)優(yōu)化

        能夠影響檢索系統(tǒng)性能的參數(shù)很多,包括哈希碼的長(zhǎng)度、LBP算子以及HOG算子參數(shù)等。以訓(xùn)練集為基礎(chǔ),對(duì)檢索系統(tǒng)核心參數(shù)進(jìn)行優(yōu)化,結(jié)果如表2~4所示。

        表2 哈希碼長(zhǎng)度與Top-10檢索結(jié)果Tab.2 Hash codes length and Top-10 search results

        表3 LBP算子參數(shù)與Top-10檢索結(jié)果Tab.3 LBP operator parameters and Top-10 search results

        從表2可以看出,哈希碼的長(zhǎng)度越大,其檢索效果越好。但考慮到系統(tǒng)的實(shí)時(shí)性要求,本文將fc7層的特征映射為128位二進(jìn)制哈希碼,可以兼顧其查全率與執(zhí)行效率。

        表4 HOG算子參數(shù)與Top-10檢索結(jié)果Tab.4 HOG operator parameters and Top-10 search results

        由表3可知,旋轉(zhuǎn)不變統(tǒng)一模式的LBP算子參數(shù)R和P,即算子的領(lǐng)域像素點(diǎn)數(shù)量與可變區(qū)域大小會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生影響。當(dāng)P=8,R=2時(shí),算子的紋理表征能力可以達(dá)到最優(yōu)。

        從表4可以看出,當(dāng)c=64,b=4時(shí),檢索系統(tǒng)的查全率和平均準(zhǔn)確率都為最高。

        綜上分析,檢索系統(tǒng)的關(guān)鍵參數(shù)設(shè)定為哈希碼長(zhǎng)度128位;LBP算子P=8,R=2;HOG算子c=64,b=4。

        2.4 實(shí)驗(yàn)結(jié)果與分析

        對(duì)304張具有不同風(fēng)格類型的色紡織物圖像進(jìn)行檢索測(cè)試,結(jié)果如表5所示。可以看出,對(duì)于9種不同風(fēng)格的色紡織物圖像,本文檢索方法的查全率均能達(dá)到95%及以上,平均準(zhǔn)確率均在85%以上,說(shuō)明本文融合淺層視覺特征和高級(jí)語(yǔ)義特征的算法能夠?qū)哂袕?fù)雜顏色和紋理特性的色紡織物圖像進(jìn)行有效檢索。

        表5 檢索實(shí)驗(yàn)結(jié)果Tab.5 Search experimental results

        迷你幻影紗Top-10檢索結(jié)果如圖4所示,編號(hào)越小說(shuō)明與原圖越相似??梢钥闯觯c檢索樣本相似的待檢圖片均已返回,且排名均靠前。

        需要指出的是,在上述Top-10檢索結(jié)果中,第5號(hào)樣本圖像(水紋蠅帶紗)與檢測(cè)樣本不屬于同一類,屬于異常結(jié)果。經(jīng)過(guò)對(duì)比分析,發(fā)現(xiàn)該樣本存在大量的褶皺區(qū)域,從而導(dǎo)致特征提取出現(xiàn)偏差,如圖5所示。

        圖4 相似色紡織物檢索結(jié)果Fig.4 Retrieval results of similar colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

        圖5 色紡織物褶皺圖像Fig.5 Colored spun fabric wrinkle image

        為進(jìn)一步驗(yàn)證織物褶皺對(duì)檢索結(jié)果的影響,對(duì)褶皺樣本進(jìn)行檢索測(cè)試,結(jié)果如圖6所示。可以看出,在返回的Top-10結(jié)果中,只有Top-3、Top-6、Top-7與檢索樣本較為相似,其他返回結(jié)果差異較大。說(shuō)明褶皺影響了圖像本身的平整度,進(jìn)而導(dǎo)致圖像的特征發(fā)生改變,影響了最終的實(shí)驗(yàn)結(jié)果。

        2.5 對(duì)比實(shí)驗(yàn)結(jié)果

        為充分驗(yàn)證融合高級(jí)語(yǔ)義特征檢索方法的有效性與實(shí)用性,建立對(duì)比實(shí)驗(yàn)Ⅰ。其中:將未微調(diào)的AlexNet卷積神經(jīng)網(wǎng)絡(luò),記為方法1;將使用遷移學(xué)習(xí)并微調(diào)AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù),記為方法2;將直接提取圖像HOG特征進(jìn)行檢索,記為方法3;將利用LBP與HOG融合特征進(jìn)行檢索,記為方法4。對(duì)比實(shí)驗(yàn)結(jié)果如表6所示。

        圖6 異常色紡織物檢索結(jié)果Fig.6 Retrieval results of abnormal colored spun fabrics.(a) Retrieval image; (b) Similarity Top-10 result image

        從表6可以看出,本文檢索方法查全率和平均準(zhǔn)確率分別為97.37%,87.54%。相較于單一淺層特征,對(duì)多特征進(jìn)行融合能提高系統(tǒng)的檢索性能,但由于缺乏對(duì)織物圖像風(fēng)格屬性的語(yǔ)義表征,檢索結(jié)果還有待提高。與其他方法對(duì)比,本文將淺層特征與高級(jí)語(yǔ)義特征相融合能有效提高檢索系統(tǒng)的查全率和平均準(zhǔn)確率。

        表6 對(duì)比實(shí)驗(yàn)Ⅰ結(jié)果Tab.6 Contrast experiment Ⅰ results

        同時(shí),為驗(yàn)證本文系統(tǒng)的實(shí)時(shí)性,結(jié)合對(duì)比方法建立對(duì)比實(shí)驗(yàn)Ⅱ。其中,對(duì)比方法為在圖像數(shù)據(jù)庫(kù)中直接提取圖像的淺層視覺特征及高級(jí)語(yǔ)義特征,并將2種特征融合后進(jìn)行圖像檢索。結(jié)果發(fā)現(xiàn),本文方法的檢索時(shí)間為0.8 ms,對(duì)比方法的檢索時(shí)間為605 ms,執(zhí)行效率提升約750倍。可以看出,本文將高維特征量化為二進(jìn)制哈希碼,能有效提高檢索系統(tǒng)的執(zhí)行效率,具有顯著優(yōu)勢(shì)。

        3 結(jié) 論

        為提高色紡織圖像檢索系統(tǒng)的有效性與實(shí)時(shí)性,本文建立了一種融合淺層紋理特征與高級(jí)語(yǔ)義特征的檢索系統(tǒng)。該系統(tǒng)利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)色紡織物圖像的花型風(fēng)格等語(yǔ)義特征進(jìn)行表征,同時(shí)融合圖像的局部二值模式與方向梯度直方圖等淺層紋理特征,從而構(gòu)建層次化檢索系統(tǒng)。在此基礎(chǔ)上,通過(guò)二進(jìn)制哈希編碼對(duì)高維特征向量進(jìn)行降維,降低檢索特征的匹配時(shí)間。對(duì)具有9種不同紋理風(fēng)格的色紡織物樣本圖像進(jìn)行檢索發(fā)現(xiàn),該檢索系統(tǒng)的Top-10查全率與平均準(zhǔn)確率分別達(dá)到了97.37%和87.54%;同時(shí),執(zhí)行效率提升約750倍,能夠滿足實(shí)時(shí)性要求。但該檢索系統(tǒng)對(duì)織物圖片褶皺區(qū)域的抗干擾能力較弱,如何提升其抗干擾能力將是下一步研究的重點(diǎn)內(nèi)容。

        猜你喜歡
        紡織物查全率檢索系統(tǒng)
        采用二甲基甲酰胺(70℃溶解法)測(cè)定棉/氨綸混紡織物纖維含量
        使用尺度不變特征變換和K最近臨算法快速自動(dòng)識(shí)別混紡織物的棉毛纖維
        毛紡科技(2021年8期)2021-10-14 06:51:32
        醋酯纖維氨綸混紡織物定量分析方法探討
        海量圖書館檔案信息的快速檢索方法
        收錄《信號(hào)處理》的檢索系統(tǒng)及數(shù)據(jù)庫(kù)
        收錄《信號(hào)處理》的檢索系統(tǒng)及數(shù)據(jù)庫(kù)
        本刊被以下檢索系統(tǒng)及數(shù)據(jù)庫(kù)收錄
        本刊被以下檢索系統(tǒng)及數(shù)據(jù)庫(kù)收錄
        基于詞嵌入語(yǔ)義的精準(zhǔn)檢索式構(gòu)建方法
        低發(fā)射率涂料的研制及其在滌/棉混紡織物熱紅外偽裝中的應(yīng)用
        絲綢(2014年2期)2014-02-28 14:54:40
        久久精品成人一区二区三区| 国产精品狼人久久久影院| 白色月光免费观看完整版| 制服丝袜一区二区三区| 成av免费大片黄在线观看| 久久精品—区二区三区无码伊人色| 91精品国产乱码久久久| 所有视频在线观看免费| 国产农村妇女毛片精品久久| 欧美日韩亚洲色图| 国内精品久久人妻互换| 宅男久久精品国产亚洲av麻豆| 99久久精品人妻少妇一| 疯狂添女人下部视频免费| 18无码粉嫩小泬无套在线观看| 蜜桃av观看亚洲一区二区| 24小时在线免费av| 国产揄拍国产精品| 亚洲AV秘 片一区二区三| 白白色福利视频在线观看| 加勒比色老久久爱综合网| 欧产日产国产精品精品| 亚洲一区区| 美女免费观看一区二区三区| 日韩无码专区| 无码少妇一区二区浪潮av| 精品亚洲女同一区二区| 久久精品亚洲一区二区三区画质| 99久热在线精品视频观看| 亚洲第一成人网站| 精品国产一品二品三品| 精品亚洲麻豆1区2区3区| 国产精品久久久久久52avav | 人妻av乱片av出轨| 亚洲国产日韩在线人成蜜芽| 日本国产一区在线观看| 蜜臀av无码人妻精品| 亚洲区小说区图片区| 麻豆av在线免费观看精品| 一区二区和激情视频| 国产三级在线观看免费|