孫衛(wèi)紅， 黎 雨， 梁 曼， 邵鐵鋒， 高明輝

1. 中國(guó)計(jì)量大學(xué) 機(jī)電工程學(xué)院， 浙江 杭州 310018； 2. 中國(guó)計(jì)量大學(xué) 繭絲綢質(zhì)量檢測(cè)技術(shù)研究所， 浙江 杭州 310018； 3. 泰安市紡織纖維檢驗(yàn)所， 山東 泰安 217000)

蠶繭繅絲之前需先通過(guò)選繭工作剔除影響生絲質(zhì)量的下繭。目前，表面帶有疵點(diǎn)的蠶繭一般通過(guò)其表面疵點(diǎn)的總面積判斷是否為下繭，如靠黃繭、油繭、爛繭、霉繭等。由于人眼無(wú)法準(zhǔn)確判斷疵點(diǎn)面積，且目前的疵點(diǎn)繭檢測(cè)技術(shù)一般只對(duì)帶有疵點(diǎn)的單一面進(jìn)行分析[1]，忽略了蠶繭表面其他角度的疵點(diǎn)情況,因此,需通過(guò)拍攝不同角度的蠶繭圖像后，采用圖像拼接處理得到完整的蠶繭表面圖像，再對(duì)其疵點(diǎn)特征進(jìn)行分析。

圖像拼接技術(shù)一般包括特征點(diǎn)提取、圖像配準(zhǔn)、圖像融合等步驟[2]。其中，圖像融合是在圖像配準(zhǔn)的基礎(chǔ)上，消除拼接圖中因亮度差異等因素造成的拼接縫，獲得平滑過(guò)渡的融合圖像。目前,常用的圖像融合算法有加權(quán)平均法、漸入漸出算法、多分辨率融合算法與泊松融合等。加權(quán)平均法[3]和漸入漸出算法[4]實(shí)時(shí)性較好，但得到的融合圖曝光差異大且存在明顯的拼接縫。多分辨率融合算法[5]與泊松融合[6]能有效消除拼接縫，但這2種算法耗時(shí)較長(zhǎng)且均需掩碼圖像。針對(duì)不同場(chǎng)景的圖像需設(shè)計(jì)相應(yīng)的融合算法來(lái)消除拼接縫，李海超等[7]利用區(qū)間差值映射法對(duì)圖像重疊區(qū)域進(jìn)行直方圖匹配并建立直方圖查找表，有效消除圖像間的灰度差異。瞿中等[8]將最佳縫合線與改進(jìn)加權(quán)平均融合算法結(jié)合,生成平滑過(guò)渡且無(wú)拼接縫的高質(zhì)量圖像。汪丹等[9]提出在漸入漸出算法的基礎(chǔ)上，將過(guò)渡的權(quán)重值替換為三角函數(shù)，得到更好的融合效果；但由于蠶繭圖像的特殊性，其黑色背景是導(dǎo)致融合圖中蠶繭邊緣拼接縫明顯的主要原因，因此，蠶繭圖像融合不似傳統(tǒng)意義上的矩形圖像融合[10]，而是針對(duì)圖像中的蠶繭表面區(qū)域進(jìn)行融合。

為獲得良好視覺(jué)效果的蠶繭完整表面，本文提出一種基于橢圓重疊區(qū)域的蠶繭圖像融合方法，將圖像中蠶繭表面所在區(qū)域等效為橢圓帶入融合過(guò)程，構(gòu)建蠶繭圖像融合的數(shù)學(xué)模型，將實(shí)際融合區(qū)域定義為由模型得出的橢圓重疊區(qū)域，并采用改進(jìn)的三角函數(shù)權(quán)重算法對(duì)該區(qū)域進(jìn)行融合。

1 蠶繭圖像的采集與配準(zhǔn)

由于需獲取視覺(jué)效果佳且平滑過(guò)渡的蠶繭完整表面圖像，因此，要求采集的蠶繭圖像需在尺寸、亮度與旋轉(zhuǎn)角度方面盡量保持一致。本文采用課題組研制的蠶繭繭層完整圖像采集裝置[11]獲取尺寸、亮度與旋轉(zhuǎn)角度基本相同的蠶繭原始圖像，如圖1所示。2個(gè)滾軸朝同一個(gè)方向滾動(dòng)，每轉(zhuǎn)動(dòng)60°拍攝1張蠶繭表面圖像直至獲取完整表面，再選取2張相鄰且?guī)в型淮命c(diǎn)的蠶繭圖像用于后續(xù)處理。蠶繭的形狀為類橢球形，導(dǎo)致采集的蠶繭原始圖像存在信息壓縮，因此，本文通過(guò)等效階梯柱面模型[11]對(duì)蠶繭原始圖像進(jìn)行展開(kāi)，并將展開(kāi)后的蠶繭圖像作為待拼接圖像進(jìn)行后續(xù)拼接處理。

圖1 采集裝置示意圖

蠶繭圖像融合之前需先完成圖像配準(zhǔn)工作，通過(guò)尋找2幅圖像的空間變換，將蠶繭圖像左圖映射到蠶繭圖像右圖上，使2幅圖中位于空間同一位置的點(diǎn)對(duì)應(yīng)起來(lái)[12]。本文利用SURF算法[13]檢測(cè)蠶繭圖像的特征點(diǎn)，檢測(cè)完畢后為每個(gè)特征點(diǎn)構(gòu)建64維SURF特征描述子。再采用RANSAC算法尋找2幅蠶繭圖像中的最佳單應(yīng)性矩陣，并篩除誤匹配點(diǎn)得到最終匹配對(duì)。根據(jù)各匹配對(duì)之間的距離計(jì)算蠶繭圖像右圖相對(duì)于左圖的平移距離(dx,dy),如式(1)與(2)所示。

(1)

(2)

式中：N為RANSAC算法篩除后剩下的匹配點(diǎn)總對(duì)數(shù)；dxn為第n對(duì)匹配點(diǎn)在x方向的位移距離；dyn為第n對(duì)匹配點(diǎn)在y方向的位移距離。

2 蠶繭等效橢圓的圖像融合方法

2.1 蠶繭類橢圓模型

一般蠶繭的形狀為類橢球形，因此，其二維圖像中的蠶繭表面可等效為橢圓。本文對(duì)展開(kāi)后的蠶繭圖像進(jìn)行灰度化、二值化后，采用直接最小二乘擬合算法[14]對(duì)其進(jìn)行擬合，結(jié)果如圖2所示?？梢钥闯?，展開(kāi)后的蠶繭類似于標(biāo)準(zhǔn)的橢圓曲線，由此獲取等效橢圓的相關(guān)參數(shù)并映射到原蠶繭圖像的像素坐標(biāo)中。

圖2 蠶繭圖像橢圓擬合

采集裝置通過(guò)旋轉(zhuǎn)蠶繭來(lái)拍攝不同角度的蠶繭原始圖像獲得蠶繭繭層完整圖像，為此認(rèn)為蠶繭圖像左圖與蠶繭圖像右圖中的蠶繭等效橢圓方程相同。定義橢圓的長(zhǎng)軸為2a,短軸為2b，圓心在圖像中的位置為(xc,yc),即可得到2幅圖中的蠶繭表面等效橢圓如式(3)所示。

(3)

2.2 蠶繭圖像融合的數(shù)學(xué)模型

將蠶繭圖像的融合區(qū)域定義為2個(gè)橢圓的重疊區(qū)域，而非傳統(tǒng)方法中圖像實(shí)際的矩形重疊區(qū)域。為獲取融合過(guò)程中蠶繭等效橢圓重疊區(qū)域的點(diǎn)集，本文根據(jù)圖像配準(zhǔn)過(guò)程得到的水平位移距離dx與豎直位移距離dy，構(gòu)建蠶繭圖像融合的數(shù)學(xué)模型。豎直位移距離dy存在大于、等于和小于0這3種情況，導(dǎo)致蠶繭圖像融合的數(shù)學(xué)模型也存在3種情況，但這3種情況無(wú)本質(zhì)區(qū)別，不做過(guò)多贅述。以dy<0為例，構(gòu)建的融合數(shù)學(xué)模型如圖3所示。

圖3 蠶繭圖像融合數(shù)學(xué)模型

設(shè)蠶繭圖像左圖與右圖尺寸均為W×H,則蠶繭融合圖像的尺寸為(W+dx)×(H+dy)。定義蠶繭圖像左圖為模板圖像，則該圖像中的蠶繭等效橢圓相當(dāng)于向上平移了dy個(gè)單位，蠶繭圖像右圖中的等效橢圓相當(dāng)于向右平移了W-dx個(gè)單位。得到左圖中的蠶繭等效橢圓區(qū)域?yàn)锳，右圖中橢圓區(qū)域?yàn)锽,因此,2個(gè)橢圓重疊區(qū)域的點(diǎn)集為C，如式(4)～(6)所示：

(4)

(5)

C=A∩B

(6)

2.3 改進(jìn)的三角函數(shù)權(quán)重算法

本文融合算法的基礎(chǔ)為耗時(shí)較短的三角函數(shù)權(quán)重算法[9]。三角函數(shù)權(quán)重算法是對(duì)漸入漸出算法的改進(jìn)，其原理是在圖像重疊區(qū)域按照式(7)計(jì)算每一列與角度的關(guān)系，再得出該角度下正、余弦值的平方作為融合權(quán)重值。

(7)

為排除圖像中無(wú)關(guān)因素的影響，改善黑色背景導(dǎo)致亮度不均、蠶繭邊界線明顯的情況。本文在原有算法基礎(chǔ)上，將三角函數(shù)權(quán)重算法的構(gòu)建區(qū)域由圖像實(shí)際重疊區(qū)域改為感興趣區(qū)域。利用融合數(shù)學(xué)模型中2個(gè)等效橢圓的位置方程，計(jì)算得出蠶繭重疊區(qū)域的最大寬M1N1，并將其與融合圖的高組成的矩形作為感興趣區(qū)域，同時(shí)在該區(qū)域內(nèi)計(jì)算每列像素與角度θ1的關(guān)系如式(8)所示，再按照式(9)、(10)得出該角度下的左圖融合權(quán)重Q與右圖融合權(quán)重T,得到改進(jìn)的三角函數(shù)權(quán)重算法。

(8)

T=sin2θ1

(9)

Q=cos2θ1

(10)

式中，M1與N1分別表示蠶繭圖像中感興趣區(qū)域的左、右邊界。

最后，通過(guò)式(11)、(12)得到蠶繭融合圖像I的像素點(diǎn)與蠶繭圖像左圖L與右圖R之間的關(guān)系。感興趣區(qū)域與權(quán)重變化如圖4所示。

圖4 改進(jìn)的三角函數(shù)權(quán)重變化圖

I(x,y)=Q×L(x,y)+T×R(x,y)

(11)

(x,y)∈C

(12)

對(duì)橢圓重疊區(qū)域分別采用三角函數(shù)權(quán)重算法與改進(jìn)的三角函數(shù)權(quán)重算法進(jìn)行融合，結(jié)果如圖5所示。由于本文進(jìn)行融合的區(qū)域?yàn)闄E圓的重疊區(qū)域，其寬度小于圖像的重疊區(qū)域，因此，通過(guò)三角函數(shù)權(quán)重算法得到的權(quán)重最大值并非為1,使得蠶繭融合圖像在橢圓邊界處的亮度呈跳躍變化，橢圓邊界線清晰可見(jiàn)，無(wú)法獲得自然過(guò)渡的蠶繭表面。但改進(jìn)的三角函數(shù)權(quán)重算法將圖像重疊區(qū)域改為感興趣區(qū)域，使其權(quán)重值由0到1連續(xù)變化，保證了橢圓邊界線區(qū)域平滑過(guò)渡，得到高質(zhì)量的蠶繭融合圖像。

圖5 改進(jìn)前后三角函數(shù)權(quán)重算法的融合結(jié)果對(duì)比圖

2.4 圖像融合方法描述

圖像融合方法主要包括以下步驟。

步驟1：獲取2張不同角度的蠶繭原始圖像后，對(duì)其進(jìn)行展開(kāi)處理，得到蠶繭圖像作為待拼接圖像。

步驟2：利用SURF算法對(duì)2張不同角度的蠶繭待拼接圖像進(jìn)行配準(zhǔn)，再采用RANSAC算法篩除誤匹配對(duì)，根據(jù)最終匹配對(duì)的距離得出蠶繭圖像右圖相對(duì)于左圖的移動(dòng)距離(dx,dy)。

步驟3：采用最小二乘擬合算法分別對(duì)2張待拼接圖像中的蠶繭表面進(jìn)行橢圓擬合，并輸出其等效橢圓的位置方程。

步驟4：將蠶繭圖像左圖作為參考圖像，根據(jù)配準(zhǔn)得出的平移距離(dx,dy)對(duì)右圖進(jìn)行平移，得到蠶繭圖像融合的數(shù)學(xué)模型，由此獲取2個(gè)等效橢圓重疊區(qū)域的點(diǎn)集。

步驟5：根據(jù)2個(gè)等效橢圓在蠶繭融合圖像中的位置方程，得出橢圓重疊區(qū)域的最大寬M1N1,并將M1N1所在區(qū)域作為感興趣區(qū)域。

步驟6：在感興趣區(qū)域內(nèi)利用改進(jìn)的三角函數(shù)權(quán)重算法進(jìn)行融合處理，得到自然平滑的蠶繭融合圖像。

3 實(shí)驗(yàn)結(jié)果與分析

圖像融合評(píng)價(jià)方法一般分為主觀評(píng)價(jià)與客觀評(píng)價(jià)。主觀評(píng)價(jià)主要依靠人眼評(píng)價(jià)融合圖像的質(zhì)量，客觀評(píng)價(jià)通過(guò)某種特定算法來(lái)提供量化的評(píng)價(jià)值[15-16]。為確保本文方法的有效性與準(zhǔn)確性，同時(shí)采用主觀評(píng)價(jià)與客觀評(píng)價(jià)來(lái)評(píng)估蠶繭融合圖像質(zhì)量。

3.1 蠶繭圖像融合質(zhì)量主觀評(píng)估

蠶繭圖像融合試驗(yàn)平臺(tái)是CPU為2.4 GHz，內(nèi)存為4GB，操作系統(tǒng)為Windows10計(jì)算機(jī)，軟件平臺(tái)由Visual Studio 2017和Opencv2.4.9組成。選取圖6所示的2組表面特征不同的蠶繭圖像，分別采用漸入漸出算法、三角函數(shù)權(quán)重算法與本文基于橢圓重疊區(qū)域的蠶繭圖像融合方法進(jìn)行融合，結(jié)果如圖7、8所示。

圖6 融合前的蠶繭圖像

圖7 第1組蠶繭圖像融合結(jié)果

比較可知，通過(guò)漸入漸出算法得出的蠶繭融合圖像在高緯度區(qū)域存在明顯的蠶繭邊界線，同時(shí)蠶繭圖像中的黑色背景導(dǎo)致融合圖中蠶繭表面區(qū)域亮度變暗。采用三角函數(shù)權(quán)重算法緩解了這一問(wèn)題，但圖像高緯度區(qū)域的蠶繭邊界線仍然無(wú)法消除，無(wú)法獲得表面平滑過(guò)渡且無(wú)明顯拼接縫的蠶繭融合圖像。而本文方法得出的蠶繭融合圖像中的蠶繭表面區(qū)域自然平滑，接近理想的蠶繭表面圖像。

圖8 第2組蠶繭圖像融合結(jié)果

3.2 蠶繭圖像融合質(zhì)量客觀指標(biāo)評(píng)估

客觀評(píng)價(jià)指標(biāo)可分為有參考圖像與無(wú)參考圖像2類[17]。由于蠶繭的特殊性，現(xiàn)實(shí)中無(wú)法直接獲取整張完整的蠶繭表面圖像，因此，蠶繭圖像融合質(zhì)量客觀評(píng)價(jià)指標(biāo)的選取可參照無(wú)參考圖像的評(píng)價(jià)指標(biāo)。無(wú)參考圖像的評(píng)價(jià)指標(biāo)又可分為基于單一圖像與基于源圖像2類，基于單一圖像的評(píng)價(jià)指標(biāo)有信息熵、標(biāo)準(zhǔn)差與平均梯度等，用于反映融合圖像包含的信息量與灰度值分布情況，基于原圖像的評(píng)價(jià)指標(biāo)通常采用互信息[18]。

蠶繭融合圖像的清晰度與質(zhì)量對(duì)后續(xù)疵點(diǎn)檢測(cè)至關(guān)重要，圖像越清晰質(zhì)量越好，疵點(diǎn)面積計(jì)算越準(zhǔn)確，因此，為在客觀數(shù)據(jù)上反映本文算法的優(yōu)越性，采用信息熵、平均梯度、空間頻率、標(biāo)準(zhǔn)差與互信息作為客觀評(píng)價(jià)指標(biāo)對(duì)蠶繭融合圖像進(jìn)行融合效果評(píng)估[15-16]。信息熵反映蠶繭融合圖像中所包含的信息量，平均梯度用于衡量圖像的清晰程度，空間頻率表示圖像灰度值的變化率，標(biāo)準(zhǔn)差用于度量圖像中信息豐富程度。以上4個(gè)指標(biāo)值越大，則表示蠶繭融合圖像越清晰，信息量越大且整體質(zhì)量越好?；バ畔⒂糜诤饬啃Q繭融合圖像與原圖像之間的相似程度，其值越大表示融合效果越好。評(píng)價(jià)結(jié)果如表1所示。

表1 3種方法下蠶繭融合圖像客觀指標(biāo)均值對(duì)比

根據(jù)2組實(shí)驗(yàn)結(jié)果得出，本文方法得到的信息熵均值比漸入漸出算法提高了0.50%，比三角函數(shù)權(quán)重算法提高了0.42%。平均梯度均值比漸入漸出算法提高了2.23%，但相比于三角函數(shù)權(quán)重算法卻降低了0.98%?？臻g頻率均值比漸入漸出算法提高了2.78%，但比三角函數(shù)權(quán)重算法降低了2.67%。標(biāo)準(zhǔn)差均值比漸入漸出算法提高了3.92%，比三角函數(shù)權(quán)重算法提高了1.92%。綜上分析，利用本文方法得到的蠶繭融合圖像的平均梯度與空間頻率比采用漸入漸出算法大，卻略小于三角函數(shù)權(quán)重算法，但本文方法得到的蠶繭融合圖像信息熵與標(biāo)準(zhǔn)差在3種算法中最大。結(jié)合以上4種基于單一圖像的評(píng)價(jià)指標(biāo)結(jié)果可以得出，本文方法得到的蠶繭融合圖像綜合質(zhì)量最佳且包含的信息量最大，更利于后續(xù)蠶繭疵點(diǎn)檢測(cè)。

本文方法的互信息在3種算法中最大，其均值比漸入漸出算法提高了2.15%，相比于三角函數(shù)權(quán)重算法提高了0.82%，表明本文方法得到的蠶繭融合圖像與蠶繭源圖像的相似度更大，融合效果更好。

4 結(jié) 論

一般的圖像融合算法適用于常規(guī)的矩形圖像，對(duì)蠶繭圖像融合的效果不佳。為解決這一問(wèn)題，本文在蠶繭圖像配準(zhǔn)的基礎(chǔ)上，結(jié)合蠶繭表面的形態(tài)特征建立蠶繭圖像融合的數(shù)學(xué)模型，并根據(jù)橢圓重疊區(qū)域的最大寬,設(shè)立感興趣區(qū)域代替蠶繭圖像的原本重疊區(qū)域進(jìn)行融合處理。與漸入漸出算法和三角函數(shù)權(quán)重算法相比，本文算法得到的蠶繭融合圖像在主觀評(píng)價(jià)上得到明顯改善，無(wú)明顯拼接痕跡。客觀評(píng)價(jià)可反映蠶繭圖像的融合效果與蠶繭融合圖像質(zhì)量，根據(jù)互信息得出本文算法的融合效果較其他2種算法更好。雖然第2組蠶繭融合圖像的平均梯度與空間頻率次于三角函數(shù)權(quán)重算法，但客觀指標(biāo)中信息熵與標(biāo)準(zhǔn)差都高于漸入漸出算法和三角函數(shù)權(quán)重算法。由于4種指標(biāo)無(wú)優(yōu)先級(jí)，綜合分析得出本文方法得到的蠶繭融合圖像的圖像質(zhì)量較高，圖像包含信息更豐富。