鄧耀華，黃志海

（廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣東 廣州 510006）

1 引言

IC 器件為現(xiàn)代技術(shù)和工業(yè)的發(fā)展做出了不可或缺的貢獻(xiàn)［1］。塑封IC 器件因其小尺寸、低成本、高性能的優(yōu)勢(shì)，成為IC 行業(yè)的寵兒。然而，塑封為非氣密性封裝，封裝過(guò)程十分復(fù)雜，在實(shí)際塑封過(guò)程中某環(huán)節(jié)稍有差錯(cuò)，就會(huì)誘發(fā)各類表面缺陷，對(duì)IC 器件的可靠性和使用壽命構(gòu)成嚴(yán)重威脅［2］。根據(jù)形成原因和特點(diǎn)，缺陷可分為劃痕、異物、凹坑和崩邊四類［3］。缺陷特征表現(xiàn)出低對(duì)比度、形狀各異等復(fù)雜特性，導(dǎo)致檢測(cè)環(huán)境光照不穩(wěn)定，IC 器件的缺陷漏檢率一直高居不下［4］。

目前在電子工業(yè)缺陷檢測(cè)中，大部分視覺(jué)檢測(cè)方法僅關(guān)注RGB、紅外圖像或其他單一成像形式的輸入。Chao 等［5］提出了一種以單RGB圖像輸入的圖像特征和多級(jí)圖像分割的IC 器件表面缺陷檢測(cè)方法，但因缺陷特征復(fù)雜，光照不均勻，通常會(huì)產(chǎn)生不同的圖像對(duì)比度，僅僅依賴RGB 圖像很難將缺陷和背景區(qū)分開(kāi)來(lái)。張稼等［6］提出了一種基于線激光鎖相熱成像的多通道數(shù)字集成芯片表面缺陷檢測(cè)方法，將外部熱激勵(lì)源應(yīng)用于目標(biāo)，采用主成分分析法提取缺陷特征，實(shí)現(xiàn)芯片缺陷檢測(cè)。但溫度分布差異是紅外熱成像缺陷檢測(cè)的重要前提，因此，溫度差異不明顯的缺陷常常淹沒(méi)在紅外圖像中。近年來(lái)，基于多光譜圖像融合的表面缺陷檢測(cè)廣泛應(yīng)用于IC 領(lǐng)域，Cong 等［7］提出基于輪廓線主方向的印刷電路板缺陷鎖相熱成像與可見(jiàn)光圖像配準(zhǔn)融合方法，有效地增強(qiáng)缺陷特征，實(shí)現(xiàn)了光熱融合檢測(cè)。Li 等［8］提出一種基于可見(jiàn)光和熱紅外光譜中偏振信息融合的印刷電路缺陷檢測(cè)方法，其檢測(cè)平均精度優(yōu)于最先進(jìn)的AOI 光學(xué)檢測(cè)系統(tǒng)。

圖像配準(zhǔn)是進(jìn)行高質(zhì)量圖像融合的重要前提。在基于點(diǎn)特征的圖像配準(zhǔn)中，可見(jiàn)光與紅外圖像因尺度不一致和對(duì)比度反轉(zhuǎn)所造成的圖像間差異大，特征相似性低是圖像配準(zhǔn)的難點(diǎn)。針對(duì)這一難點(diǎn)，江澤濤等［9］通過(guò)構(gòu)建高斯金字塔來(lái)解決 ORB（Oriented FAST and Rotated BRIEF）算法的尺度不變性問(wèn)題，改善了原算法在圖像尺度不一致時(shí)誤匹配率高的缺陷，但高斯金字塔尺度會(huì)導(dǎo)致空間邊緣弱化，圖像細(xì)節(jié)丟失。徐海洋等［10］利用相位一致性提取ORB特征點(diǎn)描述符相似性高的穩(wěn)定邊緣結(jié)構(gòu)，改善了可見(jiàn)光與紅外圖像對(duì)比度反轉(zhuǎn)帶來(lái)的差異性，提高了配準(zhǔn)精度。

多尺度變換的圖像融合框架廣泛應(yīng)用在已配準(zhǔn)的可見(jiàn)光與紅外圖像融合中。非下采樣剪切波變換（Non-Subsample Shearlet Transform，NSST）具有平移不變性，避免了偽吉布斯現(xiàn)象，在圖像融合領(lǐng)域展現(xiàn)出良好的性能。研究表明［11-12］，NSST 能夠有效提取細(xì)節(jié)紋理信息，得到高質(zhì)量的融合圖像。合適的融合規(guī)則同樣對(duì)融合質(zhì)量至關(guān)重要，傳統(tǒng)融合規(guī)則包括加權(quán)平均法、絕大值取大和區(qū)域能量和等［13］，但這些規(guī)則未能從全局上考慮區(qū)域間像素相關(guān)性，容易導(dǎo)致圖像中重要信息丟失，圖像顯著特征不夠突出。Li 等［14］利用顯著性檢測(cè)的低頻融合規(guī)則，有效地解決了融合過(guò)程中亮度和細(xì)節(jié)信息丟失的問(wèn)題，增強(qiáng)了顯著特征的對(duì)比度。Zhang 等［15］利用脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）將圖像全局信息聯(lián)系起來(lái)，融合圖像在主客觀評(píng)價(jià)上有較好的效果。

上述文獻(xiàn)表明，基于光譜動(dòng)態(tài)范圍較低的單一圖像輸入，不能同時(shí)呈現(xiàn)所有缺陷特征，甚至淹沒(méi)了部分弱缺陷。高精度缺陷檢測(cè)的重要前提是獲得高質(zhì)量的圖像輸入。鑒于IC 器件表面缺陷在不同光譜下表現(xiàn)出易于檢測(cè)的互補(bǔ)特性，本文提出紅外與可見(jiàn)光圖像像素級(jí)融合的檢測(cè)方法，針對(duì)IC 器件表面缺陷可見(jiàn)光與紅外圖像在配準(zhǔn)融合中存在的尺度不一致，對(duì)比度反轉(zhuǎn)和互補(bǔ)信息融合不充分等問(wèn)題，引入圖像細(xì)節(jié)信息豐富的拉普拉斯金字塔和描述符重組策略改進(jìn)ORB 圖像配準(zhǔn)算法；以NSST 作為圖像分解工具，構(gòu)建基于視覺(jué)顯著圖加權(quán)（Visual Significance Map，VSM）和參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)（PA-Pulse Coupled Neural Network，PAPCNN）的NSST 域圖像融合方法（NSST_VP）。利用不同光譜下的互補(bǔ)特性增強(qiáng)缺陷特征，為后續(xù)缺陷檢測(cè)提供高質(zhì)量數(shù)據(jù)支撐，滿足檢測(cè)算法穩(wěn)定性和缺陷檢測(cè)精度的需求。

2 原 理

基于多光譜圖像融合的IC 器件表面缺陷檢測(cè)方法的總體原理框架如圖1 所示。該方法主要分為圖像配準(zhǔn)模塊、圖像融合模塊和缺陷檢測(cè)模塊3 部分。IC 器件的規(guī)則性和管腳區(qū)域豐富的角點(diǎn)特征為基于點(diǎn)特征進(jìn)行圖像配準(zhǔn)提供了有利條件，針對(duì)可見(jiàn)光和紅外圖像配準(zhǔn)過(guò)程中存在的尺度不一致、對(duì)比度反轉(zhuǎn)等問(wèn)題，在原始基于點(diǎn)特征的ORB 算法基礎(chǔ)上加入拉普拉斯金字塔和特征描述符重組的策略改進(jìn)ORB 算法，計(jì)算出配準(zhǔn)參數(shù)，以紅外圖像為參考對(duì)可見(jiàn)光圖像進(jìn)行配準(zhǔn)對(duì)齊。在圖像已配準(zhǔn)的基礎(chǔ)上，為充分利用在可見(jiàn)光和紅外圖像中不同的缺陷表征能力，在NSST 域中分別設(shè)計(jì)融合包含圖像不同信息的低頻子帶和高頻子帶的融合規(guī)則，以實(shí)現(xiàn)最大化的融合圖像互補(bǔ)信息，通過(guò)NSST 逆變換得到高質(zhì)量的融合圖像。最后，將融合圖像輸入YOLOv8s 檢測(cè)模型，得到IC 器件表面缺陷檢測(cè)結(jié)果。

3 基于改進(jìn)ORB 的IC 器件表面缺陷多光譜圖像配準(zhǔn)

3.1 拉普拉斯金字塔尺度空間構(gòu)建

為解決在圖像目標(biāo)尺度不一致的場(chǎng)景下配準(zhǔn)精度低的問(wèn)題，在ORB 算法中構(gòu)建拉普拉斯金字塔（LP）尺度空間，在金字塔的各層級(jí)提取不同尺度特征點(diǎn)。LP 金字塔通過(guò)計(jì)算高斯金字塔不同層之間的差異來(lái)實(shí)現(xiàn)，高斯金字塔為：

式中：當(dāng)g=1 時(shí)，G0(x，y)為原圖像，σ2為高斯核的方差。σ2的大小與圖像的平滑程度成正相關(guān)，σ值越大說(shuō)明圖像的平滑程度越高，即圖像越模糊，表示圖像的高斯尺度。down()為圖像的下采樣操作。

LP 金字塔的每一層Ll(x，y)是由高斯金字塔相鄰兩層之間的差值構(gòu)成的。具體公式為：

式中：Expand(Gg+1(x，y))表示對(duì)高斯金字塔的第g+1 層進(jìn)行插值拓展，使它與第g層具有相同的尺寸。

3.2 IC 器件表面缺陷圖像特征點(diǎn)判斷

Fast（Features from accelerated segment test）特征點(diǎn)提取算法具有計(jì)算速度快、實(shí)時(shí)性好等特點(diǎn)，在LP 金字塔各層級(jí)上使用Fast 算法提取多尺度特征點(diǎn)。Fast 算法中特征點(diǎn)的定義是如果一個(gè)像素的灰度值遠(yuǎn)大于或小于一定范圍的像素灰度值和一定數(shù)量的像素灰度值，則該點(diǎn)可能成為特征點(diǎn)。若圓上有K個(gè)連續(xù)像素Ik，以o為圓心，圓的半徑由圖像分辨率決定，k=1，2，…，K，判斷是否為特征點(diǎn)的方法如下：

式中：Ik是圓上一個(gè)點(diǎn)的像素值，Io是點(diǎn)o的像素值。當(dāng)CRF=1 的個(gè)數(shù)大于某個(gè)特定的固定值時(shí)，根據(jù)圖像的灰度分布選擇合適的閾值t，o為候選點(diǎn)。如圖2 所示，F(xiàn)ast 使用快速高效的外圍像素進(jìn)行判斷。Fast 判斷圖形中點(diǎn)o為特征點(diǎn)的過(guò)程如下：一個(gè)圓心為o，半徑為3 個(gè)像素的圓上有16 個(gè)像素。如果有8 個(gè)連續(xù)的像素值大于Io或小于Io，則o點(diǎn)為特征點(diǎn)。

圖2 特征點(diǎn)判斷Fig.2 Feature point judgment

3.3 特征描述符構(gòu)建與重組方法

特征描述是特征匹配的基礎(chǔ)，二進(jìn)制描述符的速度比SIFT［16］和SURF［17］快數(shù)十倍甚至百倍。BRIEF（Binary Robust Independent Elementary Features）算法是通過(guò)特定的方法在關(guān)鍵點(diǎn)周圍選擇一些點(diǎn)對(duì)，點(diǎn)對(duì)比較產(chǎn)生的二進(jìn)制碼串就是描述符。獲取二進(jìn)制位串的過(guò)程是比較隨機(jī)點(diǎn)對(duì)的灰度值：

式中p(x)表示x點(diǎn)的像素值p。對(duì)于特征點(diǎn)o，其特征描述表示為基于領(lǐng)域內(nèi)n個(gè)像素點(diǎn)對(duì)的n個(gè)二元特征向量：

式中：n為特征向量的長(zhǎng)度，考慮到描述符的生成速度、分布和準(zhǔn)確性，取n=256。

為解決BRIEF 算法不具有旋轉(zhuǎn)不變性的問(wèn)題，采用灰度質(zhì)心法使得描述子具備旋轉(zhuǎn)不變性，在一個(gè)小的圖像塊中得到：

根據(jù)式（6）可以得到0 階矩m00和1 階矩m01，m10，通過(guò)矩可以找到圖像塊的質(zhì)心坐標(biāo)：

連接圖像塊的幾何中心O和質(zhì)心C，得到一個(gè)方向向量OC，特征點(diǎn)方向?yàn)榉较蛳蛄縊C與X軸的夾角：

為了獲得n位的描述，需要選擇n對(duì)待測(cè)試點(diǎn)集，引入一個(gè)2×n矩陣Q可以定義為：

通過(guò)灰度質(zhì)心法得到特征點(diǎn)的旋轉(zhuǎn)方向θ后，求到相應(yīng)的旋轉(zhuǎn)矩陣Rθ，進(jìn)而構(gòu)造旋轉(zhuǎn)匹配對(duì)矩陣Qθ：

旋轉(zhuǎn)不變性描述符（Rotated BRIEF，rBRIEF）為：

為解決可見(jiàn)光與紅外圖像配準(zhǔn)中存在的對(duì)比度反轉(zhuǎn)問(wèn)題，引入描述符重組策略，使θ=θ+θr，θr為反轉(zhuǎn)角。經(jīng)實(shí)驗(yàn)規(guī)律找出反轉(zhuǎn)角θr=π，則重組后的旋轉(zhuǎn)不變性描述符為：

描述符距離表示兩個(gè)特征點(diǎn)之間的相似程度，因rBRIEF 描述符是二進(jìn)制的，使用漢明距離作為相似性度量，相比于其他的相似性度量方式大大提高了計(jì)算效率，同時(shí)也降低了內(nèi)存消耗。兩個(gè)二進(jìn)制字符串之間的漢明距離指的是不同數(shù)字的個(gè)數(shù)。對(duì)于可見(jiàn)光圖像中任意一個(gè)特征點(diǎn)，在紅外圖像漢明距離最小的特征點(diǎn)，認(rèn)為這兩個(gè)特征點(diǎn)是匹配的。最后，通過(guò)RANSAC 算法過(guò)濾誤匹配特征點(diǎn)對(duì)，根據(jù)正確匹配的特征點(diǎn)對(duì)求得正確匹配點(diǎn)對(duì)之間的配準(zhǔn)參數(shù)矩陣。

4 基于NSST_VP 的IC 器件表面缺陷多光譜圖像融合

為了突出IC 器件表面缺陷的顯著特征，以NSST 為圖像分解工具，引入視覺(jué)顯著圖構(gòu)建融合權(quán)重矩陣指導(dǎo)低頻子帶融合；同時(shí)，為了增強(qiáng)IC 器件表面缺陷邊緣細(xì)節(jié)特征，統(tǒng)籌圖像像素全局相關(guān)性，采用參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)融合高頻子帶，最后通過(guò)NSST 逆變換得到融合圖像。

NSST_VP 圖像融合原理框架如圖3 所示。為了充分提取紅外與可見(jiàn)光圖像的細(xì)節(jié)信息，選用NSST 作為融合算法的圖像分解與細(xì)節(jié)信息提取工具，NSST 通過(guò)把標(biāo)準(zhǔn)的剪切波濾波器從偽極化坐標(biāo)系統(tǒng)映射到笛卡爾坐標(biāo)系統(tǒng)，再通過(guò)傅里葉變換證明其操作可以通過(guò)二維卷積完成，避免下采樣操作，從而具備平移不變性。為了方便表述，定義TNSST()為NSST 函數(shù)，其變換表達(dá)式為：

圖3 NSST_VP 圖像融合原理框架Fig.3 Framework of NSST_VP image fusion principle

式中：ID為待分解圖像，GD，b和GD，h，t，s分別為待分解圖像的低頻和高頻子帶，D∈{R，V}，t，s分別為分解尺度與方向，T，St分別為分解的最大尺度與其對(duì)應(yīng)方向數(shù)，{GD，b，GD，h，t，s，t=1，2，…，T；s=1，2，…，St}為待分解圖像各尺度不同方向的分解系數(shù)集合。通過(guò)式（13）分解的紅外圖像高頻子帶和低頻子帶分別為GR，h，t，s，GR，b，分解的可見(jiàn)光圖像高頻子帶和低頻子帶分別為GV，h，t，s，GV，b。

圖像的低頻子帶反映圖像中的較慢變化和較大尺度的特征，包含紅外與可見(jiàn)光圖像的全局信息，決定了融合圖像的亮度和對(duì)比度，采用視覺(jué)顯著圖（VSM）加權(quán)融合［18］規(guī)則對(duì)低頻子帶部分進(jìn)行融合。通過(guò)計(jì)算可見(jiàn)光或紅外圖像某一像素p的灰度值gp和其他像素灰度值q的差值，獲得可見(jiàn)光或紅外圖像像素p的顯著值：

式中：q為其他像素灰度值，Mq為灰度值為q的像素個(gè)數(shù)，G為灰度級(jí)（灰度圖像為 256）。通過(guò)標(biāo)準(zhǔn)化，顯著值取值為[0，1]。

由式（14）得出紅外圖像和可見(jiàn)光圖像的顯著值，分別為VR和VV，則可以計(jì)算得到低頻子帶的融合權(quán)重：

在獲得融合權(quán)重的情況下，低頻融合規(guī)則為：

圖像高頻子帶反映了圖像中的細(xì)節(jié)和局部變化信息，為增強(qiáng)圖像邊緣細(xì)節(jié)特征，統(tǒng)籌圖像像素全局相關(guān)性，采用PA-PCNN 決策融合規(guī)則對(duì)高頻子帶進(jìn)行融合。PCNN［19］是一個(gè)由若干神經(jīng)元相互鏈接組成的反饋網(wǎng)絡(luò)，反饋網(wǎng)絡(luò)中的每個(gè)神經(jīng)元由接收單元、調(diào)制單元和脈沖發(fā)生器3 部分組成。簡(jiǎn)化的PCNN 數(shù)學(xué)模型如下：

式中：Sij為(i，j) 位置上的輸入圖像，F(xiàn)ij(n) 和Lij(n)分別為第n次迭代中(i，j)位置上神經(jīng)元的反饋輸入和鏈接輸入，VL為鏈接輸入的振幅增益，為鏈接權(quán)重矩陣，M×N為鏈接域范圍，Uij(n)為神經(jīng)元內(nèi)部活動(dòng)項(xiàng)，β為神經(jīng)元的內(nèi)部活動(dòng)鏈接系數(shù)，Eij(n)為動(dòng)態(tài)閾值，Yij(n)為神經(jīng)元的脈沖輸出，VE為動(dòng)態(tài)閾值函數(shù)的幅度系數(shù)，αf和αe分別為反饋輸入和動(dòng)態(tài)閾值的時(shí)間衰減系數(shù)。

PCNN 模型性能取決于參數(shù)的設(shè)置，即αf，β，VL，αe和VE。為減少手動(dòng)設(shè)置參數(shù)的個(gè)數(shù)，令λ=βVL表征加權(quán)鏈接強(qiáng)度，構(gòu)建自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)模型（PA-PCNN），其神經(jīng)元結(jié)構(gòu)如圖4 所示，自適應(yīng)計(jì)算過(guò)程為：

圖4 PA-PCNN 模型神經(jīng)元結(jié)構(gòu)Fig.4 PA-PCNN model neuron structure

式中：σ(S)為圖像S的標(biāo)準(zhǔn)差；S'和Smax分別為輸入圖像的歸一化像素閾值和圖像的最大像素值。

PA-PCNN 中的各個(gè)神經(jīng)元會(huì)根據(jù)上述原理來(lái)判斷輸入信號(hào)的情況，決定是否點(diǎn)火。點(diǎn)火是指受到激發(fā)的神經(jīng)元在Uij(n)>Eij(n-1)的條件下，觸發(fā)一個(gè)脈沖輸出。圖像紋理信息豐富的高頻子帶GR，t，h，s和GV，t，h，s，對(duì)PA-PCNN設(shè)定點(diǎn)火進(jìn)行計(jì)數(shù)，根據(jù)總次數(shù)來(lái)融合高頻子帶。

定義Txy(n)為GD，t，h，s在(x，y)處的點(diǎn)火次數(shù)：

設(shè)初值Txy(0)=0，則紅外圖像和可見(jiàn)光圖像的高頻子帶在(x，y)處的點(diǎn)火次數(shù)分別記為TR，xy(n)，TV，xy(n)，高頻子帶的融合規(guī)則為：

最后，通過(guò)NSST 逆變換重構(gòu)低頻子帶融合子帶圖像和高頻子帶融合圖像得到融合圖像：

5 實(shí)驗(yàn)結(jié)果與分析

5.1 數(shù)據(jù)獲取和預(yù)處理

圖5 為搭建的紅外與可見(jiàn)光圖像融合檢測(cè)實(shí)驗(yàn)臺(tái)。實(shí)驗(yàn)臺(tái)由可調(diào)節(jié)可見(jiàn)光源、可調(diào)節(jié)相機(jī)支架、帶微距鏡頭的K20 紅外熱成像儀與OPT-CC1-M050-GG1 型面陣相機(jī)組成，采集的可見(jiàn)光和紅外圖像的分辨率為640×480。將熱激勵(lì)源的最高輸出溫度設(shè)置為40 ℃，先用熱激勵(lì)源對(duì)IC 器件表面加熱1～2 s，將IC 器件表面溫度控制在其正常工作溫度70 ℃以下，再在實(shí)驗(yàn)臺(tái)下采集IC 器件的可見(jiàn)光-紅外圖像對(duì)，采集的可見(jiàn)光圖像和紅外圖像常常伴隨很多噪點(diǎn)，因此進(jìn)行灰度化和雙邊濾波預(yù)處理，壓縮圖像通道，抑制噪聲并保留圖像目標(biāo)的邊緣特征信息。

圖5 可見(jiàn)光-紅外圖像對(duì)采集實(shí)驗(yàn)臺(tái)Fig.5 Test bench of visible-infrared image pair acquisition

5.2 圖像配準(zhǔn)結(jié)果與分析

為驗(yàn)證本文提出的改進(jìn)ORB 算法的優(yōu)越性，選取3 組不同尺度的IC 器件可見(jiàn)光與紅外圖像和ORB 算法進(jìn)行配準(zhǔn)對(duì)比實(shí)驗(yàn)。從主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)綜合評(píng)價(jià)圖像配準(zhǔn)質(zhì)量。

主觀視覺(jué)配準(zhǔn)效果如圖6 所示。從圖6 中可以看出，ORB 算法出現(xiàn)明顯的誤匹配，可見(jiàn)光與紅外圖像目標(biāo)尺度差別越大，誤匹配越嚴(yán)重；改進(jìn)的ORB 算法在3 組不同尺度的圖像配準(zhǔn)中都取得了較好的匹配結(jié)果，能夠適應(yīng)圖像尺度不一致下IC 器件可見(jiàn)光與紅外圖像配準(zhǔn)，并很好地解決了因IC 器件可見(jiàn)光與紅外圖像中管腳區(qū)域?qū)Ρ榷确崔D(zhuǎn)造成特征描述符相似性低的問(wèn)題，提高了特征點(diǎn)匹配的準(zhǔn)確率。

圖6 圖像配準(zhǔn)結(jié)果對(duì)比Fig.6 Comparison of image registration results

圖像配準(zhǔn)客觀評(píng)價(jià)分析中，采用匹配點(diǎn)對(duì)數(shù)量、配準(zhǔn)精度（Precision，P）和均方根誤差（Root mean square error，RMSE）評(píng)價(jià)指標(biāo)［20］進(jìn)行綜合評(píng)價(jià)，P表示圖像配準(zhǔn)中特征點(diǎn)匹配的精確度；RMSE 表示配準(zhǔn)后圖像特征點(diǎn)與真實(shí)特征點(diǎn)之間的偏差，RMSE 越小表明配準(zhǔn)效果越好。對(duì)3組不同尺度的紅外與可見(jiàn)光圖像配準(zhǔn)結(jié)果對(duì)比如表1 所示，本文改進(jìn)的ORB 算法在正確匹配到的特征點(diǎn)對(duì)的數(shù)量上比ORB 算法更多。本文改進(jìn)的ORB 算法的配準(zhǔn)平均精度為87.8%，比ORB 算法的配準(zhǔn)平均精度提高了62%，同時(shí)RMSE 的平均值為1.67，比ORB 算法降低了91.2%，說(shuō)明了本文改進(jìn)的ORB 算法的優(yōu)越性。

表1 圖像配準(zhǔn)的客觀評(píng)價(jià)Tab.1 Objective evaluation of image registration

5.3 圖像融合結(jié)果與分析

為體現(xiàn)本文所提圖像融合算法的優(yōu)越性，在用本文所提出的改進(jìn)ORB 圖像配準(zhǔn)對(duì)齊算法對(duì)采集到的可見(jiàn)光-紅外圖像對(duì)進(jìn)行配準(zhǔn)對(duì)齊的基礎(chǔ)上，選用雙樹(shù)復(fù)小波變換融合［21］（Dual-Tree Complex Wavelet Transforms，DTCWT）、非下采樣輪廓波變換融合［22］（Non-Subsampled Contourlet Transform，NSCT）、曲線變換融合［23］（Curvelet Transforms，CVT）等常見(jiàn)圖像融合方法進(jìn)行實(shí)驗(yàn)對(duì)比，從主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)綜合評(píng)價(jià)融合圖像質(zhì)量。

在主觀視覺(jué)效果上，如圖7 所示，劃痕和凹坑在可見(jiàn)光圖像中有著更明顯的特征，但因缺陷細(xì)微，紅外圖像難以反映溫差變化；具有不同熱傳導(dǎo)率的異物和崩邊缺陷在紅外圖像中有著更高的對(duì)比度。DTCWT 和CVT 兩種融合方法的融合圖像對(duì)比度和清晰度較低、邊緣輪廓模糊、圖像整體偏暗、細(xì)微的凹坑缺陷被淹沒(méi)，基于CVT融合圖像存在明顯的偽影現(xiàn)象；基于NSCT 融合方法的融合圖像冗余了紅外圖像信息，整體過(guò)亮，存在缺陷目標(biāo)與邊緣輪廓模糊的現(xiàn)象，對(duì)比度低，丟失了較多的可見(jiàn)光圖像細(xì)節(jié)信息。本文所提的NSST_VP 融合圖像在各類表面缺陷中都有著較高的清晰度和對(duì)比度，充分融合了可見(jiàn)光圖像的細(xì)節(jié)紋理信息和紅外圖像的熱輻射信息，更好地突出低對(duì)比度缺陷特征，為后續(xù)缺陷檢測(cè)提供高質(zhì)量的數(shù)據(jù)支撐，同時(shí)也反映了前面所提的改進(jìn)ORB 圖像配準(zhǔn)方法的有效性。

在圖像質(zhì)量客觀評(píng)價(jià)分析中，可見(jiàn)光與紅外圖像的融合質(zhì)量常用標(biāo)準(zhǔn)差（Standard Deviation，SD）、空間頻率［24］（Spatial Frequency，SF）、信息熵［25］（Entropy，EN）和平均梯度［26］（Average gradient，AG）等指標(biāo)對(duì)融合結(jié)果進(jìn)行客觀評(píng)價(jià)。SD 用于評(píng)價(jià)圖像中的像素值分布情況；SF用于評(píng)價(jià)圖像像素的總體活躍程度；EN 用于評(píng)價(jià)融合圖像信息量大??；AG 用于評(píng)價(jià)融合圖像的清晰度，所有的客觀評(píng)價(jià)指標(biāo)與融合圖像質(zhì)量成正比。對(duì)20 組融合圖像的客觀指標(biāo)取平均值得到表2 的結(jié)果，由表2 可以看出，相比于可見(jiàn)光和紅外圖像，以及其他3 種融合方法，本文方法在除標(biāo)準(zhǔn)差外的客觀指標(biāo)值上有明顯提升，這與主觀視覺(jué)評(píng)價(jià)的結(jié)果相一致。紅外圖像與NSCT融合圖像的標(biāo)準(zhǔn)差較大是因?yàn)榧t外圖像的對(duì)比度高。由此表明，本文方法所獲取的融合圖像總體上所含信息量更豐富，同時(shí)融合圖像的反差更大、清晰度和對(duì)比度更高、更有利于識(shí)別缺陷目標(biāo)。通過(guò)主觀視覺(jué)評(píng)價(jià)以及客觀指標(biāo)評(píng)價(jià)，充分證明本文提出的NSST_VP 方法融合質(zhì)量?jī)?yōu)異，優(yōu)于其他3 種融合方法。

表2 圖像融合質(zhì)量的客觀評(píng)價(jià)Tab.2 Objective evaluation of image fusion quality

5.4 缺陷檢測(cè)結(jié)果與分析

為了更直觀地驗(yàn)證紅外與可見(jiàn)光圖像融合檢測(cè)的效果，采用輕量化的SOTA 目標(biāo)檢測(cè)模型YOLOv8s［27］進(jìn)行表面缺陷檢測(cè)。本文主要針對(duì)4 種缺陷進(jìn)行檢測(cè)，分別為劃痕、異物、凹坑和崩邊，在圖像配準(zhǔn)融合的基礎(chǔ)上構(gòu)建圖像數(shù)據(jù)集，其分布如表3 所示。模型訓(xùn)練采用預(yù)訓(xùn)練微調(diào)的方式，學(xué)習(xí)率采用余弦函數(shù)的衰減策略，模型訓(xùn)練迭代次數(shù)為500 次，當(dāng)驗(yàn)證集上的loss 收斂和驗(yàn)證集上的mAP 收斂時(shí)認(rèn)為模型訓(xùn)練已到達(dá)最優(yōu)。采用平均精度（Average precision，AP）和均值平均精度（Mean Average precision，mAP）指標(biāo)評(píng)估模型的檢測(cè)性能。

表3 數(shù)據(jù)集分布Tab.3 Dataset distribution

首先，在YOLOv8s 模型上分別測(cè)試了單可見(jiàn)光檢測(cè)（YOLOv8s-VS），單紅外檢測(cè)（YOLOv8s-IR）和紅外與可見(jiàn)光融合檢測(cè)的效果，進(jìn)而證明紅外與可見(jiàn)光融合檢測(cè)的有效性。然后，在YOLOv8s 模型上分別測(cè)試雙樹(shù)復(fù)小波變換融合檢測(cè)（YOLOv8s-DTCWT）、基于非下采樣輪廓波變換融合檢測(cè)（YOLOv8s-NSCT）、基于曲線變換融合檢測(cè)（YOLOv8s-CVT）和本文提出的NSST_VP 融合檢測(cè)（YOLOv8s-NSST_VP）的效果，在采用本文所改進(jìn)的ORB 圖像配準(zhǔn)對(duì)齊的基礎(chǔ)上，進(jìn)一步證明本文所提NSST_VP 融合方法的優(yōu)越性。如圖8 所示，在檢測(cè)模型驗(yàn)證集損失曲線中，各檢測(cè)模型在整個(gè)訓(xùn)練過(guò)程中都能平穩(wěn)地下降并收斂。融合檢測(cè)的loss 收斂值均比單可見(jiàn)光和單紅外檢測(cè)的loss 收斂值小，表明多光譜圖像融合檢測(cè)方法能夠?qū)W習(xí)到全面的特征，具有更好的泛化能力。在4 種不同融合檢測(cè)方法中，本文提出的YOLOv8s-NSST_VP 檢測(cè)模型的loss 曲線收斂值最小，表明可見(jiàn)光與紅外圖像配準(zhǔn)融合方法能夠更好地融合互補(bǔ)信息，以獲得更全面的缺陷特征融合圖像。

圖8 驗(yàn)證集損失曲線Fig.8 Loss curves of validation set

用YOLOv8s 檢測(cè)模型對(duì)4 類缺陷進(jìn)行檢測(cè)，設(shè)定IOU=0.5，每類缺陷的平均精度（AP）和模型的均值平均精度（mAP）如表4 所示，YOLOv8s-VS 的mAP 為60.18%，YOLOv8s-IR 的mAP 為54.84%，YOLOv8s-DTCWT 的mAP 為70.10%，YOLOv8s-NSCT 的mAP 為62.80%，YOLOv8s-CVT 的mAP 為68.05%，YOLOv8s-NSST_VP 的mAP 為83.15%。單可見(jiàn)光圖像檢測(cè)中，崩邊、異物等低對(duì)比度缺陷的測(cè)試效果很差；單紅外圖像檢測(cè)中，劃痕和凹坑缺陷檢測(cè)精度很低，這是因?yàn)檫@兩種缺陷尺寸常常很小，在紅外圖像中很難反應(yīng)缺陷與背景的溫度差異。在紅外與可見(jiàn)光融合方法的有效性對(duì)比實(shí)驗(yàn)中，YOLOv8s-CVT 融合檢測(cè)凹坑缺陷的AP 為57.23%，因?yàn)榇罅康膫斡霸肼晻?huì)干擾凹坑缺陷的檢測(cè)；YOLOv8s-NSCT 融合檢測(cè)劃痕缺陷和凹坑缺陷的AP 分別為55.36%和40.42%，因?yàn)榧t外圖像信息冗余，掩蓋了劃痕和凹坑特征；在YOLOv8s-DTCWT 的整體測(cè)試效果比NSCT和CVT 融合檢測(cè)方法要好，但整體圖像過(guò)暗，劃痕和崩邊缺陷檢測(cè)的AP 分別為65.32%，65.12%。YOLOv8s-NSST_VP 檢測(cè)方法明顯優(yōu)于其他3 種融合方法，其中崩邊和異物缺陷檢測(cè)的平均精度分別達(dá)到了85.45%，88.72%。

表4 缺陷檢測(cè)結(jié)果Tab.4 Defect detection result

在面向IC 器件轉(zhuǎn)塔式測(cè)試分選設(shè)備中，其光照不穩(wěn)定的惡劣檢測(cè)環(huán)境以及IC 器件本身的低對(duì)比度的復(fù)雜特性，通過(guò)將IC 器件可見(jiàn)光圖像和紅外圖像的互補(bǔ)信息融合在一起，更全面地表征了表面缺陷特征。以上研究結(jié)果表明，缺陷檢測(cè)的準(zhǔn)確性、可靠性和靈敏度都得到了提高，顯著改進(jìn)IC 器件的制造質(zhì)量，同時(shí)也可考慮將IC 器件電信號(hào)的溫度極限測(cè)試集成到IC 器件轉(zhuǎn)塔式測(cè)試分選設(shè)備中，為實(shí)際應(yīng)用提供更準(zhǔn)確和高效的解決方案。

6 結(jié)論

本文研究多光譜圖像融合的IC 器件表面缺陷檢測(cè)方法，針對(duì)多光譜圖像存在的尺度不一致和對(duì)比度反轉(zhuǎn)問(wèn)題，引入拉普拉斯金字塔和描述符重組策略改進(jìn)ORB 算法，圖像配準(zhǔn)平均精度為87.8%，平均RMSE 為1.67，比ORB 算法配準(zhǔn)精度提高了62%；研究了基于NSST_VP 的IC 器件表面缺陷多光譜圖像融合方法，該方法的主觀視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)上均有所提升，有效增強(qiáng)了IC 器件表面缺陷特征。最后，通過(guò)YOLOv8s 模型對(duì)單可見(jiàn)光、單紅外和融合后的IC 器件表面缺陷圖像進(jìn)行檢測(cè)。實(shí)驗(yàn)表明，YOLOv8s-NSST_VP 檢測(cè)比單可見(jiàn)光和單紅外圖像檢測(cè)的mAP 分別提高了22.97%，28.31%，比DTCWT，CVT，NSCT 融合檢測(cè)的mAP 分別提高了13.14%，15.01%，20.35%。綜上，本文所提的多光譜配準(zhǔn)融合方法有效提高了IC 器件表面缺陷的檢測(cè)精度。然而，在人為設(shè)計(jì)的融合規(guī)則中輕微缺陷常常被冗余噪聲淹沒(méi)，在今后的工作中需要更多關(guān)注這類輕微缺陷，利用深度學(xué)習(xí)的強(qiáng)大特征提取能力，先分別提取可見(jiàn)光和紅外圖像的缺陷特征，再進(jìn)行中間層的特征級(jí)融合，從而構(gòu)建出檢測(cè)性能更強(qiáng)的IC 器件表面缺陷檢測(cè)模型。