劉晨光，王佳樂

（陜西恒太電子科技有限公司，陜西西安，710100）

0 引言

隨著科技的快速進(jìn)步，電子技術(shù)已經(jīng)滲透到了各個行業(yè)和領(lǐng)域當(dāng)中，從通信設(shè)備到醫(yī)療器械，從汽車制造到家用電器。電子元器件作為這些設(shè)備的基本構(gòu)成部件，其性能和可靠性對于整個系統(tǒng)的運行至關(guān)重要[1]。然而，在電子元器件的制造、存儲、運輸和使用過程中受到環(huán)境、物理壓力等因素，易導(dǎo)致元器件出現(xiàn)損壞、老化等現(xiàn)象。這些問題不僅會影響設(shè)備的性能，還可能引發(fā)安全隱患。為確保電子監(jiān)測設(shè)備的高質(zhì)量和長期穩(wěn)定運行，本文提出一種基于機器視覺的電子元器件監(jiān)測平臺設(shè)計，通過將先進(jìn)的圖像處理和深度學(xué)習(xí)技術(shù)應(yīng)用于電子元器件監(jiān)測中，旨在實現(xiàn)對電子元器件狀態(tài)的自動化監(jiān)測和異常監(jiān)測。該平臺的設(shè)計和實施將為電子制造業(yè)提供一種可靠的監(jiān)測平臺，進(jìn)一步提高電子元器件的生產(chǎn)效率、降低其質(zhì)量風(fēng)險，推動工業(yè)自動化邁向更高水平。

1 基于機器視覺的電子元器件監(jiān)測平臺總框架設(shè)計

基于機器視覺的電子元器件監(jiān)測平臺總框架設(shè)計如圖1所示。

圖1 基于機器視覺的電子元器件監(jiān)測平臺總框架圖

基于機器視覺的電子元器件監(jiān)測平臺由軟件設(shè)計與硬件設(shè)計兩部分組成。其中軟件系統(tǒng)主要包括圖像采集模塊、目標(biāo)特征監(jiān)測分析模塊、通訊連接模塊、預(yù)警維修模塊四個模塊，軟件設(shè)計部分主要負(fù)責(zé)對目標(biāo)電子元器件的圖像進(jìn)行信息采集，精確地將目標(biāo)電子元器件的特征進(jìn)行詳細(xì)分析，同時監(jiān)測有故障的元器件，將監(jiān)測到的數(shù)據(jù)進(jìn)行記錄并通過通訊模塊輸送至故障預(yù)警維修模塊，進(jìn)行高效專業(yè)的監(jiān)測維修手段。系統(tǒng)硬件部分包括鏡頭、Cognex In-Sight 系列的工業(yè)相機、Edmund Optics 系列的箱式光源、圖像采集卡、傳送軌道以及工業(yè)計算機，硬件部分負(fù)責(zé)待監(jiān)測電子元器件的傳送以及目標(biāo)元器件的圖像采集操作。

2 基于機器視覺的電子元器件監(jiān)測平臺軟件設(shè)計

■2.1 圖像采集模塊

圖像采集模塊負(fù)責(zé)從攝像設(shè)備中獲取電子元器件的圖像數(shù)據(jù)，為后續(xù)的圖像處理和分析提供原始數(shù)據(jù)[2]。圖像采集模塊通過實時或近實時的方式捕獲圖像數(shù)據(jù)，創(chuàng)建連續(xù)的數(shù)據(jù)流，同時支持多通道采集數(shù)據(jù)，以滿足不同應(yīng)用場景采集數(shù)據(jù)的需求。圖像采集模塊還能進(jìn)行調(diào)整分辨率等數(shù)據(jù)預(yù)處理操作，以適應(yīng)后續(xù)處理模塊的需求。通過DMA 數(shù)據(jù)傳輸技術(shù)，圖像采集模塊將采集到的數(shù)據(jù)傳遞給圖像處理模塊。在確保穩(wěn)定性和準(zhǔn)確性方面，該模塊考慮了硬件通信、觸發(fā)機制和錯誤處理等因素，以確保數(shù)據(jù)的完整性。監(jiān)測平臺的具體圖像采集流程如圖2 所示。

圖2 圖像采集流程

如圖2 所示，圖像采集模塊在設(shè)備初始化階段，選擇適配的攝像設(shè)備以及通信接口，并設(shè)置相應(yīng)的觸發(fā)機制?；谳斎胄盘柕拈撝?，利用閾值觸發(fā)算法觸發(fā)圖像捕獲命令[3]。閾值觸發(fā)計算如公式(1)所示：

式中，Q表示觸發(fā)條件，當(dāng)輸入信號a大于等于閾值T，觸發(fā)圖像捕獲命令。這種閾值觸發(fā)機制可確保系統(tǒng)只在特定條件下進(jìn)行圖像采集，而不是持續(xù)采集圖像，減少系統(tǒng)數(shù)據(jù)處理和存儲的負(fù)擔(dān)。一旦觸發(fā)條件滿足，圖像捕獲命令被觸發(fā)執(zhí)行。此時，攝像設(shè)備開始捕獲圖像數(shù)據(jù)，并將其存儲在內(nèi)部緩沖區(qū)中。并將采集到的圖像數(shù)據(jù)通過所選的硬件接口傳輸?shù)接嬎銠C系統(tǒng)，儲存在系統(tǒng)內(nèi)存中，為后續(xù)的圖像處理和分析提供原始數(shù)據(jù)。

通過數(shù)據(jù)采集的流程，圖像采集模塊實現(xiàn)了對圖像數(shù)據(jù)的有效采集、傳輸和存儲。這一過程的準(zhǔn)確性和可靠性對于確保后續(xù)圖像處理操作的成功和有效性至關(guān)重要。

■2.2 目標(biāo)特征監(jiān)測分析模塊

目標(biāo)特征監(jiān)測分析模塊的主要負(fù)責(zé)從采集到的圖像數(shù)據(jù)中抽取關(guān)鍵目標(biāo)特征，并進(jìn)行深入分析，實現(xiàn)對電子元器件的全面檢測以及準(zhǔn)確判定[4]。通過多種計算機視覺和圖像處理技術(shù)協(xié)同工作，分析元器件的特性，為后續(xù)的決策和控制提供基礎(chǔ)。繼而對采集的圖像數(shù)據(jù)執(zhí)行特征提取操作，目標(biāo)特征監(jiān)測分析模塊識別出元器件的關(guān)鍵特征，之后與預(yù)設(shè)的理想特征進(jìn)行對比，能夠準(zhǔn)確判斷元器件是否存在缺陷、異常。具體目標(biāo)特征監(jiān)測分析流程如圖3 所示。

圖3 目標(biāo)特征監(jiān)測分析流程

如圖3 所示，首先，利用圖像處理技術(shù)從采集到的圖像數(shù)據(jù)中，提取電子元器件的顏色、形狀和紋理等基本的目標(biāo)特征，使用Canny 邊緣檢測算法提取元器件的形狀信息[5]。Canny 邊緣檢測計算如公式(2)所示：

式中，In表示第n 個矩陣，表示圖像的第n 階標(biāo)準(zhǔn)化中心矩。nμ,20 表示第n 階橫向標(biāo)準(zhǔn)化中心矩。nμ,02 表示第n 階縱向標(biāo)準(zhǔn)化中心矩。μ20 表示二階橫向標(biāo)準(zhǔn)化中心矩。μ02表示二階縱向標(biāo)準(zhǔn)化中心矩。以上特征可以根據(jù)元器件的形狀信息進(jìn)行識別和圖像分析以及匹配和分類電子元器件。隨后將這些特征與預(yù)設(shè)的理想特征進(jìn)行比對，快速而準(zhǔn)確地檢測元器件上存在的缺陷、異常；進(jìn)而，使用自動分類和識別功能，并根據(jù)預(yù)先訓(xùn)練的模型，將采集到的圖像與已知的元器件類別用SVM 分類決策函數(shù)公式進(jìn)行匹配，實現(xiàn)自動標(biāo)識。SVM 分類決策函數(shù)計算如公式(3)所示：

式中，f(x)表示分類決策函數(shù)的輸出；Nsupportwectors表示支持向量的數(shù)量；ai表示每個支持向量的拉格朗日乘子（Lagrange multiplier）；yi表示樣本所屬的類別取值為+1 或-1；K(xi,x) 表示輸入樣本x與訓(xùn)練數(shù)據(jù)中的支持向量xi之間的相似度。b表示平移分類決策函數(shù)。

■2.3 通訊連接模塊

基于機器視覺的監(jiān)測平臺通常需要與各種設(shè)備和系統(tǒng)進(jìn)行通信，以便傳輸圖像、數(shù)據(jù)和控制命令，其主要負(fù)責(zé)確保不同組件之間的有效通信[6]。通訊連接模塊主要包含以下幾個功能：

（1）網(wǎng)絡(luò)連接功能：監(jiān)測平臺通常需要將數(shù)據(jù)從攝像頭或傳感器傳輸?shù)街醒胩幚韱卧蜻h(yuǎn)程服務(wù)器。因此，網(wǎng)絡(luò)連接模塊是不可或缺的。通過以太網(wǎng)、WiFi、蜂窩網(wǎng)絡(luò)等方式實現(xiàn)數(shù)據(jù)傳輸。

（2）數(shù)據(jù)傳輸協(xié)議：在網(wǎng)絡(luò)連接的基礎(chǔ)上，選擇適當(dāng)?shù)臄?shù)據(jù)傳輸協(xié)議也很重要。協(xié)議主要包括HTTP、WebSocket、MQTT 等。HTTP 適用于請求-響應(yīng)模式，WebSocket 適用于雙向通信，MQTT 適用于輕量級的發(fā)布-訂閱通信。

（3）傳感器接口：監(jiān)測平臺可能涉及多種傳感器，如攝像頭、紅外傳感器、溫濕度傳感器等。這些傳感器通常具有不同的接口和通信協(xié)議。通訊連接模塊需要支持不同類型的傳感器接口，以便平臺能夠與各種傳感器進(jìn)行通信。

（4）遠(yuǎn)程控制：監(jiān)測平臺通常需要具有遠(yuǎn)程控制的能力，以便用戶可以遠(yuǎn)程操控平臺上的設(shè)備。這可以通過手機應(yīng)用、網(wǎng)頁界面或其他用戶界面來實現(xiàn)。通訊連接模塊需要支持遠(yuǎn)程控制命令的傳輸和執(zhí)行。

總之，通訊連接模塊在基于機器視覺的監(jiān)測平臺中扮演著關(guān)鍵的角色，其確保了不同組件之間的順暢通信，從而促使整個系統(tǒng)能夠高效地運行并實現(xiàn)預(yù)期的監(jiān)測目標(biāo)。

■2.4 預(yù)警維修模塊

預(yù)警維修模塊在基于機器視覺的監(jiān)測平臺中起著重要作用，其可以幫助監(jiān)測系統(tǒng)及時識別問題并提供維護(hù)建議[7]。具體步驟如下。

首先通過統(tǒng)計方法、機器學(xué)習(xí)或深度學(xué)習(xí)算法，監(jiān)測監(jiān)測平臺中的傳感器數(shù)據(jù)，以便識別電子元器件異常情況。深度學(xué)習(xí)算法的計算如公式(4)所示：

式中，X代表觀測值，μ代表均值，σ代表標(biāo)準(zhǔn)差。離群值檢測使用標(biāo)準(zhǔn)差、Z 分?jǐn)?shù)等來識別超出正常范圍的數(shù)據(jù)點。其次利用時間序列數(shù)據(jù)進(jìn)行分析，識別出現(xiàn)的模式和趨勢，以預(yù)測可能的問題或故障。常見的算法有ARIMA（自回歸移動平均），其計算如公式(5)所示：

式中，Y(t) 代表時間序列數(shù)據(jù)，φ和θ代表參數(shù)，ε代表誤差項；最后在預(yù)警維修模塊中用時序數(shù)據(jù)分析算法可以增強系統(tǒng)的故障預(yù)測和維護(hù)能力。使用回歸分析可以建立設(shè)備狀態(tài)和維護(hù)需求之間的關(guān)系，預(yù)測維護(hù)時機[8]。具體線性回歸模型如公式(6)所示：

式中，T代表維護(hù)時機，α代表模型的基準(zhǔn)值， 1β表示溫度系數(shù)， 1t表示溫度， 2β表示工作時間的系數(shù)，t2 表示工作時間，ε表示模型無法解釋的隨機因素。線性回歸模型的目的是通過溫度和工作時間這兩個解釋變量，預(yù)測電子元器件的維護(hù)時機。通過估計α、 1β和 2β的值，了解溫度和工作時間對維護(hù)時機的影響，并用模型預(yù)測設(shè)備何時需要維護(hù)。該過程確保對系統(tǒng)中的傳感器所采集的數(shù)據(jù)進(jìn)行全面的分析和監(jiān)測，讓監(jiān)測人員提前發(fā)現(xiàn)問題或故障，并確定維護(hù)時機。有效地提高設(shè)備的可靠性，減少維修成本，同時確保設(shè)備在良好狀態(tài)下運行?？傊瑪?shù)據(jù)分析和預(yù)警維修模塊是監(jiān)測平臺的關(guān)鍵組成部分，該模塊為系統(tǒng)提供對設(shè)備狀態(tài)的實時監(jiān)測和預(yù)測，從而提高了系統(tǒng)的可靠性和維護(hù)效率。

3 實驗分析

■3.1 實驗準(zhǔn)備

為保障基于機器視覺的電子元器件監(jiān)測平臺運行的穩(wěn)定性與可靠性，通過模擬實驗測試系統(tǒng)的性能。實驗測試需準(zhǔn)備Advantech 系列工業(yè)嵌入式計算機，該處理器支持內(nèi)存在1GB～8GB 之間，具備高抗震、高溫度范圍、防塵防水等特性；此外還需要鏡頭、Cognex In-Sight系列的工業(yè)相機、Edmund Optics 系列的箱式光源、圖像采集卡、傳送軌道等硬件設(shè)備，為電子元器件的監(jiān)測平臺提供有力的支持。

■3.2 實驗結(jié)果

結(jié)合以上采集的數(shù)據(jù)對基于機器視覺的電子元器件監(jiān)測平臺進(jìn)行分析，并生成詳細(xì)的實驗報告，實現(xiàn)對該平臺的運行效率、穩(wěn)定性的評估。實驗數(shù)據(jù)如表1 所示。

表1 實驗數(shù)據(jù)結(jié)果

由表1 實驗數(shù)據(jù)可知，共有689 個電子元器件作為測試樣本，平臺的平均正確識別目標(biāo)特征數(shù)量為674 個，平均正確識別故障元件的數(shù)量為672 個。該平臺監(jiān)測元器件特征的準(zhǔn)確率達(dá)到約98.14%，監(jiān)測故障元器件的準(zhǔn)確率在97.1%～98.9%之間變動。表明本平臺具備較高的準(zhǔn)確率和穩(wěn)定性，能夠有效且精準(zhǔn)地對電子元器件進(jìn)行監(jiān)測，可以在實際工業(yè)應(yīng)用中發(fā)揮重要作用的潛力。然而，對于平臺進(jìn)一步的實際應(yīng)用，仍需要更廣泛和多樣的數(shù)據(jù)進(jìn)行測試，以確保平臺的可靠性。

4 總結(jié)

基于機器視覺的電子元器件監(jiān)測平臺的研究，本文深入探討了在機器視覺下電子元器件監(jiān)測平臺的設(shè)計與實驗，旨在利用圖像處理和數(shù)據(jù)分析技術(shù)實現(xiàn)電子元器件的自動化監(jiān)測、異常檢測和問題預(yù)測。通過圖像采集、特征提取等模塊的合作，本平臺可準(zhǔn)確識別監(jiān)測目標(biāo)元器件的異常情況，并預(yù)測未來可能發(fā)生的問題，對于提升元器件的生產(chǎn)效率，以及提高平臺監(jiān)測元器件的質(zhì)量控制能力和故障預(yù)防能力等方面具有重要的促進(jìn)作用。期望通過未來不斷地優(yōu)化和改進(jìn)此平臺，實現(xiàn)更可靠的生產(chǎn)流程和高質(zhì)量的產(chǎn)品輸出。