邱輝

摘要：隨著信息技術(shù)的快速發(fā)展，信息化產(chǎn)品已經(jīng)滲透到人們生活的各個(gè)方面。近年來(lái)，人工智能技術(shù)特別是深度學(xué)習(xí)，已經(jīng)在諸多領(lǐng)域展現(xiàn)出強(qiáng)大的能力，將人工智能技術(shù)應(yīng)用于信息化產(chǎn)品的檢驗(yàn)、檢測(cè)是研究的重要方向之一。本文嘗試將卷積神經(jīng)網(wǎng)絡(luò)ResNet-50應(yīng)用于智能手機(jī)顯示組件的檢測(cè)過(guò)程中，通過(guò)實(shí)例研究，驗(yàn)證了所采用方法的有效性，該技術(shù)在信息化產(chǎn)品檢測(cè)中的應(yīng)用有望進(jìn)一步推動(dòng)信息化產(chǎn)品的智能化發(fā)展，具有廣闊前景。

關(guān)鍵詞：人工智能；信息化產(chǎn)品；壞點(diǎn)檢測(cè)；卷積神經(jīng)網(wǎng)絡(luò)

引言

從智能手機(jī)、計(jì)算機(jī)到各種嵌入式設(shè)備，這些產(chǎn)品在社會(huì)發(fā)展和人們?nèi)粘Ｉ钪衅鹬匾淖饔?。然而，隨著技術(shù)日趨復(fù)雜和設(shè)備功能增加，確保這些產(chǎn)品的質(zhì)量和性能成為一個(gè)嚴(yán)峻的挑戰(zhàn)。傳統(tǒng)的信息化產(chǎn)品檢驗(yàn)技術(shù)往往依賴(lài)于手動(dòng)測(cè)試和固定模式的自動(dòng)化測(cè)試，這些方法在面對(duì)日益復(fù)雜的產(chǎn)品和快速變化的技術(shù)環(huán)境時(shí)顯得力不從心。

近年來(lái)，人工智能技術(shù)特別是深度學(xué)習(xí)，已經(jīng)在諸多領(lǐng)域展現(xiàn)出強(qiáng)大的能力。從圖像識(shí)別、自然語(yǔ)言處理到復(fù)雜的決策支持系統(tǒng)，人工智能正在重塑我們的世界。在檢驗(yàn)檢測(cè)領(lǐng)域，人工智能已經(jīng)被成功應(yīng)用于醫(yī)療影像分析、工業(yè)制造中的質(zhì)量控制以及食品安全檢測(cè)等多個(gè)領(lǐng)域，取得了令人矚目的成果。然而，將人工智能應(yīng)用于信息化產(chǎn)品的檢驗(yàn)檢測(cè)還存在許多挑戰(zhàn)[1]。本研究旨在探索如何有效地將深度學(xué)習(xí)技術(shù)應(yīng)用于信息化產(chǎn)品的檢驗(yàn)檢測(cè)，以提高檢測(cè)的準(zhǔn)確性、效率和自動(dòng)化程度。我們相信，這一研究不僅能為信息化產(chǎn)品制造商提供有力的技術(shù)支持，還將為整個(gè)社會(huì)帶來(lái)巨大的經(jīng)濟(jì)和社會(huì)效益。

1. 信息化產(chǎn)品檢測(cè)需求與挑戰(zhàn)

信息化產(chǎn)品是指那些利用現(xiàn)代信息技術(shù)設(shè)計(jì)、制造和使用的產(chǎn)品，通常都具有數(shù)據(jù)處理、傳輸和存儲(chǔ)功能[2]。這類(lèi)產(chǎn)品包括但不限于計(jì)算機(jī)、手機(jī)、智能穿戴設(shè)備、網(wǎng)絡(luò)設(shè)備等，旨在提供便捷、高效的信息服務(wù)，滿(mǎn)足人們?cè)谏詈凸ぷ髦袑?duì)信息的需求。由于信息化產(chǎn)品與人們?nèi)粘Ｉ詈凸ぷ骶o密關(guān)聯(lián)，其性能、穩(wěn)定性、安全性等都受到廣大用戶(hù)和制造商的高度關(guān)注。因此，對(duì)這些產(chǎn)品進(jìn)行有效、全面的檢測(cè)是十分必要的。

作為信息化產(chǎn)品的代表，智能手機(jī)在現(xiàn)代社會(huì)中的應(yīng)用已經(jīng)無(wú)處不在。從基本的通信功能到高級(jí)的計(jì)算處理，智能手機(jī)已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡墓ぞ?。硬件是智能手機(jī)的物理基礎(chǔ)，對(duì)其進(jìn)行檢測(cè)需要確保每個(gè)組件都能在規(guī)定的性能參數(shù)內(nèi)穩(wěn)定運(yùn)行。常見(jiàn)的硬件檢測(cè)包括處理器速度、內(nèi)存性能、攝像頭分辨率和質(zhì)量、顯示屏的色彩和亮度等。其挑戰(zhàn)在于硬件組件的迅速更新，使得檢測(cè)工具和標(biāo)準(zhǔn)需要持續(xù)適應(yīng)和更新。本文將主要圍繞智能手機(jī)的相關(guān)檢測(cè)方法展開(kāi)，通過(guò)引入人工智能領(lǐng)域的深度學(xué)習(xí)方法實(shí)現(xiàn)智能化、自動(dòng)化產(chǎn)品檢測(cè)。

2. 基于深度學(xué)習(xí)的信息化產(chǎn)品檢驗(yàn)檢測(cè)方法

2.1 深度學(xué)習(xí)基礎(chǔ)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，模仿了人腦的工作方式，試圖模擬由神經(jīng)元網(wǎng)絡(luò)組成的人腦結(jié)構(gòu)。通過(guò)多層的神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)可以從大量的數(shù)據(jù)中學(xué)習(xí)到復(fù)雜的模式。其中，神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本單元，模擬了生物神經(jīng)元的工作方式。每個(gè)神經(jīng)元都會(huì)接收多個(gè)輸入，對(duì)其進(jìn)行加權(quán)求和，并通過(guò)激活函數(shù)產(chǎn)生一個(gè)輸出。

（1）

其中，x1，x2，…，xn是輸入；w1，w2，…，wn是各個(gè)輸入的權(quán)重參數(shù)；b是該神經(jīng)元的偏置；f表示激活函數(shù)，常用sigmoid。

而神經(jīng)網(wǎng)絡(luò)是由多個(gè)神經(jīng)元組成的網(wǎng)絡(luò)結(jié)構(gòu)，可以包含多個(gè)隱藏層。輸入層接收原始數(shù)據(jù)，隱藏層處理數(shù)據(jù)并傳遞給輸出層，輸出層生成預(yù)測(cè)結(jié)果。為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，需要一個(gè)損失函數(shù)來(lái)衡量模型的預(yù)測(cè)與真實(shí)標(biāo)簽之間的差異。最常用的損失函數(shù)包括均方誤差、交叉熵等。訓(xùn)練的目標(biāo)是最小化這個(gè)損失。為實(shí)現(xiàn)這一目標(biāo)，使用反向傳播算法來(lái)更新網(wǎng)絡(luò)中的權(quán)重和偏置。這涉及計(jì)算損失函數(shù)相對(duì)于每個(gè)權(quán)重的梯度，并使用梯度下降或其他優(yōu)化算法進(jìn)行更新。當(dāng)神經(jīng)網(wǎng)絡(luò)包含多個(gè)隱藏層時(shí)，我們稱(chēng)其為深度神經(jīng)網(wǎng)絡(luò)。這些多層結(jié)構(gòu)允許網(wǎng)絡(luò)學(xué)習(xí)更復(fù)雜、更高級(jí)的特征表示。但同時(shí)，這也帶來(lái)了更多的參數(shù)和更大的計(jì)算復(fù)雜性。

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的手機(jī)顯示屏壞點(diǎn)檢測(cè)

對(duì)于手機(jī)的顯示屏壞點(diǎn)與瑕疵檢測(cè)問(wèn)題，我們選擇使用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）進(jìn)行處理。CNN具有局部感知、參數(shù)共享和平移不變性的特點(diǎn)，使其在圖像處理領(lǐng)域表現(xiàn)優(yōu)越[3]。檢測(cè)目標(biāo)是手機(jī)顯示屏上的壞點(diǎn)。壞點(diǎn)可以定義為屏幕上不應(yīng)出現(xiàn)的顏色點(diǎn)，可能是由于物理?yè)p壞或屏幕制造時(shí)的缺陷引起的。數(shù)據(jù)集收集大量手機(jī)屏幕的圖像，這些圖像中既有存在壞點(diǎn)的，也有沒(méi)有壞點(diǎn)的。每個(gè)圖像都要標(biāo)記為“有壞點(diǎn)”或“無(wú)壞點(diǎn)”。此外，對(duì)于存在壞點(diǎn)的圖像，還應(yīng)標(biāo)記壞點(diǎn)的具體位置。

采用CNN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行有瑕疵手機(jī)的分類(lèi)，因?yàn)镃NN非常適合于圖像數(shù)據(jù)的特征提取，可以有效提取圖像數(shù)據(jù)的特征。這里的網(wǎng)絡(luò)采用ResNet-50網(wǎng)絡(luò)結(jié)構(gòu)，輸入輸出關(guān)系如表1所示。ResNet或殘差網(wǎng)絡(luò)，通過(guò)引入“殘差連接”解決深度網(wǎng)絡(luò)中的梯度消失問(wèn)題。

其中，輸入層中，為手機(jī)顯示屏當(dāng)前顯示的圖像，輸入圖像大小設(shè)置為224×224。

隨后經(jīng)過(guò)卷積層進(jìn)行特征圖提取，在每一個(gè)卷積層中，輸入經(jīng)過(guò)濾波器進(jìn)行卷積操作。

（2）

其中，I′是輸出圖像，I是輸入圖像，F(xiàn)表示當(dāng)前濾波器，（m，n）分別表示濾波器的大小。每一個(gè)卷積層后均有一個(gè)批量歸一化層（batch normalization）和Relu激活函數(shù)用于加速模型收斂，如圖1所示。

隨后經(jīng)過(guò)池化層用于減少數(shù)據(jù)的維度，保留重要的特征信息。最后經(jīng)過(guò)Softmax層將結(jié)果輸出到0-1之間，再通過(guò)全連接輸出兩個(gè)概率，分別表示圖像中“有壞點(diǎn)”和“無(wú)壞點(diǎn)”，實(shí)現(xiàn)有瑕疵和無(wú)瑕疵的手機(jī)分類(lèi)。

模型訓(xùn)練過(guò)程如下：

輸入為手機(jī)測(cè)試軟件固定的R，G，B三通道的純色圖像，經(jīng)過(guò)前面所構(gòu)建的手機(jī)顯示屏數(shù)據(jù)集，通過(guò)前向傳播計(jì)算輸出，隨后通過(guò)反向傳播優(yōu)化模型權(quán)重。其中，損失函數(shù)使用二分類(lèi)的交叉熵?fù)p失函數(shù)進(jìn)行描述：

（3）

其中，yi是真實(shí)標(biāo)簽，pi是該模型預(yù)測(cè)得到的概率。通過(guò)多輪的迭代求解，優(yōu)化模型權(quán)重，直到損失函數(shù)達(dá)到某一個(gè)預(yù)設(shè)閾值。

2.3 壞點(diǎn)定位

在確定屏幕有壞點(diǎn)后，還需要定位這些壞點(diǎn)。這里通過(guò)在數(shù)字顯示屏上找出那些與其周?chē)南袼夭煌南袼攸c(diǎn)。其基本過(guò)程是首先篩選出具有壞點(diǎn)瑕疵的手機(jī)顯示屏，隨后對(duì)輸入的圖像進(jìn)行灰度轉(zhuǎn)換、濾波等預(yù)處理，以消除圖像中的噪聲，并提高壞點(diǎn)檢測(cè)的準(zhǔn)確性。然后通過(guò)圖像中的每個(gè)像素點(diǎn)計(jì)算與周?chē)袼氐牟町?。?jì)算公式可以表示為

（4）

其中，p（x，y）表示當(dāng)前像素灰度值，n表示所選擇鄰域的像素跨度大小。通過(guò)設(shè)定閾值，當(dāng)計(jì)算所得到的當(dāng)前像素偏差超過(guò)該閾值，則可以將該像素點(diǎn)標(biāo)記為壞點(diǎn)，用于后續(xù)重新加工，而無(wú)需對(duì)整個(gè)屏幕進(jìn)行修復(fù)重加工，從而提高生產(chǎn)效率。

2.4 其他信息化產(chǎn)品的相關(guān)檢測(cè)前景

以上是對(duì)智能手機(jī)這一信息化產(chǎn)品的屏幕組件進(jìn)行檢測(cè)的過(guò)程，除此之外，信息化產(chǎn)品中的無(wú)線(xiàn)路由設(shè)備和信息存儲(chǔ)設(shè)備SSD等也是需要進(jìn)行檢驗(yàn)檢測(cè)的重要一環(huán)。針對(duì)這些設(shè)備，同樣可以采用深度學(xué)習(xí)的方法，使用人工智能技術(shù)實(shí)現(xiàn)檢測(cè)[4-5]，具體而言，針對(duì)無(wú)線(xiàn)路由設(shè)備，其關(guān)注的重點(diǎn)在于網(wǎng)絡(luò)的安全性，執(zhí)行檢測(cè)的方法主要是針對(duì)上一段時(shí)間連續(xù)的流量數(shù)據(jù)進(jìn)行檢測(cè)，通過(guò)LSTM網(wǎng)絡(luò)模型，可以實(shí)現(xiàn)時(shí)間序列數(shù)據(jù)的預(yù)測(cè)分析，檢測(cè)路由器能否實(shí)現(xiàn)較為強(qiáng)大的反入侵能力。而針對(duì)SSD的檢測(cè)主要目標(biāo)是檢測(cè)其使用壽命和使用穩(wěn)定性，深度學(xué)習(xí)方法可以通過(guò)SSD運(yùn)行狀態(tài)下的系統(tǒng)溫度變化，以及硬盤(pán)運(yùn)行聲紋特征實(shí)現(xiàn)網(wǎng)絡(luò)輸入，通過(guò)構(gòu)建一維卷積，實(shí)現(xiàn)一維向量為特征的SSD壽命以及使用穩(wěn)定性檢測(cè)。

3. 實(shí)例分析與結(jié)果驗(yàn)證

針對(duì)本文采用的人工智能算法，尤其是深度學(xué)習(xí)技術(shù)在信息化產(chǎn)品中的應(yīng)用和檢測(cè)，本文在手機(jī)表面檢測(cè)數(shù)據(jù)集Surface-Defect-Detection上進(jìn)行了測(cè)試，該數(shù)據(jù)集構(gòu)建的是手機(jī)表面缺陷檢測(cè)數(shù)據(jù)集，標(biāo)注了表面缺陷的位置，可以用于驗(yàn)證本文所提出的基于卷積神經(jīng)網(wǎng)絡(luò)ResNet-50的手機(jī)顯示屏壞點(diǎn)檢測(cè)方法。本文所采用的平臺(tái)為Python 3.7版本，深度學(xué)習(xí)框架采用Torch，在MMdetection工具箱中進(jìn)行驗(yàn)證。將訓(xùn)練集、驗(yàn)證集和測(cè)試集分為4：1，共8956個(gè)數(shù)據(jù)樣本。但是由于該數(shù)據(jù)集的任務(wù)與壞點(diǎn)檢測(cè)并不完全一致，本文額外提供了100張自采壞點(diǎn)手機(jī)缺陷數(shù)據(jù)用于遷移學(xué)習(xí)，將上述模型在智能手機(jī)的顯示屏檢測(cè)任務(wù)下進(jìn)行微調(diào)實(shí)現(xiàn)手機(jī)屏幕壞點(diǎn)的檢測(cè)。本文采用的評(píng)價(jià)指標(biāo)有兩個(gè)，一是在100個(gè)數(shù)據(jù)集下的瑕疵手機(jī)檢出率，即Recall，另一個(gè)為針對(duì)有瑕疵手機(jī)，壞點(diǎn)檢測(cè)位置的像素位置偏差|Bias|，檢測(cè)結(jié)果如表2所示。

從以上結(jié)果可以看出，通過(guò)遷移學(xué)習(xí)，將Surface-Defect-Detection上的模型用于手機(jī)瑕疵檢測(cè)中，可以取得非常良好的效果，基本可以得到所有的有瑕疵智能手機(jī)，并且給予自采數(shù)據(jù)集上對(duì)于壞點(diǎn)的定位非常精準(zhǔn)，定位壞點(diǎn)中心位置在大多數(shù)情況下可以與標(biāo)簽中心位置一致。

結(jié)語(yǔ)

隨著信息技術(shù)的快速發(fā)展，信息化產(chǎn)品已經(jīng)滲透到人們生活的各個(gè)方面。對(duì)信息化產(chǎn)品的檢驗(yàn)檢測(cè)代表的含義不僅是本文對(duì)智能手機(jī)的瑕疵檢測(cè)，但是本文所提出的這種基于人工智能技術(shù)尤其是深度神經(jīng)網(wǎng)絡(luò)的方法，在信息化產(chǎn)品檢測(cè)中被驗(yàn)證是一種行之有效的解決方案，有望被拓展應(yīng)用于多種信息化產(chǎn)品的檢驗(yàn)檢測(cè)過(guò)程中，實(shí)現(xiàn)更加智能化、自動(dòng)化的信息化產(chǎn)品檢驗(yàn)檢測(cè)。

參考文獻(xiàn)：

[1]孫曉天.嗅覺(jué)信息化產(chǎn)品的發(fā)展綜述及其設(shè)計(jì)研究[J].包裝工程，2022，43（6）： 24-31.

[2]寧家和.電子信息產(chǎn)品制造中的不良檢測(cè)算法研發(fā)[D].成都：電子科技大學(xué)，2021.

[3]宋威.基于深度卷積神經(jīng)網(wǎng)絡(luò)的手機(jī)屏幕缺陷檢測(cè)[D].成都：電子科技大學(xué)，2019.

[4]王宇菲，董小社，王龍翔，等.采用數(shù)據(jù)降維的固態(tài)硬盤(pán)故障檢測(cè)方法[J].西安交通大學(xué)學(xué)報(bào)，2022，56（11）：176-185.

[5]劉月峰，王成，張亞斌，等.用于網(wǎng)絡(luò)入侵檢測(cè)的多尺度卷積CNN模型[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（3）：90-95，153.

作者簡(jiǎn)介：邱輝，大專(zhuān)，工程師，研究方向：信息化產(chǎn)品。