王 堅(jiān)，張義兵，陳 雙，何 義

（湘潭大學(xué) 自動(dòng)化與信息工程學(xué)院，湘潭 411100）

0 引言

機(jī)器視覺(jué)相較于人工檢測(cè)具有更強(qiáng)的適應(yīng)性、更高的穩(wěn)定性，在分辨能力、感光范圍、響應(yīng)速度等方面都能很好的彌補(bǔ)人眼的不足[1]。傳統(tǒng)瞄準(zhǔn)鏡缺陷檢測(cè)是人眼通過(guò)顯微鏡觀察瞄準(zhǔn)鏡鏡片特征，判斷產(chǎn)品是否合格，使用傳統(tǒng)人工方法檢測(cè)在這兩方面有明顯的不足。檢測(cè)準(zhǔn)確率方面，在比較短的時(shí)間里面，人眼通過(guò)顯微鏡檢測(cè)會(huì)有比較高的識(shí)別準(zhǔn)確率，隨著工作時(shí)間的增長(zhǎng)，人的大腦和眼睛會(huì)出現(xiàn)疲勞，造成檢測(cè)準(zhǔn)確率降低。速度方面，與使用機(jī)器視覺(jué)技術(shù)檢測(cè)相比，傳統(tǒng)人工檢測(cè)的速度顯得很緩慢。

目前，應(yīng)用于缺陷檢測(cè)的機(jī)器視覺(jué)技術(shù)取得了大量的研究成果。Liang Sun[2]等提出了一種基于機(jī)器視覺(jué)的混凝土裂縫提取分類(lèi)算法。通過(guò)自適應(yīng)的非線性灰度變換擴(kuò)展圖像與背景之間的灰度差。采用改進(jìn)的OTSU閾值分割法提取裂紋，并將提取結(jié)果中的斷裂點(diǎn)與斷裂骨架線的延伸方向和裂紋邊緣的灰度特征相結(jié)合，得到完整的裂紋圖像。解決了土木工程結(jié)構(gòu)健康監(jiān)測(cè)中裂縫圖像提取誤差大的問(wèn)題。Li Liu[3]等提出了一種新的GANet網(wǎng)絡(luò)框架，解決了尺度變化極大的紋理分類(lèi)問(wèn)題。董娜[4]等提出了一種基于機(jī)器視覺(jué)雙視場(chǎng)雙工位協(xié)同在線檢測(cè)系統(tǒng)。通過(guò)將封酒環(huán)輪廓二維信息轉(zhuǎn)換成一維向量，巧妙的解決了封酒環(huán)輪廓缺陷在二維信息中難以提取的問(wèn)題。葉文煒[5]等提出了基于機(jī)器視覺(jué)的雙視野雙遠(yuǎn)心光學(xué)系統(tǒng)設(shè)計(jì)，以折射棱鏡為分界，將遠(yuǎn)心系統(tǒng)分為“物鏡”部分與“目鏡”部分，通過(guò)增加或更換“目鏡”，解決了遠(yuǎn)心系統(tǒng)更換不同倍數(shù)鏡頭時(shí)過(guò)程繁雜，容易影響精度的問(wèn)題。

使用傳統(tǒng)人工檢測(cè)的方法對(duì)瞄準(zhǔn)鏡進(jìn)行缺陷檢測(cè)，檢測(cè)速度慢，目前市面上沒(méi)有將機(jī)器視覺(jué)技術(shù)應(yīng)用于瞄準(zhǔn)鏡缺陷檢測(cè)的方案，為了提高鏡缺陷檢測(cè)的檢測(cè)速度，將機(jī)器視覺(jué)技術(shù)應(yīng)用于瞄準(zhǔn)鏡缺陷檢測(cè)。本文針對(duì)黑雞絲與黑絲定位困難的問(wèn)題，提出了一種基于機(jī)器視覺(jué)的瞄準(zhǔn)鏡缺陷檢測(cè)算法。算法主要分為3個(gè)步驟。第一步，圖像采集和圖像預(yù)處理，對(duì)相機(jī)采集到的圖像進(jìn)行二值化處理并找出圖像的輪廓。第二步，雞絲線段定位，在第一步的基礎(chǔ)上，對(duì)圖像進(jìn)行局部直方圖均衡化后進(jìn)行累計(jì)霍夫變換處理，利用霍夫變換找到的直線，求出它們的交點(diǎn)，根據(jù)交點(diǎn)信息，使用正六邊形循環(huán)擴(kuò)散找出圖像所有的雞絲線段。第三步，判斷雞絲線段是否為黑絲或黑雞絲。

1 瞄準(zhǔn)鏡缺陷圖像特征分析

黑絲、黑雞絲與正常圖對(duì)比圖如圖1所示。從圖可以看出，黑絲圖像有一條很粗的線段。與正常絲圖像對(duì)比，黑雞絲圖像的光纖線段更明顯。由此，可以通過(guò)對(duì)瞄準(zhǔn)鏡圖像進(jìn)行一系列的圖像處理操作，讓正常的線段消失，保留黑絲與黑雞絲，通過(guò)設(shè)定的黑絲與黑雞絲長(zhǎng)度閾值來(lái)判斷圖像上的雞絲線段是否為黑絲或黑雞絲。

圖1 黑雞絲,黑絲與原圖對(duì)比圖

2 瞄準(zhǔn)鏡缺陷檢測(cè)算法

2.1 圖像預(yù)處理

圖2(a)為一組圖像中有黑絲和黑雞絲缺陷的一張圖像。為了提取圖像的目標(biāo)區(qū)域，即瞄準(zhǔn)鏡鏡片部分的圖像。對(duì)圖2(a)進(jìn)行二值化處理，二值化后圖像如圖2(b)所示，將原圖與二值化圖像進(jìn)行重疊，原圖與二值化圖像上灰度為0的位置重合的部分灰度置為0，其他位置與原圖保持一致，得到預(yù)處理圖像，如圖2(c)所示。

圖2 原圖與預(yù)處理圖像

3.2 雞絲線段定位

因?yàn)殓R筒不同區(qū)域的光透過(guò)率不同，造成圖像檢測(cè)區(qū)域有亮有暗（外圍暗，內(nèi)部亮），為了減少這些干擾，將一張圖像分為兩塊，亮度較高的部分和亮度較低的部分，如圖3所示，將一張圖像分為兩部分roi1和roi2（各2/3，上下或者左右，計(jì)算左右亮度差和上下亮度差，選擇亮度差大的分塊方式）單獨(dú)處理后將結(jié)果進(jìn)行整合。在這兩張子圖片roi1和roi2中分別進(jìn)行同樣的處理，以rio2為例：使用局部直方圖均衡化[6～9]處理圖片，盡量消除不同區(qū)域的亮度差異，提高圖像對(duì)比度，如圖4所示。對(duì)局部直方圖均衡化后圖像進(jìn)行自適應(yīng)二值化[10，11]，找出產(chǎn)品的骨架，自適應(yīng)二值化后圖像如圖5所示。使用累計(jì)概率霍夫變換[12]對(duì)圖5進(jìn)行處理，整合找到的所有線段，將距離接近，角度相同的線段合并成同一條線段，如圖6所示。

圖3 roi1,roi2分塊圖

圖4 局部直方圖均衡化圖像

圖5 自適應(yīng)二值化圖像

圖6 累計(jì)霍夫變換示意圖

由于自適應(yīng)二值化后找出的骨架只是整體骨架的一部分，從圖6可以看出，在這個(gè)基礎(chǔ)上，通過(guò)累計(jì)概率霍夫變換找出的雞絲線段也是不完整的，并且還產(chǎn)生了一些瞄準(zhǔn)鏡原始圖像上并不存在的干擾線段，為了找出所有雞絲線段，本文設(shè)計(jì)了一種在累計(jì)概率霍夫變換的基礎(chǔ)上，通過(guò)線找點(diǎn)，點(diǎn)找線的方法，找出圖中所有的雞絲線段的方法，這個(gè)方法分為3個(gè)步驟：

第一步，利用累計(jì)概率霍夫變換得到的線段信息，求出圖6中所有的線段交點(diǎn)信息，如圖7所示。

第二步，根據(jù)第一步得到的交點(diǎn)信息，找出一個(gè)正六邊形。

鏡筒均由正六邊形的光纖組成，先確定兩條邊再根據(jù)正六邊形性質(zhì)確定第三條邊。如圖7所示，連接ab線段，bc線段，c點(diǎn)的最近相鄰點(diǎn)還有2個(gè)，由正六邊形性質(zhì)可以知道，正六邊形的一條邊與它相鄰的邊角度為120度，與相臨邊相臨的邊與它角度為60度。因此，通過(guò)第三條邊與第一條邊的角度為60度，與第二條邊角度為120度，可以確定第三條邊的位置。因此，左上角的d點(diǎn)符合和點(diǎn)a，b，c組成正六邊行的條件，右上角的e點(diǎn)不能和點(diǎn)a，b，d組成一個(gè)正六邊形。同樣，根據(jù)正邊形性質(zhì)和圖上點(diǎn)的位置可以確定第四，第五和第六條邊，將六條邊相連，得到一個(gè)正六邊形。如圖8所示。

圖7 交點(diǎn)圖

圖8 六邊形示意圖

第三步，將得到的正六邊形沿與邊垂直的6個(gè)方向平移邊長(zhǎng)的根號(hào)3倍，循環(huán)擴(kuò)散，找出所有點(diǎn)的信息（剔除第一步中找出的干擾點(diǎn)，補(bǔ)齊累計(jì)概率霍夫變換沒(méi)有找出的線段交點(diǎn)），將相臨點(diǎn)連接，找出所有雞絲線段。

從圖8可以看出，通過(guò)每一個(gè)新的正六邊形，可以確定四個(gè)點(diǎn)的坐標(biāo)。如圖9所示，正六邊形abcdef沿bf向量的方向平移邊長(zhǎng)的根號(hào)3倍可得正六邊形fekjih。設(shè)a，b，c，d，e，f，h，i，j，k的坐標(biāo)分別為(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)，(x7，y7)，(x8，y8)，(x9，y9)，(x10，y10)。由正六邊形性質(zhì)可得，向量bf，向量ah，向量fi，向量ej，向量dk是相等向量。用數(shù)學(xué)關(guān)系式表示如式(1)～式(4)所示。

圖9 向量法求點(diǎn)圖

正六邊形abcdef的六個(gè)頂點(diǎn)的坐標(biāo)已知，根據(jù)式(1)～式(4)可求出h，i，j，k四點(diǎn)的坐標(biāo)。將正六邊形沿與邊垂直的六個(gè)方向平移得出的交點(diǎn)坐標(biāo)和圖7中的交點(diǎn)坐標(biāo)相比較，如果與已有的交點(diǎn)接近，則將該點(diǎn)更改為之前已經(jīng)得到的交點(diǎn)。將點(diǎn)的坐標(biāo)記錄于容器vessel中。如果是圖7中點(diǎn)集中沒(méi)有的點(diǎn)，則將此點(diǎn)作為繁殖的新點(diǎn)記錄于容器vessel中。將新得到的正六邊形記錄為父正六變形，每個(gè)父正六邊形按照第一個(gè)正六變形的方法平移，找尋其他的交點(diǎn)。平移后得到的點(diǎn)，如果與已有的交點(diǎn)接近，則將此點(diǎn)更改為之前已得到的交點(diǎn)，再檢查與已尋得的正六邊形點(diǎn)是否接近，如果是將該點(diǎn)更改為已尋得的交點(diǎn)。將新交點(diǎn)信息記錄于容器vessel中。將新得到的正六邊形記錄為新的正六邊形，循環(huán)擴(kuò)散，如果新找到的正六邊形超出瞄準(zhǔn)鏡圖像范圍，則將此正六邊形剔除。超出圖像的偽交點(diǎn)不記錄于容器中。判斷方式為將此點(diǎn)坐標(biāo)代入圓心坐標(biāo)為瞄準(zhǔn)鏡中心，半徑為瞄準(zhǔn)鏡半徑的園中，如果得到的值比瞄準(zhǔn)鏡半徑平方要大，則此點(diǎn)不合格，此點(diǎn)組成的新正六邊形也要剔除。循環(huán)直至最后一個(gè)新正六邊形超出邊界。最終得到的整幅圖面上的所有正六邊形的點(diǎn)，這部分只是子圖roi2的部分，得到的結(jié)果還需要跟子圖roi1進(jìn)行整合，將在此圖上得到的局部圖交點(diǎn)信息變成全局的交點(diǎn)信息，只需要把交點(diǎn)的坐標(biāo)（x，y）加上子圖在父圖上的平移位置即可，這個(gè)圖片是父圖上的右側(cè)三分之二的圖片，只需要將點(diǎn)的x值加上父圖的寬度的三分之一。整合所有子圖上的點(diǎn)，最終得到完整圖片的所有點(diǎn)，如圖10所示。

圖10 完整點(diǎn)圖

根據(jù)正六邊形的邊長(zhǎng)與容器vessel中的點(diǎn)集，畫(huà)出符合雞絲長(zhǎng)度的線段，即可得到圖像上所有的雞絲線段位置。將每一條雞絲線段用矩形框起來(lái)，如圖11所示。

圖11 旋轉(zhuǎn)矩形圖

在圖11上尋找一個(gè)旋轉(zhuǎn)矩形，將旋轉(zhuǎn)矩形區(qū)域擺正。對(duì)旋轉(zhuǎn)矩形區(qū)域進(jìn)行仿射變換后得到一個(gè)和圖12相似的正矩形區(qū)域roi。

圖12 正矩形roi區(qū)域圖

3.3 黑絲與黑雞絲判定

1）黑絲判定

對(duì)圖13(a)進(jìn)行自適應(yīng)二值化處理后，使用3×3的卷積核對(duì)圖像進(jìn)行腐蝕，卷積核的中心點(diǎn)逐個(gè)像素掃描圖像，被掃描到的圖像中的像素點(diǎn)，只有當(dāng)卷積核周?chē)?個(gè)像素的灰度值均為255時(shí)，其值才為255，否則其值修改為0，使圖像暗的部分更多，亮的部分減少，腐蝕后得到圖13(b)。從圖上可以看出，正常絲只留下了一個(gè)幾乎看不見(jiàn)的白點(diǎn)，黑絲還有一大片白色區(qū)域，對(duì)比明顯。在圖13(b)的基礎(chǔ)上，使用findContour找出圖像的輪廓[13]，如圖13(c)所示。計(jì)算圖中白色線段的長(zhǎng)度，黑絲長(zhǎng)度閾值設(shè)置為100，超出閾值判斷為黑絲。

圖13 黑絲正常絲對(duì)比圖

2) 黑雞絲判定

如圖14(a)所示，從微觀上看，黑雞絲與正常絲差異不大，黑雞絲比正常絲較為粗了2um～6um，將與圖像長(zhǎng)邊平行的方向定義為X軸，與圖像短邊平行的方向定義為Y軸，使用sobel檢測(cè)Y軸，得到圖像的垂直邊緣，如圖14(b)所示。在圖14(b)的基礎(chǔ)上，對(duì)圖像作二值化處理，凸顯黑雞絲圖像和正常絲圖像的輪廓，如圖14(c)所示。使用findContours去除圖像上的小輪廓，從圖14(d)可以看出，黑雞絲圖像還留下了一條白色的線，正常絲圖像沒(méi)有。將圖14(d)對(duì)X軸進(jìn)行映射，如果縱坐標(biāo)中有灰度值為255的點(diǎn)，則在X軸上將對(duì)應(yīng)的橫坐標(biāo)的灰度值標(biāo)記為255，反之標(biāo)記為0，計(jì)算在X軸上灰度值為255的線段長(zhǎng)度。根據(jù)產(chǎn)品要求，將黑雞絲長(zhǎng)度閾值設(shè)置為100um，在X軸上灰度值為255的線段長(zhǎng)度大于黑雞絲長(zhǎng)度閾值的線段標(biāo)記為黑雞絲。

圖14 黑雞絲正常絲

3 實(shí)驗(yàn)與算法性能分析

3.1 瞄準(zhǔn)鏡缺陷檢測(cè)系統(tǒng)

本文提出的瞄準(zhǔn)鏡缺陷檢測(cè)系統(tǒng)在離線機(jī)上運(yùn)行，圖15為瞄準(zhǔn)鏡檢測(cè)系統(tǒng)實(shí)物圖。計(jì)算機(jī)操作系統(tǒng)版本為Win7，64位系統(tǒng)，CPU運(yùn)行內(nèi)存為8G，配置1T的硬盤(pán)和千兆網(wǎng)卡。瞄準(zhǔn)鏡直徑約為2cm，系統(tǒng)采用4300萬(wàn)像素相機(jī)（7912×5432）進(jìn)行圖像采集，單像素精度為1um。20000/(7912×1）=2.53，20000/(5432×1）=3.68，因此一個(gè)瞄準(zhǔn)鏡一共需要拍攝3×4=12張圖片，才能滿足檢測(cè)需求。在圖像采集過(guò)程中，需要對(duì)瞄準(zhǔn)鏡進(jìn)行垂直照射進(jìn)行圖像采集，因此系統(tǒng)采用的光源是背光源，如圖15(b)所示，背光源安裝在相機(jī)鏡頭的下方，需要檢測(cè)的瞄準(zhǔn)鏡放置于兩者中間。針對(duì)瞄準(zhǔn)鏡鏡筒黑絲和黑雞絲的檢測(cè)，設(shè)計(jì)了瞄準(zhǔn)鏡缺陷檢測(cè)軟件，建立QT界面，用c++語(yǔ)言，在Visuol Studio 2017編譯環(huán)境下編寫(xiě)算法。構(gòu)建了通過(guò)軟件控制相機(jī)進(jìn)行圖像采集，對(duì)采集到的圖像進(jìn)行一系列處理，實(shí)現(xiàn)對(duì)瞄準(zhǔn)鏡黑絲和黑雞絲檢測(cè)系統(tǒng)的集成。圖16是瞄準(zhǔn)鏡缺陷檢測(cè)軟件界面示意圖。該界面包括24個(gè)按鍵，界面左下角49個(gè)空格，代表49個(gè)產(chǎn)品。

圖15 瞄準(zhǔn)鏡檢測(cè)系統(tǒng)實(shí)物圖

圖16 瞄準(zhǔn)鏡檢測(cè)系統(tǒng)界面圖

3.2 瞄準(zhǔn)鏡缺陷檢測(cè)流程

圖17為檢測(cè)流程圖。點(diǎn)擊開(kāi)始按鈕，系統(tǒng)打開(kāi)相機(jī)，進(jìn)行圖像采集，然后調(diào)動(dòng)線程函數(shù)，進(jìn)行圖像處理，顯示處理結(jié)果，在主界面左下角記錄處理結(jié)果，合格，不良或標(biāo)記為需要人工檢測(cè)。

圖17 檢測(cè)流程圖

3.3 實(shí)驗(yàn)與分析

本節(jié)使用兩種不同規(guī)格的瞄準(zhǔn)鏡對(duì)瞄準(zhǔn)鏡缺陷檢測(cè)系統(tǒng)進(jìn)行測(cè)試，驗(yàn)證瞄準(zhǔn)鏡缺陷檢測(cè)系統(tǒng)的可行性，給出瞄準(zhǔn)鏡缺陷檢測(cè)的檢測(cè)效果。

1）實(shí)驗(yàn)過(guò)程

第一步，繪制檢測(cè)結(jié)果數(shù)據(jù)表，如表1，表2，表3所示。

表1 直徑2.17cm瞄準(zhǔn)鏡測(cè)試結(jié)果數(shù)據(jù)表

表2 直徑2.60cm瞄準(zhǔn)鏡測(cè)試結(jié)果數(shù)據(jù)表

表3 人工檢測(cè)與使用機(jī)器視覺(jué)檢測(cè)速度對(duì)比表

第二步，準(zhǔn)備好兩種待測(cè)樣本。

第三步，開(kāi)啟瞄準(zhǔn)鏡缺陷檢測(cè)系統(tǒng)。

第四步，對(duì)兩種瞄準(zhǔn)鏡進(jìn)行缺陷檢測(cè)，并將缺陷檢測(cè)結(jié)果數(shù)據(jù)填于表中。

2）實(shí)驗(yàn)結(jié)果分析

使用直徑2.17cm和2.60cm的瞄準(zhǔn)鏡各20組，其中2.17cm的瞄準(zhǔn)鏡包括合格產(chǎn)品866，黑絲缺陷產(chǎn)品67，黑雞絲缺陷產(chǎn)品73（有的產(chǎn)品同時(shí)具有兩種缺陷），2.60cm的瞄準(zhǔn)鏡包括合格產(chǎn)品857，黑絲缺陷產(chǎn)品71，黑雞絲缺陷產(chǎn)品76，一共1980個(gè)瞄準(zhǔn)鏡對(duì)軟件系統(tǒng)進(jìn)行測(cè)試，人工檢測(cè)時(shí)間來(lái)自之前人工檢測(cè)數(shù)據(jù)統(tǒng)計(jì)。在光源強(qiáng)度，成像環(huán)境，相機(jī)的曝光，相機(jī)鏡頭，瞄準(zhǔn)鏡與光源的相對(duì)位置等成像條件一致的情況下，運(yùn)行瞄準(zhǔn)鏡缺陷檢測(cè)系統(tǒng)，從上面統(tǒng)計(jì)的測(cè)試數(shù)據(jù)分析得出，兩種不同的瞄準(zhǔn)鏡得到的檢測(cè)數(shù)據(jù)區(qū)別不大，識(shí)別準(zhǔn)確率差不多。兩種產(chǎn)品黑絲缺陷檢測(cè)的識(shí)別率均達(dá)100%，2.17cm瞄準(zhǔn)鏡黑雞絲缺陷檢測(cè)識(shí)別率90.4%，合格產(chǎn)品識(shí)別率94.5%，2.60cm瞄準(zhǔn)鏡黑雞絲缺陷檢測(cè)識(shí)別率89.4%，合格產(chǎn)品識(shí)別率95.1%。識(shí)別錯(cuò)誤的主要原因是在圖像采集的過(guò)程中，采集到的圖像質(zhì)量不佳，在對(duì)圖像進(jìn)行自適應(yīng)二值化和累計(jì)霍夫變換后，許多雞絲線段缺失，由于缺失雞絲線段信息過(guò)多，在邊找點(diǎn)，點(diǎn)找邊的過(guò)程中，圖像的雞絲線段定位發(fā)生錯(cuò)誤，最后框出來(lái)的旋轉(zhuǎn)矩形圖里面沒(méi)有雞絲線段，導(dǎo)致識(shí)別錯(cuò)誤。從表3可以看出，與使用傳統(tǒng)人工檢測(cè)的方法相比，使用機(jī)器視覺(jué)的方法節(jié)省了大約（1020-116）/1020=88.6%的檢測(cè)時(shí)間。在測(cè)試過(guò)程中，檢測(cè)系統(tǒng)運(yùn)行流暢，沒(méi)有出現(xiàn)異常，也沒(méi)有卡頓現(xiàn)象。驗(yàn)證了此系統(tǒng)的可行性。

4 結(jié)語(yǔ)

本文提出了一個(gè)基于機(jī)器視覺(jué)的瞄準(zhǔn)鏡黑雞絲與黑絲檢測(cè)系統(tǒng)，針對(duì)雞絲線段定位困難的問(wèn)題，提出了一種以累計(jì)霍夫變換為基礎(chǔ)，利用正六邊形性質(zhì)，通過(guò)線找點(diǎn)，點(diǎn)找線，正六邊形循環(huán)擴(kuò)散找出所有雞絲線段的方法。在離線機(jī)上進(jìn)行測(cè)試，檢測(cè)識(shí)別率超過(guò)94%，系統(tǒng)運(yùn)行流暢，驗(yàn)證了檢測(cè)系統(tǒng)的可行性，與傳統(tǒng)人工檢測(cè)相比，利用本文的提出機(jī)器視覺(jué)檢測(cè)系統(tǒng)，縮短了大約88.6%的檢測(cè)時(shí)間。本系統(tǒng)適用于由正六邊形光纖組成的瞄準(zhǔn)鏡黑絲與黑雞絲的檢測(cè)。目前已應(yīng)用于實(shí)際生產(chǎn)，并取得了良好的效果。