郭芳，王媛媛

基于人機交互和目標檢測的端子圖像測量系統(tǒng)設計與研究

郭芳，王媛媛

（濰坊工程職業(yè)學院 信息工程系，山東 濰坊 262500）

：為了解決當前線束端子截面難以用人眼方式完成品質檢查問題，基于軟件設計開發(fā)和圖像測量分析技術，開發(fā)出一套端子圖像測量分析軟件系統(tǒng)。首先，根據人工檢查流程做軟件需求分析和功能流程設計，形成標準化的工業(yè)軟件架構和框架模塊。然后，結合相機軟體控制開發(fā)和圖像采集分析，實現圖像測量任務集，達到對端子圖像目標各個維度的測量目的。最后，將圖像測量模塊整合到軟件系統(tǒng)中，并且集成進用戶登錄管理、加密狗管理、數據庫管理和報告管理，達到符合商業(yè)化落地標準的工業(yè)軟件系統(tǒng)。實驗測試結果顯示，本系統(tǒng)有利于減輕人工肉眼檢查的負擔，為線束端子品質檢查提高了精準度和效率。

人機交互；目標檢測；端子測量；軟件架構；框架功能

電線線束的品質檢測關系很多重要領域和行業(yè)，比如供電行業(yè)、汽車車身電子系統(tǒng)和其他用電設備，因此，線束中的端子截面測量業(yè)務非常重要。目前絕大部分廠家都還只是依靠品質人員的肉眼完成端子測量工作，不僅測量準確度有限，效率和穩(wěn)定性也不能保證。

在端子測量方面，國內研究人員已經取得了一定研究成果，如侯守明[1]針對傳統(tǒng)壓接端子檢測靠品檢人員目測判斷，精準度低且耗時費力的問題，設計了C-V模型，通過能量函數來控制演化曲線[1]，實現線束端子斷面輪廓的自動測量。但是該技術僅停留在算法層的實驗室階段，沒有以標準化工業(yè)軟件作為載體，缺乏落地基礎和推廣性?；ㄆ鎇2]通過對端子截面外形特征分析，研究制定具體檢測方案，確定視覺選型；以LabVIEW搭配IMAQVision建立軟件系統(tǒng)[2]。但是，該技術使用了商業(yè)視覺軟件LabVIEW和IMAQVision，缺乏實際推廣性，而且商業(yè)軟件缺乏底層靈活性，在復雜多變的工業(yè)需求場景下，往往不能同時滿足測量需求。王彥朝[3]從圖像采集、測量、標定角度來完成對端子截面測量；通過視覺選型設計，采用亞像素檢測，可以解決一定場景下的端子測量任務，但未考慮亞像素角點測量耗時大，且缺乏系統(tǒng)的標準軟件作為測量功能的載體，在特定的場景中，算法測量效果一般會有所下降。

本研究當中的測量對象是端子截面，根據品質檢查流程，開發(fā)出標準工業(yè)軟件系統(tǒng)，根據各種型號的端子截面特征，開發(fā)出端子截面測量算法工具集。本文結合人機交互軟件工程與目標檢測工具集，設計并開發(fā)了一套線束端子截面測量軟件系統(tǒng)。本文解決兩個問題：實現端子截面測量，解決肉眼難以精準測量的問題；實現工業(yè)級軟件系統(tǒng)，解決品質人員操作復雜和產出不穩(wěn)定問題。

1 端子測量系統(tǒng)設計

首先本課題組在實際工廠中收集各種常見型號的端子樣品，收集當下品質人員檢查端子的流程和標準。根據這些信息，展開系統(tǒng)需求分析，并反復與廠家品檢負責人員討論確認，迭代優(yōu)化整體解決方案。本文系統(tǒng)流程設計如圖1所示?；跇藴始瓿上到y(tǒng)校準，得到不同放大倍數下物理尺寸和像素尺寸的映射關系。接著，基于DirectShow開發(fā)相機控制驅動，達到系統(tǒng)對相機的控制，為采集圖像做好準備。最后結合圖像測量算法和人機交互軟件功能，形成多種端子測量工具，得到測量結果，生成測量報告。待識別原圖如圖2所示，圖像中為端子截面，需要對高度、寬度等一系列指標進行測量。

1.1 基于工業(yè)軟件系統(tǒng)的人機交互

為了系統(tǒng)可以準確測量端子橫截面，首先進行系統(tǒng)校準，目的是為了把不同放大倍率下的圖像像素坐標與物理尺寸進行統(tǒng)一，并形成映射計算關系。如圖3所示，在1.5放大倍數下，將標準件放在相機視野內，調整廣源和相機焦距，達到圖像清晰為止。本系統(tǒng)開發(fā)出的測量工具，經過人機交互調整，放在4cm到6cm處，可見2cm距離對應395像素，同理推廣到1倍、0.75放大倍數上，從而完成校準，接著基于DirectShow開發(fā)相機設置函數功能，如圖4所示。增益作為相機關鍵參數，代表放大系數，當不想調節(jié)曝光時間時，調整增益；增益越大，噪點越大。白平衡的目的就是在不同情況下，相機拍攝的圖像白色區(qū)域始終為白色，這需要對紅色、綠色和藍色道進行調整，本系統(tǒng)同時保留自動白平衡和手動調整白平衡的接口。本研究設計的自動白平衡原理為：先計算各通道的顏色均值，然后計算通道增益，最后調整各個通道顏色值，達到白平衡調整目的。

圖1 系統(tǒng)框架

圖2 待測量圖像

圖3 系統(tǒng)校準

圖4 相機設置

圖5 測量工具

如圖5所示，進行端子截面測量，本系統(tǒng)以控件形式開發(fā)出測量工具，控件支持手動調整，將控件兩端放置在端子截面的兩端，即待測目標的兩側，由于控件工具實時獲取所在坐標像素，即實時完成起止坐標位置的像素差，完成計算測量同時顯示測量結果于端子截面上，以文本形式顯示測量結果。如圖6所示，本系統(tǒng)對端子截面各項參數完成測量，數據記錄在后臺，系統(tǒng)自動提取后臺測量結果，并且生成測量報告，并且軟件系統(tǒng)支持報告修改和微調，保存后可以打印。

1.2 目標檢測與測量

在實際落地場景中，需要采集大量端子樣本圖像用于學習研究和測試，本課題組采集了1000幀端子圖像，涵蓋各種型號。首先采用基于OpenCV的目標檢測，這種方式可以檢測出大部分端子目標，少部分情況，檢測到的效果會有一定程度的受到影響，這種案例較少，針對這種問題可采取人工介入的一種方式，就可以保證檢測效率以及檢測質量。

為了增強端子圖像特性，進行直方圖均衡化處理[4-5]：

其中，,代表圖像高、寬，histo()代表像素灰度值是的像素個數。

其中，histo代表輸出直方圖，histi代表輸入圖的直方圖，和分別代表圖像處理前后的灰度級，并以此建立一個均衡化映射關系[6-7]：

隨后，對式(3)進行轉化，得到值：

其中，值代表經過均衡化后的像素灰度映射值。

再對輸出的直方圖進行圖像矩陣化處理[8-10]：

其中，代表像素值，代表輸入像素值[8-10]。

在完成直方圖的均衡化處理之后，再檢測端子，本研究其中利用開源視覺庫函數[11]檢測到并保存到目標外接的矩形大小，得到測量值。完成測量后，進行數據后臺存儲。本系統(tǒng)先建立深軟件框架結構，集成測量工具，完善測量機制，達到精確測量的目的，同時形成自動測量。圖像采集完成后自動測量，提高了測量工程效率及質量。

本方法在圖像直方圖均衡化基礎上，展開圖像測量工作，各個測量任務主要是通過開發(fā)測量控件完成。每個控件采用人機交互式的軟件工程開發(fā)實現，比如距離測量，取距離測量控件起點和終點的像素差值，計算出距離值。

如圖7所示，本系統(tǒng)對端子截面目標測量準確。如圖8所示，本系統(tǒng)對端子截面目標的夾角角度測量準確。

圖7 自動測量結果

圖8 自動測量結果

2 實驗與討論

本文系統(tǒng)基于QT平臺開發(fā)實現，測量工具基于opencv開發(fā)實現。

如圖9所示，本系統(tǒng)界面，功能有：“距離測量工具”“面積測量工具”“角度測量工具”“計數測量工具”“系統(tǒng)校準”“相機控制”“報告編輯生成”和“用戶管理”。待識別的圖像，如圖9中部所示，待識別的端子邊緣有一定模糊度，對測量工作有一定的影響。

本研究根據品質檢查流程，開發(fā)出標準工業(yè)軟件系統(tǒng)，根據各種型號的端子截面特征，開發(fā)出端子截面測量算法工具集；結合人機交互軟件工程與目標檢測工具集，設計并開發(fā)了一套線束端子截面測量軟件系統(tǒng)。如圖10所示，可見本研究測量正確且穩(wěn)定，圖中檢出各項測量結果。

便于對比類似計數，驗證本系統(tǒng)先進性，將對照組1, 2進行對比，依次采用文獻[1], [2]的技術，在系統(tǒng)內進行測試對比研究效果。文獻[1]設計了C-V模型，通過能量函數來控制演化曲線，實現線束端子斷面輪廓的自動測量。該研究成果解決了一定量的測量問題，但輪廓演化方式的初始演化線需要人工選擇才能達到良好效果[1]。如圖11所示，端子目標雖然檢測正確，但測量沒成功，不能較好的完成端子測量。文獻[2]通過對端子截面外形特征分析，研究制定具體檢測方案，確定視覺選型；以LabVIEW搭配IMAQVision建立軟件系統(tǒng)，缺乏實際推廣性，而且商業(yè)軟件缺乏底層靈活性，在復雜多變的工業(yè)需求場景下，往往不能同時滿足測量需求。如圖12所示，當檢測有誤時，導致測量不出結果。

圖9 系統(tǒng)界面圖及待測量圖像

圖10 本文算法測量結果

圖11 文獻[1]的測量結果

圖12 文獻[2]的測量結果

3 結束語

便于解決當前端子圖像特征難以用人工測量的方式，穩(wěn)定高效輸出的問題，本文分別從軟件系統(tǒng)、端子樣本圖像、測量工具集出發(fā)，設計軟件操作流程、測量算法工具集，并集成開發(fā)出標準化的工業(yè)軟件系統(tǒng)，建立起一套健壯的端子圖像測量機制。為端子圖像測量的準確性以及穩(wěn)定性，提供算法保證以及軟件基礎。

繼續(xù)要解決的問題是軟件升級，提高到無人工干預的狀態(tài)，實現自動化及智能化，更好的提高工作效率和端子的品質。

[1]侯守明. 基于C-V模型的線束端子斷面測量系統(tǒng)設計[J]. 測控技術，2015, 3(5): 23-27

[2] 花奇. 基于LabVIEW的機器視覺檢測系統(tǒng)設計及其在硬盤連接器生產中的應用[D]. 南通：南華大學，2015: 25-32

[3]王彥朝. 基于機器視覺的端子高低針檢測系統(tǒng)研究[D].哈爾濱：黑龍江大學，2018: 45-52

[4] Choo M. Image contrast enhancement based on genetic algorithm using a variant histogram equalization[J]. The Journal of Image and Cultural Contents, 2018, 14(11): 219-230

[5] Abdoon R S, Khudair O S. Employing histogram equalization enhancement technique to segment different medical images of three organs [J]. Journal of Advanced Microscopy Research, 2018, 13(4): 494-502

[6] 李亮，李棟. 一種基于FPGA的實時直方圖均衡化的方法[J]. 自動化應用，2015, 12(10): 21-23

[7] 陳博洋. 彩色遙感圖像的亮度直方圖局部線性化增強[J]. 光學精密工程，2018, 25(2): 502-508

[8] 張美玉，王洋洋，侯向輝. 基于ORB和改進的RANSAC圖像拼接算法[J]. 計算機科學，2019, 27(S2): 294-298

[9] 蘇金鳳，張貴倉，汪凱. 圖像差與加權核范數最小化的壓縮圖像融合[J]. 計算機工程與科學，2019, 41(10): 1785-1794

[10]張琳娜，岑翼剛. 鐵軌圖像的低秩矩陣分解缺陷檢測[J]. 信號處理，2019, 35(4): 667-675

[11] 向洋. 混合樣本融合邊緣信息的單樣本人臉識別研究[J]. 計算機技術與發(fā)展，2019, 8(4): 31-36

Application of terminal image measurement system based on human computer interaction and target detection

GUO Fang，WANG Yuan-yuan

(Department of Information Engineering, Weifang Engineering Vocational College, Shandong Weifang 262500, China)

In order to solve the problem that it is difficult to complete the quality inspection of wire harness terminal section by human eyes, this study develops a terminal image measurement and analysis software system based on software design and development and image measurement and analysis technology. First of all, according to the manual inspection process, do software requirements analysis and functional process design to form a standardized industrial software architecture and framework module. Then combined with camera software control development and image acquisition and analysis, the image measurement task set is realized to achieve the measurement purpose of each dimension of terminal image target. Finally, the image measurement module is integrated into the software system, and integrated into the user login management, softdog management, database management and report management, so as to meet the commercial landing standard of industrial software system. The experimental results show that the system can reduce the burden of manual visual inspection, and improve the accuracy and efficiency for the quality inspection of wiring harness terminals.

human computer interaction；target detection；terminal measurement；software architecture；framework function

2020-08-18

濰坊市科技發(fā)展計劃項目“基于物聯(lián)網的智能交通信息采集系統(tǒng)設計與實現”（2017GX099）；山東省職業(yè)教育與成人教育科學研究“十二五”規(guī)劃課題“基于職業(yè)能力發(fā)展的中高職課程銜接研究——以計算機應用技術專業(yè)為例”（2015zcj108）

郭芳（1983-），女，山東諸城人，講師，碩士，主要從事計算機應用，通信電子方面研究，303207877@qq.com。

TP391.41

A

1007-984X(2021)01-0047-04