王大歡,閆建剛,焦廣銳,張廣豐,張海懋
(首都航天機(jī)械有限公司,北京 100076)
電連接器作為連接火箭上各類電氣產(chǎn)品的媒介,廣泛存在于各類航天產(chǎn)品中。受產(chǎn)品空間尺寸的限制和電氣產(chǎn)品的多樣化影響,電連接器的型號和規(guī)格日益增多。為了在裝配前確認(rèn)電連接器無多余物、歪針、縮針等質(zhì)量問題,在所有電氣產(chǎn)品交付總裝時,需要對電連接器進(jìn)行裝配前的接收檢查[1]。
目前,受檢查手段、產(chǎn)品型號、規(guī)格變化等影響因素的限制,接收檢查的工作由人工進(jìn)行,工人需要對電連接器內(nèi)部是否有多余物、插針是否有歪針和縮針現(xiàn)象進(jìn)行判斷[2],如果有多余物,則進(jìn)行清理,如果有歪針和縮針現(xiàn)象,則需要聯(lián)系廠家進(jìn)行處理,確認(rèn)無問題的電連接器,則拍照進(jìn)行多媒體留存和備查。如圖1 和圖2 所示,為航天產(chǎn)品所使用的典型電連接器。其中,圖1 為可動電連接器(插頭),一般情況下內(nèi)部為插針;圖2 為固定電連接器(插座),一般情況下內(nèi)部為插孔。
圖1 可動電連接器
圖2 固定電連接器
從以上操作流程可以看出,電連接器的關(guān)鍵部位一般由眾多插針或插孔組成,電連接器的接收檢查過程受操作人員和檢驗人員的情緒和視覺疲勞程度、個人檢查水平和經(jīng)驗、工作環(huán)境的明暗變化等主客觀影響極大,并且,檢查效率相對較低,且其合格判定標(biāo)準(zhǔn)難以保持高水平和一致性。
為了提高接收檢查效率,并將其逐步標(biāo)準(zhǔn)化,引入機(jī)器視覺系統(tǒng),對電連接器進(jìn)行檢查。根據(jù)機(jī)器視覺檢查的流程,對其分為以下幾步[3],如圖3 所示。
在以上幾個流程節(jié)點中,標(biāo)準(zhǔn)匹配、區(qū)域劃分、質(zhì)量檢查是關(guān)鍵問題,關(guān)系到自動接收檢查系統(tǒng)的精度、效率、可信度,下面針對3 個關(guān)鍵問題進(jìn)行分析。
在建立電連接器產(chǎn)品標(biāo)準(zhǔn)庫后,即可通過匹配標(biāo)準(zhǔn),對同一型號的標(biāo)準(zhǔn)件和被檢件進(jìn)行匹配。匹配的原則是將2 幅圖像中相同的場景或特征點進(jìn)行匹配,并通過坐標(biāo)變換,將2 幅圖進(jìn)行匹配。
互相關(guān)法是最早的用于圖像配準(zhǔn)的方法之一,其原理簡單,且性能穩(wěn)定,因此使用非常廣泛?;诨ハ嚓P(guān)法,Barnea 等[4]提出了一種序貫相似檢測算法,通過引入相似閾值的辦法減少了計算量,但是該算法降低了對亮度、對比度變化的穩(wěn)定性。Anuta 等提出基于快速傅里葉變換的圖像配準(zhǔn),該方法不在空間域進(jìn)行圖像配準(zhǔn),而是通過傅里葉變換,在頻率域內(nèi)對比2 幅圖像的相似性,然后在頻率域和空域之間互相轉(zhuǎn)換,最終得到圖像配準(zhǔn)結(jié)果。Shannon 等提出考慮2 幅圖像之間的交互信息衡量其相似程度。互信息法最早應(yīng)用于醫(yī)學(xué)領(lǐng)域,主要用于醫(yī)學(xué)影像多模態(tài)圖像的對比和查看[5]。
互相關(guān)法的原理,即為采用圖像區(qū)域進(jìn)行對比然后匹配,主要考慮整個圖像的相似性,圖像標(biāo)準(zhǔn)配準(zhǔn)易于實現(xiàn),但是其結(jié)果受圖像質(zhì)量影響大,其對光照變化、圖像遮擋、視角變換等較為敏感,計算較為復(fù)雜。為了彌補(bǔ)該方法的不足,有學(xué)者提出基于特征的標(biāo)準(zhǔn)匹配方法。
基于圖像特征的標(biāo)準(zhǔn)匹配方法,采用圖片中有明顯特征的點、線或區(qū)域作為判別特征,考慮特征之間的相似性。特征點相對于區(qū)域,更能適應(yīng)較復(fù)雜的幾何變換,因此處理復(fù)雜圖像的能力更強(qiáng)。同時,圖像中特征的數(shù)量遠(yuǎn)少于像素點數(shù)量,使用該方法有更高的計算效率。
由于基于特征的算法主要使用的是圖像中的顯著特征進(jìn)行標(biāo)準(zhǔn)匹配,因此對于圖像中相關(guān)特征的處理極為重要。特征的處理主要分為2 個部分,特征提取和特征匹配[4]。
在特征提取過程中,合格的特征點或位置應(yīng)當(dāng)具有以下特點:①易于計算其位置;②圖像的變形不影響其計算;③特征與特征之間差異明顯;④數(shù)量上要有保證;⑤提取速度快。
一般情況下,圖像中的點、邊緣、區(qū)域都可以作為圖像提取特征[6-7]。其中,點作為特征,可以直接使用其坐標(biāo)作為特征位置,其計算較為準(zhǔn)確,且對于各類對圖像本身影響較大的因素如亮度、尺寸等不敏感,因此應(yīng)用最為廣泛。
特征的匹配是要從圖像特征集合中找出相互匹配的特征,并進(jìn)行坐標(biāo)變換,使圖像特征之間進(jìn)行匹配。在對2 個特征集中的特征進(jìn)行匹配的時候,對于特征維度低、特征數(shù)量少的問題,一般使用窮舉法,將特征逐一比較,得到最優(yōu)匹配。
航天產(chǎn)品電連接器由于結(jié)構(gòu)形式上相對單一,采用區(qū)域配準(zhǔn)和特征配準(zhǔn)的方法均可以實現(xiàn)圖像匹配,但是由于部分連接器上有較深的凹槽和下陷特征,導(dǎo)致光線和明暗變化較大,且電連接器為了保證防差錯,不同的電連接器普遍有不同的特征,因此,采用基于特征的標(biāo)準(zhǔn)匹配方法相對有優(yōu)勢。
在電連接器的結(jié)構(gòu)中,由于人工對電連接器操作時,也需要區(qū)分其上的各種特征,主要分為以下幾類:①插針和插孔的點位特征;②電連接器的卡槽特征;③電連接器的邊線特征。
插針和插孔在目前的接收檢查過程中,對插針的主要檢查項目為其是否存在縮針和歪針的現(xiàn)象,對插孔的主要檢查項目,為插孔內(nèi)是否有多余物。同一類型和型號的電連接器,其插針和插孔的位置是相對固定的,每個針和孔都具有唯一性,可以對部分特征直接進(jìn)行標(biāo)準(zhǔn)匹配。
電連接器的卡槽特征,一方面是為了在電連接器的插接過程中起導(dǎo)向作用;另一方面,電連接器的卡槽基本為不對稱的設(shè)置,且有一個獨立特征或組合特征具有唯一性,可以使用該特征進(jìn)行標(biāo)準(zhǔn)匹配。
目前在航天型號中使用的電連接器,其邊線特征主要有2 種,一種是圓形,使用外套螺母形式進(jìn)行鎖緊;一種為方形,使用卡扣方式進(jìn)行鎖緊[8]。不同針數(shù)的電連接器,其大小一般不同,且電連接器上的針、孔的位置排列一般也不同,可以使用其外形邊線、孔位、獨有特征進(jìn)行提取和標(biāo)準(zhǔn)匹配。
圖像區(qū)域劃分就是通過對圖像中具有高度相似性的部分劃分到一起,而不同的區(qū)域之間圖像上的特征相差往往較大。對于電連接器而言,由于其內(nèi)部的結(jié)構(gòu)一般較為規(guī)整,在設(shè)計和制造上都有其相應(yīng)的標(biāo)準(zhǔn),因此,一般不存在對比較為強(qiáng)烈的部分,但是一張電連接器檢查的圖像上,一般不可能只有電連接器,還可能有其他相對于電連接器檢查并不重要的特征和像素點。因此,電連接器的區(qū)域劃分,主要是劃分電連接器本體的區(qū)域和無用的區(qū)域。
關(guān)于圖像區(qū)域劃分和分割,目前主要使用的方法為閾值法、邊緣分割法、區(qū)域分割法。3 種方法可以適用于不同場合,并沒有一種通用的框架可以解決所有的圖像分割問題。
閾值法具有很快的圖像區(qū)域劃分速度,適合對目標(biāo)的單一特征差異較大的圖像進(jìn)行分割。但是其對復(fù)雜圖像的分割效果較差,易受噪聲干擾。
邊緣分割法通過區(qū)分圖像中相關(guān)特征出現(xiàn)急劇變化的區(qū)域來實現(xiàn)圖像區(qū)域劃分,但是邊緣分割法易受到其他類別的特征影響,同時,由于圖像本身一般都存在模糊和噪聲區(qū)域,因此采用邊緣分割法進(jìn)行圖像分割后,還需要對邊緣進(jìn)行二次處理。
區(qū)域分割法目前主流的方法有種子點生長法、分水嶺算法、分裂合并法等。區(qū)域分割法相對于閾值法和邊緣分割法而言,分解復(fù)雜圖像的能力更強(qiáng),但是由于其運(yùn)算復(fù)雜且運(yùn)算量大,因此對于分解簡單圖像而言,并不適用。
綜合以上3 種方法,在電連接器接收檢查的圖像中,由于一般電連接器的邊緣較為整齊且規(guī)則,因此采用邊緣分割法,可以實現(xiàn)較好的圖像分割,但是由于邊緣分割法易受到其他類別的特征影響,因此在接收檢查的圖像中,應(yīng)當(dāng)盡量減少其他特征。
在人工對電連接器進(jìn)行檢查時,由于存在許多溝槽、深孔等特征,檢查時,需要對連接器進(jìn)行多方位的對光檢查,同時,由于一般的存在于電連接器內(nèi)部的多余物都非常細(xì)小,直徑往往只有0.1 mm 量級左右,因此在拍照記錄后,還需要將照片放大,分區(qū)域進(jìn)行檢查。
圖像的自動檢查過程,主要為模擬人眼發(fā)現(xiàn)電連接器質(zhì)量缺陷的過程。人在瀏覽和觀察復(fù)雜場景時,能夠?qū)⒔裹c快速定位到自己感興趣或突出的目標(biāo)上,而且能自動忽略和過濾背景信息,稱為視覺選擇性注意機(jī)制。因此在電連接器檢查時,其中出現(xiàn)的多余物等質(zhì)量缺陷,就是需要尋找和甄別出來的突出目標(biāo),也可以稱為視覺顯著性的點或區(qū)域。
基于人類視覺發(fā)現(xiàn)的原理,國內(nèi)外研究人員提出了多種視覺模型,最初的模型針對圖像使用的顏色、亮度、方向的3 種基礎(chǔ)特征進(jìn)行描述,提取圖像中的對比度較高的目標(biāo)。經(jīng)過研究發(fā)現(xiàn),使用生物視覺模型,往往在圖像邊緣處的對比度最大,因此后續(xù)的研究者從純數(shù)學(xué)角度出發(fā),對視覺顯著性進(jìn)行研究。目前,主要的視覺顯著性檢測方法,可以按照基于生物原理和基于純數(shù)學(xué)計算的模型,也可以根據(jù)對比度的覆蓋范圍,分為局部對比度模型和全局對比度模型[4]。
基于生物視覺原理的檢測方法最符合人類視覺原理,但是存在計算量大、分辨率低的問題。采用純數(shù)學(xué)的方式,根據(jù)不同數(shù)學(xué)工具,對圖像視覺注意的核心——對比度進(jìn)行處理,得到顯著性圖像。研究人員分別從頻域和空域采用不同數(shù)學(xué)模型進(jìn)行圖像處理,得到最終結(jié)果。在以對比度為主要指標(biāo)的檢測方法中,早期主要以局部對比度模型為主流,最著名的ITTI 模型考慮某個像素點與其8 個方向鄰域像素的對比度,并且,為了解決此方法導(dǎo)致的考慮范圍太小的問題,在多尺度上提取圖像特性以兼顧大目標(biāo)的局部和整體顯著性。全局對比度方法關(guān)注參考點與整幅圖像的對比度,有利于突出顯著目標(biāo)。
根據(jù)以上對現(xiàn)有的圖像視覺顯著性檢測方法的分析和對比,考慮航天電連接器檢查過程中的相關(guān)特征和流程,采用局部對比度檢測方法。在典型電連接器中,其內(nèi)部的特征趨于一致,相互之間差別很小,并且,其多余物或者插針的縮針、歪針現(xiàn)象一般都較為細(xì)小且為極少數(shù)目標(biāo),用局部對比度檢測方法更符合人眼觀察習(xí)慣,且能減少計算量,能更快地檢測出質(zhì)量缺陷。
根據(jù)前文的描述,設(shè)計一種針對航天電連接器產(chǎn)品的檢查系統(tǒng)。
檢查系統(tǒng)由條碼槍、攝像機(jī)、照明系統(tǒng)和圖像處理計算機(jī)組成[9],其中攝像機(jī)主要對需要檢查的電連接器進(jìn)行拍照;照明系統(tǒng)主要為拍照過程中進(jìn)行補(bǔ)光,防止拍照過程中出現(xiàn)大面積陰影,影響圖像識別;圖像處理計算機(jī)主要包括電連接器標(biāo)準(zhǔn)數(shù)據(jù)庫和圖像處理相關(guān)軟硬件;條碼槍主要為產(chǎn)品的建檔使用,方便后續(xù)相關(guān)多媒體記錄的歸檔和查閱。
首先,需要制定電連接器檢查過程標(biāo)準(zhǔn)。根據(jù)前文分析,電連接器在檢查過程中,使用圖像特征進(jìn)行配準(zhǔn),然后使用邊緣分割法進(jìn)行圖像區(qū)域劃分,最后使用局部對比度方法與標(biāo)準(zhǔn)比較卡進(jìn)行比較,確認(rèn)電連接器是否有多余物、縮針、歪針等質(zhì)量問題。在進(jìn)行圖像配準(zhǔn)過程中,雖然基于特征的配準(zhǔn)方法對于圖像亮度、大小等的變化敏感度不高,但是為了減少計算量,提高圖像配準(zhǔn)速率,需要對圖像形成過程中的相關(guān)參數(shù)進(jìn)行規(guī)定,并在建立標(biāo)準(zhǔn)庫和檢查過程中嚴(yán)格執(zhí)行。另外,標(biāo)準(zhǔn)中也需要規(guī)定相關(guān)質(zhì)量缺陷的范圍,方便進(jìn)行界定。
其次,需要建立標(biāo)準(zhǔn)庫,針對不同的電連接器,按照型號分類,并對同種電連接器進(jìn)行檢查,確認(rèn)其合格后,按照標(biāo)準(zhǔn)規(guī)定的光照、距離、角度和相機(jī)像素等條件進(jìn)行拍照記錄,作為標(biāo)準(zhǔn)比較卡,并給標(biāo)準(zhǔn)比較卡賦碼,方便后續(xù)的查詢和訪問。每一發(fā)次航天產(chǎn)品上的電氣元件交付時,都附帶本型號所使用的所有電連接器的數(shù)據(jù)庫。
最后,設(shè)計一款電連接器產(chǎn)品接收檢查系統(tǒng),系統(tǒng)上有不同的工裝卡扣,用來安裝固定各種電連接器的插頭和插座,并能根據(jù)標(biāo)準(zhǔn)要求,對位置進(jìn)行適當(dāng)調(diào)整。另有符合標(biāo)準(zhǔn)的照明系統(tǒng)和工業(yè)攝像機(jī),可以在工作臺上進(jìn)行移動調(diào)節(jié),保證位置、角度等符合標(biāo)準(zhǔn)要求。在完成拍照后,照片實時導(dǎo)入圖像處理計算機(jī)并進(jìn)行分析,作出有無質(zhì)量缺陷的判斷。如果沒有質(zhì)量缺陷,則顯示“合格”;如果存在質(zhì)量缺陷,則顯示質(zhì)量缺陷的位置和類型,如果缺陷為多余物,則由人員進(jìn)行清理;如果顯示為歪針、縮針等,則需操作人員進(jìn)行判斷,并返廠維修。最終,將所有的檢查數(shù)據(jù)進(jìn)行匯總,按型號產(chǎn)品賦碼,并進(jìn)行存儲,如果需要,可進(jìn)行打印[10]。
根據(jù)以上功能需求,電連接器的接收檢查系統(tǒng)的組成如圖4 所示。
圖4 接收檢查系統(tǒng)組成圖
根據(jù)以上研究,對基于機(jī)器視覺的航天電連接器產(chǎn)品的接收檢查過程進(jìn)行了分析,對其中的標(biāo)準(zhǔn)匹配、區(qū)域劃分、質(zhì)量檢查等關(guān)鍵技術(shù)進(jìn)行了相關(guān)的分析,對這幾項關(guān)鍵技術(shù)中較為符合航天電連接器接收檢查過程的技術(shù)進(jìn)行了選擇,并基于關(guān)鍵技術(shù),設(shè)計了一款電連接器產(chǎn)品接收檢查系統(tǒng),用于對電連接器產(chǎn)品進(jìn)行檢查并能夠存儲、處理、傳遞和查詢相關(guān)質(zhì)量信息。通過該系統(tǒng),可以有效減少電連接器接收檢查過程中的人工操作,提高工作效率,降低工作失誤,為航天產(chǎn)品的自動化生產(chǎn)中的接收檢查工作提供依據(jù)。