張 波,李瀧杲,郝 龍,主 逵
(1.南京航空航天大學機電學院,南京 210016;2.深圳市勁拓自動化有限公司,深圳 518216)
飛機各零部件裝配產生的間隙階差對氣動外形的可靠性起關鍵作用,對超音速飛機與隱形飛機影響更為突出。因此,間隙階差的精確提取在飛機檢測中顯得十分重要。隨著數字化測量設備的進步,國內外對間隙階差提取技術研究也愈加深入。
國外對間隙階差提取技術研究十分成熟,其中激光測量技術因為其速度快、精度高、適應性強等優(yōu)點成為提取間隙階差的主流方向。Kosmopoulos 等[1]構建了雙紅外LED 燈的雙目視覺測量系統(tǒng),利用CCD 相機接受反射光以獲取間隙階差。Yi 等[2]構建了基于結構光的雙目視覺測量系統(tǒng),針對雙目視覺效率低的問題,對結構光調制后的圖像差分進行積分來提取光條中心,克服了由于激光亮度低所帶來的較大誤差,實現(xiàn)了低照度的精確測量。Yakup 等[3]通過拍攝間隙的圖像,應用霍夫變換確定通過邊緣像素的邊線來計算間隙。Tran 等[4]構建多線結構光的單目視覺測量系統(tǒng),將線特征數字化,進行期望計算,排除不合格的圖像,使用剩下的圖像計算間隙階差,該系統(tǒng)對噪聲具有較好的魯棒性。國外相關應用設備有英國Gapgun系列與德國8Tree公司的stepCHECK 等。
國內對間隙階差的提取技術也進行了許多研究。沈昌力[5]、張卡[6]均基于線結構光展開蒙皮對縫間隙階差視覺測量技術的研究,但單線結構光與對縫的夾角對此類方法影響較大,不具備平均效應。陳松林等[7]采用光柵投影的方法測量蒙皮對縫,依靠非必要特征的間隙零點提取特征,此方法局限性強。嚴成等[8]基于三維點云提取飛機蒙皮間隙階差,以掃描線序列點歐氏距離提取特征點,點云質量影響較大,可靠性不足。
針對上述不足,本文對間隙階差提取方法做出了改進。首先根據數模邊線進行測量位置點規(guī)劃;其次采用PCA 與包圍盒法分割子點云;再調整SVM 超平面,分割點云;然后對點云三角劃分,結合超平面提取邊界點、邊緣點及臨界點;最后根據數學模型提取間隙階差。該方法提高了特征點提取的精度與可靠性,不受跳點、間斷點等點云缺陷的影響,降低了點云質量對間隙階差提取精度的影響。
針對T–scan采集數據的特點,建立了間隙階差的數學模型,如圖1所示。對縫結構的實測階差計算方法如下:保持平面α(設方程為ax+by+cz+d=0)法向不變,將平面α平移至經過右側臨界點qi2(x2,y2,z2),點qi2到平面α的歐式距離即為第i條掃描線的實測階差flushi。
實測間隙計算方法如下:將邊緣點pi0投影至平面α,得到點pi0'。將邊緣點li0投影至平面α,得到點li0'。記pi0'li0'的點間距即為該掃描線實測間隙gapi。
考慮到T–scan 掃描線點云存在的點間距會導致對縫結構件的實測邊緣點與理論邊緣有一定的距離,其最大誤差為2倍的點間距,根據試驗取經驗偏置系數為1.4,ρ為點間距,則
根據圖1數學模型可知需要提取邊緣點、臨界點及平面α的擬合點(圖1中平面α為兩側平面點擬合平面;qi1、qi2為臨界點;pi0、li0分別為兩側的邊緣點;pi0'、li0'為邊緣點到平面的投影點)。
圖1 間隙階差數學模型Fig.1 Mathematical model of gap and flush
對縫結構檢測時采集的三維點云數據量較大,結構兩側一般存在微小曲率,沿對縫邊界各個位置點的間隙階差也不相同。因此,要提取各位置點處子點云間隙階差值,需提取縫隙邊界,進行測量點規(guī)劃,然后根據各個測量位置點,分割相應的子點云進行后續(xù)處理。
數模與點云數據通過基準對齊后,數模縫隙邊界離散點為測量點。當不存在對齊基準時采用交互式選取。本文以數??p隙邊界離散點為測量點,采用等弦長離散法獲取離散點,其相鄰離散點的距離相等,設當前離散節(jié)點Fi=F(ti),離散弦長為ΔL,下一離散節(jié)點Fi+1=F(ti+1),則按照如下方法對曲線進行等弦長離散:以Fi為圓心,做半徑為ΔL的圓,圓與曲線的交點即為Fi+1,各離散點作為對縫測量點P,如圖2所示。
對縫結構各位置裝配時所受約束不均勻,導致各處間隙階差不同??紤]存在微小曲率,在測量點P處建立AABB包圍盒分割出子點云[9]。由T–scan 掃描線的寬度、線間距、點間距,可以將包圍盒的長度L設為掃描線寬度的1/2、寬度W設為線間距的30倍、高度H可設為適當的固定值。
2.1 PCA法向量估計
建立包圍盒需要提取出點云的主法向,基于PCA算法估計點云法向是將子點云每個點k鄰域擬合最小二乘平面,將擬合平面的法向量作為該點的法向量[10–11]。對于點p的k鄰域的擬合局部平面問題可以轉化為局部鄰域協(xié)方差矩陣M進行特征值分界,M最小特征值對應的特征向量即為點p的法向量,p點的局部鄰域協(xié)方差矩陣如式(3)所示。
以測量點P為球心,包圍盒寬度W為直徑,取P點的局部鄰域G1。對G1的所有點構建k鄰域,半徑為r(取0.8mm)。根據PCA算法,估計G1所有點的法向量,視點方向統(tǒng)一,對所有法向量進行最小二乘濾波去除雜點,并取中值,獲取局部鄰域G1的單位法向量。當對縫兩側為小曲率時,G1的單位法向量與對縫兩側平面點擬合平面的法向量夾角在1.52°以下,滿足法向對齊要求。
2.2 提取子點云
通過世界坐標系S下包圍盒兩個頂點,建立AABB包圍盒分割點云。其中,AABB包圍盒的內點滿足條件:xmin≤x≤xmax,ymin≤y≤ymax,zmin≤z≤zmax,如圖3所示,滿足上述條件的點即為子點云。
嚴成等[8]以點與點之間的歐式距離來區(qū)分各掃描線,然后以每條掃描線的相鄰點歐式距離來區(qū)分左右兩側的點云,并篩選特征點。此方法不僅計算量大,可靠性也很低,無法避免數據中跳點、間斷點的影響,這會導致錯誤判斷點的歸屬,造成特征點提取不準確,如圖4所示。
針對上述不足,采用二分類問題中表現(xiàn)優(yōu)異的SVM算法進行分類[12–13]。提取對縫兩側點云的邊緣點需要準確分割兩側點云數據,采用SVM 分類模型直接分類并不能保證分類的準確率,故對SVM算法得出的超平面進行調整后分類,分類流程如圖5所示。
3.1 SVM獲取超平面
SVM 超平面方程可以表示為:ωTx+b=0,其中ω=(ω1,ω2,…,ωd)為法向量;b為位移項,決定超平面與原點的距離。
圖2 測量位置點規(guī)劃Fig.2 Planning of measurement position
圖3 包圍盒分割點云Fig.3 Segmentation of point cloud based on bounding box
圖4 點云數據缺陷Fig.4 Defect of point cloud
φ(x)為x映射后的特征向量,超平面的約束參數ω和b滿足式(5)。
將支持向量回歸(SVR)問題形式化以下約束問題進行求解:
其中,C為正則化常數;ξi和為松弛變量。引入拉格朗日乘子利用拉格朗日乘子法,并對ω、b、ξi和的求偏導處理后得到SVR的對偶問題:
引入線性核函數к(xi,xj)=φ(xi)Tφ(xj),上述過程需滿足KKT條件,SVR 解形如:
3.2 點云法向對齊
S1是以對齊點云數據測量位置點P為原點,以向量為一組基的坐標系。設S2是以訓練點云數據測量點P'為原點,以向量為一組基的坐標系。
訓練數據坐標系和對齊數據坐標系的z軸是以各自測量位置點根據PCA算法估計的局部鄰域法向方向。點云數據的對齊變換過程可分為平移變化與旋轉變換求解,利用式(2)可以求得點P在坐標系S2下的坐標,從而得到S1相對S2的平移變換的位置矢量S2PS1O,利用式(9)求得S1到S2的旋轉變換矩陣,從而求得變換后的點云。
其中,x'為對齊變換后的點云;x為原點云。
3.3 超平面位移項調整
由于點云各測量點的間隙值不同,選取的P點相對點云的位置關系存在差異,超平面不能保證良好分割點云。超平面方程的ωT控制超平面的法向,由點云法向對齊操作已經能夠保證ωT滿足法向分割要求。法向對齊后的超平面不能良好分割點云時,需要對位移項進行調整,如圖6所示。
可以通過對點到超平面的向量距離有無階躍判斷是否需要調整,并使得兩階躍點的中點在超平面上,以調整b值,具體算法偽代碼如下:
圖5 SVM點云分類方法Fig.5 Classification of point cloud based on SVM
圖6 超平面調整Fig.6 Adjustment of hyperplane
分割兩側點云后,分別對兩側點云進行三角網格劃分,本文以預處理后的三角網格作為輸入數據,不對三角網格曲面表示方法的轉化進行詳細描述。三角形網格可以表示為{V,E,F(xiàn)},其中,V為網格頂點的集合;E為網格邊的集合;F為網格面的集合:
圖7 點云邊界Fig.7 Boundary of point cloud
以邊界點為處理對象,將超平面作為基準面,設定閾值λ1,分別取出兩側部分點云進行處理,排除最左側和最右側的邊界角點。利用式(11)將兩側邊界點投影到坐標系S1的xoy面,設其法向量為(a,b,c),則點(xi,yi,zi)在xoy面ax+by+cz+d=0上的投影點為(xi',yi',zi')。
采用弦高差法對點云進行去噪,排除跳點對后續(xù)曲率估計的影響。然后分別遍歷兩側點云,對所有點的k近鄰點估計曲率(k取3),曲率較小的點視為角點,提取出對縫側邊緣點上下角點。由于T–scan 線掃描點云是有序點云,故不需要重新排序,對縫側上下角點之間的點即為邊緣點,如圖8所示。
圖8 邊緣點提取Fig.8 Extraction of edge points
根據邊緣點,提取兩側點云臨界點,此處以左側點云為例:
由于掃描線點云是有序序列,以坐標值篩選出邊緣點在單側點云中的序號,以此序號對單條掃描線點進行排序。根據第i條掃描線邊緣點pi0確定的掃描線各點位置關系,pij為第i條掃描線邊緣點pi0向前第j個點,如圖9所示(其中,pi0為第i條掃描線的單側邊緣點,以pi0為起點;pij為第i條掃描線第j個點;dij為pij到平面α的距離;d為閾值)。
對所有掃描線建立以上的點序關系后,篩選出平面擬合點,方法如下:對單條掃描線點的k鄰域(k=3)求取曲率半徑,設定閾值λ2,根據曲率半徑判斷是否存在大曲率邊界,若存在大曲率,則獲取最左側對應點序號l,篩選出臨界點區(qū)域,在臨界點區(qū)域之外的點即為平面擬合點pij(l+5 ≤j≤20+l)。
本文使用特征值法擬合平面[15],具體方法不做詳述,利用迭代過濾的方法去除擬合平面的噪點,控制平面擬合點到平面距離小于1.5u(u為T–scan 平面度的不確定度),獲取更加準確的平面參數a、b、c、d,偽代碼如下:
dij是第i條掃描線第j個點到平面α的距離,設定閾值d,當dij≥d,
在三角網格曲面中,同時屬于兩個三角形的邊為內部邊,反之,僅屬于單一三角形的邊被定義為邊界邊,邊界點可以由邊界邊求得。采用鄰接三角形數量判斷法提取兩側三角網格的邊界點,定義鄰接三角形的個數為1的邊為邊界邊,個數為2的邊為內部邊,對每一條邊做邊界邊判斷,然后從邊界邊中提取邊界點,提取邊界如圖7所示[14]。表明該點pij屬于臨界點區(qū)域,將屬于臨界點區(qū)域且dij最小的點作為臨界點qij,表示第i條掃描線的第j(1 ≤j≤2)個臨界點。最后根據式(1)與式(2)提取間隙階差值。
利用圖10所示的六維組合平移臺調整固定在上面的模擬件獲取不同間隙價差值的對縫,六維組合平移臺的分度值為0.01mm,滿足試驗要求。考慮到模擬件制造精度與緊固在六維平移臺平面度的誤差,試驗時使用模擬件間隙的相對值作為真值。
利用靶球采集的點擬合平面,反復調整六維平移臺,直到平面度控制在0.02mm以下,此時說明兩側近似處于同一平面,測量一次計算出其階差值flush1。此時調整一側的六維組合平移臺的千分尺,使其上升flush,再次測量得到階差flush2,則實測階差為flush2–flush1,由此可以得到階差值的測量誤差為(flush2-flush1)-flush。
同理,將兩側緊固件保持一定的距離,并進行一次測量得到間隙gap1,然后調整六維組合平移臺千分尺,使其間隙擴大gap,再次測量得到間隙gap2,則實測間隙為gap2–gap1,由此可以得到間隙值的測量誤差為(gap2–gap1)–gap。
圖9 臨界點提取Fig.9 Extraction of critical points
圖10 試驗裝置Fig.10 Experimental device
圖11 縫隙1測量結果Fig.11 Measurement result of gap1
試驗測試中,使用Leica T–scan 5采集數據,其掃描線平均掃描寬度為90mm,掃描線間距最小為0.1mm,點間距為0.075mm,精度為20μm。利用VS2010,開發(fā)了C++的Polyworks軟件的二次開發(fā)程序,調整六維組合平移臺對3個縫隙進行檢測??p隙1:間隙為0.6mm,階差為0.3mm;縫隙2:間隙為1.0mm,階差為0.5mm;縫隙3:間隙為3.0mm,階差為1.0mm,各掃描10次。
超平面法向對齊質量由前文所述PCA估計的法向量與對縫單側點云法向量的夾角所決定,夾角越小,SVM 超平面對齊質量越高,位移項調整僅受法向對齊質量與點云密度的影響,因此僅對法向夾角進行驗證。每個縫隙選擇3 組數據計算法向夾角,數據結果如表1所示,9 組點云數據的法向夾角在1.52°以下。
對圖11~13中的間隙階差值求取誤差均值與標準差,如表2所示。階差的誤差均值為0.02mm,間隙的誤差均值為0.029mm。
表1 法向夾角Table1 Normal angles
圖12 縫隙2測量結果Fig.12 Measurement result of gap2
圖13 縫隙3測量結果Fig.13 Measurement result of gap
表2 間隙階差的均值誤差 Table 2 Mean error of each gap and flush mm
提出了基于SVM的對縫點云數據間隙階差提取的新方法,此方法具有非常好的穩(wěn)定性,不易受到點云質量缺陷的影響,并且具有普適性,適用于各領域的對縫檢測。通過試驗驗證,此方法的間隙測量精度達0.03mm,階差測量精度達0.02mm。
本方法研究對象為兩側存在微小曲率的對縫結構間隙階差檢測,當兩側的曲率過大時,通過擬合兩側平面篩選臨界點的方法將不再適用。由數學模型可知,擬合平面對間隙階差提取精度影響較小,臨界點的提取顯得較為關鍵,因此大曲率結構的對縫檢測可以著重研究臨界點的提取。