石林坤，田懷文，蒲虹林

（西南交通大學(xué) 可視化研究中心，四川 成都 610031）

工程類圖紙識別一直是工程領(lǐng)域研究的熱點，其廣泛應(yīng)用于電氣工程、機械工程等不同行業(yè)。林銘德等人[1]利用對圖紙的識別，自動獲取圖紙中電氣構(gòu)件數(shù)據(jù)。唐虹等人[2]通過對汽車線束圖紙的識別，達(dá)到了線束分類識別的目的。YANG 等人[3]提出了一種從工程圖紙生成語義豐富的結(jié)構(gòu)模型的半自動方法。文獻(xiàn)[4]利用AutoCAD 軟件讀取考生答案中的圖元，進行試卷的批改。直線和曲線是工程圖紙中重要的幾何元素，對直線和曲線的自動識別研究是實現(xiàn)圖紙完整、快速識別的關(guān)鍵技術(shù)。因此，有效的直線和曲線檢測方法對工程領(lǐng)域研究具有重要意義。LIU 等人[5]提出了一種基于錨點的Hough 變換，其在檢測較為簡單的工程圖圖紙的直線中有較好的效果，但用于檢測較為復(fù)雜的工程圖圖紙時，仍需較大改進。CUNEYT 等人[6]采用最小二乘法對錨點形成的邊緣映射進行直線擬合，但仍存在少量虛假直線。馬俊俊[7]提出了基于種子段的動態(tài)步長直線矢量化算法，通過跟蹤種子段進行直線識別，但其檢測結(jié)果容易受到直線連續(xù)性的影響。劉璧鉞等人[8]提出了一種基于LSD 算法的直線檢測。ALlWAN 等人[9]提出了一種基于遺傳算法的工程圖元檢測，該方法能夠較為準(zhǔn)確地提取工程圖中的圓弧和直線，但對于圖元重疊部分其提取效果較差。SALMON 等人[10]提出了一種從曲率剖面中檢測圓弧和線段的方法。文獻(xiàn)[11]提出一種基于教與學(xué)的優(yōu)化算法和梯度分析實現(xiàn)對圖像的圓檢測。文獻(xiàn)[12]提出了一種基于模擬退火和差分演化的自動圓檢測算法，該算法能夠較為準(zhǔn)確地檢測圖像中的圓，但其對噪聲較為敏感。

本文針對工程圖圖線語義較為豐富、實際情況較為復(fù)雜等問題提出了一種基于Hough 變換的工程圖圖線識別技術(shù)。如圖1 所示，基于Hough 變換的工程圖圖線識別具體步驟：（1）對采集的工程圖進行預(yù)處理；（2）利用Hough 變換、RANSAC 算法、最小二乘法檢測圖像中的直線；（3）利用形態(tài)學(xué)開閉運算及漫水填充算法檢測并分離曲線；（4）利用卷積神經(jīng)網(wǎng)絡(luò)對各圖線ROI進行圖線線型分類，得出線型關(guān)系。

圖1 圖線識別算法流程圖

最后結(jié)合工程制圖類課程試卷自動評閱需求，在識別算法的基礎(chǔ)上增加坐標(biāo)轉(zhuǎn)換算法及曲線一致性判斷，對30 名學(xué)生的工程圖圖紙考卷進行評分，并與人工評分結(jié)果進行對比，其評分差距在10%以內(nèi)，表明該算法的可行性且在機械制圖中有較好的應(yīng)用價值。

1 工程圖采集及預(yù)處理

為模擬真實工程圖應(yīng)用場景，本文通過掃描設(shè)備采集手繪圖紙或打印圖紙。實際采集過程中，因人為繪制習(xí)慣、設(shè)備誤差等問題容易使采集的圖像產(chǎn)生干擾，因此需要對圖像進行預(yù)處理操作，其流程圖如圖2 所示。

圖2 工程圖預(yù)處理流程圖

本文采用的圖像預(yù)處理包括：（1）圖像二值化，二值化可以極大地減少圖像中的數(shù)據(jù)量，突顯出目標(biāo)輪廓；（2）HSV 空間轉(zhuǎn)換，去除人為繪制誤差產(chǎn)生的陰影干擾；（3）形態(tài)學(xué)膨脹，達(dá)到去除噪聲的效果。其各步驟結(jié)果如圖3 所示。預(yù)處理后的結(jié)果相較于采集圖像，在保證原始工程圖基本圖元的情況下，大量減少了干擾點數(shù)量，且有更好的線條對比度，滿足后續(xù)處理要求。

圖3 工程圖預(yù)處理過程結(jié)果

2 圖線識別關(guān)鍵技術(shù)

2.1 Hough 變換直線檢測

霍夫變換是由Paul Hough 于1962 年首次提出，僅僅用于圖像中直線的檢測。現(xiàn)在使用的廣義霍夫變換不僅能檢測直線，還可以檢測其他形狀的幾何特征。由于Hough 變換檢測直線是基于邊緣特征提取，因此需要先對圖像進行邊緣檢測?？紤]原圖像的分辨率是變化的，因此采用自適應(yīng)閾值Canny 邊緣檢測算法[13]。如圖4 所示，Hough 變換檢測到的直線往往包含多段直線，導(dǎo)致其檢測精度低，剔除這些多段直線對直線檢測精度至關(guān)重要。在Hough 變換檢測到的每條直線中，都有著對應(yīng)的起點和終點。假定直線空間為XY 空間，點空間為KB 空間，XY 空間中的直線唯一對應(yīng)的KB空間中的起點及終點。使用擬合算法剔除KB 空間中的“局外點”，從而對XY 空間進行直線去重。常用的擬合算法有最小二乘法和RANSAC 算法等。

圖4 Hough 變換處理結(jié)果圖

2.2 基于RANSAC 算法的直線擬合

由圖4 可知，通過Hough 變換檢測出的直線對應(yīng)的KB 空間存在部分“外點”，這些干擾點會直接影響直線的擬合精度。本文采用RANSAC 算法[14]對“局外點”剔除。RANSAC 算法是一種通過不斷迭代，從一組數(shù)據(jù)中找出“局內(nèi)點”，排除“局外點”，并通過“局內(nèi)點”估計數(shù)學(xué)模型參數(shù)的算法。RANSAC 算法結(jié)果具有隨機性[15]，檢測不夠精準(zhǔn)。

最小二乘法是一種通過最小化理論值與觀測值之間的誤差平方和去尋找最佳匹配函數(shù)的算法，但由于最小二乘法會考慮所有樣本點進行擬合，當(dāng)存在“局外點”時，擬合結(jié)果較差。

二者區(qū)別主要在于，最小二乘法會盡量擬合所有點，RANSAC 算法排除“局外點”后，僅利用“局內(nèi)點”計算模型。由于在空間中存在部分的“局外點”，若單獨使用最小二乘法進行直線擬合，其擬合結(jié)果與理想情況會有較大誤差，二者算法擬合結(jié)果對比圖如圖5 所示。

圖5 RANSAC 算法和最小二乘法對比圖

基于此，本文結(jié)合上述兩種算法進行直線擬合。先隨機地從測試集中選取一個子集進行參數(shù)估計，以此為基礎(chǔ)估計參數(shù)化模型M，此時認(rèn)為該子集中的點均為“局內(nèi)點”。后用其余點測試該模型，如果某個點適用于該模型，即認(rèn)為該點也是“局內(nèi)點”，當(dāng)有足夠多的點被歸類為“局內(nèi)點”時，就證明估計的模型足夠合理。擴充后的“局內(nèi)點”重新估計模型，通過估計局內(nèi)點與模型的錯誤率來評估模型，如果當(dāng)前的模型錯誤率比之前最優(yōu)的模型錯誤率低，即將當(dāng)前模型置為最優(yōu)模型，否則舍棄。重復(fù)一定的次數(shù)K 次后，有足夠的樣本點被歸為“局內(nèi)點”，得到最優(yōu)模型M，假設(shè)需要“局內(nèi)點”個數(shù)為n，置信度為P，θ 為n 個點適用于該模型的概率，則K 的計算公式如下：

通過不斷地建立假設(shè)與檢驗的迭代，以期獲得一組最優(yōu)的“局內(nèi)點”點集，再利用最小二乘法擬合“局內(nèi)點”，得到擬合直線，其算法流程如圖6 所示。

圖6 直線擬合流程圖

其檢測結(jié)果如圖7 所示，將應(yīng)用上述算法直線檢測結(jié)果圖7 與Hough 變換檢測結(jié)果圖4（b）比較，可見該算法直線檢測效果較好。

圖7 直線擬合結(jié)果

2.3 曲線檢測

在機械工程類圖紙中，曲線常常包括圓、圓弧、一般曲線等。Hough 變換圓檢測在檢測圓方面有較好的檢測效果，但對于圓弧及一般曲線的檢測效果較差。若直接將原始圖像和上述直線檢測結(jié)果圖7 進行布爾差運算，其結(jié)果如圖8 所示。該結(jié)果中包含大量不易去除的干擾點，且單條曲線也被分離成多條曲線，這些誤差會降低曲線檢測精度。

圖8 布爾差運算結(jié)果

對此本文采用形態(tài)學(xué)開閉運算進行曲線檢測。形態(tài)學(xué)開閉運算是圖像處理中常用的處理手段之一[16]，本文利用圖像中的曲線特征，采用橫向及縱向矩形結(jié)構(gòu)元從圖像中提取曲線邊緣。使用該方法得到的曲線邊緣為R3，其計算公式如下。

其中，R·B1表示B1對R 的開運算，R·B2表示B2對R的開運算，R1?B3表示B3對R1的閉運算，R1?B4表示B4對R1的閉運算，｜表示或運算，R 為原始圖像，B1、B3是橫向矩形結(jié)構(gòu)元，B2、B4是縱向矩形結(jié)構(gòu)元，其曲線檢測結(jié)果如圖9 所示。

當(dāng)圖像中存在多段曲線時，為實現(xiàn)后續(xù)圖線線型識別，需要將多段曲線進行分離。本文采用漫水填充算法[17]對曲線進行分離。該算法適用于對內(nèi)定義區(qū)域的填充。漫水填充算法能夠?qū)⒃搮^(qū)域中全部像素值設(shè)置為新值。通過一定規(guī)則確定一種子點，然后通過判斷種子點的鄰域像素是否和種子點構(gòu)成聯(lián)通區(qū)域，從而決定是否對該區(qū)域進行填充，直至找到該區(qū)域內(nèi)所有像素或達(dá)到輪廓線的邊界。其分離的結(jié)果如圖10 所示。

圖10 曲線分離結(jié)果

2.4 線型判斷

本文討論的機械工程類圖紙線型如下[18]：粗實線、細(xì)實線、點畫線、虛線。如圖11 所示，其中ab 為粗實線，cd 為點畫線，ef 為虛線。

圖11 輸入圖像

受人為繪制習(xí)慣不同，使用傳統(tǒng)的圖像識別算法對線型判斷具有很大的誤差，故本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法對工程圖圖像進行識別。

2.4.1 數(shù)據(jù)集構(gòu)建

為較好地還原手繪工程圖實際情況，本文選取的數(shù)據(jù)集均來自實際手繪工程圖及其圖線線型。對每張工程圖中每條圖線建立ROI 區(qū)域，并截取ROI 區(qū)域構(gòu)建工程圖數(shù)據(jù)集。其部分ROI 區(qū)域如圖12 所示。

圖12 ROI 區(qū)域示意圖

本文對50 張工程圖，共計2 000 條圖線建立ROI區(qū)域，共得到2 000 張數(shù)據(jù)集，在實驗過程中隨機劃分其中的70%作為訓(xùn)練集、20%作為測試集、10%作為驗證集，對于每張圖片隨機采用圖像旋轉(zhuǎn)、亮度變化、圖像正則化等圖線增強算法后，輸入到構(gòu)建的分類神經(jīng)網(wǎng)絡(luò)中。其數(shù)據(jù)集類別及其特征見表1。

表1 數(shù)據(jù)集類別及特征

2.4.2 分類神經(jīng)網(wǎng)絡(luò)構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是目前最為常見的一種神經(jīng)網(wǎng)絡(luò)模型，其主要被用于目標(biāo)分類、目標(biāo)檢測、追蹤等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)利用圖片之間的相關(guān)性對圖像進行輪廓提取操作，目前經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)有AlexNet、VGG、ResNet 等[19]。本文基于常見CNN 網(wǎng)絡(luò)設(shè)計的工程圖圖線分類網(wǎng)絡(luò)模型如圖13 所示。將輸入圖片縮放到100×100 像素，工程圖圖線圖像具有R、G、B 三個維度通道，因此網(wǎng)絡(luò)將原始工程圖圖像轉(zhuǎn)化為100×100×3的三維矩陣。同時利用具有8 層卷積層、4 層池化層的CNN 網(wǎng)絡(luò)將轉(zhuǎn)化后的三維矩陣卷積成6×6×128 的多維矩陣。利用3 個全連接層及Softmax 函數(shù)將多維矩陣展平并分類，分別獲得節(jié)點數(shù)為512、256、4，最終將輸入圖像分為4 類，即粗實線、細(xì)實線、點畫線、虛線。

圖13 分類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4.3 分類實驗結(jié)果與分析

在本文圖線分類實驗中，網(wǎng)絡(luò)設(shè)計參數(shù)如下：初始學(xué)習(xí)率為0.000 1，迭代次數(shù)為100 次，采用Droupout及Adam 優(yōu)化算法。圖線分類訓(xùn)練過程準(zhǔn)確率及Loss變化曲線圖如圖14 所示。

由圖14 可知，經(jīng)過100 次迭代，模型在訓(xùn)練集上的準(zhǔn)確率為98.96%，其最終Loss 值為0.003 2。表2 給出測試集中4 種線型類別的混淆矩陣。其中每一行表示每一類圖線識別為其他類別的概率，對角線表示每一類圖線識別為本類別的概率，由該表可知，4 類圖線的識別準(zhǔn)確率均在90%左右，其中虛線的識別準(zhǔn)確率達(dá)到93.2%。但在某些特殊情況下，粗實線和細(xì)實線之間可能會存在識別錯誤，點畫線和虛線間可能會存在識別錯誤。

表2 圖線圖像分類混淆矩陣

圖14 訓(xùn)練準(zhǔn)確率及Loss 曲線圖

3 算法應(yīng)用

隨著我國大力發(fā)展機械、電氣、建筑等工程事業(yè)，越來越多的學(xué)生報選工科專業(yè)。其中制圖類課程是眾多工科專業(yè)重點必修課，國內(nèi)從事制圖類課程的授課老師數(shù)量眾多，存在大量的課后作業(yè)和期末試卷需要老師修改。因此較好的工程圖圖線識別技術(shù)在制圖教學(xué)領(lǐng)域具有重要意義[20]。本文通過在上述算法基礎(chǔ)上增加坐標(biāo)轉(zhuǎn)換及曲線一致性判斷算法對30 張學(xué)生試題答案進行自動評分，其算法應(yīng)用流程如圖15 所示。

圖15 算法應(yīng)用流程圖

3.1 坐標(biāo)轉(zhuǎn)換

通常工程類作業(yè)對答案繪制位置有一定要求，本文通過在試卷答題區(qū)域附近繪制“L”型符號進行試題定位。在單幅工程圖中所得出的點坐標(biāo)均為絕對坐標(biāo)，為和試題答案進行對比，應(yīng)按照一定規(guī)則將檢測出的直線端點的絕對坐標(biāo)及曲線上所有點的絕對坐標(biāo)轉(zhuǎn)換為相對坐標(biāo)。本文采取的轉(zhuǎn)換規(guī)則如圖16 所示，以定位點O為原點，按X 方向和Y 方向各點到該點的距離大小進行點的坐標(biāo)轉(zhuǎn)換，例如轉(zhuǎn)換后點A 的相對坐標(biāo)為（x0-x，y0-y）。

圖16 坐標(biāo)轉(zhuǎn)換示意圖

3.2 曲線一致性判斷

對于直線而言，兩點間最多存在一條直線，因此只需判斷端點及線型是否正確。但兩點間的曲線可能存在無數(shù)條。因此采用如下算法進行曲線一致性判斷：

如圖17 所示，假設(shè)λP={P0，P1，P2，...，Pn}是標(biāo)準(zhǔn)曲線上所有點的集合，λQ={Q0，Q1，Q2，...，Qn}是比對曲線上所有點的集合。從曲線最左端遍歷到曲線最右端，若其中超過一定比例點的坐標(biāo)差△y 小于設(shè)定閾值，則可近似認(rèn)為該兩段曲線一致性判斷正確，反之則認(rèn)為兩段曲線一致性判斷錯誤。

圖17 曲線一致性判斷

3.3 實驗結(jié)果

本文選取了機械制圖考卷中30 幅補畫第三視圖題型答案作為實驗對象，該題型要求考生根據(jù)題目中給出的兩幅視圖繪制物體的第三個視圖，其總分為15分，部分測試圖紙如圖18 所示。

圖18 試題答案及部分考生測試圖紙

本文采用的評分規(guī)則如下：（1）考卷直線及答案直線的兩端點相對坐標(biāo)值及線型關(guān)系相同則計分，反之則扣分；（2）考卷曲線與答案曲線的曲線一致性判斷結(jié)果正確則記分，反之則扣分。采用上述算法及評分原則對測試試題進行自動評分。將自動評分結(jié)果與5 名人工評判得分的平均分進行比對，其評分結(jié)果對比圖如圖19 所示，其誤差在10%以內(nèi)，故本文算法在機械制圖試卷自動評分方面具有一定的應(yīng)用價值。

圖19 評分結(jié)果對比圖

4 結(jié)束語

本文提出了一種基于Hough 變換的工程圖圖線識別技術(shù)。對采集的工程圖預(yù)處理后，利用Hough 變換、RANSAC 算法、最小二乘法檢測出圖像中直線，采用形態(tài)學(xué)開閉運算及漫水填充算法檢測并分離曲線。采用卷積神經(jīng)網(wǎng)絡(luò)對各圖線ROI 進行線型分類，得出工程圖中線型關(guān)系。最后利用本文算法對選取的30 張機械類特定題型答案進行自動評分，并將其與人工評分結(jié)果進行對比，表明基于Hough 變換的工程圖圖線識別技術(shù)在教學(xué)領(lǐng)域具有一定的應(yīng)用價值。本文算法在以下方面還存在不足：（1）當(dāng)工程圖較為復(fù)雜時，圖線識別效果和理想結(jié)果會有較大差距；（2）工程圖圖線的識別速度還能進一步提升。