孫連山， 張沙沙， 侯　濤， 趙　曉

(陜西科技大學(xué) 電氣與信息工程學(xué)院， 陜西 西安　710021)

0　引言

流程圖代表著一個龐大的、有用的圖像子集，可以直觀地描述一個工作過程的具體步驟，具有重要的語義[1].流程圖像中蘊(yùn)含的豐富信息，對于檢索和查新至關(guān)重要.基于圖像匹配的檢索技術(shù)已經(jīng)得到了廣泛關(guān)注[2,3].考慮到具有相同或相似語義的流程圖布局多樣，為了實(shí)現(xiàn)基于流程圖像匹配的檢索必須首先識別流程圖像的語義，即將流程圖像識別為描述流程圖的文本信息.現(xiàn)有流程圖像識別研究大體分為兩類.一類是基于連通域的方法提取結(jié)構(gòu)元素輪廓，然后通過輪廓擬合、BSM (Blurred Shape Model)、幾何矩描述子等幾何信息對結(jié)構(gòu)元素逐一進(jìn)行識別[3-5]；另一類采用矢量化方法提取結(jié)構(gòu)中的邊線和結(jié)構(gòu)元素之間的結(jié)合點(diǎn)，基于直線段序列以及直線段與結(jié)合點(diǎn)之間的組合對流程圖結(jié)構(gòu)進(jìn)行識別[6-8].這些方法雖然能較好地處理清晰的流程圖像，但無法正確處理包含文圖粘連和斷邊等情況的模糊流程圖像.

角點(diǎn)是圖像的重要局部特征，已被廣泛應(yīng)用于計(jì)算機(jī)視覺和圖像處理的眾多領(lǐng)域當(dāng)中[9].流程圖像中的角點(diǎn)是直線或曲線線條的交匯點(diǎn).流程圖的圖元結(jié)構(gòu)可表示為特定類型的角點(diǎn)組合，如矩形圖元可表示為左上(┌)、右上(┐)、左下(└)、右下(┘)等四類角點(diǎn)的組合.流程圖像的角點(diǎn)不受圖文粘連和斷邊的影響，善加利用可以解決現(xiàn)有流程圖像識別研究所面臨的挑戰(zhàn).自動檢測流程圖像角點(diǎn)并正確地實(shí)現(xiàn)角點(diǎn)分類是充分利用角點(diǎn)特征識別和理解流程圖像的基礎(chǔ).

現(xiàn)有角點(diǎn)檢測算法只計(jì)算角點(diǎn)的位置，而未涉及角點(diǎn)分類.現(xiàn)有角點(diǎn)分類研究關(guān)注于一般圖像的角點(diǎn)分類問題，所采用的分類方法也相對簡單[10-13].如文獻(xiàn)[10]根據(jù)角點(diǎn)鄰域中不同等值線的梯度幅值將一般圖像中的角點(diǎn)分為L、Y和X等類型；文獻(xiàn)[11]根據(jù)角點(diǎn)的歸一化各向異性方向?qū)?shù)將一般圖像中的角點(diǎn)分為簡單點(diǎn)，Y型角點(diǎn)和星形角點(diǎn)等；文獻(xiàn)[12]根據(jù)角點(diǎn)兩側(cè)曲線段的曲率變化情況將角點(diǎn)分為6類，并基于有向面積對角點(diǎn)分類；文獻(xiàn)[13]分析并定義了特定于視網(wǎng)膜血管圖像的角點(diǎn)類型，包括終點(diǎn)、中間點(diǎn)、T型點(diǎn)、Y型點(diǎn)和交叉點(diǎn)，并采用矩形探測器識別血管分叉點(diǎn)和血管投影交叉點(diǎn).現(xiàn)有角點(diǎn)分類研究所定義的角點(diǎn)類型不適用于流程圖像理解，相應(yīng)的角點(diǎn)分類方法也相對簡單而不能對流程圖像角點(diǎn)進(jìn)行準(zhǔn)確地分類.

本文結(jié)合流程圖的結(jié)構(gòu)特征，定義特定于流程圖像的角點(diǎn)分類模型，然后采用經(jīng)典角點(diǎn)檢測算法得到候選角點(diǎn)，最后提取角點(diǎn)鄰域的網(wǎng)格密度特征和外圍特征，訓(xùn)練SVM分類器實(shí)現(xiàn)角點(diǎn)分類，為自動識別和理解流程圖像奠定基礎(chǔ).

1　流程圖角點(diǎn)類型分析

流程圖包括兩類典型結(jié)構(gòu)元素，一類是具有規(guī)則幾何形狀的封閉圖元，如矩形、菱形、平行四邊形、橢圓、圓等；另一類是與圖元相連的各類連接線，如直線、折線、箭頭、扭線等.這些結(jié)構(gòu)元素均由簡單的直線或曲線構(gòu)成，多條直線或曲線的交匯點(diǎn)就構(gòu)成了流程圖像的角點(diǎn).如表1所示，在流程圖像中的封閉圖元、連接線、以及二者之間的連接處均可識別得到特定類型的角點(diǎn).流程圖像中的結(jié)構(gòu)元素往往可抽象地表示為特定類型的角點(diǎn)組合.

表1　流程圖像角點(diǎn)分類

續(xù)表1

結(jié)構(gòu)元素名稱結(jié)構(gòu)元素角點(diǎn)及命名矩形?連接線連接線?連接線(Rb?1)(Rb?2)(Rb?3)(Rb?4)菱形?連接線(Db?1)(Db?2)(Db?3)(Db?4)橢圓?連接線(Rb?1)(Rb?2)

表1分析并總結(jié)了可從八類典型的流程圖結(jié)構(gòu)元素組合模式中提取得到的角點(diǎn)以及這些角點(diǎn)的鄰域圖示.這些角點(diǎn)可分為兩類，一類是僅屬于單個圖元或連接線的獨(dú)立型角點(diǎn)，如表1中上半部分角點(diǎn)；另一類是位于圖元和連接線連接處的連接型角點(diǎn)，如表1下半部分角點(diǎn).根據(jù)角點(diǎn)鄰域所蘊(yùn)含的流程圖像結(jié)構(gòu)信息，可將角點(diǎn)進(jìn)一步分類.如表1中與矩形相關(guān)的角點(diǎn)可分為四類，按照從上到下從左到右的順序依次為┌(R-1)、┐(R-2)、└(R-3)、┘(R-4).折線上的部分角點(diǎn)與矩形獨(dú)立型角點(diǎn)的鄰域相同，將兩種情況中的角點(diǎn)歸為同一類.同樣矩形-連接線與連接線-連接線模式中的角點(diǎn)也可以歸為同一類.

2　角點(diǎn)檢測

現(xiàn)有角點(diǎn)檢測算法大致可以分為三類[9]：以Harris算法[14]為代表的基于灰度強(qiáng)度的方法，以曲率尺度空間(Curvature Scale Space，CSS)算法[15]為代表的基于邊緣輪廓的方法，以及以SUSAN[16]算法為代表的基于模型的角點(diǎn)檢測方法.這些方法各有優(yōu)缺點(diǎn)，適用的對象也不同.

流程圖結(jié)構(gòu)元素可分為直線型元素和曲線型元素.直線型元素包括矩形、菱形和連接線等，其邊緣輪廓局部曲率變化明顯，實(shí)驗(yàn)表明采用基于邊緣輪廓的方法(如CSS方法)即可以達(dá)到較理想的角點(diǎn)檢測效果；曲線型元素多指圓或橢圓，其邊緣輪廓局部曲率變化不明顯，實(shí)驗(yàn)表明采用基于灰度強(qiáng)度的方法(如Harris方法)可避免真實(shí)角點(diǎn)漏檢，再配合冗余角點(diǎn)篩除，即可達(dá)到較理想的角點(diǎn)檢測效果.因此，本文采取CSS和Harris角點(diǎn)檢測方法分別檢測與直線型元素和曲線型元素相關(guān)的角點(diǎn).未來應(yīng)研究針對流程圖的特定角點(diǎn)檢測算法，進(jìn)一步提高角點(diǎn)檢測的全面性和準(zhǔn)確性.

2.1　流程圖結(jié)構(gòu)提取

本文中提到的流程圖像角點(diǎn)檢測特指針對流程圖結(jié)構(gòu)圖像的角點(diǎn)檢測，識別這些角點(diǎn)對自動識別和理解流程圖結(jié)構(gòu)至關(guān)重要.因此，在獲得原始流程圖像之后，首先要進(jìn)行圖文分割，提取原始流程圖像中的結(jié)構(gòu)圖層.

為了減少圖像本身質(zhì)量問題以及圖像中文本對結(jié)構(gòu)圖像角點(diǎn)檢測的影響，在開始檢測角點(diǎn)之前，首先對流程圖像進(jìn)行二值化和降噪處理.其次，采用連通域標(biāo)記算法[17]，計(jì)算并刪除面積小于指定閾值的連通域以去掉文字，實(shí)現(xiàn)圖文分割，得到流程圖結(jié)構(gòu)圖像；最后，為減少邊線粗細(xì)對角點(diǎn)檢測的影響，對提取的流程圖結(jié)構(gòu)圖像進(jìn)行單像素化[18].圖1展示了在真實(shí)流程圖中注入文圖粘連以及斷邊情況后的流程圖結(jié)構(gòu)提取效果.顯然，文圖粘連影響結(jié)構(gòu)元素的整體輪廓，無法基于輪廓正確識別結(jié)構(gòu)元素形狀.但如圖中圓圈標(biāo)記部分所示，能夠組成菱形和矩形的角點(diǎn)位置和類型則未受影響，結(jié)構(gòu)元素的角點(diǎn)組合基本完整保留下來，達(dá)到了結(jié)構(gòu)提取的目的.

圖1　流程圖結(jié)構(gòu)提取

2.2　基于CSS的直線型結(jié)構(gòu)元素角點(diǎn)檢測

CSS 算法將不同尺度下圖像邊緣輪廓曲線的局部曲率極大值點(diǎn)作為候選角點(diǎn)，然后在多個尺度下跟蹤定位角點(diǎn).對于一條平面曲線l，不同尺度σ下的曲率.

(1)

采用CSS算法在同一尺度不同曲率下對流程圖像結(jié)構(gòu)元素進(jìn)行角點(diǎn)檢測的效果顯示，直線型結(jié)構(gòu)元素上的角點(diǎn)檢測全面準(zhǔn)確，而曲線型結(jié)構(gòu)元素上的角點(diǎn)隨曲率變化出現(xiàn)定位不準(zhǔn)及漏檢情況.為了采用CSS算法獲得直線型結(jié)構(gòu)元素上的準(zhǔn)確角點(diǎn)，本文將曲線型結(jié)構(gòu)元素上的角點(diǎn)視為圓角點(diǎn)并同虛假角點(diǎn)一起過濾掉.下面分別介紹圓角點(diǎn)及虛假角點(diǎn)的判定方法.

(2)

式(2)中：u為候選角點(diǎn)的位置參數(shù)，K(u)是候選角點(diǎn)的曲率，T(u)為與角點(diǎn)支持域自適應(yīng)的動態(tài)局部閾值，與候選角點(diǎn)u處的局部平均曲率成正比.當(dāng)Rc=1時表示角點(diǎn)為圓角點(diǎn)，給予濾除.

(3)

式(3)中：Cc為需要判定的候選角點(diǎn)，∠Cc為角點(diǎn)Cc的角，θobtuse為真正角點(diǎn)的最大鈍角值，實(shí)驗(yàn)中設(shè)θobtuse=162°，當(dāng)Cc>θobtuse時，Cc為虛假角點(diǎn).

2.3　基于Harris的曲線型結(jié)構(gòu)元素角點(diǎn)檢測

Harris算法通過判斷角點(diǎn)的響應(yīng)函數(shù)值來確定角點(diǎn)存在與否，對于紋理豐富的曲線邊緣可以提取出大量有用的角點(diǎn).本文采用Harris算法針對曲線型結(jié)構(gòu)元素進(jìn)行角點(diǎn)檢測.

流程圖中曲線型結(jié)構(gòu)元素基本位于整體結(jié)構(gòu)中周邊位置，對已經(jīng)識別的角點(diǎn)進(jìn)行邊界搜索并覆蓋掉邊界包圍的區(qū)域得到流程圖中未識別的結(jié)構(gòu)元素，然后采用Harris角點(diǎn)檢測算法對CSS角點(diǎn)檢測方法未識別的曲線型結(jié)構(gòu)元素再進(jìn)行檢測.

在檢測過程中，曲線上容易產(chǎn)生角點(diǎn)聚簇現(xiàn)象.針對此問題，本文采用距離篩選方法，計(jì)算所有點(diǎn)之間的歐式距離.當(dāng)兩個候選角點(diǎn)間的距離小于指定閾值時，可刪掉其中之一以減少冗余.

3　角點(diǎn)分類

3.1　角點(diǎn)特征提取

角點(diǎn)鄰域蘊(yùn)含豐富的結(jié)構(gòu)信息，是對角點(diǎn)進(jìn)行分類的依據(jù).首先，以檢測到的每個角點(diǎn)為中心截取一定大小像素的角點(diǎn)鄰域圖像；其中經(jīng)過實(shí)驗(yàn)驗(yàn)證，當(dāng)以角點(diǎn)為中心點(diǎn)向四邊擴(kuò)展20像素得到41×41像素的角點(diǎn)領(lǐng)域圖像能更好的體現(xiàn)出角點(diǎn)的特征區(qū)別；其次，參照漢字識別中的特征提取方法，提取角點(diǎn)鄰域圖像的網(wǎng)格特征和外圍特征[20].

網(wǎng)格特征是指將二值化后的圖像等分為n×n個網(wǎng)格后，每個網(wǎng)格內(nèi)目標(biāo)像素所占比例.雖然網(wǎng)格特征能較好地反映圖像內(nèi)部區(qū)域特征信息，但仍存在網(wǎng)格特征相似但不同類型的角點(diǎn).即采用單一網(wǎng)格特征不能充分體現(xiàn)角點(diǎn)間的差異.

外圍特征是指將圖像從四邊分別向?qū)呥M(jìn)行掃描，每一邊分為m個區(qū)域，計(jì)算每個區(qū)域碰到指定目標(biāo)的面積占整個面積的比值.外圍特征主要反應(yīng)了角點(diǎn)的輪廓特征，為了加強(qiáng)角點(diǎn)細(xì)節(jié)特征的描述，分別計(jì)算一次外圍特征與二次外圍特征.一次外圍特征是計(jì)算從開始掃描到第一次碰到目標(biāo)的面積占整個面積的比值；二次外圍特征是計(jì)算第一次穿過目標(biāo)邊與第二次再次碰到目標(biāo)邊之間的面積占整個面積的比值.

網(wǎng)格與外圍特征結(jié)合可以較好地描述角點(diǎn)鄰域所蘊(yùn)含的結(jié)構(gòu)信息.具體來講，將角點(diǎn)n×n等分，計(jì)算n2維網(wǎng)格特征，然后再從4個方向計(jì)算每個m區(qū)域的一次和二次外圍特征，構(gòu)成2×4×m維特向量，最終從角點(diǎn)鄰域提取得到一個n2+8×m維的特征向量.本文根據(jù)實(shí)驗(yàn)效果決定n和m的實(shí)際取值.

3.2　基于角點(diǎn)的SVM分類

流程圖像角點(diǎn)分類屬于多類分類問題，可采用支持向量機(jī)(Support Vector Machine,SVM)予以實(shí)現(xiàn).SVM本身是一個二值分類器，可以通過組合多個二分類器來實(shí)現(xiàn)多分類器的構(gòu)造，主要方法有one-against-one(1-a-1)，one-against-rest ( 1-a-r)，決策樹SVM( DTSVM)等方法[21],本文采用1-a-1方法構(gòu)建多類分類器.SVM的基本思想是通過核函數(shù)將低維不可分?jǐn)?shù)據(jù)映射到高維特征空間來解決非線性可分問題.其本質(zhì)是求解核函數(shù)和二次規(guī)劃問題.

SVM是一種監(jiān)督學(xué)習(xí)方法，在提取角點(diǎn)樣本特征后，應(yīng)將角點(diǎn)樣本分類標(biāo)注，作為SVM分類器的訓(xùn)練樣本集.本文采用徑向基核函數(shù)(Radial Basis Function,RBF)作為SVM分類的核函數(shù).RBF核函數(shù)具有較寬的收斂范圍，是較理想的分類依據(jù)函數(shù)，可以將一個樣本映射到一個更高維的空間.利用MATLAB中的LIBSVM工具箱來實(shí)現(xiàn)SVM多分類，其中在目標(biāo)函數(shù)里引入懲罰因子c對其進(jìn)行懲罰，體現(xiàn)重視離群點(diǎn)帶來損失的程度.通過參數(shù)調(diào)優(yōu)設(shè)置懲罰因子c，使得數(shù)據(jù)在高維特征空間中的線性可分度最大.

3.3　交叉驗(yàn)證

使用RBF核時需要兩個參數(shù)：(c,g)，懲罰系數(shù)c是對誤差的寬容度，值越高，說明誤差越?。籫是選擇徑向基函數(shù)作為核函數(shù)后該函數(shù)自帶的一個參數(shù)，決定了數(shù)據(jù)映射到新的特征空間后的分布.由于預(yù)先并不知道哪一對和是最佳的，因此必須要進(jìn)行參數(shù)搜索,目標(biāo)是確定一對好的(c,g) ,使分類器能夠正確地預(yù)測未知數(shù)據(jù).因此,常見的方法是把訓(xùn)練數(shù)據(jù)分成兩部分,一部分作為未知數(shù)據(jù)，在這批數(shù)據(jù)上的預(yù)測精度很大程度上反映了對未知數(shù)據(jù)的分類性能.對這一過程的改進(jìn),即交叉驗(yàn)證.本文用的是K-折交叉驗(yàn)證(K-fold CrossValidation，K-CV).將原始數(shù)據(jù)均分成K組，將每個子集數(shù)據(jù)分別做一次驗(yàn)證集，其余的K-1組子集數(shù)據(jù)作為訓(xùn)練集，這樣會得到K個模型，用這K個模型最終驗(yàn)證集的分類準(zhǔn)確率的平均數(shù)作為此K-CV下分類器的性能指標(biāo).

4　結(jié)果與分析

本文關(guān)注流程圖像的角點(diǎn)檢測和分類，與針對一般圖像[10-12]、血管圖像[13]的角點(diǎn)檢測方法在角點(diǎn)模型、檢測方法上存在較大差異，無法直接對比.因此，本節(jié)僅介紹針對本文方法的實(shí)驗(yàn)驗(yàn)證與總結(jié)分析，包括實(shí)驗(yàn)數(shù)據(jù)、實(shí)驗(yàn)方式、實(shí)驗(yàn)環(huán)境以及實(shí)驗(yàn)結(jié)果分析等.

實(shí)驗(yàn)數(shù)據(jù)來源于CLEP-IP 2012[22]，其公開的數(shù)據(jù)集包括從真正的文獻(xiàn)中獲取的150張流程圖，所有圖像都是二值形式并且僅包含單一的流程圖.實(shí)驗(yàn)中選取其中50張流程圖，結(jié)合從網(wǎng)絡(luò)上爬取的50張流程圖共100張作為實(shí)驗(yàn)對象.實(shí)驗(yàn)平臺為MATLAB R2014a，Intel(R) Core(TM) i3處理器，4 GB內(nèi)存，Windows 7操作系統(tǒng).

4.1　角點(diǎn)檢測實(shí)驗(yàn)分析

將流程圖預(yù)處理后根據(jù)連通域面積實(shí)現(xiàn)文圖分割提取流程結(jié)構(gòu)圖像，針對其中直線型和曲線型結(jié)構(gòu)元素采用CSS和Harris結(jié)合的角點(diǎn)檢測方法，實(shí)驗(yàn)效果如圖2所示.

圖2　角點(diǎn)檢測實(shí)驗(yàn)結(jié)果

CSS角點(diǎn)檢測方法對流程圖中直線型元素可以達(dá)到理想的角點(diǎn)檢測效果(空心角點(diǎn))，Harris角點(diǎn)檢測方法針對曲線型結(jié)構(gòu)元素檢測時出現(xiàn)冗余，經(jīng)過篩選可減少冗余角點(diǎn)并保留E圖元的絕大部分角點(diǎn)結(jié)構(gòu)信息(實(shí)心角點(diǎn)).

得到候選角點(diǎn)后獲取角點(diǎn)鄰域圖像，然后對其進(jìn)行分類標(biāo)注.在實(shí)際檢測到的流程圖像角點(diǎn)中，除表1中總結(jié)的構(gòu)成結(jié)構(gòu)元素的重要角點(diǎn)以外，還有來自預(yù)處理后保留的箭頭上的角點(diǎn)、直線上噪點(diǎn)產(chǎn)生的角點(diǎn)、斜線上誤檢的角點(diǎn)以及曲線上冗余的角點(diǎn).如圖3所示，前三行為實(shí)驗(yàn)中出現(xiàn)的表1中總結(jié)的角點(diǎn)，后兩行為實(shí)驗(yàn)中出現(xiàn)的其他類型角點(diǎn).按照角點(diǎn)類型命名中第一個參數(shù)分為A、D、Db、Eb、E(包括El與Er)、L、R、Rb 8類.

圖3　實(shí)驗(yàn)中出現(xiàn)的流程圖像角點(diǎn)

4.2　角點(diǎn)分類實(shí)驗(yàn)分析

對角點(diǎn)進(jìn)行特征提取，實(shí)驗(yàn)中采用不同維數(shù)特征進(jìn)行結(jié)果對比.由表2所示，m為計(jì)算外圍特征時每邊劃分的區(qū)域數(shù)，n為角點(diǎn)等分網(wǎng)格化參數(shù)，特征向量維數(shù)為n2+8×m.實(shí)驗(yàn)中截取的2 000張角點(diǎn)圖像作為訓(xùn)練集TrainData，650做測試集為TestData.提取不同維數(shù)的特征采用LIBSVM進(jìn)行角點(diǎn)的多分類并統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果如表2所示.實(shí)驗(yàn)表明，隨著特征維數(shù)提高，訓(xùn)練集的角點(diǎn)識別率不斷提高，而過擬合使得測試集角點(diǎn)識別率下降.因此，實(shí)驗(yàn)采用m和n取8時角點(diǎn)分類結(jié)果.首先將角點(diǎn)圖像8×8等分，計(jì)算網(wǎng)格特征構(gòu)成64維特征值，再將圖像4×4等分，分別從4個方向掃描得到外圍特征構(gòu)成64維特征值，最后每一個角點(diǎn)可以用128維特征值表示.

表2　不同特征維數(shù)的角點(diǎn)識別率

對于SVM參數(shù)的優(yōu)化，本實(shí)驗(yàn)選擇網(wǎng)絡(luò)搜索優(yōu)化方式，利用LIBSVM中g(shù)rid.py參數(shù)工具，可以自動進(jìn)行參數(shù)尋優(yōu)，最終得到最佳參數(shù)

c=3.031 25，g=9.007 812 5.

利用參數(shù)工具得到的c，g值在SVM中建模，對角點(diǎn)類型進(jìn)行預(yù)測.將實(shí)驗(yàn)數(shù)據(jù)集均分為5組，每組角點(diǎn)520張.在分類過程中，根據(jù)角點(diǎn)本身類型(真/假)以及檢測結(jié)果(真/假)，可能出現(xiàn)以下幾種情況：本身是真，檢測結(jié)果也為真(TP)；本身是真，檢測結(jié)果為假(FN)；本身是假，檢測結(jié)果為真(FP).計(jì)算角點(diǎn)檢測查準(zhǔn)率(P)和查全率(R)來分析檢測結(jié)果：

查準(zhǔn)率(P)：檢測到的真角點(diǎn)數(shù)占實(shí)際真角點(diǎn)數(shù)的百分比，即

(4)

式(4)中：TP是檢測結(jié)果為真且本身為真的角點(diǎn)個數(shù)；FP為檢測結(jié)果為真但本身為假的(被誤檢)的角點(diǎn)數(shù).

查全率(R)：檢測到的真角點(diǎn)數(shù)占應(yīng)該被檢測到角點(diǎn)數(shù)的百分比，即

(5)

式(5)中：FN為本身為真而檢測結(jié)果為假的角點(diǎn)數(shù).

實(shí)驗(yàn)對5組角點(diǎn)數(shù)據(jù)集采用交叉驗(yàn)證方式，角點(diǎn)檢測結(jié)果如表3所示.根據(jù)每一組訓(xùn)練集來進(jìn)行測試集角點(diǎn)類型的檢測，并計(jì)算查全率和查準(zhǔn)率以及每一角點(diǎn)類型的平均值.從實(shí)驗(yàn)結(jié)果總結(jié)分析，對測試集角點(diǎn)分類結(jié)果較理想，對5組中8類角點(diǎn)的實(shí)驗(yàn)結(jié)果求均值得到查準(zhǔn)率為89.1%，查全率為91.6%.其中曲線型結(jié)構(gòu)元素角點(diǎn)(E，Eb)相對于直線型結(jié)構(gòu)元素角點(diǎn)的識別率低，直線型結(jié)構(gòu)元素中Rb以及角點(diǎn)特征相對復(fù)雜的A角點(diǎn)查準(zhǔn)率也相對較低.查全率和查準(zhǔn)率低的原因有三個：一是曲線形結(jié)構(gòu)元素的角點(diǎn)檢測受限于目前角點(diǎn)檢測技術(shù)，角點(diǎn)檢測定位不精確并出現(xiàn)冗余問題；二是E圖元本身尺度問題使得曲線局部角點(diǎn)特征有曲度差異，例如經(jīng)過預(yù)處理后得到的曲率較大的El-1角點(diǎn)與R-1角點(diǎn)會容易誤檢測；三是在實(shí)際流程圖中存在角度不同以及形式多樣問題，細(xì)分種類較多，樣本差距越大SVM對數(shù)據(jù)擬合程度不夠，分類性能也就變差.

表3　各組角點(diǎn)分類結(jié)果

為了降低角點(diǎn)誤分類對后續(xù)流程圖結(jié)構(gòu)識別和理解的影響，對LIBSVM中預(yù)估函數(shù)返回的每個角點(diǎn)不同類型的分類概率做統(tǒng)計(jì)，將較高分值的前幾位所對應(yīng)的類型依次作為預(yù)測值的候選類型，

以此提高角點(diǎn)類型預(yù)測準(zhǔn)確率.表3中統(tǒng)計(jì)第一組角點(diǎn)數(shù)據(jù)集的前三位候選類型(Top3R)查全率.結(jié)果表明，三候選角點(diǎn)類型中對各類角點(diǎn)類型預(yù)測準(zhǔn)確率有明顯提高.

5　結(jié)論

提出了一種針對流程圖像的角點(diǎn)檢測與分類方法，從角點(diǎn)特征分析流程圖像并定義流程圖像角點(diǎn)分類模型，采用角點(diǎn)鄰域的網(wǎng)格特征和外為特征訓(xùn)練SVM分類器實(shí)現(xiàn)角點(diǎn)分類.針對公開數(shù)據(jù)集圖像的實(shí)驗(yàn)表明采用CSS與Harris結(jié)合的方法可以全面準(zhǔn)確地檢測流程圖角點(diǎn)，并達(dá)到較好的角點(diǎn)分類結(jié)果.本文的研究成果為進(jìn)一步開展基于角點(diǎn)的流程圖識別研究工作奠定基礎(chǔ).

[1] Bhatti N,Hanbury A.Image search in patents:A review[J].International Journal on Document Analysis and Recognition (IJDAR),2013,16(4):309-329.

[3] Adams S.Electronic non-text material in patent applications-some questions for patent offices,applicants and searchers[J].World Patent Information,2005,27(2):99-103.

[5] Thean A,Deltorn J M,Lopez P,et al.Textual summarisation of flowcharts in patent drawings for CLEF-IP 2012[J].Aorn Journal,2012,32(2):1-21.

[6] Escalera S,Forn,Alicia S,et al.Blurred shape model for binary and grey-level symbol recognition[J].Pattern Recognition Letters,2009,30(15):1 424-1 433.

[7] Roland M,René S,Andrs H,et al.Visual structure analysis of flow charts in patent images[C]// CLEF2012 Evaluation Labs and Workshop.Roma,Italy:Online Working Notes,2012:115-133.

[8] Sas J,Markowska Kaczmar U.Logical structure recognition of diagram images[C]//2015 Federated Conference on Computer Science and Information Systems.Lódz,Poland:FedCSIS,2015:215-224.

[9] 章為川,孔祥楠,宋文.圖像的角點(diǎn)檢測研究綜述[J].電子學(xué)報,2015,43(11):2 315-2 321.

[10] Ryu J B,Park H H,Park J.Corner classification using harris algorithm[J].Electronic Letter,2011,47(9):536-538.

[11] Shui L,Zhang W C.Corner detection and classification using anisotropic directional derivative representations[J].IEEE Transaction on Image Processing,2013,22(8):3 204-3 218.

[12] 曾接賢,黃華川,張桂梅.基于有向面積的角點(diǎn)分類算法[J].中國圖象圖形學(xué)報,2008,13(6):1 159-1 165.

[13] 趙曉芳,林土勝.視網(wǎng)膜血管圖像特征點(diǎn)自動提取和分類[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(8):14-17.

[14] Zhang C P,Wei X G.Rectangle detection based on Harris corner[J].Optics & Precision Engineering,2014,152(3):3 479-3 491.

[15] Zhang X,Lei M,Yang D,et al.Multi-scale curvature product for robust image corner detection in curvature scale space[J].Pattern Recognition Letters,2007,28(5):545-554.

[16] 韓建峰,宋麗麗.改進(jìn)的字符圖像細(xì)化算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報,2013,25(1):62-66.

[17] He L,Ren X,Gao Q,et al.The connected-component labeling problem:A review of state-of-the-art algorithms[J].Pattern Recognition,2017,70:25-43.

[18] 王家隆,郭成安.一種改進(jìn)的圖像模板細(xì)化算法[J].中國圖象圖形學(xué)報,2004,9(3):297-301.

[19] Awrangjeb M,Lu G.An improved curvature scale-space corner detector and a robust corner matching approach for transformed image identification[J].IEEE Transactions on Image Processing,2008,17(12):2 425-2 441.

[20] 剛亞州,黃元元,戴群.一種快速名片字符識別算法[J].計(jì)算機(jī)應(yīng)用研究,2014,31(9):2 859-2 863.

[21] 王道明,魯昌華,蔣薇薇,等.基于粒子群算法的決策樹SVM多分類方法研究[J].電子測量與儀器學(xué)報,2015,29(4):611-615.

[22] Piroi F,Lupu M,Hanbury A,et al.CLEF-IP 2011:Retrieval in the intellectual property domain,September 2011[DB/OL].http://www.ifs.tuwien.ac.at/ ～clef-ip/download/2012/ index.shtml,2012-09-04.