王趙宇， 周國帆， 舒 挺

（浙江理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院， 杭州 310018）

0 引 言

可視化可以將不可見的數(shù)據(jù)現(xiàn)象轉(zhuǎn)化為可見的圖形符號，折線圖是其主要形式之一，有廣泛的應(yīng)用場景。 在醫(yī)療領(lǐng)域，聽力圖是一種特殊的折線圖，表示各種頻率下的聽力水平，可以診斷聽力損失，為患者選擇合適的助聽器；在科學(xué)文獻中，大量的實驗數(shù)據(jù)通常也可以以折線圖的形式展現(xiàn)，而沒有提供實驗原始數(shù)據(jù)，從而制約了對實驗的復(fù)現(xiàn)和對數(shù)據(jù)的分析復(fù)用。 因此，抽取圖表的底層數(shù)據(jù)在包括醫(yī)療、科研諸多領(lǐng)域具有重要應(yīng)用價值。

折線圖數(shù)據(jù)解析是指從缺乏底層數(shù)據(jù)的圖表圖像中，按照圖形比例、位置等信息逆向提取折線數(shù)值的過程。 圖表自動化提取相比于人工估算，速度更快，可靠性更高。 解決折線圖數(shù)據(jù)解析問題主要面臨以下3 個挑戰(zhàn)：

（1）由于原始圖片分辨率不高，導(dǎo)致軸標(biāo)簽檢測的精確度下降；

（2）由于軸標(biāo)簽字體多樣化，導(dǎo)致軸標(biāo)簽的識別難度增加；

（3）由于折線與背景顏色差異不明顯、網(wǎng)格粗細和顏色多樣使得分割準(zhǔn)確折線更加困難。

當(dāng)前圖表解析的主流方法分為兩類：基于圖形學(xué)的方法和基于神經(jīng)網(wǎng)絡(luò)的方法。 在基于圖形學(xué)的方法中，Huang［1］等利用連通區(qū)域分析分離文本和圖中的數(shù)字信息，使用邊映射和特定規(guī)則提取圖形元素；Jayant［2］及Falk［3］等開展了文本方向的相關(guān)工作，有助于文本識別；Yan Ping Zhou［4］等使用邊界追蹤和霍夫變換識別柱狀圖中的柱形。 上述基于圖形學(xué)的方法能夠?qū)崿F(xiàn)較高精準(zhǔn)度，使得抽樣數(shù)據(jù)更加可靠，但效率不高，且大多基于特定的圖表規(guī)則，對于多變的折線圖效果欠佳。 神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)能力，通常更高效。 Mathieu［5］等采用基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型，對目標(biāo)物體定位，獲取數(shù)值信息，此方法僅對散點圖有效；Noah［6］等和Jorge［7］等提出了定位數(shù)字和分析內(nèi)容的方法，為多類圖表數(shù)據(jù)提取提供了解決思路；Li［8］等提出了一種能夠自動提取完整聽力圖信息的可行模型，但僅能夠提取部分帶有標(biāo)記的數(shù)據(jù)，難以完整提取折線數(shù)據(jù)。 基于神經(jīng)網(wǎng)絡(luò)的方法應(yīng)用范圍廣，操作效率高，但精準(zhǔn)度不如圖形學(xué)方法。

針對線條與背景色顏色接近、圖表分辨率不高等情況，本文提出了基于神經(jīng)網(wǎng)絡(luò)和圖形學(xué)方法結(jié)合的兩階段折線圖解析算法，利用神經(jīng)網(wǎng)絡(luò)解決圖形學(xué)方法逐像素遍歷效率不高的問題，利用圖形學(xué)方法的高準(zhǔn)確性解決神經(jīng)網(wǎng)絡(luò)由于線條邊緣大量過渡顏色的像素導(dǎo)致數(shù)值提取不準(zhǔn)的問題。 本文使用神經(jīng)網(wǎng)絡(luò)高效獲取初步提取結(jié)果，使用圖形學(xué)方法基于色彩進一步完善線條分割效果，提出了一種折線圖數(shù)據(jù)解析方法，使用擅長小目標(biāo)檢測的Faster－RCNN 模型進行軸標(biāo)簽的目標(biāo)檢測，使用線性回歸過濾掉因字號微小或字體多樣導(dǎo)致識別錯誤的軸標(biāo)簽，使用雙色彩篩選算法修正Unet＋＋語義分割模型的分割圖提高折線圖數(shù)值提取的準(zhǔn)確度。 折線圖數(shù)據(jù)解析的兩階段方法如圖1 所示。

圖1 折線圖數(shù)據(jù)解析的兩階段方法Fig. 1 A two－stage approach on data analysis of line graphs

1 本文方法

本文提出的折線圖數(shù)據(jù)解析算法如下：

（1）使用目標(biāo)檢測網(wǎng)絡(luò)對原始圖表進行目標(biāo)檢測， 得到每個標(biāo)簽的信息：其中，boxi為標(biāo)簽的位置信息，依次為左、上、右、下邊界，valuei為標(biāo)簽所代表的真實數(shù)值。

（2）借助boxi進行掩膜，使用Canny 邊緣檢測和FAST（Feature from Accelerated Segment Test）角點檢測算法檢測表格邊界和表格角點以及表格網(wǎng)格。

（3）使用語義分割網(wǎng)絡(luò)進行線條分割配合色彩篩選算法，得到折線

（4）根據(jù)軸標(biāo)簽值和標(biāo)簽像素坐標(biāo)進行映射計算。

折線圖數(shù)據(jù)解析的兩階段方法主體流程如圖2所示。

圖2 折線圖數(shù)據(jù)解析的兩階段方法主體流程Fig. 2 The main process of two － stage method for data analysis of line graph

1.1 軸標(biāo)簽檢測

Faster R－CNN 能夠更好地檢測小目標(biāo)，對于本任務(wù)中的檢測軸標(biāo)簽具有天然優(yōu)勢。

軸標(biāo)簽檢測在圖片中找到標(biāo)簽位置，并對標(biāo)簽進行識別，算法如下：

首先，用Faster R－CNN 模型對圖表中的數(shù)字進行目標(biāo)檢測，得到標(biāo)簽的加載預(yù)訓(xùn)練權(quán)重模型，用多尺度折線圖數(shù)據(jù)抽樣數(shù)據(jù)集進行微調(diào)訓(xùn)練，生成新的網(wǎng)絡(luò)模型。 利用boxi邊框信息將軸標(biāo)簽裁剪，使用灰度圖進行邊界調(diào)整，如果邊界像素灰度值大于255?0.95，判定為數(shù)字部分，從而得到更加精準(zhǔn)的數(shù)字框。

將數(shù)字框覆蓋的圖像內(nèi)容輸入位數(shù)分類網(wǎng)絡(luò)：經(jīng)過卷積層、激活函數(shù)、最大池化層對圖像進行特征提取，全連接層進行分類，最終分為3 類（本文假設(shè)軸標(biāo)簽位數(shù)最大為3 位，可根據(jù)實際情況調(diào)整），并得到預(yù)測結(jié)果；根據(jù)數(shù)字位數(shù)對數(shù)字進行等分裁切，將單個數(shù)字框輸入數(shù)字識別卷積神經(jīng)網(wǎng)絡(luò)，在全連接層將數(shù)字分為十個類別，再進行數(shù)字組合，從而得到軸標(biāo)簽數(shù)值。

最后，通過線性回歸過濾錯誤值。 軸標(biāo)簽一般是符合線性遞增排列的，可以對一列標(biāo)簽數(shù)值和像素坐標(biāo)根據(jù)最小二乘法進行線性擬合，從而過濾錯誤值，算法具體描述見表1。

表1 線性回歸過濾錯誤值算法Tab. 1 Linear regression error filtering algorithm

1.2 折線圖數(shù)值提取

在折線圖數(shù)值提取之前，需要進行邊界檢測、角點檢測、網(wǎng)格檢測等預(yù)處理。 使用標(biāo)簽定位與識別的結(jié)果掩膜，進行Canny 邊緣檢測，根據(jù)色彩階躍變化對包含角點的外邊界進行調(diào)整；使用FAST 特征點檢測算法進行角點檢測；使用與邊界檢測類似的方法進行網(wǎng)格檢測。

采用Unet＋＋語義分割模型對折線圖進行語義分割，得到一階段的分割圖。

折線圖往往線條很細，且包含網(wǎng)格背景等無用信息，本文設(shè)計了雙色彩篩選算法得到第二階段分割圖，具體步驟如下：

（1）對第一階段分割圖進行像素色彩統(tǒng)計，選擇數(shù)量最多的像素值進行第一次色彩篩選；

（2）從圖表邊界向內(nèi)延伸進行色彩統(tǒng)計，進行第二次色彩篩選，生成第二階段分割圖。

最后，在第二階段分割圖中仍存在邊緣不清晰、跨度大、內(nèi)部殘缺的問題，需要進行填充修補。 從左邊界向右掃描，將最高點和最低點之間進行填充，得到飽滿的折線；依照目標(biāo)色彩從原圖中向四周探尋，將第二階段分割圖向外延伸，獲得完整的折線。 部分線條會由于網(wǎng)格、過渡像素等的干擾形成中斷缺失，使用左右兩點的計算均值代替該列的像素值和位置。

1.3 數(shù)值映射計算

針對折線圖數(shù)值映射計算，本文給出以下定義：

（1）像素坐標(biāo)：目標(biāo)像素點距圖表上界的像素數(shù)量為yp，目標(biāo)像素點距離作邊界的像素數(shù)量差值為xp，像素坐標(biāo)記為（xp，yp）；

（2）圖表坐標(biāo)：目標(biāo)點經(jīng)映射計算后在圖表中所代表的真實橫縱坐標(biāo)值，記為（xr，yr）；

（3）由于線條存在寬度，故取分割圖中每一列像素中點作為映射輸入點。

獲取到線條的分割圖后，需要根據(jù)軸標(biāo)簽的中心位置和映射輸入點進行計算。 首先，將標(biāo)簽集合K中的每一個軸標(biāo)簽記為其中，（txi，tyi） 為標(biāo)簽的中心像素坐標(biāo)，vi為標(biāo)簽所代表的真實數(shù)值。

分別取相鄰軸標(biāo)簽的軸向像素數(shù)量差值和真實數(shù)值差值，兩兩之間計算單位像素坐標(biāo)值所代表的真實圖表坐標(biāo)值，取平均值，對于每一個待求圖表坐標(biāo)的映射輸入點，與每一個軸標(biāo)簽pi進行如公式（1）的計算，var 即所求坐標(biāo)數(shù)值，即可完成對于折線圖的數(shù)據(jù)解析。

其中，dy表示當(dāng)前標(biāo)簽的縱向像素值；distave表示圖表單位像素的坐標(biāo)值跨度范圍；len（pi） 表示標(biāo)簽個數(shù)。

2 實驗與分析

2.1 實驗測試問題

本文實驗設(shè)計主要測試算法在以下兩個方面的效果：

（1）測試本文方法針對不同字號、不同字體樣式的適應(yīng)能力。 在含有50 種不同字體、隨機字號的數(shù)據(jù)集上計算單字符、完整標(biāo)簽的識別精確率、召回率、F1 值檢測軸標(biāo)簽衡量算法對不同大小、字號軸標(biāo)簽定位和內(nèi)容識別的準(zhǔn)確程度，并比較線性回歸策略對算法的提升效果；

（2）測試本文方法針對折線、網(wǎng)格、背景顏色接近的性能。 在含有多種背景、線條、網(wǎng)格樣式的數(shù)據(jù)集上，計算線條分割的平均交并比、準(zhǔn)確度、精確度、平均歐式距離，衡量算法在不同的干擾背景下抽取線條和數(shù)值映射的準(zhǔn)確程度，并比較雙色彩篩選策略對算法的提升效果。

2.2 測試數(shù)據(jù)集

目前還沒有公開的大規(guī)模折線圖數(shù)據(jù)抽樣數(shù)據(jù)集，為了驗證本文方法的實用性和有效性，構(gòu)建一個折線圖數(shù)據(jù)抽樣數(shù)據(jù)集，包含具有50 種軸標(biāo)簽字體、隨機軸標(biāo)簽位置、9 種背景顏色、隨機網(wǎng)格顏色、3 種網(wǎng)格寬度、7 種網(wǎng)格數(shù)量、隨機折線顏色、12 種折線寬度的5 000 張折線圖。 針對軸標(biāo)簽檢測實驗，本文引入ICDAR 2019 掃描收據(jù)數(shù)據(jù)集，該數(shù)據(jù)集具有1 000 個完整的掃描收據(jù)圖像，在此數(shù)據(jù)集的基礎(chǔ)上引入本文設(shè)計的數(shù)據(jù)集共6 000 張圖片進行軸標(biāo)簽檢測算法的性能評估。

2.3 軸標(biāo)簽檢測實驗

2.3.1 實驗設(shè)置

將數(shù)據(jù)集按照比例6 ∶3 ∶2 劃分訓(xùn)練集、驗證集和測試集。 軸標(biāo)簽檢測實驗參數(shù)設(shè)置見表2。

表2 軸標(biāo)簽檢測實驗參數(shù)設(shè)置Tab. 2 Parameter setting in axis label detection experiment

2.3.2 評價指標(biāo)

本文使用標(biāo)準(zhǔn)的目標(biāo)檢測評價指標(biāo)來衡量軸標(biāo)簽檢測的性能，即單字符識別精確率、單字符識別召回率、完整標(biāo)簽識別精確率、完整標(biāo)簽識別召回率、F1－ Score。 精確率計算公式（2）、召回率計算公式（3）如下：

其中，TP表示真正例，即被分類器正確地判定為正例的樣本數(shù)；FP表示假正例，即被分類器錯誤地判定為正例的樣本數(shù)；FN表示假負(fù)例，即被分類器錯誤地判定為負(fù)例的樣本數(shù)；TN表示真負(fù)例，即被分類器正確地判定為負(fù)例的樣本數(shù)。

2.3.3 實驗結(jié)果

軸標(biāo)簽檢測實驗結(jié)果見表3。 軸標(biāo)簽檢測實驗結(jié)果示意圖如圖3 所示。 軸標(biāo)簽檢測實驗中采用的線性回歸策略對結(jié)果優(yōu)化對比結(jié)果如圖4 所示。

表3 軸標(biāo)簽檢測實驗結(jié)果Tab. 3 Axis label detection results

圖3 軸標(biāo)簽檢測實驗結(jié)果示意圖Fig. 3 Schematic diagram of axis label detection results

圖4 線性回歸策略對結(jié)果優(yōu)化對比圖Fig. 4 Comparison of results on linear regression strategy

實驗測試了使用線性回歸方法對實驗結(jié)果的影響，實驗結(jié)果表明該方法可以濾除錯誤的軸標(biāo)簽識別結(jié)果，即會提升精確率并降低召回率，但考慮到本文采用坐標(biāo)值映射的方法是最多等值策略，故算法的精確率更為重要，即允許漏識別，避免誤識別，因此經(jīng)過線性回歸后會過濾掉部分錯誤識別的結(jié)果，雖然會使得字符召回率和軸標(biāo)簽召回率下降，但對整體算法的準(zhǔn)確度是有益的。 同時對于少部分圖片，由于字體過小導(dǎo)致個別字符識別錯誤或因字體樣式（如部分字體的9 和0 過于相似）導(dǎo)致個別字符識別錯誤，線性回歸能夠大幅減弱軸數(shù)字檢測錯誤帶來的副作用，有利于提高后續(xù)數(shù)值提取的準(zhǔn)確度。

2.4 折線圖數(shù)值提取實驗

2.4.1 實驗設(shè)置

選用數(shù)據(jù)集中4 000 張圖片進行訓(xùn)練，1 000 張圖片用于測試。 參數(shù)設(shè)置見表4。

表4 折線圖數(shù)值提取實驗參數(shù)設(shè)置Tab. 4 Parameter setting in line graph value extraction experiment

2.4.2 評價指標(biāo)

本文使用標(biāo)準(zhǔn)的語義分割評價指標(biāo)來衡量線條分割的性能，指標(biāo)為平均交并比（mIoU）、 準(zhǔn)確度、精確度。 平均交并比計算，公式（4）：

本文采用平均歐式距離作為評價指標(biāo)評估預(yù)測值與真實值的偏離程度，將圖標(biāo)橫向5 等分，通過5個點與軸標(biāo)簽的中點之間的像素差值和軸便簽的單位值（即兩個鄰接軸標(biāo)簽的數(shù)值差值）計算折線所表示數(shù)值，公式（5）：

其中，yi表示真實值；y′i表示預(yù)測值；k表示縱坐標(biāo)最大標(biāo)簽值。

2.4.3 實驗結(jié)果

折線圖數(shù)值提取實驗結(jié)果見表5。 折線圖數(shù)值提取實驗結(jié)果示意圖如圖5 所示。 折線圖數(shù)值提取實驗雙色彩篩選策略對結(jié)果優(yōu)化對比圖如圖6 所示。 本文算法計算的平均歐氏距離為0.087。

表5 折線圖數(shù)值提取實驗結(jié)果Tab. 5 Experimental results of numerical extraction of line graph results

圖5 折線圖數(shù)值提取實驗結(jié)果示意圖Fig. 5 Schematic diagram of experimental results of line graph value extraction

圖6 雙色彩篩選策略對結(jié)果優(yōu)化對比圖Fig. 6 Effect of dual color screening strategy on final results

實驗測試了雙色彩篩選算法對實驗結(jié)果的影響。 實驗結(jié)果表明，相比于只使用深度神經(jīng)網(wǎng)絡(luò)的方法，結(jié)合傳統(tǒng)的圖形學(xué)方法進行調(diào)整，大幅提高了線條分割的精準(zhǔn)度，提升幅度為53.2%，這主要是由于一些邊緣像素導(dǎo)致神經(jīng)網(wǎng)絡(luò)進行語義分割的結(jié)果包含了大量無用信息，算法濾除了無用信息且修復(fù)了殘缺的線條，從而提高了性能，但不可避免的引入一些耗時操作。 對于難以界定的邊緣像素，無論將其歸于線條類還是折線線條類都會導(dǎo)致分割線條不夠平滑，不過由于坐標(biāo)映射時會將該列像素值的中點作為映射輸入，故只要對于上下兩側(cè)的邊緣像素以同種策略進行篩選則不會影響結(jié)果。 坐標(biāo)值映射產(chǎn)生的誤差的主要原因是網(wǎng)格顏色與線條顏色過于接近導(dǎo)致的映射縱坐標(biāo)取值錯誤、邊界定位出錯導(dǎo)致的橫坐標(biāo)取點出錯。 雖然本文的方法是有效的，但仍然存在一些局限性，如訓(xùn)練不是端對端的，有些工作是重復(fù)的會降低操作效率。

3 結(jié)束語

為了重新抽取圖表中的數(shù)據(jù)信息，本文提出了一整套折線圖數(shù)據(jù)解析方法，使用擅長小目標(biāo)檢測的Faster R－CNN 和Unet＋＋兩大模型，分別對標(biāo)簽數(shù)字進行定位識別和對曲線進行語義分割；使用線性回歸輔助解決字號微小、容易識別錯誤的問題；使用雙色彩篩選算法修正語義分割模型的結(jié)果，提高對于細微線條提取的準(zhǔn)確度。 另外，本文方法還可以拓展，對于現(xiàn)實中更多復(fù)雜的表格類型，可以抽取相應(yīng)的特征點，進一步地細化折線圖解析方法。