1中國石油西部管道公司

2北京星球數(shù)碼科技有限公司

近年來，隨著我國經(jīng)濟的飛速發(fā)展，對油氣等能源的需求也在不斷增加，管道里程迅速增長，形成了多渠道、跨區(qū)域的全國性油氣管網(wǎng)。長距離輸油管道分布范圍廣，新舊管線并存，管道周邊環(huán)境復(fù)雜多樣[1-2]。在大數(shù)據(jù)的范疇，數(shù)據(jù)的來源多種多樣，經(jīng)過多年的管道完整性管理，各油氣長輸管道企業(yè)都在管道業(yè)務(wù)領(lǐng)域積累了管道建設(shè)竣工資料、運營管理等大量數(shù)據(jù)（如內(nèi)外檢測、陰極保護、地質(zhì)災(zāi)害監(jiān)測及管道地理信息等數(shù)據(jù)），這些數(shù)據(jù)為管道安全管理、完整性管理及評價提供了數(shù)據(jù)支持[3]。為了降低管道生產(chǎn)運行過程中所面臨的各種問題，將對管道完整性數(shù)據(jù)采集后加以識別和評價，然后根據(jù)風險評價將管道風險等級控制在合理范圍內(nèi)，以防止管道事故的發(fā)生。由于這些海量數(shù)據(jù)采集是在管道建設(shè)及管道運營管理的不同時期，其管理、采集、存儲的內(nèi)容及方式不一致，同時按照多種不同的組織方式將不同類型的數(shù)據(jù)分別存放在不同的數(shù)據(jù)庫中，使得這些數(shù)據(jù)的使用存在許多問題。

因此，研究一套管道大數(shù)據(jù)整合方法，以竣工資料或內(nèi)檢測數(shù)據(jù)提供的各管節(jié)信息為基準，以管道建設(shè)期數(shù)據(jù)、地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)、管道運營期數(shù)據(jù)、陰極保護數(shù)據(jù)、內(nèi)外檢測數(shù)據(jù)、地理空間數(shù)據(jù)等為基礎(chǔ)數(shù)據(jù)，使數(shù)據(jù)可以對應(yīng)到各環(huán)焊縫信息，形成統(tǒng)一的數(shù)據(jù)模型和數(shù)據(jù)庫，最終實現(xiàn)將一根管節(jié)的所有數(shù)據(jù)信息關(guān)聯(lián)查詢并可以將其全要素信息對應(yīng)到管線走向圖上進行展示，同時利用管道大數(shù)據(jù)技術(shù)對管道業(yè)務(wù)數(shù)據(jù)進行分析和篩選應(yīng)用，對油氣長輸管道公司管道業(yè)務(wù)管理、決策分析及風險評估有著重要意義。

1 管道完整性大數(shù)據(jù)整合數(shù)據(jù)范圍

1.1 管道竣工資料數(shù)據(jù)

需要對管道竣工數(shù)據(jù)進行以下幾個方面的管道完整性分析：①石油和天然氣長輸管道竣工資料，包括管道焊接記錄、壓力測試記錄，管道焊接返修記錄、焊口縫射線檢測記錄表、水工保護、隱蔽工程、冷彎管、管道防腐補口、保溫施工記錄，陰極保護工程、管道穿越工程、隧道穿越單項工程、線路竣工圖等內(nèi)容；②隧道數(shù)據(jù)，包括隧道建設(shè)竣工資料、設(shè)計圖紙等數(shù)據(jù)。

1.2 管道運營期數(shù)據(jù)

需要完成對管道竣工數(shù)據(jù)的完整性大數(shù)據(jù)分析。

（1）結(jié)合完整性管理的要求以及APDM標準數(shù)據(jù)。管道完整性管理采集在實際調(diào)研后充分考慮中國石油的管道特點，建立具有高水平的完整性管道數(shù)據(jù)模型（PIDM模型）。以此管道數(shù)據(jù)模型為底層架構(gòu)，構(gòu)建一個數(shù)據(jù)庫能夠包含整個管道生命周期，包括管道中線數(shù)據(jù)以及管道設(shè)備設(shè)施數(shù)據(jù)，管道施工及生產(chǎn)作業(yè)中的事故以及缺陷數(shù)據(jù)，再經(jīng)過對數(shù)據(jù)進行有效的組織和存儲，為管道信息化以及建設(shè)期、運營期的管理提供支持，同時也為管道完整性的管理奠定基礎(chǔ)。同時要保證獲取到的管道數(shù)據(jù)的準確性、完整性、時效性。

（2）陰極保護監(jiān)測數(shù)據(jù)。主要由自然電位、恒電位儀監(jiān)測數(shù)據(jù)、保護電位、陽極地床接地電阻、電位分析報告等數(shù)據(jù)構(gòu)成。

（3）管道地質(zhì)災(zāi)害監(jiān)測數(shù)據(jù)。包括管道最大拉伸應(yīng)力、最大壓縮應(yīng)力、最大彎曲應(yīng)力、地表位移量等監(jiān)測數(shù)據(jù)。

（4）管道內(nèi)檢測數(shù)據(jù)。主要包含幾何檢測、內(nèi)檢測的前期調(diào)查、管道的清管、三軸高清漏磁檢測、管道坐標測繪及應(yīng)變評估、初步報告編制、開挖驗證及報告編制、最終檢測報告編制、缺陷適用性評價報告。

（5）地理信息基礎(chǔ)數(shù)據(jù)。包括基礎(chǔ)地理地形數(shù)據(jù)、自然社會要素數(shù)據(jù)、經(jīng)濟要素數(shù)據(jù)以及管道空間信息數(shù)據(jù)的數(shù)據(jù)庫，其中數(shù)據(jù)主要有管道基礎(chǔ)矢量化數(shù)據(jù)、管道業(yè)務(wù)數(shù)據(jù)和衛(wèi)星影像數(shù)據(jù)等，以矢量化的電子地圖為基礎(chǔ)，然后對管道周圍的社會、環(huán)境以及自然因素之間的關(guān)系進行分析，實現(xiàn)對管道以及設(shè)備等信息的搜索、定位、查詢、分析等功能，為管道完整性數(shù)據(jù)的管理提供科學有效的方法[4]。

2 管道完整性大數(shù)據(jù)處理方法

2.1 管道完整性大數(shù)據(jù)采集要求

對管道完整性數(shù)據(jù)采集后加以識別和評價各種風險，然后根據(jù)風險評價等級采取合適的辦法降低風險，同時控制管道風險等級，以防止發(fā)生管道事故。數(shù)據(jù)采集分為兩部分：第一部分為外業(yè)GPS位置信息采集，根據(jù)需求將采集GPS位置信息數(shù)據(jù)與位置的屬性信息數(shù)據(jù)[5]；第二部分為屬性信息數(shù)據(jù)以及相關(guān)的空間數(shù)據(jù)的收集。管道數(shù)據(jù)采集主要包括以下幾個方面：

（1）管道中心線及管道設(shè)施數(shù)據(jù)。管道中心線及管道設(shè)施數(shù)據(jù)包括從設(shè)計、施工到運營一整套的管道信息數(shù)據(jù)，比如鋼管信息、防腐層、彎頭、閥等。經(jīng)過實地踏勘測量可以獲取到管道中心線、管道設(shè)施的空間地理位置信息，但是其他管道設(shè)施的屬性數(shù)據(jù)只能從歷史資料中獲得，包括施工資料以及竣工資料。

（2）管道沿線地理數(shù)據(jù)。管道沿線的公路、河流、鐵路、三穿、水工、建筑物等要素環(huán)境數(shù)據(jù)可以作為管道風險評價以及HCA分析的重要參考數(shù)據(jù)，應(yīng)包括多個比例尺。

（3）遙感影像數(shù)據(jù)。管道信息所涉及到的遙感影像數(shù)據(jù)主要是指管道經(jīng)過地方兩側(cè)各2.5 km范圍內(nèi)的柵格影像，通過影像可以直觀地查看管道周邊環(huán)境信息，包括基礎(chǔ)地形、地貌、主要公共設(shè)施、建筑物、公路、鐵路、河流等信息，可作為管道沿線地理數(shù)據(jù)更新的依據(jù)。

2.2 管道完整性大數(shù)據(jù)采集內(nèi)容

其主要包括兩個方面的數(shù)據(jù)采集，一是地理背景數(shù)據(jù)，二是管道建設(shè)期及運營期數(shù)據(jù)。管道建設(shè)期采集的數(shù)據(jù)主要包括前期的管道咨詢設(shè)計、伴行路工程、站場工程、線路工程、無損檢測、陰極保護工程、通信以及設(shè)備物資等數(shù)據(jù)。運營期采集到的管理數(shù)據(jù)包括管道高后果區(qū)、內(nèi)項目、水工保護、風險評估、防腐層大修項目、維搶修、管道巡護及保護、陰極保護、地質(zhì)災(zāi)害監(jiān)測等數(shù)據(jù)，目前這些數(shù)據(jù)尚未得到有效應(yīng)用。管道內(nèi)外檢測采集管道環(huán)焊縫、管節(jié)、壁厚、凹陷點、埋深等內(nèi)檢測數(shù)據(jù)以及自然電位、雜散電流、土壤和水pH值、土壤的電阻率、管道路由定位以及外防腐層缺陷定位等外檢測數(shù)據(jù)[6-7]。

2.3 管道完整性大數(shù)據(jù)采集流程

數(shù)據(jù)采集涉及到不同類型數(shù)據(jù)的采集工作，不同的數(shù)據(jù)收集方法不同，現(xiàn)根據(jù)數(shù)據(jù)內(nèi)容制定數(shù)據(jù)采集流程（圖1）。

2.4 管道完整性大數(shù)據(jù)處理及存儲

圖1 數(shù)據(jù)采集流程Fig.1 Data collection flow

（1）管道完整性大數(shù)據(jù)整合集成思路。以內(nèi)檢測數(shù)據(jù)、竣工資料提供的各管節(jié)信息為基礎(chǔ)數(shù)據(jù)，將采集到的管道施工期的數(shù)據(jù)、內(nèi)檢測數(shù)據(jù)、管道運營期的管理數(shù)據(jù)、陰極保護數(shù)據(jù)、地質(zhì)災(zāi)害監(jiān)測及地理信息空間數(shù)據(jù)等進行匹配，使各類數(shù)據(jù)能夠與環(huán)焊縫信息一一對應(yīng)，然后形成統(tǒng)一的數(shù)據(jù)庫以及數(shù)據(jù)模型，最終將一根管節(jié)上的所有數(shù)據(jù)信息進行關(guān)聯(lián)查詢，并可以將其全要素信息對應(yīng)到管線走向圖上進行展示。

（2）管道完整性大數(shù)據(jù)入庫流程。將數(shù)據(jù)進行加工導入到EXCEL模板后，按照管道模型的要求將EXCEL模板數(shù)據(jù)進行處理并導入中間庫，對中間庫的數(shù)據(jù)認真檢查無誤后，將其導入到最終的數(shù)據(jù)庫中進行最終數(shù)據(jù)的驗證。

（3）管道完整性大數(shù)據(jù)處理簡述。處理內(nèi)容包括：綜合分析、收集單項數(shù)據(jù)；制定一個統(tǒng)一的參照系；通過圖解或人工方式整合數(shù)據(jù)。

（4）管道完整性大數(shù)據(jù)存儲與集成?；谀Ｐ蛣?chuàng)建統(tǒng)一的數(shù)據(jù)庫，將管道建設(shè)期和運營期數(shù)據(jù)處理后入庫，并將管節(jié)焊縫的所有數(shù)據(jù)信息進行關(guān)聯(lián)查詢。

（5）管道完整性大數(shù)據(jù)校驗。數(shù)據(jù)核對是整個數(shù)據(jù)處理保證最終入庫數(shù)據(jù)準確性的重要環(huán)節(jié)，為保證數(shù)據(jù)處理的成果能夠順利地支撐管道完整性管理系統(tǒng)的運行，滿足管道管理人員日常業(yè)務(wù)處理的基本要求，大數(shù)據(jù)校檢核對的主要內(nèi)容包括：①檢查數(shù)據(jù)處理范圍是否完全；②檢查數(shù)據(jù)處理類型是否完全；③檢查數(shù)據(jù)是否按照正確的邏輯關(guān)系入庫；④檢查評價和檢測數(shù)據(jù)里程校準是否正確；⑤檢查業(yè)務(wù)數(shù)據(jù)是否錄入完全、準確。

3 管道完整性大數(shù)據(jù)對齊優(yōu)化整合

近年來，大數(shù)據(jù)逐漸滲入到管道信息的管理中，并得到廣泛的傳播和應(yīng)用。大數(shù)據(jù)的理論依據(jù)包括相關(guān)性分析理論以及非因果性分析理論，管道系統(tǒng)信息的大數(shù)據(jù)是經(jīng)過眾多管道數(shù)據(jù)相互結(jié)合產(chǎn)生，這些數(shù)據(jù)包括管道地理數(shù)據(jù)、管道建設(shè)期數(shù)據(jù)、管道運營期數(shù)據(jù)、管道腐蝕數(shù)據(jù)、資產(chǎn)設(shè)備數(shù)據(jù)、檢測監(jiān)測數(shù)據(jù)、市場數(shù)據(jù)等。但是這些管道數(shù)據(jù)在應(yīng)用中相對獨立，或者只是對部分數(shù)據(jù)進行集成，不能滿足管道系統(tǒng)大數(shù)據(jù)的要求，需要應(yīng)用現(xiàn)代技術(shù)手段建立數(shù)據(jù)分析模型將各種管道信息數(shù)據(jù)統(tǒng)一起來，如云計算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、地理信息系統(tǒng)集成等技術(shù)，解決目前管道數(shù)據(jù)所面臨的有效應(yīng)用問題，包括管道泄漏、腐蝕、自然地質(zhì)災(zāi)害、第三方施工破壞等。經(jīng)過大數(shù)據(jù)的整合能夠獲得對管道信息的管理、災(zāi)害的監(jiān)測、市場的發(fā)展預(yù)測、管道運行的監(jiān)管等全面的統(tǒng)計分析結(jié)論，指導管道企業(yè)的可持續(xù)發(fā)展[8-10]。

3.1 管道完整性大數(shù)據(jù)對齊優(yōu)化整合思路

采集管道基礎(chǔ)信息數(shù)據(jù)，全面研究有關(guān)管道信息數(shù)據(jù)的采集、存儲、處理以及集成技術(shù)，將從外部數(shù)據(jù)源獲取到的各類型管道完整性數(shù)據(jù)導入到數(shù)據(jù)存儲系統(tǒng)。系統(tǒng)能夠完成大數(shù)據(jù)平臺與外部采集數(shù)據(jù)之間的交互，利用多維統(tǒng)計分析、數(shù)據(jù)挖掘等算法實現(xiàn)對管道完整性大數(shù)據(jù)相關(guān)性分析，并且完成管道施工期以及運營期間的數(shù)據(jù)對齊整合、內(nèi)外檢測數(shù)據(jù)對齊整合、管道管理數(shù)據(jù)與運行業(yè)務(wù)數(shù)據(jù)的對齊整合[11-12]。

3.2 管道完整性大數(shù)據(jù)對齊優(yōu)化數(shù)據(jù)整理

為完成對管道完整性大數(shù)據(jù)的對齊優(yōu)化以及整合，需要將管道竣工資料數(shù)據(jù)和內(nèi)檢測數(shù)據(jù)分別整理到模板文件中，并將管道施工記錄數(shù)據(jù)與內(nèi)檢測數(shù)據(jù)按起始位置順序排列，整理數(shù)據(jù)內(nèi)容包括：

（1）內(nèi)檢測數(shù)據(jù)。主要包括內(nèi)檢測報告，即工程及管道基本信息、參考點、壁厚變化、彎頭、管道附件、焊縫異常點、管節(jié)、金屬損失、變形點等數(shù)據(jù)內(nèi)容。

（2）管道竣工數(shù)據(jù)。包括管道竣工量測成果、管道建設(shè)期數(shù)據(jù)、管道壓力測試記錄、檢測方法、相關(guān)檢測結(jié)果、是否重修、連頭口、金口等數(shù)據(jù)。

3.3 內(nèi)檢測數(shù)據(jù)對齊方法

內(nèi)檢測數(shù)據(jù)對齊方法的基本原理：一是將內(nèi)檢測采集到的焊縫編號結(jié)果與運營期獲取的焊縫編號進行對應(yīng)，二是將在建設(shè)期采集到的管道屬性信息數(shù)據(jù)、運營期獲取到的管道檢測結(jié)果以及管道周圍自然環(huán)境數(shù)據(jù)三者之間建立相關(guān)關(guān)系。數(shù)據(jù)對齊的基本步驟如下:

（1）將首個施工期以及管道內(nèi)檢測結(jié)果中的環(huán)焊縫查找出來，檢查管道出站后的彎頭、閥門、三通、短接等管道特征。

（2）基于已有的內(nèi)檢測數(shù)據(jù)焊縫編號的規(guī)則，將施工期的相關(guān)管道安裝信息所記錄的焊縫編號自動向下游數(shù)據(jù)進行對應(yīng)。如果此時對應(yīng)到下一個管道的硬性參考點，那么根據(jù)這個硬性參考點來對施工期管道安裝記錄中的管道節(jié)點特征與內(nèi)檢測采集到的結(jié)果中的管道節(jié)點特征是否對應(yīng)進行判斷。相關(guān)數(shù)據(jù)進行對應(yīng)的過程中，可變壁厚點可以作為管道數(shù)據(jù)對齊的管道節(jié)點特征。

（3）如果管道節(jié)點特征相互對應(yīng)，那么從第二步程序開始重復(fù)，一直到所有管道數(shù)據(jù)都完成對齊。如果在對應(yīng)過程中有管節(jié)數(shù)據(jù)不對應(yīng)，那么需要進入程序的第四步，進行檢查與修改。

（4）將內(nèi)檢測的管道節(jié)點長度數(shù)據(jù)與施工建設(shè)期所記錄的管道節(jié)點長度數(shù)據(jù)進行比較，同時為了控制結(jié)果的精度，需將單個管道節(jié)點長度誤差以及管道節(jié)點總累計誤差均控制在誤差范圍內(nèi)，這樣可以保證對齊結(jié)果的準確性。如果超出誤差范圍則認為該管道節(jié)點數(shù)據(jù)存在問題，不能完成管道節(jié)點數(shù)據(jù)的對齊。

3.4 內(nèi)檢測管節(jié)與管道施工記錄對齊方法

（1）將管道上的彎頭作為參考點對齊兩側(cè)數(shù)據(jù)。

（2）將彎頭數(shù)據(jù)與內(nèi)檢測數(shù)據(jù)在管節(jié)列表中進行匹配。

（3）管道施工記錄數(shù)據(jù)中管節(jié)數(shù)據(jù)的電子化整理錄入。

（4）依據(jù)內(nèi)檢測數(shù)據(jù)中的管節(jié)與彎頭的數(shù)據(jù)對其管道施工記錄數(shù)據(jù)中的管節(jié)列表。

（5）將管段壁厚變化點作為參考點對齊兩側(cè)數(shù)據(jù)。

（6）對應(yīng)到內(nèi)檢測數(shù)據(jù)管節(jié)列表中。

（7）處理內(nèi)檢測數(shù)據(jù)管節(jié)列表，一個管節(jié)一條記錄。

（8）依據(jù)內(nèi)檢測數(shù)據(jù)中的管段壁厚變化點數(shù)據(jù)對齊管道施工記錄數(shù)據(jù)中的管節(jié)列表。

（9）將管道附件作為參考點對齊兩側(cè)數(shù)據(jù)。

4 結(jié)論

通過采集實驗段管道基礎(chǔ)信息數(shù)據(jù)，全面研究有關(guān)管道信息數(shù)據(jù)的采集、存儲、處理以及集成技術(shù)，將從外部數(shù)據(jù)源獲取到的各類型管道完整性數(shù)據(jù)導入到數(shù)據(jù)存儲系統(tǒng)，能夠完成大數(shù)據(jù)平臺與外部采集數(shù)據(jù)之間的交互，利用多維統(tǒng)計分析、數(shù)據(jù)挖掘等算法實現(xiàn)對管道完整性大數(shù)據(jù)相關(guān)性分析，并且完成管道施工期以及運營期間的數(shù)據(jù)對齊整合、內(nèi)外檢測數(shù)據(jù)對齊整合、管道管理數(shù)據(jù)與運行業(yè)務(wù)數(shù)據(jù)的對齊整合。研究得出管道建設(shè)期與運營期的數(shù)據(jù)關(guān)聯(lián)關(guān)系及應(yīng)用方式，即以竣工資料或管道內(nèi)檢測提供的各管節(jié)信息為基準，以內(nèi)檢測數(shù)據(jù)、施工資料、環(huán)境資料和運營數(shù)據(jù)等作為管道大數(shù)據(jù)的基本元素，將內(nèi)檢測數(shù)據(jù)與施工數(shù)據(jù)進行對齊以及整合，建成適合于實際情況的大數(shù)據(jù)管理的完整性數(shù)據(jù)架構(gòu)和模型。同時，將油氣管道內(nèi)檢測數(shù)據(jù)與竣工資料焊縫數(shù)據(jù)進行比對分析，可以梳理出內(nèi)檢測數(shù)據(jù)與竣工資料不能對應(yīng)的異常焊縫及管節(jié)數(shù)據(jù)，為管道焊縫缺陷排查、風險評價及焊縫開挖驗證評估等工作提供依據(jù)；研究基于業(yè)務(wù)應(yīng)用的管道完整性管理平臺。在已有的數(shù)據(jù)平臺的基礎(chǔ)上，通過資源整合，利用各數(shù)據(jù)管理平臺的優(yōu)點，研究管道數(shù)據(jù)快速搜索調(diào)用方法及數(shù)據(jù)應(yīng)用方式，建立面向業(yè)務(wù)應(yīng)用的管道完整性管理平臺，為管道完整性管理及應(yīng)急搶險提供支持。