陳雪梅 婁尚 郗小鵬 王泓淼

（天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司、天津市智能遙感信息處理技術(shù)企業(yè)重點(diǎn)實(shí)驗(yàn)室 天津市 330301）

隨著信息化技術(shù)的迅猛發(fā)展、硬件技術(shù)的革新以及軟件技術(shù)的日新月異，逐漸產(chǎn)生越來越多的海量數(shù)據(jù)，而數(shù)據(jù)標(biāo)簽也隨之出現(xiàn)了高頻、強(qiáng)時(shí)序、多源等特點(diǎn)。高頻數(shù)據(jù)指數(shù)據(jù)采樣間隔短，本文提及的高頻數(shù)據(jù)其采樣周期在百微妙級(jí)別。時(shí)序性數(shù)據(jù)[1]是指既關(guān)注不同事件的先后次序關(guān)系，又關(guān)注不同事件之間的時(shí)間間隔。強(qiáng)時(shí)序性數(shù)據(jù)即表明對(duì)不同事件的先后次序以及事件之間的間隔精確度有較高要求。多源數(shù)據(jù)是指數(shù)據(jù)來源多樣化，數(shù)據(jù)維度多樣化。復(fù)雜場景下無人機(jī)群作業(yè)時(shí)，往往涉及到多端、多源、多目標(biāo)數(shù)據(jù)的情況，需要處理的數(shù)據(jù)也隨著日益豐富的載荷類型、鏈路類型、飛機(jī)類型等變得更加復(fù)雜，而每種設(shè)備的數(shù)據(jù)在整體系統(tǒng)中都有其獨(dú)特的強(qiáng)時(shí)序性，在將整個(gè)系統(tǒng)作為分析對(duì)象時(shí)，多源數(shù)據(jù)又具有全局強(qiáng)時(shí)序性。為了解決復(fù)雜場景下，多業(yè)務(wù)系統(tǒng)耦合交互，數(shù)據(jù)維度多，數(shù)據(jù)實(shí)時(shí)性強(qiáng)，難以高效的進(jìn)行高質(zhì)量歷史數(shù)據(jù)回放的痛點(diǎn)。本文提出一種面向高頻多源強(qiáng)時(shí)序性數(shù)據(jù)集的分析系統(tǒng)。經(jīng)過實(shí)際項(xiàng)目長時(shí)間運(yùn)行，極大提高整體系統(tǒng)的運(yùn)行質(zhì)量，極大縮短外場運(yùn)維的時(shí)間，對(duì)項(xiàng)目的長時(shí)間穩(wěn)定運(yùn)行提供堅(jiān)實(shí)保障。

1 BCT數(shù)據(jù)

為了高效分析高頻性、多源性、強(qiáng)時(shí)序性特點(diǎn)的數(shù)據(jù)集，本文著重考慮了歷史數(shù)據(jù)回放的數(shù)據(jù)基礎(chǔ)，對(duì)實(shí)際作業(yè)中的數(shù)據(jù)存儲(chǔ)格式和機(jī)制進(jìn)行深入分析和研究，提出了一種自定義的數(shù)據(jù)協(xié)議格式BCT。BCT 數(shù)據(jù)協(xié)議采用三層次協(xié)議，即B 層、C 層以及T 層協(xié)議。其中B 層為純字節(jié)形式存儲(chǔ)的以幀為單位的實(shí)時(shí)數(shù)據(jù)流，并添加自定義幀頭0xED、0xDE 以及幀尾0xEE。C 層數(shù)據(jù)協(xié)議為幀級(jí)索引，采用字節(jié)的形式進(jìn)行編碼存儲(chǔ)，每一幀數(shù)據(jù)的索引字段包括時(shí)間戳[2]、偏移量、數(shù)據(jù)標(biāo)識(shí)符、幀計(jì)數(shù)、幀長度、數(shù)據(jù)類型、數(shù)據(jù)源。T 層數(shù)據(jù)協(xié)議為全局索引文件，采用字符的形式進(jìn)行編碼存儲(chǔ)，主要包含分段存儲(chǔ)信息，每一個(gè)分段存儲(chǔ)時(shí)跨文件的索引記錄,其索引字段包括時(shí)間戳、數(shù)據(jù)標(biāo)識(shí)符、開始時(shí)刻的幀計(jì)數(shù)、結(jié)束時(shí)刻的幀計(jì)數(shù)。采用BCT 數(shù)據(jù)格式，B 層數(shù)據(jù)存儲(chǔ)能滿足高頻數(shù)據(jù)存儲(chǔ)的需求，C 層以及T層數(shù)據(jù)在一定程度上滿足了強(qiáng)時(shí)序性以及多源性數(shù)據(jù)在后續(xù)分析過程中的高匹配度要求。另外，在數(shù)據(jù)容錯(cuò)性方面，采用字節(jié)形式存儲(chǔ)的實(shí)時(shí)數(shù)據(jù)，存儲(chǔ)文件體積較小、數(shù)據(jù)存入和取出都是按字節(jié)形式，不容易出錯(cuò)，并且索引和字節(jié)兩個(gè)文件能夠互相驗(yàn)證。另外，兩級(jí)索引文件能夠在數(shù)據(jù)回放進(jìn)度控制中提供強(qiáng)有力的速率控制精度，數(shù)據(jù)回放匹配度的保證。

表 1：B 層數(shù)據(jù)幀自定義

1.1 數(shù)據(jù)的基本定義

1.1.1 B 層數(shù)據(jù)基本格式

B 層數(shù)據(jù)存儲(chǔ)時(shí)不需要區(qū)分?jǐn)?shù)據(jù)源，均采用數(shù)據(jù)字段添加固定幀頭和幀尾的方式，進(jìn)行數(shù)據(jù)流按序存儲(chǔ)。B 層數(shù)據(jù)的基本格式如表1所示。

B 層數(shù)據(jù)是對(duì)原始多源數(shù)據(jù)的記錄，在存儲(chǔ)過程中，對(duì)多源數(shù)據(jù)進(jìn)行無差別存儲(chǔ)，均采用0XED 和0XDE 這兩個(gè)字節(jié)作為幀頭，以0XEE 作為幀尾進(jìn)行存儲(chǔ)。數(shù)據(jù)域存儲(chǔ)實(shí)時(shí)的變長字節(jié)流數(shù)據(jù)。

1.1.2 C 層數(shù)據(jù)基本格式

C 層數(shù)據(jù)以幀為單位的索引文件，在存儲(chǔ)模塊中，對(duì)不同來源的數(shù)據(jù)進(jìn)行幀級(jí)別的存儲(chǔ)，作為幀數(shù)據(jù)的索引文件。綜合考慮數(shù)據(jù)的強(qiáng)時(shí)序性、多源性，自定義如下的C 層數(shù)據(jù)基本格式。

表 2 C 層數(shù)據(jù)基本格式定義中，幀頭HEAD 使用0XDD 和0X70 這兩個(gè)字段，同時(shí)也支持自定義。DATE 字段表示時(shí)間戳，設(shè)定為長整型數(shù)據(jù)，主要是將QDataTime 轉(zhuǎn)化為長整型數(shù)據(jù)，精確到ms 級(jí)別。FLAG字段的設(shè)定充分考慮文件存儲(chǔ)的粒度，來切片化數(shù)據(jù)存儲(chǔ)，并進(jìn)一步區(qū)分為索引幀數(shù)據(jù)和文件數(shù)據(jù)，0 表示存儲(chǔ)每幀數(shù)據(jù)的信息，1 表示存儲(chǔ)分段時(shí)刻的文件信息，需注意在分段時(shí)刻，需要同時(shí)寫入最后一幀數(shù)據(jù)，以及分段時(shí)的文件信息。OFFS 字段為當(dāng)前幀距離文件首位置的偏移量，主要是為后續(xù)快速回放提供幀級(jí)保障。LENT 字段表示數(shù)據(jù)類型的幀長度，主要是確保進(jìn)一步提高讀取文件數(shù)據(jù)存入緩沖流的效率。STYL 字段和ORID 字段的設(shè)定能夠快速匹配數(shù)據(jù)推送不同的數(shù)據(jù)池[3]以及將其推送到相應(yīng)的通信線程池，并通過前臺(tái)界面自定義設(shè)定進(jìn)行聯(lián)動(dòng)，TAIL 字段使用0XEE 字節(jié)作為幀尾，同樣支持自定義。

表 2：C 層數(shù)據(jù)基本格式定義

1.1.3 T 層數(shù)據(jù)基本格式

T 層數(shù)據(jù)以文件為單位，為了響應(yīng)高頻數(shù)據(jù)的存儲(chǔ)和回放分析速率，經(jīng)過長時(shí)間拷機(jī)測試，得出最優(yōu)化的文件存儲(chǔ)粒度。本系統(tǒng)中，文件存儲(chǔ)粒度為200M,即以200M 為單位進(jìn)行數(shù)據(jù)存儲(chǔ)，將此數(shù)據(jù)紀(jì)錄在T 層數(shù)據(jù)文件中，每個(gè)文件信息獨(dú)占一行，按字符編碼，以字符流形式存儲(chǔ)。T 層數(shù)據(jù)的格式定義如下表 3 T 層數(shù)據(jù)協(xié)議的定義所示。

表 3：T 層數(shù)據(jù)協(xié)議的定義

表 3 T 層數(shù)據(jù)協(xié)議的定義中，F(xiàn)IID 表示文件索引號(hào)，其與整個(gè)任務(wù)作業(yè)對(duì)象綁定，并且具有系統(tǒng)唯一性，在數(shù)據(jù)存儲(chǔ)文件后綴中進(jìn)行賦值，其數(shù)據(jù)回放的快進(jìn)快退操作中起到一級(jí)索引的作用。FIND 表示當(dāng)前文件的數(shù)據(jù)總量，本文設(shè)定了文件粒度為200M，但實(shí)際作業(yè)中會(huì)存在一定偏差，尤其是最后存儲(chǔ)的文件，文件數(shù)據(jù)總量偏差較大，因此此處需要填充實(shí)際的文件數(shù)據(jù)總量值。FOFF 表示前后文件的數(shù)據(jù)偏移量，其與FIND 一起協(xié)同確保數(shù)據(jù)存儲(chǔ)完整性，在數(shù)據(jù)回放過程中結(jié)合滑動(dòng)窗口[4]一起使用，加快回放過程中B 層數(shù)據(jù)起始幀定位。FSIN 和FEIN 主要為了在整個(gè)回放過程中的C 層數(shù)據(jù)快速定位。

1.2 三層數(shù)據(jù)交互關(guān)系

自定義的BCT 數(shù)據(jù)格式中，B 層數(shù)據(jù)進(jìn)行原始數(shù)據(jù)碼流的二次快速編輯存儲(chǔ)，C 層數(shù)據(jù)進(jìn)行幀級(jí)數(shù)據(jù)的格式化編碼，T 層數(shù)據(jù)根據(jù)使用者靈活定義，本系統(tǒng)按照此次作業(yè)任務(wù)進(jìn)行數(shù)據(jù)頂層管理。BCT 數(shù)據(jù)格式的定義，充分考慮了數(shù)據(jù)存儲(chǔ)的速率以及后續(xù)數(shù)據(jù)回放分析的效率，尤其是數(shù)據(jù)回放分析中關(guān)鍵的數(shù)據(jù)進(jìn)度快速響應(yīng)機(jī)制。BCT 數(shù)據(jù)格式中，三層數(shù)據(jù)的交互關(guān)系如圖1所示。

圖1：BCT 數(shù)據(jù)格式中三層數(shù)據(jù)關(guān)系

BCT 數(shù)據(jù)格式中，T 文件中存儲(chǔ)數(shù)據(jù)集 ，C 文件中存儲(chǔ)數(shù)據(jù)集 ，B 文件中存儲(chǔ)數(shù)據(jù)集 。數(shù)據(jù)集中的下標(biāo)定義如上表 2 C 層數(shù)據(jù)基本格式定義和表 3 T 層數(shù)據(jù)協(xié)議的定義所示，另外，F(xiàn)ISID 為文件子集的編號(hào)。自定義的BCT 數(shù)據(jù)格式，為后續(xù)的數(shù)據(jù)并發(fā)處理提供堅(jiān)實(shí)保障，極大滿足多源、強(qiáng)時(shí)序性數(shù)據(jù)的分析需求。

2 數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)

本系統(tǒng)采用Client/Server 架構(gòu)，設(shè)計(jì)簡潔易操作的前臺(tái)界面，基本無需向?qū)В纯缮鲜植僮?，后臺(tái)服務(wù)重點(diǎn)進(jìn)行多生產(chǎn)者和多消費(fèi)者模式以及多緩存設(shè)計(jì)，目的在于提高數(shù)據(jù)讀取的效率和并發(fā)運(yùn)行處理的能力。此外，在多線程中對(duì)加鎖的粒度，數(shù)據(jù)緩存的粒度進(jìn)行實(shí)際拷機(jī)測試，得出最優(yōu)設(shè)計(jì)。系統(tǒng)使用QT開發(fā)工具進(jìn)行開發(fā)，采用C++語言進(jìn)行編程，支持跨平臺(tái)使用。

2.1 系統(tǒng)架構(gòu)設(shè)計(jì)

本系統(tǒng)主要實(shí)現(xiàn)多源數(shù)據(jù)接收，多源數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)回放分析等功能，包含數(shù)據(jù)層，業(yè)務(wù)邏輯層以及UI層。其中，數(shù)據(jù)層包括網(wǎng)絡(luò)數(shù)據(jù)流、數(shù)據(jù)庫數(shù)據(jù)集以及文件數(shù)據(jù)流，業(yè)務(wù)邏輯層包括數(shù)據(jù)存儲(chǔ)服務(wù)、數(shù)據(jù)回放服務(wù)、數(shù)據(jù)接收服務(wù)以及數(shù)據(jù)讀取服務(wù)。UI 層包括數(shù)據(jù)源配置、數(shù)據(jù)類型配置、數(shù)據(jù)展示和回放控制。整體系統(tǒng)架構(gòu)設(shè)計(jì)如圖2所示。

圖2：系統(tǒng)架構(gòu)圖

圖3：前后臺(tái)交互過程

2.2 系統(tǒng)前后臺(tái)交互

本系統(tǒng)中前臺(tái)與后臺(tái)使用MQTT[5]進(jìn)行消息實(shí)時(shí)通信。MQTT 是一個(gè)即時(shí)通訊協(xié)議，一種輕量級(jí)的、基于代理的“發(fā)布/訂閱”模式的消息傳輸協(xié)議，與HTTP 之類的協(xié)議相比，其在網(wǎng)絡(luò)傳輸數(shù)據(jù)時(shí)表現(xiàn)更為穩(wěn)定，而且支持多種語言和跨平臺(tái)。本系統(tǒng)通常作為其他大型系統(tǒng)的子系統(tǒng)，采用插件的形式進(jìn)行集成，因此使用MQTT 更適合擴(kuò)展。前后臺(tái)交互中JSON 字段包含m_strTaskFile,m_strFlag,m_ulPos,m_ulTime,m_ulTimeTotal,m_ulStartTime,m_usFileIndex， 其中，m_strFlag 字段,包含啟動(dòng)、停止、暫停、中止、移動(dòng)等屬性。本系統(tǒng)使用ReplayAnalysis 為主題進(jìn)行消息訂閱，需確保MQTT 服務(wù)正常部署與運(yùn)行。前臺(tái)和后臺(tái)的交互流程如圖 3 前后臺(tái)交互過程所示。

3 數(shù)據(jù)分析系統(tǒng)的作業(yè)流程

數(shù)據(jù)處理流程中需要重點(diǎn)記錄數(shù)據(jù)預(yù)處理階段和數(shù)據(jù)后處理階段的數(shù)據(jù)有效性。數(shù)據(jù)預(yù)處理階段主要是根據(jù)自定義的BCT 數(shù)據(jù)格式對(duì)當(dāng)前任務(wù)的多源數(shù)據(jù)進(jìn)行存儲(chǔ)，需要檢測存儲(chǔ)數(shù)據(jù)集的有效性、完整性。數(shù)據(jù)后處理階段，重點(diǎn)分析數(shù)據(jù)時(shí)序擬合性，數(shù)據(jù)一致性以及回放控制率。

3.1 數(shù)據(jù)預(yù)處理存儲(chǔ)處理流程

數(shù)據(jù)存儲(chǔ)處理階段，在整個(gè)系統(tǒng)中至關(guān)重要，需要確保存儲(chǔ)的多源數(shù)據(jù)完整無丟失。另外本系統(tǒng)需要處理高頻數(shù)據(jù)，需要在存儲(chǔ)效率和性能之間尋求動(dòng)態(tài)平衡。因此在數(shù)據(jù)預(yù)處理階段，為了提高數(shù)據(jù)存儲(chǔ)的效率，降低文件IO 頻繁操作的壓力，在網(wǎng)絡(luò)數(shù)據(jù)流和文件數(shù)據(jù)流之間增加了緩沖流，以8K 的粒度，提高文件存儲(chǔ)效率。為了提高數(shù)據(jù)存儲(chǔ)的性能，擴(kuò)大網(wǎng)絡(luò)數(shù)據(jù)緩存，使用多線程進(jìn)行數(shù)據(jù)接收以及存儲(chǔ)，使用適當(dāng)粒度的線程鎖，確保數(shù)據(jù)的時(shí)序性。多源數(shù)據(jù)存儲(chǔ)于任務(wù)數(shù)據(jù)集下，文件名后綴添加index 索引來標(biāo)識(shí)持續(xù)的字節(jié)流。在文件存儲(chǔ)和讀取階段，引入內(nèi)存映射機(jī)制進(jìn)行進(jìn)一步優(yōu)化。傳統(tǒng)的數(shù)據(jù)寫是從用戶空間將數(shù)據(jù)拷貝到系統(tǒng)內(nèi)核緩沖區(qū)，再由緩沖區(qū)寫入磁盤空間。因此整個(gè)數(shù)據(jù)寫入需要經(jīng)過兩次數(shù)據(jù)拷貝。而使用內(nèi)存映射，直接將文件數(shù)據(jù)從用戶空間拷貝到磁盤空間。同理適用于文件讀取階段性能優(yōu)化。

3.2 數(shù)據(jù)后處理分析處理流程

本系統(tǒng)在數(shù)據(jù)提取模塊采取了多項(xiàng)性能優(yōu)化機(jī)制，包括文件流處理、設(shè)定8k 緩沖流、并發(fā)讀取數(shù)據(jù)，存入數(shù)據(jù)集，并使用滑動(dòng)窗口形式，確保進(jìn)入等待回放的數(shù)據(jù)在全局幀計(jì)數(shù)上保持一致性。在數(shù)據(jù)推送模塊，使用前臺(tái)配置好的數(shù)據(jù)源和數(shù)據(jù)類型庫進(jìn)行數(shù)據(jù)按類推送，不同推送線程具有各自的數(shù)據(jù)池，最大程度上確保多源數(shù)據(jù)的完整性。本文以任務(wù)為分析目標(biāo)的數(shù)據(jù)集分析過程為例，具體的數(shù)據(jù)處理流程如圖4所示。

圖4：以任務(wù)為單位的數(shù)據(jù)分析作業(yè)流程

4 實(shí)驗(yàn)結(jié)果

隨機(jī)選取不同場次作業(yè)任務(wù)數(shù)據(jù)，對(duì)本文提出的數(shù)據(jù)分析系統(tǒng)進(jìn)行評(píng)估。在數(shù)據(jù)時(shí)序擬合度、數(shù)據(jù)一致性、數(shù)據(jù)全局性、數(shù)據(jù)準(zhǔn)備時(shí)間、數(shù)據(jù)回放時(shí)間等方面進(jìn)行詳細(xì)拷機(jī)測試。本文在為期3 個(gè)月的作業(yè)任務(wù)中，選取數(shù)據(jù)總量為50G以上的數(shù)據(jù)集60份進(jìn)行批量拷機(jī)測試，對(duì)測試結(jié)果進(jìn)行量化，得出在數(shù)據(jù)時(shí)序擬合度上偏差為ms 級(jí)，回放時(shí)間偏差為0.25%。其中，數(shù)據(jù)時(shí)序擬合度的計(jì)算是根據(jù)歷史數(shù)據(jù)和回放數(shù)據(jù)在一定測試數(shù)據(jù)集的基礎(chǔ)上，現(xiàn)場紀(jì)錄的關(guān)鍵觀測點(diǎn)數(shù)據(jù)時(shí)間戳與歷史數(shù)據(jù)在回放過程中的時(shí)間差值；回放時(shí)間偏差是指整體時(shí)間長度上的偏差。

5 總結(jié)

本文基于無人機(jī)群作業(yè)時(shí)，面對(duì)數(shù)據(jù)高頻、強(qiáng)時(shí)序、多源、數(shù)據(jù)交互多耦合的特點(diǎn)，提出了一種易擴(kuò)展、易兼容、易操作的數(shù)據(jù)分析系統(tǒng)，為無人機(jī)群作業(yè)存儲(chǔ)數(shù)據(jù)后處理提供堅(jiān)實(shí)保障，能夠快速、高效、精準(zhǔn)復(fù)盤歷史作業(yè)場景，同時(shí)能夠?yàn)楝F(xiàn)場作業(yè)出現(xiàn)的疑難問題進(jìn)行快速定位。本文提出的一種面向高頻多源強(qiáng)時(shí)序性數(shù)據(jù)集的分析系統(tǒng)，提出自定義的BCT 數(shù)據(jù)格式，數(shù)據(jù)集交互關(guān)系、系統(tǒng)框架設(shè)計(jì)、系統(tǒng)作業(yè)流程分析等，并且從多源數(shù)據(jù)采集、數(shù)據(jù)集處理、數(shù)據(jù)回放控制等多方面對(duì)數(shù)據(jù)分析系統(tǒng)進(jìn)行詳細(xì)說明。本系統(tǒng)在多個(gè)實(shí)際的無人機(jī)群作業(yè)系統(tǒng)中，作為子系統(tǒng)進(jìn)行實(shí)際拷機(jī)和作業(yè)測試，在實(shí)際運(yùn)行過程中，在數(shù)據(jù)全局性、數(shù)據(jù)復(fù)盤、數(shù)據(jù)異常定位、數(shù)據(jù)時(shí)序擬合性方面，均取得高效率的使用。本系統(tǒng)設(shè)計(jì)的自定義BCT 數(shù)據(jù)格式以及系統(tǒng)層級(jí)設(shè)計(jì)，均滿足跨平臺(tái)使用，并具有較強(qiáng)的擴(kuò)展性，能為同類型應(yīng)用場景提供數(shù)據(jù)處理的有效支撐。