袁 彪 鄔少飛

（武漢工程大學(xué)計算機科學(xué)與工程學(xué)院，湖北 武漢 430000）

1 引言

1.1 研究背景

隨著科技的進步，大數(shù)據(jù)的概念已然進入我們的生活領(lǐng)域。大數(shù)據(jù)的不斷增長使得對數(shù)據(jù)的運輸、存儲成為技術(shù)發(fā)展的重要方向。其中，最重要的挑戰(zhàn)便是將大量的數(shù)據(jù)進行集合分析。而對數(shù)據(jù)分析得到正確結(jié)果的前提是利用各式各樣高復(fù)雜性的算法來保證數(shù)據(jù)的高可靠性。面向大數(shù)據(jù)的計算類型主要有兩種，其一是面向批處理進行運算，其二是實時運算[2]。當(dāng)下市面上出現(xiàn)了較多的實時流處理系統(tǒng)，例如實時搜索、社交互聯(lián)、實時監(jiān)控等等。特別地，在交通領(lǐng)域的車聯(lián)網(wǎng)建設(shè)中，由于車輛的特殊安全需求，既要求得到可靠的計算結(jié)果，又要求一定的實時性[3]。要保證車載系統(tǒng)的互聯(lián)互通和車載傳感數(shù)據(jù)的實時采集以及處理的成功施行就要保證數(shù)據(jù)采集、輸出和處理的協(xié)調(diào)一致。

1.2 目的和意義

在車聯(lián)網(wǎng)中，車輛數(shù)據(jù)傳輸?shù)母咭恢滦赃h遠比高可用性要重要。因為對于目前車聯(lián)網(wǎng)的發(fā)展來講，車輛內(nèi)部系統(tǒng)所進行的數(shù)據(jù)傳輸更多的是為了輔助駕駛員駕駛車輛。哪怕數(shù)據(jù)傳輸有所延遲，所造成的后果可能僅僅只是輔助數(shù)據(jù)更新不及時，無法給予駕駛員更好的輔助體驗；而如果傳輸?shù)臄?shù)據(jù)丟失了一致性，很可能會造成較為嚴重的后果。例如當(dāng)前許多帶有輔助駕駛功能的車輛都有前車防撞系統(tǒng)，在車輛行駛過程中傳感器會自動檢測與前車的距離，在這個過程中可能會存在與云端AI 的交互，如僅僅只是數(shù)據(jù)傳輸出現(xiàn)了延遲，駕駛員在沒有輔助系統(tǒng)提示的情況下會對車距具備一定的敏感性。而如果出現(xiàn)了數(shù)據(jù)丟失，原本傳輸?shù)木鏍顟B(tài)碼為將false激活成了true，但車輛內(nèi)置系統(tǒng)接收到的是無激活，那么可能播報無問題，從而使駕駛員放松警惕，導(dǎo)致追尾事故發(fā)生。因此在車聯(lián)網(wǎng)中，適當(dāng)降低一點高實時性能來換取數(shù)據(jù)一致性保證是非常有價值的。所以本文通過基于關(guān)鍵任務(wù)熱備份的方式來探討對車聯(lián)網(wǎng)系統(tǒng)容錯性能的優(yōu)化，旨在為車聯(lián)網(wǎng)云服務(wù)平臺解決故障問題。

2 主動備份相關(guān)概念

2.1 主動備份概念

在流處理系統(tǒng)的早期部署中，由于性能要求較低，而服務(wù)器資源空閑較多，所以會對數(shù)據(jù)進行主動備份，從而保證了系統(tǒng)故障出現(xiàn)時的主從切換。系統(tǒng)在進行主動備份時，會將同一個分區(qū)實例預(yù)先備份到不同的服務(wù)節(jié)點上[1]。當(dāng)系統(tǒng)運行時，不同節(jié)點上的實例可以同時接收來自消息生產(chǎn)者的數(shù)據(jù)，也可以同時提供消費接口給下游消費者進行數(shù)據(jù)消費，消費者在接收到消息后會進行數(shù)據(jù)過濾，過濾掉重復(fù)消費的信息。這種備份模式會使得消息實例至少擁有完全同步的副本，當(dāng)有節(jié)點出現(xiàn)故障時，同步副本一樣可以接收生產(chǎn)者消息和提供消費接口，能夠高度保證數(shù)據(jù)可靠性。但這樣的容錯模式由于對節(jié)點的資源消耗過大，正常運行的實時性也低到難以接受，因此僅僅適合于小型服務(wù)集群。

2.2 面向關(guān)鍵任務(wù)的主動備份

在多數(shù)情況下，由于車聯(lián)網(wǎng)系統(tǒng)需要確保高實時性，因此應(yīng)避免設(shè)置過于繁瑣的備份操作以防影響系統(tǒng)運行時的性能。此時，為了盡可能減少故障恢復(fù)的時間，采用面向關(guān)鍵任務(wù)的主動備份的容錯策略將更為有效。我們可以在這些節(jié)點上為一些關(guān)鍵任務(wù)執(zhí)行主動備份，這樣相比單純的主動備份策略而言更加靈活，較單純的檢查點備份策略而言又更加可靠高效[4]。本課題從作業(yè)拓撲圖的角度，結(jié)合車聯(lián)網(wǎng)系統(tǒng)實際業(yè)務(wù)邏輯，采用網(wǎng)絡(luò)連通性分析對任務(wù)的關(guān)鍵度進行排序。找出資源約束條件下的前N 個關(guān)鍵任務(wù)進行主動備份，從而進一步提高了系統(tǒng)的容錯性能和數(shù)據(jù)一致性。

3 關(guān)鍵任務(wù)熱備份

3.1 基于網(wǎng)絡(luò)連通性的關(guān)鍵任務(wù)挖掘

通過網(wǎng)絡(luò)連通性來分析、挖掘關(guān)鍵任務(wù)，主要是基于汽車正常行駛時現(xiàn)實邏輯所形成的作業(yè)拓撲圖，并站在網(wǎng)絡(luò)結(jié)構(gòu)角度來對各個節(jié)點的關(guān)鍵性進行探究。這里主要探尋節(jié)點之間的關(guān)聯(lián)關(guān)系，與傳統(tǒng)的關(guān)鍵任務(wù)算法必須明確圖中節(jié)點的入度、出度、邊的權(quán)值大小等等有著明顯區(qū)別。本課題運用了以下兩種判斷節(jié)點網(wǎng)絡(luò)連通性的方法來綜合確定關(guān)鍵任務(wù)：

（1）最短路徑判斷法

最短路徑指的是圖中某個頂點到達另一個頂點的所有路徑中，經(jīng)過邊的條數(shù)最少的一條路徑。即：

其中D（i,j,n）指的是從頂點i到頂點j的最短路徑，n為圖中頂點個數(shù)（n也是其中一個頂點）。

若某個頂點出現(xiàn)在某條最短路徑中，則為此頂點標記一次重要度參數(shù)。若某頂點多次出現(xiàn)在最短路徑中，則表明此頂點在本作業(yè)拓撲圖中擔(dān)任著較為重要的角色，多項業(yè)務(wù)的實現(xiàn)過程都離不開此節(jié)點[5]。算法描述如下：

（2）鄰接連通度判斷法

當(dāng)刪除某個頂點以及與其相關(guān)的邊后，其鄰接頂點集合中還保持連通的頂點對數(shù)標記為該頂點的鄰接連通性。與最短路徑判斷法不同的是，此方法中的鄰接頂點連通性與頂點的關(guān)鍵性成反比。鄰接連通性數(shù)值越高，則表明該頂點的關(guān)鍵性越低；鄰接連通性數(shù)值越低，則表明該頂點的關(guān)鍵性越高。由此構(gòu)建以下公式來判斷頂點的重要性：

其中NI(i)表示頂點i的重要程度，A(i)表示頂點i的鄰接連通度，n(i)表示頂點i 鄰接頂點的個數(shù)。可以看到，當(dāng)頂點i 的重要性最低時，刪除與其相關(guān)的邊后，對所有鄰接頂點均無影響，鄰接連通度A(i)為n(i)*(n(i)-1)/2，重要度NIi為n(i)*(n(i)-1)/（n(i)*(n(i)-1)+2）；當(dāng)頂點i的重要程度最高時，刪除與其相關(guān)的邊后，所有的鄰接頂點都不在連通，鄰接連通度A(i)為0，重要度NI(i)為n(i)*(n(i)-1)/+2。

3.2 車聯(lián)網(wǎng)系統(tǒng)中的熱備份協(xié)議

在傳統(tǒng)的流處理系統(tǒng)中，備份數(shù)據(jù)較為常用的方法是在消息發(fā)送端將關(guān)鍵數(shù)據(jù)進行備份，直至發(fā)送的消息途經(jīng)系統(tǒng)數(shù)據(jù)鏈路的各個節(jié)點，這種方式的備份協(xié)議雖然能夠保證任何節(jié)點在丟失數(shù)據(jù)后都能通過上級節(jié)點獲取到原始數(shù)據(jù)，但由于每個節(jié)點都需要備份經(jīng)過該節(jié)點的數(shù)據(jù)，導(dǎo)致系統(tǒng)的數(shù)據(jù)冗余程度較高，內(nèi)存開銷過大。因此這里選擇通過自定義備份級別N以及反饋-清除備份機制來削弱內(nèi)存開銷。

如圖1 所示，以N=2 為例，采取2 級反饋-清除備份機制處理數(shù)據(jù)流，即當(dāng)producer產(chǎn)生并發(fā)送數(shù)據(jù)到Vi-1時，Vi-1會判斷數(shù)據(jù)是否為關(guān)鍵任務(wù)信息，符合則將數(shù)據(jù)備份到緩存區(qū)，并發(fā)送到下一個節(jié)點Vi，節(jié)點Vi執(zhí)行相同操作，備份后反饋ack 消息到Vi-1，并發(fā)送數(shù)據(jù)到節(jié)點Vi+1，Vi+1接收數(shù)據(jù)并備份后，反饋ack消息到Vi，Vi再次反饋ack消息到Vi-1，此時Vi-1刪除數(shù)據(jù)，減少開銷。

圖1 2級備份原理

3.3 系統(tǒng)容錯效率測量

本次測試基于kafka 管道結(jié)構(gòu)，用三臺虛擬機搭建了擁有三個服務(wù)節(jié)點的kafka集群，數(shù)據(jù)為汽車埋點協(xié)議的報文，由AD 報文模擬系統(tǒng)生成，每秒生成一幀數(shù)據(jù)，每30 幀數(shù)據(jù)打包發(fā)送到kafka服務(wù)器，然后通過報文解析項目拉取kafka中的數(shù)據(jù)進行消費，同時在kafka 集群工作過程中間隔一段時間使其中一臺機器不斷宕機重啟，以檢測數(shù)據(jù)丟失情況，得到對比圖如圖2所示。

圖2 數(shù)據(jù)丟失對比

可以看到，縱然有節(jié)點服務(wù)器出現(xiàn)宕機情況，kafka依然表現(xiàn)出了高可用性的特點，而進行了2級關(guān)鍵任務(wù)備份后系統(tǒng)的數(shù)據(jù)一致性也出現(xiàn)了一定的提升，例如在類似11:35 附近時間節(jié)點上，擁有2級備份協(xié)議的系統(tǒng)數(shù)據(jù)丟失條數(shù)明顯要少于無備份的情況。同時值得注意的是，根據(jù)圖中數(shù)據(jù)可以觀測到，在報文條數(shù)較少或較多的區(qū)域中，無備份情況下的消費條數(shù)和2級備份情況下的消費條數(shù)差距并不大，反而是在報文傳輸條數(shù)處于中位數(shù)時差距較為明顯?？傮w來看，車聯(lián)網(wǎng)系統(tǒng)在進行關(guān)鍵任務(wù)熱備份后確實提高了數(shù)據(jù)一致性，提升了一定的容錯效率。

3.4 系統(tǒng)熱備份開銷測量

雖然進行關(guān)鍵任務(wù)熱備份確實會使車聯(lián)網(wǎng)系統(tǒng)的容錯效率得到提升，但也可能導(dǎo)致服務(wù)器節(jié)點的系統(tǒng)開銷增大，這里以服務(wù)器節(jié)點的內(nèi)存開銷為例，通過Oracle的Java Mission Control 和Java Flight Recorder 性能監(jiān)測工具來探究關(guān)鍵任務(wù)熱備份的開銷增加情況。測量結(jié)果如圖3所示。

圖3 內(nèi)存開銷對比

結(jié)果與預(yù)期一樣，隨著報文的增加，服務(wù)器節(jié)點所需要的內(nèi)存開銷也呈現(xiàn)著階梯式上升，其中進行了2級關(guān)鍵任務(wù)備份的內(nèi)存開銷明顯要高于無備份。這表明利用熱備份來保證數(shù)據(jù)一致性就要多損耗一些服務(wù)器性能。

4 結(jié)論

車聯(lián)網(wǎng)系統(tǒng)屬于數(shù)據(jù)敏感的流處理系統(tǒng)，更強調(diào)信息的發(fā)送與接收的完整性，對數(shù)據(jù)一致性的要求較高。在基于關(guān)鍵任務(wù)熱備份情況下的對原始kafka 容錯機制進行優(yōu)化研究，通過測量結(jié)果我們可以看到對關(guān)鍵任務(wù)進行熱備份確實可以幫助恢復(fù)因為宕機而丟失的數(shù)據(jù)，但相對于無備份情況下，也增加了一些系統(tǒng)的內(nèi)存開銷，但開銷增加并不巨大，可以通過對服務(wù)器硬件的物理升級來解決。