車(chē)聯(lián)網(wǎng)數(shù)據(jù)清洗及其面臨的挑戰(zhàn)

車(chē)聯(lián)網(wǎng)和大數(shù)據(jù)是最近汽車(chē)行業(yè)研究的熱點(diǎn)。車(chē)聯(lián)網(wǎng)涉及到的技術(shù)包括數(shù)據(jù)采集技術(shù)、網(wǎng)絡(luò)技術(shù)、軟件技術(shù)和控制技術(shù)，其能夠感知道路交通，并實(shí)現(xiàn)交通信息系統(tǒng)間數(shù)據(jù)的共享和交換，從而提高交通運(yùn)行效率，為汽車(chē)行駛安全提供信息支撐。隨著車(chē)聯(lián)網(wǎng)應(yīng)用的普及，造成汽車(chē)數(shù)據(jù)信息（發(fā)動(dòng)機(jī)轉(zhuǎn)速、汽車(chē)行駛速度、發(fā)動(dòng)機(jī)扭矩、制動(dòng)踏板位置、離合器踏板位置、加速踏板位置和變速器擋位等）急劇增多。這些數(shù)據(jù)信息的采集主要依靠安裝的傳感器，在數(shù)據(jù)信息的導(dǎo)入過(guò)程中，若傳感器出現(xiàn)故障，則可能導(dǎo)致數(shù)據(jù)異常、數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)和數(shù)據(jù)缺失等現(xiàn)象。為了獲得通過(guò)分析采集的數(shù)據(jù)而得出準(zhǔn)確的結(jié)果，需要對(duì)采集的數(shù)據(jù)進(jìn)行預(yù)處理，而數(shù)據(jù)清洗是其中最為重要的環(huán)節(jié)之一。

數(shù)據(jù)清洗過(guò)程一般包含缺失值處理和異常值檢測(cè)兩個(gè)部分。①對(duì)缺失值進(jìn)行處理時(shí)，若數(shù)據(jù)序列中只含有少量的缺失值，則采用填補(bǔ)的方法對(duì)缺失值進(jìn)行補(bǔ)充。具體的填補(bǔ)方法包括數(shù)據(jù)序列均值法、臨近點(diǎn)中位數(shù)法、插值法等。若數(shù)據(jù)序列中含有大量的缺失值，則采用忽略的方法對(duì)缺失值進(jìn)行處理，即刪除數(shù)據(jù)序列存儲(chǔ)表格中的空白。②對(duì)異常值進(jìn)行檢測(cè)時(shí)，則通過(guò)聚類(lèi)的方法實(shí)現(xiàn)。聚類(lèi)能夠?qū)⒕哂邢嗨铺卣鞯臄?shù)據(jù)聚集在某一集合之內(nèi)，異常值則落在集合之外，表現(xiàn)為孤立點(diǎn)。常用的聚類(lèi)方法如K-均值聚類(lèi)方法。

目前，對(duì)于數(shù)據(jù)清洗過(guò)程仍然面臨著時(shí)間消耗長(zhǎng)、實(shí)時(shí)性低等問(wèn)題，因而還不能應(yīng)用車(chē)聯(lián)網(wǎng)數(shù)據(jù)對(duì)汽車(chē)進(jìn)行實(shí)時(shí)控制。

Venkatesh Raman et al. SAE 2017-01-0069.

編譯：王祥