張　燕，湯一彬，李旭斐

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

RFID數(shù)據(jù)清洗算法概述?

張燕，湯一彬，李旭斐

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

RFID技術(shù)作為當(dāng)前與物聯(lián)網(wǎng)領(lǐng)域相關(guān)的一個(gè)熱門技術(shù)，具有廣闊的應(yīng)用前景，但因其獲取數(shù)據(jù)過程中產(chǎn)生的不可靠數(shù)據(jù)極大地限制了RFID技術(shù)的發(fā)展，因此對(duì)于RFID數(shù)據(jù)進(jìn)行清洗是非常必要的。對(duì)RFID數(shù)據(jù)清洗方法進(jìn)行綜合敘述，主要介紹了國內(nèi)外針對(duì)RFID中單個(gè)閱讀器數(shù)據(jù)獲取中產(chǎn)生不可靠的數(shù)據(jù)清洗解決算法，分析了各種方法的基本原理，討論了目前企業(yè)對(duì)于數(shù)據(jù)不可靠提出的數(shù)據(jù)清洗應(yīng)用解決方案。分析表明當(dāng)前的數(shù)據(jù)清洗算法主要針對(duì)單一問題設(shè)計(jì)，計(jì)算效率不高，尚不適合各種RFID應(yīng)用場景，未來RFID技術(shù)的發(fā)展趨勢應(yīng)該向普適性、高效性發(fā)展。

RFID技術(shù)；物聯(lián)網(wǎng)；不可靠；數(shù)據(jù)清洗；解決方案；普適性

1　引　言

無線射頻識(shí)別（RFID）系統(tǒng)使用無線射頻技術(shù)在開放系統(tǒng)環(huán)境中進(jìn)行對(duì)象識(shí)別，并且能夠快速、準(zhǔn)確、實(shí)時(shí)地采集和處理數(shù)據(jù)信息。這種識(shí)別的優(yōu)點(diǎn)之一是無需物理接觸或其它任何可見的接觸。RFID技術(shù)在生活中應(yīng)用非常廣泛，例如，它可以用于生產(chǎn)和銷售管理場合以簡化供應(yīng)鏈管理并實(shí)現(xiàn)對(duì)存貨成本的有效控制；可以代替?zhèn)鹘y(tǒng)的二維條形碼用于數(shù)字圖書館管理；可用于動(dòng)物研究和飼養(yǎng)中的動(dòng)物識(shí)別；可用于防偽造的電子護(hù)照系統(tǒng)；甚至可以用于構(gòu)建智能無線傳感器網(wǎng)絡(luò)環(huán)境等等。

然而，由于受到各種環(huán)境和射頻技術(shù)本身一些特點(diǎn)的影響，RFID閱讀器識(shí)別標(biāo)簽時(shí)會(huì)出現(xiàn)各種錯(cuò)誤識(shí)別現(xiàn)象包括：積極讀、消極讀、數(shù)據(jù)冗余等，這些因素都會(huì)制約RFID技術(shù)的進(jìn)一步發(fā)展。為有效支持RFID高層業(yè)務(wù)邏輯處理，提供高質(zhì)量的RFID數(shù)據(jù)，對(duì)RFID數(shù)據(jù)進(jìn)行清洗是非常必要的。

國外大學(xué)和研究機(jī)構(gòu)對(duì)RFID閱讀器識(shí)別標(biāo)簽出現(xiàn)錯(cuò)誤數(shù)據(jù)的現(xiàn)象已經(jīng)進(jìn)行了多年的探索并取得了一些成果。加州大學(xué)洛杉磯分校（UCLA）提出了通過使用時(shí)間滑動(dòng)窗口技術(shù)清洗RFID原始標(biāo)簽數(shù)據(jù)流的方法［1］。加州大學(xué)伯克力（UC Berkeley）針對(duì)時(shí)間平滑處理窗口大小設(shè)置困難的問題，提出了一種基于概率論知識(shí)動(dòng)態(tài)改變窗口大小的方法——自適應(yīng)改變滑動(dòng)窗口大小的數(shù)據(jù)清洗算法（SMURF）［2］。日本九州大學(xué)（Kyushu University）提出了一種基于現(xiàn)實(shí)世界的約束關(guān)系來提高RFID數(shù)據(jù)的可靠性［3］。伊利諾伊大學(xué)厄巴納－尚佩恩分校提出了使用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)（DBN）清洗原始標(biāo)簽流的方法［4］。格里菲斯大學(xué)采用集合理論提出一種清洗策略［5］等等。

盡管用于數(shù)據(jù)清洗的技術(shù)已相對(duì)比較成熟，但是由于RFID閱讀器受多方面因素的影響，閱讀器對(duì)標(biāo)簽數(shù)據(jù)識(shí)別的正確率仍只有60%－70%左右。如何使RFID數(shù)據(jù)傳輸更加高效可靠也是一個(gè)挑戰(zhàn)。下面將詳細(xì)介紹這些數(shù)據(jù)清洗算法，并分析這些算法的優(yōu)缺點(diǎn)。

2　RFID數(shù)據(jù)清洗需要解決的問題

在RFID系統(tǒng)中，RFID數(shù)據(jù)管理是RFID應(yīng)用的重要部分。由于各類物理的和信號(hào)傳輸方面的原因，比如電源失效、電磁干擾、網(wǎng)絡(luò)傳輸中斷以及RFID電子標(biāo)簽低功耗和低成本的限制等，收集到的RFID數(shù)據(jù)往往不可靠［6－7］，這嚴(yán)重影響了RFID技術(shù)在各領(lǐng)域的應(yīng)用（比如精確的庫存跟蹤，嚴(yán)格的病人監(jiān)護(hù)等）。數(shù)據(jù)作為分析和應(yīng)用的基礎(chǔ)，在實(shí)際應(yīng)用中起到了至關(guān)重要的作用，一旦RFID獲取數(shù)據(jù)出現(xiàn)問題，會(huì)對(duì)相關(guān)企業(yè)和公司造成嚴(yán)重影響。例如：在基于RFID的物流系統(tǒng)中，RFID獲取的不可靠數(shù)據(jù)使得數(shù)據(jù)定位不準(zhǔn)確；基于RFID的監(jiān)控系統(tǒng)也部分失去了其價(jià)值；而在基于RFID的停車場收費(fèi)系統(tǒng)中，對(duì)象的漏讀直接損失了停車場的經(jīng)濟(jì)收益。同時(shí)，不可靠數(shù)據(jù)的存在也限制了基于RFID數(shù)據(jù)的分析、決策支持、知識(shí)發(fā)現(xiàn)等復(fù)雜應(yīng)用。

在RFID閱讀器獲取數(shù)據(jù)的過程中，主要存在以下三種典型的數(shù)據(jù)讀取錯(cuò)誤：

（1）消極讀

研究表明，在RFID項(xiàng)目系統(tǒng)中部署的閱讀器的讀取率（即閱讀器射頻范圍內(nèi)電子標(biāo)簽被實(shí)際讀取到的百分比）經(jīng)常處于60%～70%的范圍，即超過30%的標(biāo)簽被漏讀了［8－9］。造成這種情況的原因包括：當(dāng)多個(gè)標(biāo)簽被同時(shí)檢測到時(shí)，射頻碰撞發(fā)生以及信號(hào)互相干擾，阻止了閱讀器對(duì)標(biāo)簽的識(shí)別；由于水或者金屬屏蔽和干擾射頻信號(hào)影響了標(biāo)簽被檢測到。

（2）積極讀

這種錯(cuò)誤又被稱為噪聲，在該情況下，除了讀取到原有的電子標(biāo)簽，也可能讀取到一些額外的、并不期望的標(biāo)簽數(shù)據(jù)。這歸因于以下幾個(gè)方面：在閱讀器正常射頻范圍之外的標(biāo)簽被該閱讀器讀取到了，例如閱讀器被設(shè)置為從某一場景中讀取對(duì)象，它同時(shí)也可能從鄰近場景中讀取對(duì)象；閱讀器和環(huán)境的未知原因，例如某一個(gè)閱讀器周期性的發(fā)送錯(cuò)誤ID。

（3）數(shù)據(jù)冗余

這種情況主要由以下幾個(gè)原因造成：標(biāo)簽長期處于閱讀器射頻范圍之內(nèi)在重復(fù)讀取模式下被閱讀器多次讀到；安裝了多個(gè)閱讀器覆蓋了大范圍的區(qū)域，處于重疊區(qū)域內(nèi)的標(biāo)簽被多個(gè)閱讀器讀取到；為了增強(qiáng)讀取的精確性，多個(gè)擁有相同EPC編碼的標(biāo)簽被貼在同一物體上，產(chǎn)生了多個(gè)相同的讀取結(jié)果。

RFID數(shù)據(jù)與傳統(tǒng)關(guān)系數(shù)據(jù)庫和數(shù)據(jù)倉庫數(shù)據(jù)庫的數(shù)據(jù)相比，作為一種流數(shù)據(jù)，使得數(shù)據(jù)清洗［10］變得更加困難。①因?yàn)閮?nèi)存的限制，很多在靜態(tài)數(shù)據(jù)上有效的清洗算法對(duì)RFID數(shù)據(jù)不適用；②流的特質(zhì)使得記錄表的范圍只限于局部，無法觀其全貌，這使得清洗結(jié)果的準(zhǔn)確性更低；③因?yàn)閼?yīng)用的特點(diǎn)，必須在短時(shí)間內(nèi)完成RFID數(shù)據(jù)的清洗工作，因此算法的時(shí)間要求更高。特別是當(dāng)某個(gè)RFID應(yīng)用布置規(guī)模極大時(shí)，如涉及到數(shù)千個(gè)閱讀器、數(shù)萬個(gè)標(biāo)簽時(shí)，數(shù)據(jù)清洗的難度更大。

因此，系統(tǒng)中必須增加對(duì)RFID數(shù)據(jù)的預(yù)處理環(huán)節(jié)，使閱讀器讀取來的數(shù)據(jù)，無論從時(shí)間序列還是從數(shù)值上都盡可能的接近真實(shí)數(shù)據(jù)。數(shù)據(jù)清洗的目的是檢測數(shù)據(jù)中存在的錯(cuò)誤和不一致，剔除或者改正它們，提高數(shù)據(jù)質(zhì)量［8］。數(shù)據(jù)清洗的過程必須滿足如下幾個(gè)條件：不論是單數(shù)據(jù)源還是多數(shù)據(jù)源，都要檢測并且除去數(shù)據(jù)中所有明顯的錯(cuò)誤和不一致；盡可能地減小人工干預(yù)和用戶的編程工作量，而且要容易擴(kuò)展到其他數(shù)據(jù)源；應(yīng)該和數(shù)據(jù)轉(zhuǎn)化相結(jié)合；要有相應(yīng)的描述語言來指定數(shù)據(jù)轉(zhuǎn)化和數(shù)據(jù)清洗操作；所有這些操作應(yīng)該在一個(gè)統(tǒng)一的框架下完成［11］。

3　RFID數(shù)據(jù)清洗算法

目前，針對(duì)RFID數(shù)據(jù)的不可靠性提出了許多數(shù)據(jù)清洗算法，算法主要在兩個(gè)方面展開：第一個(gè)方面是尋找高效的清洗模型和算法來解決單個(gè)閱讀器識(shí)別標(biāo)簽的不可靠問題，該方面的研究對(duì)大多數(shù)RFID應(yīng)用系統(tǒng)都具有一定的適用性；另一個(gè)方面是通過系統(tǒng)自身的獨(dú)特規(guī)則和閱讀器架構(gòu)，從系統(tǒng)邏輯的角度來對(duì)數(shù)據(jù)進(jìn)行清洗。采用第二種方法往往清洗效率很高，但清洗策略和具體應(yīng)用相關(guān)，不具有普遍適用性。通過上述分析得出，進(jìn)行數(shù)據(jù)清洗主要有三類數(shù)據(jù)清洗算法：一種是基于滑動(dòng)窗口的數(shù)據(jù)清洗算法，一種是根據(jù)現(xiàn)實(shí)約束進(jìn)行數(shù)據(jù)清洗，還有一種是優(yōu)化方法獲得最小代價(jià)的值。

3.1基于定義滑動(dòng)窗口的RFID數(shù)據(jù)清洗算法

滑動(dòng)窗口是一種比較典型、常用的數(shù)據(jù)流清洗技術(shù)。加州大學(xué)洛杉磯分校（UCLA）的Bai等人提出一種基于滑動(dòng)窗口的方法清洗RFID數(shù)據(jù)流。使用滑動(dòng)窗口解決清洗輸出結(jié)果的順序問題，RFID的定長滑動(dòng)窗口數(shù)據(jù)清洗技術(shù)示意圖如圖1所示。

圖1　定長滑動(dòng)窗口數(shù)據(jù)清洗示意圖

定長滑動(dòng)窗口清洗技術(shù)是指在對(duì)RFID數(shù)據(jù)流進(jìn)行清洗時(shí)，窗口的長度始終都保持不動(dòng)。定長滑動(dòng)窗口方法的清洗原理：在原始數(shù)據(jù)流上使用大小固定的滑動(dòng)窗口，在某一時(shí)刻，如果窗口捕獲到了某個(gè)數(shù)據(jù)，則這個(gè)數(shù)據(jù)會(huì)被認(rèn)為一直存在于這個(gè)窗口中，并將這個(gè)數(shù)據(jù)輸出。隨著新數(shù)據(jù)的到來，窗口向前滑動(dòng)，在窗口內(nèi)存在的漏讀錯(cuò)誤會(huì)被填補(bǔ)。

通過圖2可以看出，真實(shí)數(shù)據(jù)反映了這樣一種情況，標(biāo)簽離開閱讀器的覆蓋區(qū)域之后經(jīng)過一段時(shí)間又重新回到了閱讀器射頻范圍之內(nèi)。由于環(huán)境變化和RFID本身非接觸式識(shí)別的技術(shù)特點(diǎn)，我們通過閱讀器收集上來的數(shù)據(jù)用原始數(shù)據(jù)來表示，數(shù)據(jù)流出現(xiàn)了很多中斷的地方，這就造成了數(shù)據(jù)漏讀的現(xiàn)象。

圖2　定長窗口引發(fā)的問題

根據(jù)圖2中第三部分和第四部分可以看出小窗口能夠彌補(bǔ)一些漏讀錯(cuò)誤。但是由于窗口選擇過小，有些真正的漏讀情況并沒有被彌補(bǔ)掉，依然存在消極讀取的錯(cuò)誤。而大窗口確實(shí)對(duì)漏讀進(jìn)行了完全彌補(bǔ)，通過大窗口平滑之后所有的漏讀錯(cuò)誤都解決了，但是，卻不能檢測到標(biāo)簽離開閱讀器這個(gè)事件所引發(fā)的積極讀取錯(cuò)誤。這樣由于窗口大小固定，導(dǎo)致窗口過大產(chǎn)生積極讀取錯(cuò)誤，窗口過小產(chǎn)生消極讀取錯(cuò)誤。由于窗口大小固定造成RFID不能根據(jù)數(shù)據(jù)特點(diǎn)進(jìn)行精確填補(bǔ)漏讀的數(shù)據(jù)，最好的改進(jìn)方法是通過自適應(yīng)的改變窗口大小，這樣可以適應(yīng)多變的環(huán)境。

3.2自適應(yīng)窗口大小的RFID數(shù)據(jù)清洗算法

為避免定長滑動(dòng)窗口帶來的問題，加州大學(xué)伯克力分校的Jeffery R等人針對(duì)RFID數(shù)據(jù)流所固有的不可靠性，針對(duì)定長滑動(dòng)窗口的窗口大小不容易確定問題，提出了一種自適應(yīng)改變滑動(dòng)窗口大小的RFID數(shù)據(jù)清洗方法——SMURF。

SMURF方法的主要思想是采用統(tǒng)計(jì)采樣理論來自適應(yīng)進(jìn)行過濾。將RFID閱讀器捕獲的標(biāo)簽數(shù)據(jù)當(dāng)成是對(duì)探測器范圍內(nèi)存在的標(biāo)簽的一次抽樣，然后對(duì)RFID閱讀器捕獲的數(shù)據(jù)進(jìn)行數(shù)學(xué)建模，根據(jù)建立起的數(shù)學(xué)模型，并結(jié)合探測到標(biāo)簽的情況對(duì)窗口大小進(jìn)行實(shí)時(shí)更新。SMURF策略采用兩個(gè)不同的概率模型來對(duì)探測范圍內(nèi)不同的情況進(jìn)行清洗：

（1）單個(gè)標(biāo)簽數(shù)據(jù)清洗

利用標(biāo)簽閱讀率決定滑動(dòng)窗口的大小，若標(biāo)簽的閱讀率較低則會(huì)賦予其大窗口以減少消極讀；反之，如果標(biāo)簽的閱讀率較高，則賦予一個(gè)小窗口以減少積極讀。該方法通過定義窗口大小為wi，每個(gè)標(biāo)簽被閱讀發(fā)生的概率為pi。將若干查詢周期組合成一個(gè)紀(jì)元，每個(gè)紀(jì)元內(nèi)標(biāo)簽的閱讀率pi與窗口大小wi符合二項(xiàng)式分布B（wi，pi），根據(jù)伯努利概率模型得到窗口的大小如下：

通過（1）式能夠以很高的概率保證其完整性，但同時(shí)可能導(dǎo)致丟失標(biāo)簽的動(dòng)態(tài)變化過程，方法用下式來保證探測標(biāo)簽的動(dòng)態(tài)變化。

（2）式表示在平滑窗口內(nèi)檢測到標(biāo)簽的次數(shù)，即數(shù)學(xué)期望與實(shí)際檢測數(shù)值之差的絕對(duì)值大于二倍標(biāo)準(zhǔn)差，此時(shí)適當(dāng)減小其窗口。由此根據(jù)標(biāo)簽的當(dāng)前檢測信息，適應(yīng)性的調(diào)整窗口大小，可以保證較完整的填充數(shù)據(jù)。

（2）多標(biāo)簽集合清洗

多標(biāo)簽數(shù)據(jù)清洗技術(shù)：與單標(biāo)簽方法不同的是，其利用的概率模型是π－estimator，判斷標(biāo)簽移動(dòng)的條件是，其他的操作和單標(biāo)簽數(shù)據(jù)清洗技術(shù)操作一樣。

SMURF方法與定長的滑動(dòng)窗口方法相比，可以自適應(yīng)改變窗口的長度，既能保證數(shù)據(jù)完整性又能保證及時(shí)捕獲標(biāo)簽的狀態(tài)改變，可以很好的彌補(bǔ)由于窗口長度一定而不能夠同時(shí)滿足這兩要求不足。但是利用數(shù)學(xué)模型進(jìn)行調(diào)整時(shí)，采用了平均概率，若數(shù)據(jù)速率波動(dòng)大就不能反映某一時(shí)刻的數(shù)據(jù)特征，造成窗口調(diào)整錯(cuò)誤，致使閱讀率陡然下降。SMURF方法反而增大窗口進(jìn)行平滑，此時(shí)將產(chǎn)生更多積極讀取錯(cuò)誤。

3.3基于約束的清洗算法

Kyushu University提出了一種基于現(xiàn)實(shí)世界的約束關(guān)系來提高RFID數(shù)據(jù)的可靠性［5］。它指出現(xiàn)實(shí)世界的約束主要有兩種，一種是Accompany Constraint（伴隨約束）另外一種是Route Constraint（路徑約束）。所謂伴隨約束是指系統(tǒng)明確知道一組物體同時(shí)運(yùn)動(dòng)，閱讀器只要檢測到部分物體就可以推知整個(gè)物體被檢測到。另外一種路徑約束是指系統(tǒng)已知物體會(huì)沿著特定的路徑運(yùn)動(dòng)。通過這兩種約束可以解決標(biāo)簽漏讀問題。

本文提出的綜合清洗系統(tǒng)主要由兩個(gè)部分組成：冗余去除引擎和約束引擎，如圖3所示。冗余去除引擎主要是刪除原始RFID數(shù)據(jù)中的大量冗余數(shù)據(jù)，減少待清洗的RFID數(shù)據(jù)量。約束引擎主要是對(duì)去冗余之后還存在錯(cuò)誤的RFID數(shù)據(jù)再次進(jìn)行清洗，以保證最后輸出干凈的RFID數(shù)據(jù)流以供用戶后續(xù)的查詢工作。

圖3　綜合清洗系統(tǒng)框架圖

將原始的帶有冗余的RFID數(shù)據(jù)輸入冗余刪除引擎；經(jīng)冗余刪除引擎處理后，得到去冗余后的RFID數(shù)據(jù)以進(jìn)行下一步處理；將用戶指定約束及自學(xué)約束輸入約束引擎，維護(hù)約束引擎；用約束引擎清洗去冗余后的RFID數(shù)據(jù)；得到經(jīng)約束清洗后干凈的RFID數(shù)據(jù)，并輸出給用戶以供上層應(yīng)用。

冗余去除算法可將原來采集到的RFID數(shù)據(jù)量減少40%－50%，這將極大降低系統(tǒng)開銷，為后續(xù)的數(shù)據(jù)清洗工作提供便利。約束算法是在自學(xué)約束及用戶指定約束的指導(dǎo)下進(jìn)行清洗的，考慮進(jìn)了對(duì)象之間的聯(lián)系以及約束對(duì)數(shù)據(jù)對(duì)象的影響，其性能要優(yōu)于在線清洗的五層管道框架系統(tǒng)算法。

3.4基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)（DBN）的清洗算法

由于SMURF方法只是根據(jù)觀測值改變滑動(dòng)窗口的大小，同一窗口中數(shù)據(jù)具有相同權(quán)重的問題。伊利諾伊大學(xué)厄巴納－尚佩恩分校（University of Illinois at Urbana-Champaign）的Gonzalez H等人提出一種考慮代價(jià)的大量RFID數(shù)據(jù)集的清洗方法。該方法引入一個(gè)全新的清洗規(guī)則即最小化代價(jià)，提出一個(gè)清洗框架，來產(chǎn)生一個(gè)全局的最優(yōu)清洗方案。提出了一種動(dòng)態(tài)調(diào)節(jié)信任狀態(tài)的清洗新方法——基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)（DBN）的方法。

動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)主要思想是通過利用網(wǎng)絡(luò)結(jié)構(gòu)以及條件概率表，獲得所要求事件的概率，并利用先驗(yàn)知識(shí)和樣本數(shù)據(jù)獲得對(duì)未知樣本的估計(jì)。在RFID數(shù)據(jù)清洗方法中利用動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)是通過假設(shè)一個(gè)隱模式標(biāo)簽來決定實(shí)際標(biāo)簽位置，實(shí)際讀取可以觀察該隱模式加噪聲的情況，算法是通過歷史觀測數(shù)據(jù)對(duì)標(biāo)簽進(jìn)行預(yù)測并獲得一個(gè)概率值，以此概率值判斷標(biāo)簽是否存在。

動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)中的模型具體實(shí)現(xiàn)是定義一個(gè)隱變量Xt，若標(biāo)簽在時(shí)間t出現(xiàn)在閱讀器范圍內(nèi)改制為真；另定義一個(gè)觀測變量et作為關(guān)于Xt的噪聲觀測量。通過e1：t＋1得出Xt＋1的可能狀態(tài)：

式（3）中P（et＋1｜Xt＋1）已知為真時(shí)，通過觀測可得概率P（Xt＋1｜xt）為一個(gè)真狀態(tài)轉(zhuǎn)換為另一個(gè)真狀態(tài)的概率，而P（Xt｜et＋1）為之前的信任狀態(tài)，觀測模型和轉(zhuǎn)換模型可從歷史數(shù)據(jù)得到，具體方法框圖如圖4所示。

圖4　DBN清洗方法框圖

與滑動(dòng)窗口、SMURF等方法比較，貝葉斯網(wǎng)絡(luò)的優(yōu)點(diǎn)在于結(jié)合觀察值和預(yù)測值的關(guān)系賦予新數(shù)據(jù)更高的權(quán)重，且不需要記載最新的標(biāo)簽數(shù)據(jù)。然而從歷史數(shù)據(jù)集中得到預(yù)測值與觀察值的關(guān)系，不能動(dòng)態(tài)更新，所以不能理想地清洗動(dòng)態(tài)標(biāo)簽，對(duì)于動(dòng)態(tài)標(biāo)簽的清洗效果不是十分理想。

4　RFID數(shù)據(jù)清洗應(yīng)用解決方案

隨著對(duì)RFID項(xiàng)目的實(shí)施研究，發(fā)現(xiàn)通過RFID中間件可以將RFID數(shù)據(jù)正確導(dǎo)入相應(yīng)的信息管理系統(tǒng)。國際上，比較知名的RFID中間件廠商提供了對(duì)于RFID數(shù)據(jù)清洗的應(yīng)用方案，主要有IBM、SUN、Oracle等大型企業(yè)。

IBM基于Java語言并依照J(rèn)2EE企業(yè)構(gòu)架開發(fā)的RFID中間件產(chǎn)品可以簡化企業(yè)實(shí)施RFID項(xiàng)目的步驟，同時(shí)實(shí)現(xiàn)企業(yè)能夠處理海量貨物數(shù)據(jù)的目的。IBM的RFID中間件產(chǎn)品是開放式的，其RFID中間件架構(gòu)［12］中的Edge Domain模塊的功能是管理RFID底層設(shè)備以及過濾、聚合和分發(fā)原始標(biāo)簽數(shù)據(jù)。在整個(gè)RFID中間件系統(tǒng)中Filter Agent與數(shù)據(jù)處理相關(guān)，但只能實(shí)現(xiàn)冗余過濾和位過濾，不能針對(duì)漏讀、臟讀、冗余讀以及復(fù)雜時(shí)間清洗。

SUN的RFID中間件架構(gòu)包括兩個(gè)部分，分別是Execution Agent和Control Station，但只有Execution Agent中的Filter組件和數(shù)據(jù)處理有關(guān)。最早提出用smooth、delta和bandpass等簡單過濾規(guī)則組件來過濾冗余讀、消極讀的是SUN公司，但增加過濾功能仍然需要特定組件，而且不存在完整的數(shù)據(jù)清理解決方案和靈活的復(fù)雜事件讀取引擎。

基于BEA的Web Logic Enterprise Server 9.2架構(gòu)是Oracle／BEA聯(lián)合研發(fā)的RFID中間件架構(gòu)［13］，其中的事件引擎位于事件服務(wù)架構(gòu)中，是目前功能最完善的事件引擎。它使用Esper流事件處理引擎和EPL語言來監(jiān)控實(shí)時(shí)標(biāo)簽數(shù)據(jù)并生成具有邏輯業(yè)務(wù)含義的復(fù)雜事件。但建于關(guān)系代數(shù)模式之上的引擎不能順序讀取時(shí)序，同時(shí)RFID事件讀取中的時(shí)序讀取又非常關(guān)鍵，在這一點(diǎn)上它是不適用的，并且BEA的事件處理模塊對(duì)RFID數(shù)據(jù)中存在的問題也沒有提供合適的清洗方案。

5　結(jié)束語

RFID技術(shù)已被大多數(shù)人所熟知，其廣泛的應(yīng)用場景，低廉的成本，部署實(shí)施的簡單性，已經(jīng)越來越多地吸引著更多的用戶、研究人員和IT廠商。RFID技術(shù)作為無線射頻技術(shù)，技術(shù)特點(diǎn)決定了其數(shù)據(jù)流具有不可靠性的缺點(diǎn)，該缺點(diǎn)是限制RFID技術(shù)被廣泛應(yīng)用的關(guān)鍵因素，該缺點(diǎn)造成了RFID技術(shù)在高水平的精確應(yīng)用中應(yīng)用價(jià)值不高的問題。為解決該問題，需要對(duì)原始數(shù)據(jù)進(jìn)行清洗，以得到干凈的、可實(shí)際應(yīng)用的數(shù)據(jù)流。通過詳細(xì)討論已有的RFID數(shù)據(jù)清洗算法，分析了這些算法中存在的缺陷。根據(jù)算法比較結(jié)果表明：目前尚不存在一個(gè)高效、實(shí)用、干凈的低成本RFID清洗算法。設(shè)計(jì)高效、實(shí)用、低成本的實(shí)用RFID清洗算法以及清洗策略依舊是一個(gè)值得挑戰(zhàn)的領(lǐng)域，尤其是對(duì)中間件研發(fā)使其具有高效的數(shù)據(jù)處理模式是一個(gè)值得開發(fā)的領(lǐng)域。

［1］Yijian Bai，F(xiàn)usheng Wang，Peiya Liu.Efficiently filtering RFID data streams［C］.The first international VLDB Workshop on Clean Database（CleanDB）Workshop，Seoul，Kerea，2006：50－57.

［2］Shawn R.Jeffery，Minos Garofalakis，Michael J.Franklin，et al.Adaptive cleaning for RFID data streams［J］.Proceedings of the 32nd international conference on Very Large Data Bases（VLDB），Seoul，Korea，2006：163－174.

［3］Sozo Inoue，Daisuke Hagiwara，Hiroto Yasuura.Systematic Error detection for RFID reliability［C］.proceedings of the Frist International Conferece on Availability，Reliability and Secuity.2006.

［4］Hector Gonzalez，Jiawei Han，Xuehua Shen.Cost－conscious cleaning of massive RFID data sets［C］.Conferenece on DataEngineering（ICDE 07），Istanbul，Turkey.April 2007：1268－1272.

［5］Jeffery S R，Alonso G，F(xiàn)ranklin M J，et al.A pipelined framework for online cleaning of sensor data streams［C］.Proceedings of the 22nd International Conference on Data Engineering，2006：140－153.

［6］許嘉，于戈，谷峪，等.RFID不確定數(shù)據(jù)管理技術(shù)［J］.計(jì)算機(jī)科學(xué)與探索，2009，3（6）：561－576.Xu Jia，Yu Yi，Gu Yu，et al.RFID data management Technology［J］.Computer Science and exploration 2009，3（6）：561－576.

［7］陳旭輝，王馨，柯銘.一種改進(jìn)的基于RFID中間件的冗余數(shù)據(jù)清洗算法［J］.微電子學(xué)與計(jì)算機(jī)，2013，30（7）：154－158.Chen Xu_hui，Wang Xin，Ke Xin.An improved Redundancy Data Cleaning Alogorithm based on RFID Midsoftware［J］.Microelectronics and Computer，2013，30（7）：154－158.

［8］Popovski P，F(xiàn)yhn K，Jacobsen R M，et al.Robust statistical methods for detection of missing RFID tags［J］.IEEE Wireless Communicationns，2011，18（4）：74－80.

［9］Wang F，Liu P.Temporal Management of RFID Data［C］.In：Proceedings of the 31st International Conference on Very Large Data Dases.Trondheim，Norway，2005：1128－1139.

［10］Daniel J.Abadi，Don Carney，Ugur C.etintemel.Aurora：A new model and architecture for data stream management［J］.In：VLDB.Journal，2003.

［11］R Jeffery，M Graofalakis，M J Flanklin.Adaptive Cleaning for RFID Data Streams［C］.Proceedings of the 32nd International Conference on Very Llarge Data Bases.Seoul，Korea，2006：163－174.

［12］Rahm E，Do H H.Data cleaning problems and current approaches［J］.IEEE Data Engineering Bulletin，2000，23（4）；3－13.

［13］郭志懋，周傲英.數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述［J］.軟件學(xué)報(bào)，2002，13（11）：2076－2082.Guo zhimao，Zhou aoying.Survey of data quality and data cleaning［J］.Iournal of Sofrware，2002，13（11）：2076－2082.

Overview on RFID Data Cleaning

Zhang Yan，Tang Yibin，Li Xufei
（College of Internet of Things Engineering，HoHai University，Changzhou 213022，China）

RFID，as a popular technology related to Internet of Things field，has good application in the future.It is necessary for RFID data cleaning，because the unreliability of the data is produced，in the process of the data acquired，and the development of RFID technology is limited.RFID data cleaning methods are surveyed through introducing the RFID data cleaning technology research in domestic and overseas.The advantages and disadvantages of the various algorithms are compared and analyzed，and the application based on the middleware of data cleaning solutions is discussed.The result shows that the algorithm of data cleaning is mainly designed for a single issue with low calculation efficiency，and the new one，with good applicability and high efficiency，should be developed in the future.

RFID technology；Internet of Things；Unreliability；Data cleaning；Solutions；universal

10.3969／j.issn.1002－2279.2016.01.009

TN911.73

A

1002－2279（2016）01－0032－05

?江蘇省自然科技基金（BK20130238）

張燕（1992－），女，山東省濰坊市人，本科生，主研方向：數(shù)字圖像處理。湯一彬（1982－），男，東南大學(xué)博士，河海大學(xué)講師。

2015－05－20