劉華偉

摘要：近年來，智慧物聯(lián)的應(yīng)用越來越多，如智能社區(qū)、智能家居以及智能汽車等，該應(yīng)用主要通過傳感器等設(shè)備來實(shí)時(shí)的接收和分析數(shù)據(jù)并把結(jié)果反饋給控制系統(tǒng)，從而達(dá)到智能的效果，而實(shí)體間的智能交互就是其中重要的一個(gè)環(huán)節(jié)。但是，從目前的結(jié)果來看效果較差，主要表現(xiàn)在實(shí)體間交互的自主性較差，需要依賴人的參與，實(shí)體不能通過分析與其它實(shí)體間的歷史交互來自主按需的與相應(yīng)的實(shí)體進(jìn)行交互。為了解決該問題，該文主要研究基于神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)實(shí)體信息交互關(guān)系識(shí)別方法。

該文首先提出了實(shí)體信息交互模型，并且從線性模型和非線性模型的角度去分析適合物聯(lián)網(wǎng)實(shí)體交互關(guān)系識(shí)別的分類模型，提出了一種基于神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)實(shí)體交互關(guān)系識(shí)別模型。為了驗(yàn)證本文思路的正確性，該文主要考察以邏輯回歸為代表的線性模型和以神經(jīng)網(wǎng)絡(luò)為代表的非線性模型在本問題上的應(yīng)用，此外，為了保證模型的努棒性，該文提出了三種不同數(shù)據(jù)場(chǎng)景下模型的學(xué)習(xí)方式來適應(yīng)不同情況下對(duì)于模型的要求，從而來保證模型的可靠性。最后通過實(shí)驗(yàn)數(shù)據(jù)比較驗(yàn)證了神經(jīng)網(wǎng)絡(luò)在本問題上的有效性。

該文實(shí)驗(yàn)數(shù)據(jù)選取了麻省理工學(xué)院數(shù)字媒體實(shí)驗(yàn)室做社會(huì)演變研究時(shí)所用公開的數(shù)據(jù)集，該數(shù)據(jù)主要用來評(píng)估本文的模型在實(shí)體關(guān)系識(shí)別上的有效性。實(shí)驗(yàn)結(jié)果證明，與之前的方法相比，該模型在物聯(lián)網(wǎng)實(shí)體關(guān)系實(shí)時(shí)識(shí)別上表現(xiàn)出更好的準(zhǔn)確率。

關(guān)鍵詞：關(guān)系分類；物聯(lián)網(wǎng)；神經(jīng)網(wǎng)絡(luò)；關(guān)系識(shí)別

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）04-0175-03

1 背景

近年來，在互聯(lián)網(wǎng)基礎(chǔ)上提出的“物聯(lián)網(wǎng)”[1-2]概念受到廣泛關(guān)注。以物聯(lián)網(wǎng)為代表的新一代信息通信技術(shù)發(fā)展迅速，被認(rèn)為是繼計(jì)算機(jī)、互聯(lián)網(wǎng)和移動(dòng)通信網(wǎng)絡(luò)之后的第三次信息產(chǎn)業(yè)浪潮。

隨著信息技術(shù)的發(fā)展和完善，物聯(lián)網(wǎng)形成一個(gè)巨大的泛在網(wǎng)絡(luò)，將會(huì)有更廣闊的應(yīng)用前景。對(duì)于人類日常生活和人類的行為模型的研究還有更多，Choudhury和Pentland在文獻(xiàn)[3]中提出了一種名為Sociometer的便攜傳感器系統(tǒng)；美國(guó)麻省理工學(xué)院媒體數(shù)值研究實(shí)驗(yàn)室與著名的手機(jī)廠商諾基亞公司共同研究的“Reality Mining”項(xiàng)目，分析人類日常行為方式[4]、人類之間關(guān)系抽取[5]以及構(gòu)建人類關(guān)系網(wǎng)絡(luò)結(jié)構(gòu)[6]。此外，Oleksandr Lobunets 和Wolfgang Prinz在文獻(xiàn)[7]中提出了一種名為PeopleWhere的智能系統(tǒng)，它主要是利用傳感器技術(shù)實(shí)現(xiàn)局部個(gè)人感知系統(tǒng)，并基于此建立一個(gè)局部小型社會(huì)網(wǎng)絡(luò)，這和上面所述的機(jī)會(huì)網(wǎng)絡(luò)有點(diǎn)類似。

范偉和李曉明等人在文獻(xiàn)[8]中給出了對(duì)于物聯(lián)網(wǎng)數(shù)據(jù)建模和挖掘的挑戰(zhàn)，文中給出了如何對(duì)海量數(shù)據(jù)進(jìn)行挖掘的計(jì)算框架，認(rèn)為基于MapReduce/Hadoop[9-10]的計(jì)算框架并不適用于物聯(lián)網(wǎng)海量數(shù)據(jù)的挖掘，而孫凝暉等人在文獻(xiàn)[11]中提出的海計(jì)算框架更加適合物聯(lián)網(wǎng)海量數(shù)據(jù)的挖掘的計(jì)算框架。在物聯(lián)網(wǎng)實(shí)體信息交互關(guān)系識(shí)別和交互關(guān)系抽取上，孫世軒等人在文獻(xiàn)[12]中提出了一種基于Chameleon聚類算法的實(shí)體關(guān)系抽取模型，此外夏季等人在文獻(xiàn)[13]中提出了一種基于隱樸素貝葉斯[14]的物聯(lián)網(wǎng)實(shí)體交互關(guān)系識(shí)別模型，該模型在樸素貝葉斯模型的基礎(chǔ)上為每個(gè)屬性節(jié)點(diǎn)增加一個(gè)隱藏的父節(jié)點(diǎn)，以此來表示該屬性與其他各屬性之間的依賴關(guān)系所產(chǎn)生的影響，從而來弱化了樸樹貝葉斯屬性之間相互獨(dú)立的假設(shè)。

本文“基于神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)實(shí)體關(guān)系識(shí)別”是在上述研究的基礎(chǔ)上進(jìn)一步探討物聯(lián)網(wǎng)實(shí)體交互關(guān)系的識(shí)別方法并且對(duì)這些方法做出比較。

2 基于神經(jīng)網(wǎng)絡(luò)的物聯(lián)網(wǎng)實(shí)體關(guān)系識(shí)別

2.1 基本思想

本文將介紹邏輯回歸和神經(jīng)網(wǎng)絡(luò)這兩種分類算法在物聯(lián)網(wǎng)實(shí)體交互關(guān)系識(shí)別問題中的應(yīng)用，其中主要原因如下：1）兩種方法的思路類似，都是去做關(guān)系分類，損失函數(shù)也可以完全相同，唯一不同的就是數(shù)據(jù)特征的表達(dá)空間，邏輯回歸是線性分類器，而神經(jīng)網(wǎng)絡(luò)可以拓展成非線性的分類器，從而可以通過增強(qiáng)特征表達(dá)空間來更好的擬合數(shù)據(jù)，本章將對(duì)比這兩類算法來探索適合本問題的分類模型；2） 參數(shù)的學(xué)習(xí)過程幾乎類似，都可以用批量梯度下降或者隨機(jī)梯度下降來解決參數(shù)優(yōu)化問題，這樣有利于在不同場(chǎng)景下去學(xué)習(xí)和更新我們的模型，從而可以很容易的適應(yīng)海量數(shù)據(jù)和模型實(shí)時(shí)更新的需求。

2.2 算法原理及應(yīng)用場(chǎng)景分析

2.2.1 基于邏輯回歸的關(guān)系分類算法

1）模型訓(xùn)練

由于邏輯回歸只能處理二分類問題，因此現(xiàn)在我們假設(shè)物聯(lián)網(wǎng)中實(shí)體的關(guān)系分類分為朋友和非朋友兩類，并且假設(shè)分類“朋友”為對(duì)于標(biāo)簽1的分類，那么分類“非朋友”就是對(duì)應(yīng)標(biāo)簽0的分類。同樣我們假設(shè)m表示我們訓(xùn)練數(shù)據(jù)的總數(shù)量，n表示數(shù)據(jù)特征的的維度，[θ]表示我們模型的參數(shù)，理論上與我們的特征維度n是相同的，[ Jθ]表示損失函數(shù)，計(jì)算如下：

[ Jθ = 1mi=1mCosthθxi， yi]

因此基于關(guān)系分類的邏輯回歸算法的優(yōu)化問題轉(zhuǎn)化為如下問題：

[minθJθ =-1mi=1myiloghθxi+1-yilog1-hθxi]

最后通過參數(shù)學(xué)習(xí)的方式，使得最終的損失函數(shù)[Jθ]最小從而得到我們想要的模型參數(shù)[θ]。

2.2.2 基于SoftMax回歸的關(guān)系分類算法

1）模型訓(xùn)練

SoftMax原理和邏輯回歸相似，僅僅是邏輯回歸在多分類問題上的拓展，以解決物聯(lián)網(wǎng)實(shí)體關(guān)系多分類場(chǎng)景，因此現(xiàn)在我們假設(shè)物聯(lián)網(wǎng)中實(shí)體的關(guān)系分類分為好朋友、一般朋友、非朋友這三類，并且假設(shè)分類“好朋友”為對(duì)于標(biāo)簽0的分類，分類“一般朋友”為對(duì)應(yīng)標(biāo)簽1的分類，那么分類“非朋友”就是對(duì)應(yīng)標(biāo)簽2的分類。同樣我們假設(shè)m表示我們訓(xùn)練數(shù)據(jù)的總數(shù)量，n表示數(shù)據(jù)特征的的維度，[θ]表示我們模型的參數(shù)，此時(shí)模型的參數(shù)不是特征維度n了，而是矩陣3*n，3對(duì)應(yīng)我們分類中的類別數(shù)，也就是參數(shù)矩陣的每一行對(duì)應(yīng)一個(gè)類別的參數(shù)，[ Jθ]表示損失函數(shù)，計(jì)算如下：

[Jθ = 1mi=1mj=1k1yi=jlogeθTjxij=1keθTjxi]

通過一步步計(jì)算從而得到參數(shù)[θ]，其中使用的方法就是梯度下降。

2.2.3 基于淺層神經(jīng)網(wǎng)絡(luò)的關(guān)系分類算法

神經(jīng)網(wǎng)絡(luò)是一個(gè)多層次的分類模型，其實(shí)logistic回歸和softmax回歸可以看成最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，SoftMax回歸和神經(jīng)網(wǎng)絡(luò)在多分類問題上的比較如圖1所示。其實(shí)邏輯回歸和SoftMax回歸都可以看成不含隱藏層的簡(jiǎn)易神經(jīng)網(wǎng)絡(luò)。

一般的神經(jīng)網(wǎng)絡(luò)有輸入層，隱含層以及輸出層構(gòu)成，而如果把邏輯回歸看成最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，那么這個(gè)神經(jīng)網(wǎng)絡(luò)只有輸入層和輸出層，而沒有隱含層。神經(jīng)網(wǎng)絡(luò)處理二分類時(shí)，輸出層為一個(gè)節(jié)點(diǎn)，但處理K（K>2）分類問題時(shí)，數(shù)據(jù)節(jié)點(diǎn)為K個(gè)，這個(gè)和邏輯回歸以及softmax回歸之間是保持一致的。值得注意的，在神經(jīng)網(wǎng)絡(luò)中的最后一層隱含層和輸出層就可以看成是邏輯回歸或softmax回歸模型，之前的層只是從原始輸入數(shù)據(jù)開始學(xué)習(xí)特征，然后把學(xué)習(xí)得到的特征交給邏輯回歸或softmax回歸處理，神經(jīng)網(wǎng)絡(luò)中的隱含層起到的作用就是做特征轉(zhuǎn)換，從特征空間來講就是轉(zhuǎn)化輸入數(shù)據(jù)的特征空間。

3.3 模型定義

3.3.1 實(shí)體交互行為相關(guān)參數(shù)定義

本小節(jié)對(duì)實(shí)體交互模型的結(jié)果更進(jìn)一步的定義實(shí)體交互關(guān)系識(shí)別中需要定義和說明的參數(shù)，具體如下：

定義 1：[E =Eid， EAttrs]表示任意實(shí)體，其中[Eid]為實(shí)體標(biāo)識(shí)符，用來唯一標(biāo)識(shí)該實(shí)體；[EAttrs]用來表示標(biāo)識(shí)實(shí)體的屬性集合。

定義 2： [B=（Bid， BAttrs） ]表示交互行為，實(shí)體間有著各種各種不同的交互，因此用[Bid]來唯一的標(biāo)識(shí)不同的交互行為，[BAttrs]表示對(duì)于交互行為的一些屬性說明，比如交互行為是通話的時(shí)候，那么可以用通話時(shí)間長(zhǎng)度來作為屬性說明，如果是短信，則可以用短信長(zhǎng)度來形容。

定義 3：[Im，n=Em，En，B，t，?t，l] 用來表示實(shí)體[Em]和[En]之間的一次交互行為，其中[Em]表示交互實(shí)體，[En]表示被交互實(shí)體，[B]用來表示實(shí)體之間的交互行為，如定義二中所描述，[t]表示實(shí)體間交互所發(fā)生的開始時(shí)間，[?t]表示實(shí)體間交互所持續(xù)的時(shí)間，最后的[l]表示實(shí)體交互行為所發(fā)生的地點(diǎn)。

定義 4： [Rm，n=Em，En，Rela]用來表示實(shí)體[Em，]和實(shí)體[En]之間的關(guān)系[Rela]。因?yàn)楸疚氖腔跉v史實(shí)體交互數(shù)據(jù)的分類模型訓(xùn)練，因此[Rela]參數(shù)可以作為模型輸入的類標(biāo)簽。訓(xùn)練后的模型可以通過任意交互實(shí)體的交互行為來實(shí)現(xiàn)對(duì)交互實(shí)體間的關(guān)系分類。

定義 5：[x，y=Im，n，Rm，n] 用來表示實(shí)體間一次交互所產(chǎn)生的數(shù)據(jù)，[x]作為屬性輸入，而[y]作為數(shù)據(jù)標(biāo)簽輸入。因此實(shí)體間的每次交互都會(huì)產(chǎn)生一條這樣的記錄，最后通過將大量的歷史記錄用作我們算法的輸入，從而得出我們想要的模型。

3.3.2 實(shí)體交互關(guān)系分類模型構(gòu)建

整個(gè)實(shí)體交互關(guān)系分類模型中流程的每一步的具體說明如下：

1）數(shù)據(jù)預(yù)處理：根據(jù)上述3.3.1中對(duì)實(shí)體交互行為中的相關(guān)參數(shù)定義，對(duì)歷史交互數(shù)據(jù)進(jìn)行處理，從而每個(gè)記錄都可以最后表示成3.3.1節(jié)中定義5的樣子。其中需要注意對(duì)屬性中時(shí)間，地點(diǎn)等屬性的處理。對(duì)于交互時(shí)間，通常記錄的形式如：2016.10.1 20：08，前面表示日期后面表示當(dāng)前時(shí)間，一種方法是可以把時(shí)間轉(zhuǎn)成離散值，如轉(zhuǎn)化成辦公時(shí)間和非辦公時(shí)間的離散值。而對(duì)于交互地點(diǎn)屬性，可以對(duì)地點(diǎn)進(jìn)行提前分類，如分成公共場(chǎng)所和私人場(chǎng)所對(duì)應(yīng)的離散值，具體如何分類和分幾類可以視具體情況而定。

2）如上面3.2.4小結(jié)所述，對(duì)于不同的數(shù)據(jù)的規(guī)模，分別使用邏輯回歸和淺層神經(jīng)網(wǎng)絡(luò)算法在不同的場(chǎng)景下的參數(shù)學(xué)習(xí)方式。 如果是小規(guī)模數(shù)據(jù)，則轉(zhuǎn)下面第3）步，而如果是海量數(shù)據(jù)，則轉(zhuǎn)下面第4）步。

3）優(yōu)化算法利用批量梯度下降的方式來學(xué)習(xí)參數(shù)，即對(duì)于每次參數(shù)的更新，都會(huì)去遍歷整個(gè)數(shù)據(jù)集，從而不斷的迭代這個(gè)過程直到模型收斂得到最終的模型參數(shù)[θ]。

4）優(yōu)化算法利用隨機(jī)梯度下降的方式來學(xué)習(xí)參數(shù)，即對(duì)于每次參數(shù)的更新，只是用一條實(shí)體交互數(shù)據(jù)來更新，從而不斷的迭代這個(gè)過程直到模型收斂得到最終的到模型的參數(shù)[θ]。

5）如果需要進(jìn)行在線學(xué)習(xí)，則對(duì)于到來的新數(shù)據(jù)，轉(zhuǎn)上面第4）步，從而實(shí)現(xiàn)對(duì)模型參數(shù)的不斷更新。

3.4 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

3.4.1 實(shí)驗(yàn)過程

1）志愿者關(guān)系采集

實(shí)驗(yàn)數(shù)據(jù)中給出了關(guān)于八十幾位志愿者之間的關(guān)系調(diào)查，其中有31918條數(shù)據(jù)，但是有很多條數(shù)據(jù)中缺少關(guān)鍵字段，還有一些重復(fù)的數(shù)據(jù)，在經(jīng)過對(duì)異常數(shù)據(jù)的清理之后，我們數(shù)據(jù)中還有3731條數(shù)據(jù)，具體的人物關(guān)系的分布如表1所示。但是我們這邊主要分析朋友和非朋友關(guān)系的識(shí)別，因此處理完的數(shù)據(jù)分布如表2中所示。

表1 訓(xùn)練數(shù)據(jù)中關(guān)系的細(xì)粒度關(guān)系分布

[序號(hào)＼& 關(guān)系種類＼&對(duì)數(shù)＼&1＼&Twitter聯(lián)系＼&265＼&2＼&親密朋友＼&513＼&3＼&Facebook關(guān)注＼&1301＼&4＼&政治討論黨＼&387＼&5＼&社交黨＼&1265＼&]

3.4.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)主要用邏輯回歸和神經(jīng)網(wǎng)絡(luò)兩種方法，由于是二分類問題，所以兩種算法使用的都是交叉熵誤差（Cross Entropy）函數(shù)，算法的主要不同在于線性分類和非線性分類，神經(jīng)網(wǎng)絡(luò)中使用兩層神經(jīng)網(wǎng)絡(luò)，隱含層中神經(jīng)元的個(gè)數(shù)為20，使用tanh作為激活函數(shù)，兩種方法都加上了0.05的正則化因子來防止過擬合。為了保持和之前算法的對(duì)比，所有實(shí)驗(yàn)都是使用10次交叉驗(yàn)證的評(píng)價(jià)準(zhǔn)確率作為最后的結(jié)果。

我們主要做了兩個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)一是把所有的交互都當(dāng)成首次交互，不區(qū)分交互的實(shí)體之間是否曾經(jīng)有過交互歷史，這與夏季等在文獻(xiàn)[17]中的實(shí)驗(yàn)策略是一樣的，實(shí)驗(yàn)結(jié)果如表3所示，其中NBC是樸素貝葉斯模型，C4.5代表決策樹模型，HNB是作者使用的隱貝葉斯的模型，最后兩個(gè)是本章給出的模型。

4 結(jié)束語

本問主要從線性和非線性算法出發(fā)，探索適合物聯(lián)網(wǎng)實(shí)體交互關(guān)系識(shí)別的方法。文中詳細(xì)的描述了實(shí)體交互關(guān)系識(shí)別模型的設(shè)計(jì)，并且通過實(shí)驗(yàn)表明，邏輯回歸受限于其線性分類器的本質(zhì)在實(shí)驗(yàn)結(jié)果中稍差，而神經(jīng)網(wǎng)絡(luò)通過隱含層中特征空間的轉(zhuǎn)換，在本應(yīng)用中要優(yōu)于所有其它的算法。

參考文獻(xiàn)：

[1] Xia Feng.Internet of things[J]. International Journal of Communication Systems 25， 2012（9）： 1101.

[2] 孫其博. 物聯(lián)網(wǎng)： 概念， 架構(gòu)與關(guān)鍵技術(shù)研究綜述[J]. 北京郵電大學(xué)學(xué)報(bào)， 2010， 33（3）： 1-9.

[3] Choudhury， Tanzeem Khalid. Sensing and Modeling Human Networks[J]. Massachusetts Institute of Technology， 2004： 101-105.

[4] Eagle N， Pentland A. Reality Mining： Sensing Co mplex Social Systems[J]. Personal and Ubiquitous Computing， 2006， 10： 255-268.

[5] Eagle N， Pentland A， Lazer D. Inferring Social Network Structure using Mobile Phone Data[J]. Proceedings of the National Academy of Sciences （PNAS）， 2009， 106（36）： 15274-15278.

[6] Onnela J. Structure and Tie Strengths in Mobile Communication Networks[J]. Proceedings of the National Academy of Sciences （PNAS）， 2007， 104： 7332–7336.

[7] Oleksandr Lobunets and Wolfgang Prinz. PeopleWhere： Platform for Reality Mining Applications[C]. IEEE International Conference on Digital E cosystems and Technologies， 2009： 697-702.

[8] 范偉， 李曉明. 物聯(lián)網(wǎng)數(shù)據(jù)特性對(duì)建模和挖掘的挑戰(zhàn)[J]. 中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊， 2010， 9（6）.

[9] Chu Cheng."Map-reduce for machine learning on multicore[J]. Advances in neural information processing systems， 2007（19）： 281.

[10] Shvachko， Konstantin. The hadoop distributed file system[C]. 2010 IEEE 26th symposium on mass storage systems and technologies （MSST）. IEEE， 2010.

[11] 孫凝暉， 徐志偉， 李國(guó)杰. 海計(jì)算：物聯(lián)網(wǎng)的新型計(jì)算模型[J]. 物聯(lián)網(wǎng)技術(shù)， 2012（2）.

[12] 孫世軒. 基于數(shù)據(jù)挖掘的物聯(lián)網(wǎng)領(lǐng)域?qū)嶓w信息交互關(guān)系抽取方法研究[D].上海：同濟(jì)大學(xué)， 2014.

[13] 夏季. 基于數(shù)據(jù)挖掘的物聯(lián)網(wǎng)實(shí)體信息交互關(guān)系關(guān)系識(shí)別方法研究[Z]. 2016.

[14] Jordan A.On discriminative vs. generative classifiers： A comparison of logistic regression and naive bayes[J]. Advances in neural information processing systems， 2002（14）： 841.