荀文婧　徐銘明　劉曉峰　張福全

摘要：大氣溫度和大氣濕度在農(nóng)林、氣候、生物化學(xué)等領(lǐng)域具有重要意義。為了解光照對(duì)大氣溫度和大氣濕度的影響。對(duì)傳統(tǒng)數(shù)據(jù)分析方法進(jìn)行改進(jìn)，使用數(shù)據(jù)挖掘工具RapidMiner對(duì)大數(shù)據(jù)進(jìn)行處理。對(duì)南京紫金山地區(qū)森林海拔在500米以下的大氣溫度、大氣濕度、光照的大數(shù)據(jù)進(jìn)行了研究。利用RapidMJner的Filter Samples等算子對(duì)林業(yè)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行處理，并利用MATLAB軟件對(duì)三者之間的關(guān)系進(jìn)行關(guān)聯(lián)分析研究，進(jìn)而研究光照對(duì)海拔在500米以下大氣溫度和大氣濕度的影響。

關(guān)鍵詞：大數(shù)據(jù)；物聯(lián)網(wǎng)：RapidMiner；Filter Samples；Replace Missing Values

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）22-0208-04

1概述

隨著生活水平的提高，人們?cè)絹?lái)越注重自己的生活質(zhì)量。為了出行方便，人們也更加關(guān)注天氣預(yù)報(bào)。現(xiàn)在的天氣預(yù)報(bào)會(huì)告訴我們當(dāng)天的最高、最低氣溫、濕度、氣壓、風(fēng)速等信息。氣溫和濕度等因素影響著人們的生活，因此人們對(duì)這兩個(gè)參數(shù)尤為關(guān)注。除了日常生活，大氣溫度和大氣濕度在氣象、生物等方面也有著重要意義。大氣溫度是地球大氣系統(tǒng)能量和水分循環(huán)的關(guān)鍵參數(shù)，也是影響土壤呼吸速率變化的關(guān)鍵氣象因子，與土壤水分蒸發(fā)速率和大氣濕度呈極顯著正相關(guān)。大氣濕度的變化在霧-霾轉(zhuǎn)變中也起到了一定作用。除此之外，大氣溫度和大氣濕度也影響著動(dòng)植物的分布和生活習(xí)性。

森林是地球之肺。森林資源不僅是一種物質(zhì)資源，更是重要的生態(tài)資源、旅游資源和環(huán)境資源。因此，對(duì)森林地區(qū)的大氣溫度、大氣濕度、地表濕度等的檢測(cè)具有重要意義。

就理論而言，大氣溫度、大氣濕度與光照強(qiáng)度、土壤濕度、經(jīng)緯度等有一定關(guān)系。本研究不考慮一些復(fù)雜因素，基于南京紫金山地區(qū)森林實(shí)際測(cè)量的海拔在500米以下的大氣溫度、大氣濕度的光照的數(shù)據(jù)，借助RapidMiner來(lái)研究它們之間的關(guān)系。

2數(shù)據(jù)的采集

目前森林物聯(lián)網(wǎng)在林業(yè)資源監(jiān)管、林業(yè)災(zāi)害監(jiān)控及應(yīng)急響應(yīng)、生態(tài)檢測(cè)等方面起著重要作用。南京紫金山地區(qū)的森林中就使用林業(yè)物聯(lián)網(wǎng)技術(shù)來(lái)對(duì)森林進(jìn)行檢測(cè)。在南京紫金山地區(qū)森林中，存在著許多個(gè)傳感器。這些森林中的傳感器每隔一段時(shí)間會(huì)通過(guò)互聯(lián)網(wǎng)向數(shù)據(jù)庫(kù)發(fā)送數(shù)據(jù)，包括傳感器編號(hào)、記錄時(shí)間、大氣溫度、大氣濕度、地表濕度等信息。在對(duì)數(shù)據(jù)的處理分析中，發(fā)現(xiàn)一些大于100%的大氣溫度數(shù)據(jù)，這些都是噪聲數(shù)據(jù)。一般在傳感器電量不足、無(wú)電或者損壞等情況下會(huì)傳輸這些噪聲數(shù)據(jù)。在研究時(shí)，必須去除這些噪聲數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)處理方法在處理大數(shù)據(jù)時(shí)效率較低。因此，本研究使用數(shù)據(jù)挖掘解決方案RapidMiner來(lái)處理林業(yè)物聯(lián)網(wǎng)數(shù)據(jù)。

3數(shù)據(jù)的處理方法

3.1RapidMiner

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，數(shù)據(jù)挖掘過(guò)程簡(jiǎn)單，強(qiáng)大和直觀。RapidMiner提供數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)程序，其中包括數(shù)據(jù)加載和轉(zhuǎn)換，數(shù)據(jù)的預(yù)處理和可視化，預(yù)測(cè)分析和統(tǒng)計(jì)建模，評(píng)估和部署。它是用Java編程語(yǔ)言的。Rapid-Miner提供圖形用戶界面，用戶可以不用編程，通過(guò)簡(jiǎn)單拖拽算子來(lái)設(shè)計(jì)和執(zhí)行工作流程分析，易于學(xué)習(xí)和掌握。這些流程稱為RapidMiner“進(jìn)程”，它們包括多個(gè)算子。每個(gè)算子執(zhí)行過(guò)程內(nèi)的單個(gè)任務(wù)，并且每個(gè)輸出形成下一個(gè)的輸入端。同樣，引擎可以從其他程序調(diào)用或用作應(yīng)用程序編程接口。各個(gè)功能可以通過(guò)命令行調(diào)用。

3.2Fiber Samples

Filter Samples是RapidMiner最常用的算子之一。它包含了輸入和輸出兩端。將需要處理的數(shù)據(jù)輸入Filter Samples的輸入端口，經(jīng)過(guò)處理后Filter Samples會(huì)返回一個(gè)新的結(jié)果集，其中只包含滿足特定條件的數(shù)據(jù)集。這些條件可以是Rapid—Miner預(yù)先給定的條件，也可以是用戶自己定義的條件。FiberSamples的輸出端包括三種端口的輸出：輸出滿足條件的數(shù)據(jù)集、輸出不匹配的數(shù)據(jù)集和輸出原始數(shù)據(jù)，即原始數(shù)據(jù)通過(guò)此端口傳遞而不更改輸出。Filter Samples算子的結(jié)構(gòu)圖見(jiàn)圖1。

3.3Replace Missing Values

在分析原始數(shù)據(jù)時(shí)發(fā)現(xiàn)個(gè)別記錄存在數(shù)據(jù)缺失情況，若對(duì)這些缺失值置之不理，將會(huì)影響后面研究分析數(shù)據(jù)的平均值、極差等過(guò)程以及研究結(jié)果的精確度。為了獲得更精確的結(jié)果，處理這些缺失值通常采用剔除缺失值或者使用數(shù)據(jù)替代缺失值的方法。RapidMiner中提供的Replace MissingValues是數(shù)據(jù)預(yù)處理時(shí)經(jīng)常用到的算子，能夠解決數(shù)據(jù)缺失問(wèn)題。ReplaceMissing Values通過(guò)數(shù)據(jù)替代的方式來(lái)處理數(shù)據(jù)集中所選屬性中的缺失值。缺失的數(shù)據(jù)可以被該屬性的最小值，最大值或平均值代替。零或者任何補(bǔ)充的數(shù)據(jù)都可以放置在缺少數(shù)據(jù)的位置。ReplaceMissingValues的輸出端包括三種端口的輸出：輸出替換缺失值后的數(shù)據(jù)集、輸出有該算子相關(guān)參數(shù)信息的預(yù)處理模型和輸出原始數(shù)據(jù)。Replace Missing Values算子的結(jié)構(gòu)圖見(jiàn)圖2。

使用Replace Missing Values處理缺失值的過(guò)程如下：

1）選中一個(gè)Replace Missing Values算子。

2）在這個(gè)算子的參數(shù)選項(xiàng)中進(jìn)行缺失值的設(shè)置。

3）attribute filter type的屬性有：all、single、subset、regu-lar_expression、value_type、block_type、no_missing_values和nu-meric_value_fiher八種。

①all：處理數(shù)據(jù)集中的所有屬性。

②single：只處理數(shù)據(jù)集中的單個(gè)屬性。endprint

③subset：處理數(shù)據(jù)集中多個(gè)屬性。

④regular_expression：為屬性選擇指定正則表達(dá)式。

⑤value_type：選擇特定類型的所有屬性

⑥block_type：選擇特定塊類型的所有屬性

⑦no_missing_values：輸出不含有缺失值的屬性

⑧numeric_value_filter：選擇此選項(xiàng)時(shí)，參數(shù)面板中將顯示另一個(gè)參數(shù)（數(shù)值條件）。

4）在attribute欄選擇需要處理缺失值的列。

5）在default欄選擇使用最小值、最大值、平均值、零或是補(bǔ)充的數(shù)據(jù)進(jìn)行缺失值替換，也可以選擇不替換缺失值。使用平均值代替缺失的大氣溫度數(shù)據(jù)的詳細(xì)參數(shù)設(shè)置見(jiàn)圖3。④3.4基于RapidMiner的數(shù)據(jù)去噪

通過(guò)分析傳感器發(fā)送的數(shù)據(jù)，發(fā)現(xiàn)存在大氣溫度大于100℃的數(shù)據(jù)、大氣溫度24小數(shù)內(nèi)沒(méi)有變化等有異常的數(shù)據(jù)，這些都是噪聲數(shù)據(jù)。在傳感器電量不足或者損壞的情況下可能會(huì)傳回噪聲數(shù)據(jù)。在數(shù)據(jù)預(yù)處理時(shí)，必須去除這些噪聲數(shù)據(jù)。南京地區(qū)，一般最低氣溫不低于-10℃，最高氣溫不高于45℃。在Filter Samples中可以創(chuàng)建過(guò)濾器，可以非?？旖莸貙?duì)數(shù)據(jù)進(jìn)行預(yù)處理。在過(guò)濾器中設(shè)置大氣溫度≤45℃和大氣溫度≥-10℃兩個(gè)條件，即可將高于45℃或低于-10℃的大氣溫度數(shù)據(jù)在結(jié)果集中去除。

使用Fiber Samples設(shè)置過(guò)濾條件過(guò)程如下：

1）選中一個(gè)Fiher Samples算子。

2）在filters中添加過(guò)濾條件。

3）添加過(guò)濾條件時(shí)，先選擇一個(gè)屬性，然后確定其取值范圍。

4）給定一個(gè)條件數(shù)據(jù)。

5）可以設(shè)定所選屬性等于、不等于、小于、大于、小于等于或大于等于給定的條件數(shù)據(jù)。也可以將這個(gè)屬性的值設(shè)置為空。

6）對(duì)于所有添加到filters中的條件，可以選擇讓查詢結(jié)果集符合所有給定條件或者符合任一給定條件。如圖4，設(shè)置大氣溫度在-10℃到45℃之間。

3.5數(shù)據(jù)處理

RapidMiner能夠自動(dòng)生成當(dāng)前結(jié)果集中各項(xiàng)數(shù)據(jù)的最小值、最大值、平均值以及極差。通過(guò)Filter Samples我們可以得到大氣溫度、大氣濕度以及光照的日平均值和月平均值。如圖5。

4數(shù)據(jù)的分析

4.1按天分析大氣溫度、大氣濕度與光照的關(guān)系

本研究分析了2013年南京紫金山地區(qū)森林的大氣溫度、大氣濕度以及光照的數(shù)據(jù)。利用RapidMiner處理得到按日、按月的大氣溫度、大氣濕度以及光照的平均數(shù)據(jù)，然后使用Mat-lab畫(huà)出圖像，建立分析模型。通過(guò)圖像發(fā)現(xiàn)，大氣溫度、大氣濕度以及光照，三者之間密切相關(guān)。夜晚，光照為0，大氣溫度和大氣濕度的變化波動(dòng)不大。白天，大氣溫度變化和大氣濕度變化趨勢(shì)相反。大氣溫度變化與光照變化趨勢(shì)在總體上一致，但是光照變化速率快于大氣溫度。大氣溫度和大氣濕度的變化趨勢(shì)一般晚于光照1-2小時(shí)。該研究選取了幾幅具有代表意義的大氣溫度、大氣濕度與光照的關(guān)系圖。詳見(jiàn)圖6到圖9。

4.2按月分析大氣溫度、大氣濕度與光照的關(guān)系

利用RapidMiner處理數(shù)據(jù)后發(fā)現(xiàn)，春季和秋季夜晚大氣濕度變化趨于平穩(wěn)。白天大氣溫度、大氣濕度變化與冬季和夏季相比，變化較為明顯。這可能應(yīng)為冬夏兩季冷暖空氣交替變化較頻繁，因而導(dǎo)致了早晚溫差較大。不同季節(jié)的日出日落時(shí)間不同。南京地區(qū)，冬季白天一般在7：30-17：30，春季一般在6：00～18：00，夏季一般在5：00～19：00，秋季一般在6：30-16：00。光照變化的時(shí)間與日出日落的時(shí)間有一定的關(guān)系。夏季光照最強(qiáng)，大氣溫度最高，大氣濕度相比其他季節(jié)略有下降。冬季光照強(qiáng)于春秋兩季。用Excel處理得到2013年南京紫金山觀測(cè)林關(guān)于大氣溫度、大氣濕度、光照的關(guān)系圖，見(jiàn)圖10。

5結(jié)論

1）在該研究區(qū)內(nèi)，大氣溫度變化與光照變化趨勢(shì)在總體上一致，與大氣濕度變化趨勢(shì)相反，時(shí)間順序上不一致。大氣溫度和大氣濕度的變化趨勢(shì)一般晚于光照1-2小時(shí)。光照變化速率快于大氣溫度和大氣濕度。

2）在研究區(qū)內(nèi)，大氣溫度、大氣濕度與光照存在季節(jié)特征，一般來(lái)說(shuō)，夏季光照最強(qiáng)，大氣溫度最高，大氣濕度略低于其他季節(jié)。冬季光照強(qiáng)于春秋兩季。

該研究利用RapidMiner對(duì)數(shù)據(jù)進(jìn)行處理，研究了海拔在500米以下的大氣溫度、大氣濕度與光照的關(guān)系。但是該研究仍有不足之處，一方面，光照受天氣變化影響較大，該研究沒(méi)有考慮天氣情況對(duì)大氣溫度、大氣濕度以及光照的影響；另一方面，該研究是否具有普遍性，是否適用于其他地區(qū)的森林不可知。因此，借助RapidMiner討論其他森林大氣溫度、大氣濕度、光照的關(guān)系是將來(lái)研究工作的方向之一。endprint