申 聰，戴小鵬,2，樊振宇

（1. 湖南農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，湖南 長沙 410128；2. 湖南農(nóng)業(yè)大學(xué)東方科技學(xué)院，湖南 長沙 410128）

基于網(wǎng)絡(luò)爬蟲的移動(dòng)農(nóng)業(yè)信息服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

申 聰1，戴小鵬1,2，樊振宇1

（1. 湖南農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，湖南 長沙 410128；2. 湖南農(nóng)業(yè)大學(xué)東方科技學(xué)院，湖南 長沙 410128）

應(yīng)用網(wǎng)絡(luò)爬蟲技術(shù)、Bomb后端云和移動(dòng)應(yīng)用開發(fā)技術(shù)設(shè)計(jì)了一套移動(dòng)農(nóng)業(yè)信息服務(wù)系統(tǒng)。從農(nóng)業(yè)數(shù)據(jù)獲取、農(nóng)業(yè)數(shù)據(jù)存儲(chǔ)和農(nóng)業(yè)數(shù)據(jù)顯示3個(gè)方面分析了移動(dòng)農(nóng)業(yè)信息服務(wù)系統(tǒng)中數(shù)據(jù)傳輸處理的過程，得到了通過網(wǎng)絡(luò)爬蟲技術(shù)獲取農(nóng)業(yè)數(shù)據(jù)，借助Bmob移動(dòng)云平臺(tái)存儲(chǔ)農(nóng)業(yè)數(shù)據(jù)和通過移動(dòng)終端將農(nóng)業(yè)數(shù)據(jù)可視化具有一定優(yōu)勢(shì)的結(jié)論。

網(wǎng)絡(luò)爬蟲；Bmob云平臺(tái)；農(nóng)業(yè)信息服務(wù)

目前，我國農(nóng)村農(nóng)業(yè)發(fā)展處于新時(shí)期的平穩(wěn)發(fā)展階段，推動(dòng)農(nóng)業(yè)信息服務(wù)體系的建設(shè)，是農(nóng)業(yè)信息化發(fā)展的重要保障，也是建設(shè)現(xiàn)代農(nóng)業(yè)的必要選擇[1]，隨著科技的進(jìn)步和互聯(lián)網(wǎng)時(shí)代的到來，我們國家也正在改變農(nóng)業(yè)信息的風(fēng)貌，在依靠傳統(tǒng)報(bào)紙廣播傳播農(nóng)業(yè)信息的狀態(tài)下，增加了農(nóng)業(yè)網(wǎng)站等新的傳播形式，無論是在技術(shù)上還是信息的數(shù)據(jù)量上都有較大的提升。傳統(tǒng)的農(nóng)業(yè)信息獲取方法雖然來源渠道較多，數(shù)據(jù)量較大，但是不能很好的收集和歸納，而且收集的問題也會(huì)隨著數(shù)據(jù)量和復(fù)雜程度的增加而變得更加難以收集和處理，因此，傳統(tǒng)的農(nóng)業(yè)信息獲取方式急需改變。目前，農(nóng)業(yè)相關(guān)網(wǎng)站高達(dá)數(shù)10萬個(gè)，農(nóng)業(yè)信息的數(shù)據(jù)量亦是呈指數(shù)增長，農(nóng)業(yè)信息涉及范圍廣，因此，在大量數(shù)據(jù)中如何檢索有效信息是農(nóng)業(yè)信息服務(wù)的重點(diǎn)。筆者研究農(nóng)業(yè)信息從獲取、存儲(chǔ)到顯示的過程，用網(wǎng)絡(luò)爬蟲、Bomb后端云和移動(dòng)應(yīng)用開發(fā)技術(shù)設(shè)計(jì)移動(dòng)農(nóng)業(yè)信息服務(wù)系統(tǒng)，為互聯(lián)網(wǎng)時(shí)代下農(nóng)業(yè)信息可視化的服務(wù)系統(tǒng)的開發(fā)提供參考。

1 網(wǎng)絡(luò)爬蟲的原理和流程

1.1 網(wǎng)絡(luò)爬蟲的基本原理

網(wǎng)絡(luò)爬蟲的原理主要涉及到2種基本的算法，即深度優(yōu)先算法和廣度優(yōu)先算法[2]，深度優(yōu)先算法在是從初始網(wǎng)頁的一個(gè)鏈接出發(fā)，根據(jù)此鏈接的URL地址，繼續(xù)進(jìn)行到下一個(gè)網(wǎng)頁，再從下一個(gè)頁面的鏈接繼續(xù)深入，直到找到所需數(shù)據(jù)為止，此算法適合于當(dāng)前頁面可獲取數(shù)據(jù)較少但多層的情況，可以利用此算法加快數(shù)據(jù)的獲取速度；廣度優(yōu)先算法是把初始頁面中的所有鏈接訪問一遍，如果沒有想要的數(shù)據(jù)，再繼續(xù)深入到第二層頁面的鏈接，然后第二層頁面的所有鏈接都訪問一遍再繼續(xù)深入，以此類推，直到找到想要的數(shù)據(jù)后返回，廣度優(yōu)先算法是適合于所需數(shù)據(jù)在當(dāng)前頁面，或者數(shù)據(jù)在當(dāng)前頁面的鏈接深度較少的頁面的情況，因?yàn)榇怂惴▽?duì)搜索深度較小頁面的數(shù)據(jù)的獲取具有較大的優(yōu)勢(shì)，如圖1。

1.2 網(wǎng)絡(luò)爬蟲的工作流程

網(wǎng)絡(luò)爬蟲在農(nóng)業(yè)信息數(shù)據(jù)的收集過程中扮演重要角色。爬蟲工作主要利用Phthon語言從初始URL開始，進(jìn)入當(dāng)前頁面，獲取當(dāng)前頁面的數(shù)據(jù)，通過當(dāng)前頁面的數(shù)據(jù)的收集與處理，從中提取出有價(jià)值的信息，這些信息能及時(shí)反饋給系統(tǒng)，為下一次URL的選擇提供參考的依據(jù)，第二次選擇URL后進(jìn)入下一級(jí)頁面，獲取下一級(jí)頁面的數(shù)據(jù)，根據(jù)獲得的數(shù)據(jù)判斷是否已經(jīng)滿足停止的條件，不滿足則繼續(xù)按照上述方法繼續(xù)尋找下一級(jí)URL，如此循環(huán)反復(fù)，直到搜集的數(shù)據(jù)已經(jīng)能夠滿足用戶的需求[3]，如圖2。

圖1 網(wǎng)絡(luò)爬蟲的基本算法

圖2 網(wǎng)絡(luò)爬蟲工作流程圖

根據(jù)網(wǎng)絡(luò)爬蟲的基本原理和流程，網(wǎng)絡(luò)爬蟲無論是采取深度優(yōu)先還是廣度優(yōu)先算法，都是以滿足爬蟲的要求和條件結(jié)束，該條件包括已經(jīng)或得準(zhǔn)確的農(nóng)業(yè)數(shù)據(jù)或者已經(jīng)搜索完全該頁面中所有數(shù)據(jù)以及下一級(jí)鏈接中所有數(shù)據(jù)，因此，采用此方法獲取農(nóng)業(yè)數(shù)據(jù)具有準(zhǔn)確和無遺漏的特點(diǎn)，這是網(wǎng)絡(luò)爬蟲獲取農(nóng)業(yè)數(shù)據(jù)的主要優(yōu)越性。

2 農(nóng)業(yè)信息的存儲(chǔ)與管理

2.1 Bmob云平臺(tái)的搭建

農(nóng)業(yè)數(shù)據(jù)存儲(chǔ)在Bmob云平臺(tái)上面[4]，Bmob云平臺(tái)是一款為手機(jī)移動(dòng)終端提供數(shù)據(jù)存儲(chǔ)的一個(gè)云數(shù)據(jù)庫，利用Bmob提供的SDK，在手機(jī)Android應(yīng)用開發(fā)中為手機(jī)APP提供數(shù)據(jù)，可以實(shí)現(xiàn)數(shù)據(jù)的上傳和下載，下載好SDK后需要獲取密鑰Application ID，在Project 的 build.gradle 文件中添加 Bmob的maven倉庫地址：

＜uses-permission android:name="android.permission. INTERNET" /＞

初始化BmobSDK,在主頁面的主函數(shù)里面加入下面代碼：

Bmob.initialize(this, "Your Application ID")；

搭建完成后就可以實(shí)現(xiàn)對(duì)Bmob云平臺(tái)的訪問。

2.2 數(shù)據(jù)的管理

Bmob云品臺(tái)的管理工作主要是針對(duì)于數(shù)據(jù)的增刪改查，此數(shù)據(jù)是指簡單的字符數(shù)據(jù)和包括音頻文件、圖片文件和視頻文件在內(nèi)的文件數(shù)據(jù)，Bmob云平臺(tái)不僅僅是數(shù)據(jù)的存儲(chǔ)的作用，還有對(duì)上傳和下載的功能，這些功能的存在避免了關(guān)系型數(shù)據(jù)庫的繁瑣和減少了搭建服務(wù)器高額的費(fèi)用，為移動(dòng)應(yīng)用開發(fā)人員提供了方便，后臺(tái)管理人員可以借助于這些功能，根據(jù)Bmob在線操作手冊(cè)實(shí)現(xiàn)移動(dòng)終端或者Web端直接操作云平臺(tái)，因此，在Bmob云平臺(tái)上面的數(shù)據(jù)管理具有簡單易操作的特點(diǎn)，為移動(dòng)終端的手機(jī)應(yīng)用開發(fā)提供了良好的后臺(tái)保障。

3 農(nóng)業(yè)信息的顯示

3.1 移動(dòng)終端數(shù)據(jù)的獲取

現(xiàn)在信息技術(shù)已經(jīng)成為科技競(jìng)爭的重要資源[5]，信息技術(shù)發(fā)展到一定的階段后會(huì)演變成數(shù)據(jù)的競(jìng)爭，數(shù)據(jù)的概念逐漸深入人心。該農(nóng)業(yè)信息服務(wù)系統(tǒng)最重要的是數(shù)據(jù)的處理和傳輸，因此在數(shù)據(jù)的頁面顯示部分應(yīng)用了較多的技術(shù)和較難的處理方法。

數(shù)據(jù)的獲取是基于網(wǎng)絡(luò)爬蟲的農(nóng)業(yè)信息服務(wù)系統(tǒng)頁面顯示的關(guān)鍵一步，從Bmob云平臺(tái)上獲取到農(nóng)業(yè)信息服務(wù)的數(shù)據(jù)，移動(dòng)終端建立起與Bmob云平臺(tái)的連接可實(shí)現(xiàn)對(duì)Bmob中的數(shù)據(jù)的操作，通過Android移動(dòng)應(yīng)用開發(fā)的技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理和加工，將Bmob端的數(shù)據(jù)接收到移動(dòng)終端以后可以實(shí)現(xiàn)農(nóng)業(yè)信息服務(wù)的頁面顯示。

3.2 移動(dòng)終端頁面顯示

移動(dòng)終端數(shù)據(jù)的顯示是數(shù)據(jù)可視化過程的體現(xiàn)，來自于后端云的數(shù)據(jù)整理好以后，用可視化的方式呈現(xiàn)給用戶，這是農(nóng)業(yè)信息服務(wù)數(shù)據(jù)傳輸?shù)淖詈笠粋€(gè)階段，在此階段中，除了文本數(shù)據(jù)的可視化以外，還有圖片數(shù)據(jù)的可視化，該農(nóng)業(yè)信息服務(wù)系統(tǒng)比較注重?cái)?shù)據(jù)顯示部分，可以吸引更多的用戶，促進(jìn)農(nóng)業(yè)信息服務(wù)的進(jìn)一步推廣。

該農(nóng)業(yè)信息服務(wù)系統(tǒng)數(shù)據(jù)的頁面顯示主要集中在移動(dòng)終端的頁面顯示，通過對(duì)移動(dòng)終端頁面上的數(shù)據(jù)的操作可以實(shí)現(xiàn)農(nóng)業(yè)信息服務(wù)的數(shù)據(jù)可視化的過程，在移動(dòng)終端的頁面上將來自于云平臺(tái)的數(shù)據(jù)分為2大類，分別是基本功能的數(shù)據(jù)和創(chuàng)新功能的數(shù)據(jù)，其中基本功能的數(shù)據(jù)主要是個(gè)人基本信息以及天氣預(yù)報(bào)和設(shè)置等功能的數(shù)據(jù)，創(chuàng)新功能的數(shù)據(jù)包括9個(gè)部分，分別是農(nóng)業(yè)新聞、農(nóng)業(yè)政策、農(nóng)業(yè)技術(shù)、專家咨詢、農(nóng)資商城、農(nóng)產(chǎn)集市、農(nóng)產(chǎn)溯源、交流討論和特別關(guān)注，如圖3所示。

圖3 主頁面顯示圖

4 結(jié) 語

農(nóng)業(yè)信息服務(wù)是農(nóng)業(yè)現(xiàn)代化建設(shè)過程中重要的部分[6-7]，移動(dòng)農(nóng)業(yè)信息服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)能夠滿足移動(dòng)互聯(lián)網(wǎng)時(shí)代下人們對(duì)于農(nóng)業(yè)信息的基本需求，該系統(tǒng)成功利用網(wǎng)絡(luò)爬蟲技術(shù)獲取到農(nóng)業(yè)數(shù)據(jù)，完成了數(shù)據(jù)獲取、存儲(chǔ)到展示的全過程，可以得到以下結(jié)論：（1）網(wǎng)絡(luò)爬蟲獲取農(nóng)業(yè)數(shù)據(jù)對(duì)于零散農(nóng)業(yè)數(shù)據(jù)的收集具有一定的優(yōu)越性；（2）Bmob移動(dòng)云平臺(tái)可以簡化系統(tǒng)在數(shù)據(jù)庫和服務(wù)方面的難度；（3）移動(dòng)終端顯示農(nóng)業(yè)數(shù)據(jù)具有頁面美觀且易開發(fā)的特點(diǎn)。

[1] 楊 娜，錢金良，朱衛(wèi)華，等. 國內(nèi)外農(nóng)業(yè)信息服務(wù)體系構(gòu)建現(xiàn)狀及對(duì)云南省的啟示[J]. 農(nóng)業(yè)網(wǎng)絡(luò)信息，2012，（6）：84-87.

[2] 張 寧. 面向農(nóng)業(yè)信息的主題爬蟲的研究與設(shè)計(jì)[D]. 北京：北京郵電大學(xué)，2010.

[3] 李 慧，何永賢，葉 云. 基于聚焦爬蟲的農(nóng)業(yè)信息服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J]. 天津農(nóng)業(yè)科學(xué)，2016，22（10）：60-63.

[4] 周 冉，高玉竹. Bmob云平臺(tái)在Android App開發(fā)中的應(yīng)用[J].微型機(jī)與應(yīng)用，2015，34（1）：26-28.

[5] 張 波. 我國農(nóng)業(yè)信息服務(wù)的現(xiàn)狀、問題及對(duì)策研究[D]. 長沙：湖南農(nóng)業(yè)大學(xué)，2008.

[6] 裴新涌. 國外農(nóng)業(yè)信息服務(wù)體系建設(shè)的啟示[J]. 農(nóng)業(yè)圖書情報(bào)學(xué)刊，2015，27（1）：154-158.

[7] 汪 斌，張?jiān)苽?，?健，等. 一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)[J]. 安徽農(nóng)業(yè)科學(xué)，2009，37（20）：9699-9700.

（責(zé)任編輯：肖彥資）

Design and Implementation of Agricultural Information Service System Based On Web Crawler

SHEN Cong1，DAI Xiao-peng1,2，F(xiàn)AN Zhen-yu1
（1. College of Information Science and Technology, Hunan Agricultural University, Changsha 410128, PRC; 2. Orient Scient & Technology College, Hunan Agricultural University, Changsha 410128, PRC）

A set of mobile agriculture information service system is designed by using crawler technology, Bomb back end cloud and mobile application development technology. From agricultural data acquisition, agricultural data storage and agricultural data display to analyzed the process of data transmission processing of agricultural information service in the mobile system, obtained the conclusion of obtaining agricultural data through crawler technology, using Bmob mobile cloud platform to store agricultural data and visualization of agricultural data via mobile terminals had some advantages.

web crawler; Bmob cloud platform; agricultural information service

TP311

：A

：1006-060X（2017）06-0081-03

10.16498/j.cnki.hnnykx.2017.006.024

2017-04-05

湖南省教育廳科研項(xiàng)目（17k044，17A092）

申 聰（1996-），男，湖南永州市人，本科生，專業(yè)為計(jì)算機(jī)科學(xué)與技術(shù)。