徐建鵬，張 輝，伍 瓊，王 暉，汪 兵

(1.安徽省農(nóng)村綜合經(jīng)濟(jì)信息中心,安徽 合肥 230001; 2.天長(zhǎng)市氣象局,安徽 滁州 239064)

0 引 言

氣象為農(nóng)服務(wù)工作一直是氣象部門業(yè)務(wù)工作的重中之重，是氣象部門服務(wù)“鄉(xiāng)村振興戰(zhàn)略”的重要抓手。隨著傳統(tǒng)農(nóng)業(yè)向現(xiàn)代化農(nóng)業(yè)轉(zhuǎn)型發(fā)展，農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)模式發(fā)生了變革，農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)日趨多元，同時(shí)鄉(xiāng)村信息產(chǎn)業(yè)日趨完善，農(nóng)業(yè)農(nóng)村對(duì)氣象為農(nóng)服務(wù)的需求發(fā)生了巨大的變化[1]。同時(shí)，氣象為農(nóng)服務(wù)手段也由傳統(tǒng)的電視、報(bào)紙、手機(jī)短信息變?yōu)榱艘跃W(wǎng)絡(luò)為主，網(wǎng)站、手機(jī)App、微信、微博已經(jīng)成為氣象為農(nóng)服務(wù)的主要媒介，安徽省建立了“惠農(nóng)氣象”“聚農(nóng)e購”“愛上農(nóng)家樂”3個(gè)服務(wù)平臺(tái)[2]。本文基于Hadoop架構(gòu)、自然語言處理、相關(guān)度分析等大數(shù)據(jù)和人工智能相關(guān)技術(shù)，開發(fā)一種氣象為農(nóng)服務(wù)大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)氣象、農(nóng)業(yè)、工商等多源涉農(nóng)數(shù)據(jù)的集成、氣象為農(nóng)服務(wù)信息的精準(zhǔn)化推薦以及服務(wù)效果評(píng)估，為安徽省氣象部門對(duì)新型農(nóng)業(yè)經(jīng)營(yíng)主體開展精準(zhǔn)性、針對(duì)性的信息服務(wù)提供重要技術(shù)支持。

1 平臺(tái)設(shè)計(jì)

1.1 平臺(tái)技術(shù)構(gòu)架

平臺(tái)基于大數(shù)據(jù)的架構(gòu)，按照統(tǒng)一資源匯集、統(tǒng)一數(shù)據(jù)治理、統(tǒng)一數(shù)據(jù)資源管控、統(tǒng)一數(shù)據(jù)共享服務(wù)以及統(tǒng)一的大數(shù)據(jù)開發(fā)應(yīng)用支撐服務(wù)的一體化設(shè)計(jì)理念，全面接入氣象、農(nóng)業(yè)、農(nóng)機(jī)、組織、文化、林業(yè)、工商等部門的網(wǎng)站、手機(jī)APP、微信等服務(wù)媒介的多源異構(gòu)涉農(nóng)大數(shù)據(jù)資源，實(shí)現(xiàn)了涉農(nóng)數(shù)據(jù)資源從采集、存儲(chǔ)交換、清洗融合、智慧分析、數(shù)據(jù)共享到可視化展示的全流程貫通[3]。本文平臺(tái)的系統(tǒng)邏輯架構(gòu)如圖1所示。

圖1 系統(tǒng)邏輯架構(gòu)

數(shù)據(jù)源層：對(duì)接安徽省氣象局氣象為農(nóng)服務(wù)各大應(yīng)用系統(tǒng)及設(shè)備，包括信息系統(tǒng)、網(wǎng)絡(luò)設(shè)備、傳感器、互聯(lián)網(wǎng)、手機(jī)APP等，接入安徽各涉農(nóng)部門的數(shù)據(jù)資源，數(shù)據(jù)類型支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)采集層：建立強(qiáng)大的數(shù)據(jù)感知與獲取能力，通過JDBC/OGG、消息隊(duì)列、爬蟲、網(wǎng)絡(luò)接口、FTP、物聯(lián)網(wǎng)等各種數(shù)據(jù)采集技術(shù)，匯聚安徽省各類涉農(nóng)數(shù)據(jù)資源。

數(shù)據(jù)存儲(chǔ)層：對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清理、數(shù)據(jù)集成融合、數(shù)據(jù)規(guī)約與數(shù)據(jù)“轉(zhuǎn)換”等預(yù)處理，基于HDFS、DBMS、分布式消息隊(duì)列、內(nèi)存數(shù)據(jù)庫等各種存儲(chǔ)技術(shù)，實(shí)現(xiàn)海量異種數(shù)據(jù)(結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù))的存儲(chǔ)。

分析挖掘?qū)樱禾峁┩晟频拇髷?shù)據(jù)分析挖掘功能，包括模型管理、統(tǒng)計(jì)分析工具、數(shù)據(jù)挖掘工具、預(yù)測(cè)分析工具、深度學(xué)習(xí)工具、語義引擎等。并且具備完善的數(shù)據(jù)分析與數(shù)據(jù)挖掘接口，能對(duì)接業(yè)界主流的數(shù)據(jù)分析與數(shù)據(jù)挖掘工具。

應(yīng)用服務(wù)層：提供用戶畫像、服務(wù)預(yù)測(cè)、數(shù)據(jù)監(jiān)控等精細(xì)化服務(wù)，開展信息服務(wù)、農(nóng)氣產(chǎn)品、趨利避害、應(yīng)用案例等的大數(shù)據(jù)可視化服務(wù)。

1.2 平臺(tái)開發(fā)語言及工具

根據(jù)本文平臺(tái)能力定位和業(yè)務(wù)需求，充分考慮不同業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)服務(wù)支撐的訴求，經(jīng)過嚴(yán)格的測(cè)試與豐富的架構(gòu)經(jīng)驗(yàn)，本文平臺(tái)采用Hadoop分布式文件存儲(chǔ)/處理系統(tǒng)結(jié)合內(nèi)存數(shù)據(jù)庫和MPP數(shù)據(jù)形成混合式存儲(chǔ)架構(gòu)[4]，采用Flume NG對(duì)各類應(yīng)用系統(tǒng)產(chǎn)生的用戶日志數(shù)據(jù)進(jìn)行收集，采用Kafka分布式消息隊(duì)列中間件來解決數(shù)據(jù)收集的速度和數(shù)據(jù)處理速度不一致問題，并采用Storm對(duì)數(shù)據(jù)做實(shí)時(shí)處理，處理完成后用Redis+MySQL做數(shù)據(jù)的持久化，應(yīng)用服務(wù)程序以Java語言編寫，主要開發(fā)工具為Android Studio。

1.3 平臺(tái)開發(fā)關(guān)鍵技術(shù)

1.3.1 多元異構(gòu)數(shù)據(jù)資源集成

利用自動(dòng)感知、網(wǎng)絡(luò)爬蟲、系統(tǒng)填報(bào)、數(shù)據(jù)交換、數(shù)據(jù)調(diào)度等多種采集技術(shù)，將農(nóng)村相關(guān)數(shù)據(jù)資源按照數(shù)據(jù)格式、數(shù)據(jù)體量、數(shù)據(jù)種類、數(shù)據(jù)維度進(jìn)行聚類、采集，根據(jù)不同的數(shù)據(jù)類型建立存儲(chǔ)模型：結(jié)構(gòu)化數(shù)據(jù)主要存放于MPP數(shù)據(jù)庫中；原始非結(jié)構(gòu)化數(shù)據(jù)存放于HDFS中，部分經(jīng)過預(yù)處理解析所得的標(biāo)簽數(shù)據(jù)存放在MPP數(shù)據(jù)庫中，并建立聯(lián)合索引，實(shí)現(xiàn)高速的查詢關(guān)聯(lián)[4]。

1.3.2 自然語言處理技術(shù)

將服務(wù)產(chǎn)品通過結(jié)巴分詞工具進(jìn)行分詞，通過增補(bǔ)關(guān)聯(lián)變量、剔除噪聲數(shù)據(jù)、無關(guān)變量、無效樣本等方法對(duì)分詞結(jié)果進(jìn)行清洗，使用TF-IDF模型公式(1)生成服務(wù)產(chǎn)品的關(guān)鍵詞指標(biāo)[5]。

TFIDF=TF×IDF

(1)

其中,TF為服務(wù)內(nèi)容內(nèi)頻率，IDF為關(guān)鍵詞在所有文檔中出現(xiàn)的頻率的相反值。關(guān)鍵詞在某個(gè)服務(wù)中出現(xiàn)的頻率最大、在所有服務(wù)中出現(xiàn)的頻率越小，表明該關(guān)鍵詞對(duì)這個(gè)服務(wù)內(nèi)容的特征標(biāo)識(shí)作用越大。

通過整理和規(guī)范化數(shù)據(jù)等方法對(duì)分詞結(jié)果進(jìn)行清洗處理，將區(qū)分正常詞庫和停用詞庫，形成服務(wù)內(nèi)容的關(guān)鍵詞集合標(biāo)識(shí)[6]。表1和表2分別為2條服務(wù)產(chǎn)品的關(guān)鍵詞指標(biāo)TFIDF聚合。

表1 服務(wù)內(nèi)容1關(guān)鍵詞指標(biāo)集合表

表2 服務(wù)內(nèi)容2關(guān)鍵詞指標(biāo)集合表

1.3.3 用戶偏好服務(wù)產(chǎn)品推薦

2個(gè)服務(wù)內(nèi)容的相似度通過重合的關(guān)鍵詞的TFIDF值來衡量，本文使用夾角余弦算法來計(jì)算服務(wù)內(nèi)容關(guān)鍵詞的相似度，夾角越小，相似度越高，計(jì)算方式如公式(2)所示：

(2)

其中，A、B分別代表2個(gè)不同的服務(wù)產(chǎn)品，Ai和Bi分別代表向量A和向量B對(duì)于這個(gè)集合中各個(gè)關(guān)鍵詞的詞頻。

表1和表2的2個(gè)服務(wù)內(nèi)容中有2個(gè)重合的關(guān)鍵詞：安徽、小麥，因此2條新聞的相關(guān)性由這2個(gè)關(guān)鍵詞決定，得到服務(wù)內(nèi)容特征以后，還需要得到用戶特征才能對(duì)兩者進(jìn)行匹配和推薦。用戶通過閱讀、點(diǎn)贊、評(píng)論、分享來表達(dá)自己對(duì)服務(wù)內(nèi)容的喜愛，這樣的網(wǎng)絡(luò)行為數(shù)據(jù)[7]與用戶行為結(jié)合后，就能得到用戶的特征分。隨著用戶閱讀的服務(wù)數(shù)越來越多，該用戶的標(biāo)簽也越來越多，并且越發(fā)精準(zhǔn)。當(dāng)?shù)玫椒?wù)內(nèi)容的特征后，就能與用戶的關(guān)鍵詞列表作匹配[8]，得出服務(wù)產(chǎn)品與用戶閱讀特征的匹配度，做出個(gè)性化服務(wù)產(chǎn)品推薦。

1.3.4 服務(wù)產(chǎn)品熱度值計(jì)算

利用百度熱點(diǎn)、今日頭條等建立互聯(lián)網(wǎng)熱詞庫，確認(rèn)服務(wù)產(chǎn)品初始熱度，由于皖南、皖北的種植作物種類和氣候差異較大，因此對(duì)服務(wù)產(chǎn)品的關(guān)鍵詞庫的初始熱度做了關(guān)注度統(tǒng)計(jì)，計(jì)算方式如公式(3)所示，即欄目的關(guān)注度系數(shù)等于該欄目的閱讀用戶數(shù)除以各欄目的平均閱讀用戶數(shù)，根據(jù)實(shí)際情況，作一定的人工調(diào)整。

(3)

其中，m是農(nóng)業(yè)信息欄目分類數(shù)，N(i)為服務(wù)產(chǎn)品i的閱讀用戶數(shù)。

隨著時(shí)間流逝，用戶對(duì)信息服務(wù)的熱度值會(huì)衰減，并且衰減趨勢(shì)越來越快，直至趨近于0。新聞i的熱度系數(shù)公式如下：

(4)

根據(jù)農(nóng)業(yè)服務(wù)產(chǎn)品的特點(diǎn)，設(shè)定1個(gè)月的熱度衰減周期，用戶點(diǎn)擊、收藏、分享、評(píng)論等行為會(huì)提高熱度值，建立用戶行為提升熱度規(guī)則，最終計(jì)算服務(wù)產(chǎn)品熱度指數(shù)[9]。

1.3.5 涉農(nóng)大數(shù)據(jù)可視化

集成Tableau和Pentaho作為數(shù)據(jù)展示與可視化工具，實(shí)現(xiàn)了餅狀圖、柱狀圖、折線圖、雷達(dá)圖、散點(diǎn)圖、樹圖等方式展示各類數(shù)據(jù)，集成GIS、三維場(chǎng)景的直觀表達(dá)，滿足不同用戶的應(yīng)用展示需求[10]。提供系統(tǒng)SDK包及標(biāo)準(zhǔn)接口供第三方應(yīng)用系統(tǒng)進(jìn)行調(diào)用，實(shí)現(xiàn)了電腦、LED顯示屏等多終端的內(nèi)容和規(guī)格自適應(yīng)、樣式和風(fēng)格預(yù)定義。

2 平臺(tái)功能實(shí)現(xiàn)

2.1 平臺(tái)主要模塊

氣象為農(nóng)服務(wù)大數(shù)據(jù)服務(wù)平臺(tái)實(shí)現(xiàn)了安徽涉農(nóng)數(shù)據(jù)資源的多源接入、統(tǒng)一匯聚、集中存儲(chǔ)、深度利用，對(duì)用戶需求及互聯(lián)網(wǎng)傳播進(jìn)行分析，跟蹤評(píng)估服務(wù)產(chǎn)品網(wǎng)絡(luò)傳播效果，為網(wǎng)絡(luò)用戶提供精準(zhǔn)化的信息推薦服務(wù)[11]。

2.2 平臺(tái)主要功能

1)建立涉農(nóng)大數(shù)據(jù)資源池。

①通過部門聯(lián)動(dòng)、數(shù)據(jù)共享等途徑，實(shí)現(xiàn)對(duì)全省22個(gè)農(nóng)業(yè)氣象觀測(cè)站、85個(gè)土壤水分觀測(cè)站、64個(gè)農(nóng)業(yè)物聯(lián)網(wǎng)監(jiān)測(cè)信息，全省農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)主體、農(nóng)產(chǎn)品電商、病蟲害知識(shí)庫等101 TB的數(shù)據(jù)集中調(diào)度與管理，為氣象為農(nóng)服務(wù)提供數(shù)據(jù)支撐。②匯集了冬小麥、玉米、大豆、一季稻等主糧作物，油菜、茶葉、酥梨等經(jīng)濟(jì)作物，大棚蔬菜、設(shè)施草莓、河塘水產(chǎn)養(yǎng)殖等特色農(nóng)業(yè)的“種(養(yǎng))、管、收”3大關(guān)鍵農(nóng)事活動(dòng)，農(nóng)用天氣預(yù)報(bào)、災(zāi)害評(píng)估、產(chǎn)量預(yù)測(cè)、天氣指數(shù)保險(xiǎn)4大類、10余種、20多個(gè)指標(biāo)、指數(shù)和模型，為農(nóng)業(yè)氣象服務(wù)產(chǎn)品制作提供技術(shù)支持[12]。

2)進(jìn)行網(wǎng)絡(luò)用戶需求分析預(yù)測(cè)。

①對(duì)用戶網(wǎng)絡(luò)行為進(jìn)行畫像[13]，建立了農(nóng)業(yè)行業(yè)、地理位置等4類用戶標(biāo)簽24項(xiàng)指標(biāo)，發(fā)現(xiàn)網(wǎng)絡(luò)用戶的聚類特征[14]，刻畫出網(wǎng)絡(luò)用戶作物種類、種植區(qū)域、經(jīng)濟(jì)產(chǎn)業(yè)等精準(zhǔn)畫像[15]。②對(duì)服務(wù)產(chǎn)品進(jìn)行自然語言解析[16]，按照區(qū)域、作物、時(shí)效、類別4個(gè)維度20個(gè)分類標(biāo)簽，對(duì)服務(wù)產(chǎn)品進(jìn)行了分類。③建立網(wǎng)絡(luò)用戶需求模型，將用戶特征與各服務(wù)產(chǎn)品語義、信息獲取渠道關(guān)聯(lián)[17]，根據(jù)用戶訪問平臺(tái)習(xí)慣，結(jié)合近期網(wǎng)絡(luò)關(guān)注熱點(diǎn)和天氣預(yù)測(cè)信息，智能生成符合用戶需求的服務(wù)內(nèi)容[6]。

3)開展精準(zhǔn)化的信息推薦服務(wù)。

開發(fā)網(wǎng)絡(luò)數(shù)據(jù)收集和服務(wù)產(chǎn)品推薦WebAPI/WebService數(shù)據(jù)接口，嵌入“惠農(nóng)氣象”“聚農(nóng)e購”“愛上農(nóng)家樂”3個(gè)服務(wù)平臺(tái)，實(shí)時(shí)獲取用戶信息，并為用戶提供氣象服務(wù)、農(nóng)業(yè)生產(chǎn)、市場(chǎng)行情、農(nóng)業(yè)科技、涉農(nóng)政策等綜合服務(wù)信息的精準(zhǔn)化智能推薦服務(wù)。

4)進(jìn)行網(wǎng)絡(luò)傳播效果分析評(píng)估。

①對(duì)通過服務(wù)產(chǎn)品的網(wǎng)絡(luò)用戶訪問情況按區(qū)域、行業(yè)進(jìn)行統(tǒng)計(jì)分析，生成分類產(chǎn)品傳播熱度指數(shù)，直觀反映服務(wù)產(chǎn)品在互聯(lián)網(wǎng)受歡迎的程度和傳播范圍。②根據(jù)服務(wù)產(chǎn)品的語義生成近期關(guān)注熱度標(biāo)簽，集合農(nóng)業(yè)高影響天氣預(yù)報(bào)和病蟲害發(fā)生發(fā)展情況，開展服務(wù)重點(diǎn)預(yù)測(cè)，指導(dǎo)后續(xù)關(guān)鍵農(nóng)時(shí)農(nóng)事建議和決策服務(wù)產(chǎn)品制作[18]。

5)搭建氣象為農(nóng)大數(shù)據(jù)展示系統(tǒng)。

氣象為農(nóng)服務(wù)大數(shù)據(jù)展示系統(tǒng)主要模塊由用戶畫像、服務(wù)評(píng)估、數(shù)據(jù)監(jiān)控、農(nóng)氣產(chǎn)品、信息服務(wù)、趨利避害、應(yīng)用案例7個(gè)功能模塊組成，如圖2所示。

圖2 平臺(tái)功能結(jié)構(gòu)

氣象為農(nóng)服務(wù)大數(shù)據(jù)服務(wù)平臺(tái)匯集安徽省各涉農(nóng)部門、農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)主體、農(nóng)業(yè)生產(chǎn)環(huán)境以及管理的各類涉農(nóng)數(shù)據(jù)資源，通過用戶行為分析建立用戶畫像[19]，為安徽省農(nóng)業(yè)企業(yè)、農(nóng)民專業(yè)合作社、種養(yǎng)大戶等提供精細(xì)化、針對(duì)性的技術(shù)支撐、信息產(chǎn)品和信息服務(wù)[20]。圖3集中展示了平臺(tái)用戶畫像及其關(guān)聯(lián)的平臺(tái)信息服務(wù)產(chǎn)品。

圖3 平臺(tái)用戶精準(zhǔn)畫像

平臺(tái)通過對(duì)服務(wù)產(chǎn)品的熱詞進(jìn)行分析，生成了服務(wù)產(chǎn)品的熱度指數(shù)，開展各類氣象為農(nóng)服務(wù)產(chǎn)品的服務(wù)效果評(píng)估，有效提高了服務(wù)產(chǎn)品的實(shí)用性。圖4集中展示了不同時(shí)間段和不同市縣的關(guān)注重點(diǎn)和服務(wù)熱點(diǎn)。

圖4 服務(wù)效果分析

圖5所示頁面實(shí)時(shí)監(jiān)控展示各類農(nóng)業(yè)氣象觀測(cè)數(shù)據(jù)，并對(duì)各類觀測(cè)數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)，為農(nóng)業(yè)業(yè)務(wù)人員開展科研和管理提供了便捷服務(wù)。

圖5 數(shù)據(jù)采集監(jiān)控

通過搭建氣象為農(nóng)服務(wù)大數(shù)據(jù)展示系統(tǒng)，在實(shí)現(xiàn)數(shù)據(jù)、服務(wù)的實(shí)時(shí)監(jiān)控的基礎(chǔ)上，直觀全面地展示了安徽氣象為農(nóng)服務(wù)效果和效益。

3 結(jié)束語

安徽氣象為農(nóng)服務(wù)大數(shù)據(jù)服務(wù)平臺(tái)通過云計(jì)算、大數(shù)據(jù)、人工智能等新技術(shù)的深入應(yīng)用[21]，為安徽省氣象局為農(nóng)服務(wù)3大平臺(tái)(惠農(nóng)氣象、聚農(nóng)e購與愛上農(nóng)家樂)提供了數(shù)據(jù)支撐和技術(shù)支持[22]，實(shí)現(xiàn)了對(duì)不同網(wǎng)絡(luò)群體個(gè)性化、智能化的信息推薦服務(wù)和網(wǎng)絡(luò)傳播效果評(píng)估，探索實(shí)現(xiàn)從“人找信息”到“信息找人”的轉(zhuǎn)變。本文平臺(tái)已在安徽氣象為農(nóng)業(yè)務(wù)服務(wù)中應(yīng)用，使得氣象為農(nóng)服務(wù)、業(yè)務(wù)和管理全過程都充滿智慧，提升了安徽氣象為農(nóng)服務(wù)能力，具有較好的行業(yè)知名度和社會(huì)影響力，受到各級(jí)領(lǐng)導(dǎo)、中央和地方媒體的廣泛關(guān)注。但本文平臺(tái)未深入使用大數(shù)據(jù)和人工智能相關(guān)技術(shù)，后續(xù)將進(jìn)一步加深相關(guān)技術(shù)的研究與應(yīng)用。