亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        一種教育輿情的爬蟲程序設(shè)計

        2021-03-30 11:33:18
        關(guān)鍵詞:詞云爬蟲寄語

        仇 明

        (江蘇旅游職業(yè)學(xué)院,江蘇 揚(yáng)州225009)

        0 引言

        中國互聯(lián)網(wǎng)絡(luò)信息中心2020 年4 月發(fā)布的第45 次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》顯示,截至2020 年3 月,我國網(wǎng)民規(guī)模達(dá)9.04 億,手機(jī)網(wǎng)絡(luò)用戶規(guī)模達(dá)8.97 億。[1]網(wǎng)絡(luò)深刻地影響和改變著人們的生活,越來越多的人通過網(wǎng)絡(luò)獲取信息并發(fā)表自己的觀點(diǎn)和意見。公眾開始依賴網(wǎng)絡(luò),對與自身利益相關(guān)的社會公共事件發(fā)表意見、留言,表明態(tài)度(即網(wǎng)絡(luò)輿情)。[2]

        隨著我國經(jīng)濟(jì)的發(fā)展和人民生活水平的提高,人們對教育也提出了更高的要求。在網(wǎng)絡(luò)輿情中,教育類問題往往成為大家關(guān)注的對象。近年來,“小升初”“培訓(xùn)機(jī)構(gòu)”“公民統(tǒng)招”等教育措施的出臺受到了廣泛關(guān)注,一些地方政府開通了網(wǎng)上政務(wù),方便群眾進(jìn)行問題反饋。本文嘗試使用爬蟲程序獲取某市寄語市長網(wǎng)站中近三年的教育類留言,統(tǒng)計出一些高頻的關(guān)鍵詞并繪制詞云,獲得社會關(guān)注的熱點(diǎn)教育問題,從而為教育教學(xué)改革和教育質(zhì)量的提高提供依據(jù)和參考。

        1 程序設(shè)計思路

        本程序開發(fā)采用Python 作為開發(fā)語言,Python的版本為3.7.0,相應(yīng)的開發(fā)工具為Pycharm,數(shù)據(jù)庫則采用了SQLite。

        Python 是一種既面向過程又支持面向?qū)ο蟮慕忉屝跃幊陶Z言,它是動態(tài)類型化的,無需聲明變量類型。Python 便于對大規(guī)模數(shù)據(jù)進(jìn)行操作與分析,對掌握其他語言的程序員及初學(xué)者比較友好。[3-4]

        由于Python 語言容易學(xué)習(xí),且第三方庫豐富,本文采用Python 語言設(shè)計爬蟲。本次程序獲取的是文字?jǐn)?shù)據(jù)且數(shù)據(jù)量較小,所以用SQLite 數(shù)據(jù)庫存儲相關(guān)數(shù)據(jù)。SQLite 是一款完全開源且免費(fèi)的輕量級的關(guān)系型嵌入式數(shù)據(jù)庫,具有便攜性、易用性、高效性及可靠性多種優(yōu)點(diǎn)。[5]使用Jieba 庫進(jìn)行中文分詞和詞頻統(tǒng)計,使用Wordcloud 繪制相關(guān)的詞云,實(shí)現(xiàn)數(shù)據(jù)的可視化。教育的輿情數(shù)據(jù)較多,有網(wǎng)絡(luò)論壇、網(wǎng)站留言、QQ 群、微信群等,本文所采用的數(shù)據(jù)為某市寄語市長網(wǎng)站的教育類留言。該網(wǎng)站為政府所辦,對于留言都有答復(fù)和回訪,其信息能夠較為真實(shí)地反映當(dāng)下人們關(guān)心的教育熱點(diǎn)問題。該網(wǎng)站界面如圖1 所示。

        2 相關(guān)程序代碼

        2.1 爬取留言

        由于數(shù)據(jù)量不大,本程序使用Python 中的requests 庫爬取網(wǎng)頁中的留言,使用Xpath 的方式進(jìn)行網(wǎng)頁解析,最后將數(shù)據(jù)存放在SQLite 數(shù)據(jù)庫中。

        圖1 寄語市長網(wǎng)站

        通過上述操作,共爬取了近三年的教育類留言2079 條,相關(guān)數(shù)據(jù)信息如圖2 所示。

        圖2 近三年的教育類留言信息表

        2.2 繪制詞云

        首先,從數(shù)據(jù)庫中讀取各個留言,將所有留言拼接成一個字符文件;然后,使用Jieba 庫進(jìn)行分詞,去除一些無意義的詞語,統(tǒng)計出現(xiàn)頻率較高的詞語,這些詞就是廣大群眾關(guān)注的教育熱點(diǎn)問題;最后,將這些高頻詞語繪制詞云,使得數(shù)據(jù)形象化。

        相應(yīng)的詞云如圖3 所示。從圖3 中可以看出,人們對于義務(wù)教育的入學(xué)問題、補(bǔ)課、機(jī)構(gòu)培訓(xùn)、招生、考試以及一些熱點(diǎn)學(xué)校的教學(xué)情況等較為關(guān)注。

        圖3 根據(jù)出現(xiàn)頻率較高的關(guān)鍵詞生成的詞云

        3 結(jié)語

        本次實(shí)驗通過Python 爬蟲來獲取教育類的留言,并進(jìn)行詞頻統(tǒng)計,繪制詞云圖,從中可以發(fā)現(xiàn)社會所關(guān)注的一些教育類熱點(diǎn)問題,從而為教育教學(xué)的改革和教育質(zhì)量的提高提供一些有益的參考。該程序較為簡單實(shí)用,能夠達(dá)到解決實(shí)際問題的效果,但還有很多不足,比如還沒有實(shí)現(xiàn)圖形用戶界面,用戶的體驗效果不佳,程序的容錯性也較差等,需要進(jìn)一步研究改進(jìn)。

        猜你喜歡
        詞云爬蟲寄語
        詞云和情感分析在新媒體環(huán)境下社會科學(xué)普及的應(yīng)用研究
        利用網(wǎng)絡(luò)爬蟲技術(shù)驗證房地產(chǎn)灰犀牛之說
        寄語
        特約主編寄語
        新年寄語
        基于PyQt5界面的詞云制作軟件設(shè)計
        基于Python的網(wǎng)絡(luò)爬蟲和反爬蟲技術(shù)研究
        利用爬蟲技術(shù)的Geo-Gnutel la VANET流量采集
        電子測試(2018年1期)2018-04-18 11:53:04
        大數(shù)據(jù)環(huán)境下基于python的網(wǎng)絡(luò)爬蟲技術(shù)
        電子制作(2017年9期)2017-04-17 03:00:46
        基于SCI文獻(xiàn)分析的呼吸病學(xué)發(fā)展態(tài)勢研究
        宅男666在线永久免费观看| 一本色道久久88综合| 最新天堂一区二区三区| 无码人妻精品一区二区三区夜夜嗨| 国产亚洲精品资源在线26u| 亚洲A∨无码国产精品久久网| 熟女少妇丰满一区二区| 黄片小视频免费观看完整版| 韩国三级中文字幕hd| 国产AV无码专区久久精品网站| 少妇高潮紧爽免费观看| 国产精品三区四区亚洲av| 国产又爽又黄又刺激的视频| 伊人婷婷在线| 日韩人妻av不卡一区二区三区 | 网站在线观看视频一区二区| 久久久中文久久久无码| 中文乱码人妻系列一区二区| 人妻丰满熟妇av一区二区| 91成人黄色蘑菇视频| 亚洲日产一线二线三线精华液| 91视频88av| 成人激情视频一区二区三区| 无套内谢孕妇毛片免费看| 亚洲欧美一区二区三区| 青春草在线视频精品| 亚洲女同系列在线观看| 性猛交╳xxx乱大交| 国模私拍福利一区二区| av成人资源在线播放| 白嫩丰满少妇av一区二区| 国产精品美女久久久久 | 日本一区二区视频免费在线看| 欧美精品中文字幕亚洲专区| 免费一区二区三区视频狠狠| 少妇被啪出水在线视频| 国产高跟黑色丝袜在线| 亚洲综合欧美在线| 亚洲人妻av综合久久| 亚洲av无码码潮喷在线观看| 草草网站影院白丝内射|