陳冬冬 劉海龍

信息技術(shù)與經(jīng)濟(jì)社會的交匯融合引發(fā)了數(shù)據(jù)迅猛增長，大數(shù)據(jù)的發(fā)展和應(yīng)用逐漸體現(xiàn)并影響社會生活的方方面面，各大高等院校、職業(yè)院校相繼開設(shè)大數(shù)據(jù)相關(guān)課程，開展大數(shù)據(jù)知識普及，建立多層次、多類型的大數(shù)據(jù)人才培養(yǎng)體系。中職階段開設(shè)大數(shù)據(jù)課程，在探索大數(shù)據(jù)應(yīng)用和實(shí)踐方面有積極推動作用，但同時也面臨課程和教學(xué)實(shí)踐的實(shí)際問題。中職教育作為職業(yè)教育中重要的一環(huán)，其課程與社會、經(jīng)濟(jì)、技術(shù)發(fā)展的聯(lián)系緊密且直接，或者說科技的發(fā)展引導(dǎo)著職業(yè)教育的發(fā)展，從職業(yè)教育課程發(fā)展可以發(fā)現(xiàn)，從傳統(tǒng)強(qiáng)調(diào)知識重要的“知識本位”，逐步發(fā)展到強(qiáng)調(diào)理論服務(wù)于實(shí)踐的“能力本位”[1]，課程設(shè)計和開發(fā)中，以人為本理念深入實(shí)踐，隨著中外合作項目引進(jìn)了基于工作分析的課程開發(fā)方法并進(jìn)行了大量實(shí)踐，像CBE（Competence Based Edu-cation）理念 、DACUM（Developing a Curriculum）課程開發(fā)方法以及德國雙元制職業(yè)教育采用的課程，給職業(yè)教育課程開發(fā)帶來新思路，發(fā)展趨勢也側(cè)重職業(yè)能力培養(yǎng)，強(qiáng)調(diào)基于實(shí)際場景或“基于工作的學(xué)習(xí)”。[2]

在產(chǎn)教融合的大背景下，學(xué)以致用和協(xié)同育人的理念不斷深入[3]，中職大數(shù)據(jù)課程的開設(shè)以社會需求為導(dǎo)向，更加務(wù)實(shí)和產(chǎn)業(yè)化。內(nèi)容涉及大數(shù)據(jù)整條產(chǎn)業(yè)鏈，包括數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、數(shù)據(jù)分析、數(shù)據(jù)展示等方面[4]，其中數(shù)據(jù)采集是大數(shù)據(jù)分析處理的重要步驟，數(shù)據(jù)采集主要使用基于python編程的“網(wǎng)絡(luò)爬蟲”方式收集數(shù)據(jù)，可以幫助我們自動地進(jìn)行信息的獲取與篩選，因?qū)嵅俸唵?、效果明顯，在教學(xué)過程中學(xué)生興趣度和參與度較高，可作為大數(shù)據(jù)課程在中職階段開設(shè)。

數(shù)據(jù)采集教學(xué)過程中，數(shù)據(jù)采集對象或目標(biāo)網(wǎng)站一般具有綜合性和復(fù)雜性，往往需要多種技術(shù)手段和工具組合使用，需要規(guī)范的計算思維將問題進(jìn)行分解分析，制定合適方案才能解決目標(biāo)需求。在常規(guī)教學(xué)過程中，訪問外部網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)采集，往往會面臨一些棘手的問題，比如因為網(wǎng)站技術(shù)更新或反爬機(jī)制的限制，導(dǎo)致數(shù)據(jù)采集受限或被禁止，同時也有可能涉及法律問題，比如學(xué)生爬取非公開數(shù)據(jù)或者無限制地請求對方網(wǎng)站，導(dǎo)致服務(wù)器壓力提升，影響網(wǎng)站的使用或使其崩潰，這些問題在中職教學(xué)過程中會經(jīng)常遇到，任何一個原因都會對教學(xué)產(chǎn)生阻礙或涉及網(wǎng)絡(luò)安全問題。有相關(guān)新聞報道，某公司員工爬取非法數(shù)據(jù)，導(dǎo)致面臨牢獄之災(zāi)。在保證數(shù)據(jù)采集正常教學(xué)的同時，又能提供一個安全可靠的網(wǎng)絡(luò)環(huán)境是我們的目標(biāo)，基于此，根據(jù)課程特點(diǎn)以及結(jié)合中職學(xué)生認(rèn)知能力，設(shè)計一個能夠滿足各方需求的目標(biāo)網(wǎng)站變得很有必要。

本文基于教學(xué)實(shí)際情況及中職學(xué)生特點(diǎn)，結(jié)合數(shù)據(jù)采集在實(shí)際應(yīng)用場景，對數(shù)據(jù)采集所需應(yīng)用技術(shù)和工具進(jìn)行教學(xué)分解，映射數(shù)據(jù)采集課程知識點(diǎn)，形成“工作任務(wù)標(biāo)簽”，同時考慮在實(shí)際教學(xué)過程中，因技術(shù)變革、網(wǎng)絡(luò)安全等問題，導(dǎo)致數(shù)據(jù)采集（爬?。┻^程受阻的情況，通過模塊化設(shè)計，使用開源框架Django搭建滿足數(shù)據(jù)采集的安全可控目標(biāo)網(wǎng)站，對教學(xué)產(chǎn)生實(shí)際意義。目標(biāo)網(wǎng)站的本地化部署，對數(shù)據(jù)采集課程的專項訓(xùn)練提供支持，從而形成數(shù)據(jù)采集專業(yè)知識模塊閉環(huán)。

一、理論指導(dǎo)

1.計算思維

現(xiàn)實(shí)中遇到的問題一般不會是單一知識點(diǎn)能解決，數(shù)據(jù)采集時面臨各種情況，如何查找合適目標(biāo)網(wǎng)站，如何對采集對象進(jìn)行分析以及針對具體情況使用何種技術(shù)方案，這些都需要綜合考慮，在進(jìn)行數(shù)據(jù)采集之前做好規(guī)劃。面對非標(biāo)準(zhǔn)化問題，計算思維能夠屏蔽情境中重復(fù)、無用的信息，保留問題的關(guān)鍵部分，對已有的數(shù)據(jù)進(jìn)行分析并能夠?qū)⒁粋€復(fù)雜的問題分解成若干個已知的小問題，在編程教學(xué)中，將需要解決的問題用計算機(jī)語言或程序表達(dá)出來，以便計算機(jī)自動執(zhí)行[5-8]。

2.BAG分析指導(dǎo)

“典型工作任務(wù)分析法”（BAG，德語BeruflicheAufGaben的縮寫）注重學(xué)生實(shí)踐操作能力的培養(yǎng)，它的核心內(nèi)容是基于現(xiàn)實(shí)生產(chǎn)環(huán)境，綜合考慮學(xué)習(xí)者的全面發(fā)展，將學(xué)習(xí)任務(wù)分解成一定數(shù)量的典型工作任務(wù)。通過引入“發(fā)展性任務(wù)”（developmental task）“發(fā)展性結(jié)構(gòu)課程”到“從初學(xué)者到專家”（from novice to expert）發(fā)展范式等理論，實(shí)現(xiàn)了職業(yè)教育課程從學(xué)科范式向以能力發(fā)展邏輯范式的轉(zhuǎn)變，從而進(jìn)一步提升實(shí)踐性知識的認(rèn)知。[2]通過BAG分析，將數(shù)據(jù)采集過程中應(yīng)用到的知識點(diǎn)，根據(jù)典型性進(jìn)行提取和切分，最終體現(xiàn)在目標(biāo)網(wǎng)站的開發(fā)上，同時目標(biāo)網(wǎng)站又反過來指導(dǎo)數(shù)據(jù)采集的專項訓(xùn)練。

二、設(shè)計原則

1.科學(xué)性

數(shù)據(jù)采集目標(biāo)網(wǎng)站不僅是常規(guī)網(wǎng)站的設(shè)計與開發(fā)，應(yīng)結(jié)合教學(xué)理論和系統(tǒng)工程進(jìn)行開發(fā)，教學(xué)屬性要突出。

2.安全性

一方面是網(wǎng)站本身安全穩(wěn)定，不易被攻擊;另一方面能夠接收學(xué)生訪問請求，不涉及網(wǎng)絡(luò)安全和法律問題。

3.全面性

應(yīng)滿足數(shù)據(jù)采集教學(xué)內(nèi)容，涉及現(xiàn)階段數(shù)據(jù)采集技術(shù)，數(shù)據(jù)爬取基礎(chǔ)內(nèi)容、反爬技術(shù)等。

4.模塊化

用戶請求接口規(guī)范，響應(yīng)及時，易于操作;考慮中職學(xué)生認(rèn)知特點(diǎn)以及教學(xué)規(guī)劃，對知識點(diǎn)進(jìn)行難易劃分，模塊之間耦合度小。

5.開放性

充分考慮跨平臺操作，選擇Windows、Linux、ios等系統(tǒng)都可以運(yùn)行語言，考慮技術(shù)發(fā)展速度比較快，平臺預(yù)留空間滿足后續(xù)設(shè)計。

三、開發(fā)工具

基于以上設(shè)計原則，開發(fā)工具選擇python編程語言，同時使用python開源框架Django進(jìn)行網(wǎng)站開發(fā)，為保障網(wǎng)站安全和穩(wěn)定，將Django站點(diǎn)本地部署。

1.以O(shè)penStack為核心的本地云平臺管理，通過靈活配置合適環(huán)境，發(fā)揮OpenStack強(qiáng)大虛擬能力，滿足Django網(wǎng)站本地部署需求。

2.python作為大數(shù)據(jù)、人工智能等新技術(shù)主流開發(fā)語言，因其語言簡易、模塊豐富等原因應(yīng)用較普遍，Django是一個開源免費(fèi)高級python框架。用python編寫，遵循模型——視圖——模板架構(gòu)模式。我們可以使用它來更快、更輕松地開發(fā)優(yōu)質(zhì)的Web應(yīng)用程序。[9]

四、整體結(jié)構(gòu)

結(jié)合數(shù)據(jù)采集教學(xué)知識點(diǎn)，進(jìn)行模塊化封裝設(shè)計，同時相互之間耦合度較低，能夠滿足日常教學(xué)安排（圖1）。數(shù)據(jù)采集的程序網(wǎng)絡(luò)爬蟲主要涉及以下內(nèi)容：爬蟲基本結(jié)構(gòu)、特定數(shù)據(jù)提取、批量數(shù)據(jù)爬取、模擬登陸、破解驗證碼、動態(tài)數(shù)據(jù)獲取、自動化操作、反爬蟲策略等。[10]

五、開發(fā)實(shí)現(xiàn)

本文開發(fā)使用Django開源Web框架（圖2），Django采用MVC（Model View Controller）的軟件設(shè)計模式，用一種業(yè)務(wù)邏輯、數(shù)據(jù)、界面顯示分離的方法組織代碼，將業(yè)務(wù)邏輯聚集到一個部件里面，在改進(jìn)和個性化定制界面及用戶交互的同時，而不需要重新編寫業(yè)務(wù)邏輯。因此，在開發(fā)數(shù)據(jù)采集目標(biāo)網(wǎng)站時，可以根據(jù)教學(xué)和爬蟲特點(diǎn)進(jìn)行設(shè)計頁面，設(shè)計簡易內(nèi)容管理網(wǎng)站就可以滿足基本需求。[11-14]

1.環(huán)境搭建

快速搭建網(wǎng)站環(huán)境，使用virtualenv創(chuàng)建獨(dú)立程序環(huán)境，安裝Django第三方庫，創(chuàng)建網(wǎng)站項目minicms。

2.創(chuàng)建應(yīng)用

Django里面通過應(yīng)用來規(guī)劃內(nèi)容，每一個應(yīng)用對應(yīng)一個功能點(diǎn)。先創(chuàng)建一個信息頁面news，添加 news 到 settings.py 中的 INSTALLED_APPS 中。

3.設(shè)計模型自動生成數(shù)據(jù)庫

Django跨平臺支持各種數(shù)據(jù)，網(wǎng)站最初階段可以使用自帶數(shù)據(jù)庫sqlite，模型負(fù)責(zé)與數(shù)據(jù)庫交互，處理與數(shù)據(jù)相關(guān)的所有事務(wù)，在models.py文件中完成。先設(shè)計其中一個數(shù)據(jù)庫表內(nèi)容，欄目和文章，欄目具有名稱、網(wǎng)址、簡介等字段，文章具有標(biāo)題、作者、網(wǎng)址、內(nèi)容等字段。

4.數(shù)據(jù)庫數(shù)據(jù)填充

數(shù)據(jù)庫表已經(jīng)生成，但數(shù)據(jù)庫中表需要輸入，可以結(jié)合python腳本特點(diǎn)，編寫自動數(shù)據(jù)導(dǎo)入腳本，一鍵導(dǎo)入數(shù)據(jù)。將代碼另存為create_demo_records.py文件，執(zhí)行python create_demo_records.py 一鍵導(dǎo)入數(shù)據(jù)。

5.完善網(wǎng)站后臺

Django自帶后臺數(shù)據(jù)管理系統(tǒng)，通過簡單設(shè)置就可以啟動，創(chuàng)建網(wǎng)站超級管理員，用于網(wǎng)站安全登錄。通過命令打開網(wǎng)站后臺，python manage.py runserver。

6.前端顯示

后臺數(shù)據(jù)已經(jīng)填充，需要將數(shù)據(jù)傳遞給前端，通過Django中url可以優(yōu)雅訪問網(wǎng)址，使用中間模塊系統(tǒng)，動態(tài)生成和調(diào)用數(shù)據(jù)庫數(shù)據(jù)進(jìn)行前端顯示。

7.模塊設(shè)計

通過Django前后端設(shè)計方法，將登錄界面、批量數(shù)據(jù)分頁等子頁面進(jìn)行分別開發(fā)，滿足不同知識點(diǎn)對應(yīng)內(nèi)容。

六、結(jié)語及展望

基于計算思維及BAG典型任務(wù)分解理念和方法，將大數(shù)據(jù)課程中數(shù)據(jù)采集內(nèi)容進(jìn)行合理分解，同時通過分析中職大數(shù)據(jù)課程中數(shù)據(jù)采集所面臨的一些問題，提出自建目標(biāo)網(wǎng)站的解決方法，在設(shè)計和開發(fā)過程中，對目標(biāo)網(wǎng)站進(jìn)行綜合規(guī)劃，將教學(xué)知識點(diǎn)對應(yīng)網(wǎng)站不同頁面內(nèi)容，針對數(shù)據(jù)采集所涉及知識點(diǎn)進(jìn)行專項訓(xùn)練，能夠解決實(shí)際使用問題。后續(xù)會結(jié)合新技術(shù)和需求，不斷完善網(wǎng)站內(nèi)容，擴(kuò)大網(wǎng)站的使用范圍。

參考文獻(xiàn)：

[1]孫琳，徐桂庭.我國中等職業(yè)教育教學(xué)改革發(fā)展的脈絡(luò)與變遷——基于教學(xué)政策文件的分析[J].職教論壇，2015（03）：4-15.

[2]趙志群.我國職業(yè)教育課程模式的發(fā)展[J].職教論壇，2018（01）：52-57.

[3]吳媛.基于產(chǎn)教深度融合的人才培養(yǎng)共同體的構(gòu)建研究[J].電腦知識與技術(shù)，2020（16）：149-150.

[4]歐陽智.大數(shù)據(jù)專業(yè)下的數(shù)據(jù)采集與處理教學(xué)改革探討[J].大數(shù)據(jù)時代，2018（05）：18-20.

[5]陳鵬，黃榮懷，梁躍，張進(jìn)寶.如何培養(yǎng)計算思維——基于 2006—2016年研究文獻(xiàn)及最新國際會議論文[J].現(xiàn)代遠(yuǎn)程教育研究，2018（01）：98-112.

[6]謝忠新，曹楊璐.中小學(xué)信息技術(shù)學(xué)科學(xué)生計算思維培養(yǎng)的策略與方法[J].中國電化教育，2015（11）：116-120.

[7]牟琴，譚良，周雄峻.基于計算思維的任務(wù)驅(qū)動式教學(xué)模式的研究[J].現(xiàn)代教育技術(shù)，2011，21（06）：44-49.

[8]李馨.信息化教學(xué)設(shè)計的理論與模式研究[M].長春：東北師范大學(xué)出版社，2015.

[9]魏曉婷.面向中職信息技術(shù)教師的《Python程序開發(fā)》項目課程開發(fā)與實(shí)施[D].廣東技術(shù)師范大學(xué)，2019.

[10]莊培杰.Python網(wǎng)絡(luò)爬蟲從入門到實(shí)踐[M].北京：電子工業(yè)出版社，2019.

[11]齊俊峰.基于Django的校園管理系統(tǒng)的分析與開發(fā)[D].蘭州大學(xué)，2013.

[12]韋立梅，蘇兵.Django框架下Python網(wǎng)站開發(fā)過程綜述[J].電腦與電信，2019（10）：54-56.

[13]王友釗，黃靜.Django開發(fā)寶典[M].北京：清華大學(xué)出版社，2017.

[14]謝建華，梁杰華，鄭劍.基于Django實(shí)現(xiàn)四方博客[J].電腦知識與技術(shù)，2019（23）：51-54.

[基金項目：2020年度廣東省教育研究院第二批STEM教育專項研究（GDJY-2020-S-b064），項負(fù)責(zé)人：陳冬冬;東莞市教育科研“十三五”規(guī)劃2019年度課題（2019GH196），項目負(fù)責(zé)人：劉猛。]

責(zé)任編輯 何麗華