圖3 中藥材天地網(wǎng)市場(chǎng)價(jià)格欄目局部Fig.3 Local graph of market price for traditional Chinese medicinal materials on the Tiandi earth website

因信息記錄條分頁(yè)展示，所以爬取網(wǎng)頁(yè)時(shí)還需獲得各分頁(yè)的URL，常規(guī)的做法是在每一頁(yè)獲取“下一頁(yè)”按鈕下的URL地址。實(shí)際解析發(fā)現(xiàn)：當(dāng)處于不同的頁(yè)數(shù)時(shí)，中藥材天地網(wǎng)“下一頁(yè)”按鈕的URL地址所對(duì)應(yīng)的XPath解析路徑不同，不便于構(gòu)造統(tǒng)一解析表達(dá)式。但是每個(gè)分頁(yè)的URL地址具有一定的規(guī)律性，都是在首頁(yè)地址的基礎(chǔ)上追加“-頁(yè)碼”構(gòu)成，且首頁(yè)給出了最后一頁(yè)的數(shù)值，因此在抽取分頁(yè)URL地址時(shí)，通過(guò)循環(huán)語(yǔ)句將首頁(yè)地址與對(duì)應(yīng)的分頁(yè)頁(yè)碼數(shù)進(jìn)行字符串拼接獲得，循環(huán)的次數(shù)通過(guò)提取首頁(yè)給出的最后一頁(yè)頁(yè)碼數(shù)獲得。

2.2 數(shù)據(jù)采集實(shí)現(xiàn)

搭建好Scrapy開(kāi)發(fā)環(huán)境后，在CMD命令模式下通過(guò)scrapy startproject-項(xiàng)目名稱命令創(chuàng)建Scrapy工程，首先在items.py文件中按“信息名=scrapy.Field（）”格式定義品名、規(guī)格、市場(chǎng)、最新價(jià)格等信息對(duì)應(yīng)的存儲(chǔ)模板。在工程的spiders目錄下創(chuàng)建爬蟲(chóng)Python文件，并編寫(xiě)爬蟲(chóng)代碼。具體代碼如下所示：

其中name變量是所創(chuàng)建爬蟲(chóng)的名稱，要確保其在整個(gè)項(xiàng)目中的唯一性；allowed_domains變量是整個(gè)項(xiàng)目將要訪問(wèn)的網(wǎng)絡(luò)域名范圍；start_urls變量是此爬蟲(chóng)啟動(dòng)后訪問(wèn)的第一個(gè)網(wǎng)絡(luò)地址；parse方法是Scrapy的內(nèi)置函數(shù)，作用是處理請(qǐng)求起始地址所返回的內(nèi)容，也可作為后續(xù)URL訪問(wèn)返回的回調(diào)函數(shù)，通常在其中實(shí)現(xiàn)具體信息提取的解決方法。在此項(xiàng)目中使用Xpath解析器提取品名、規(guī)格、市場(chǎng)、最新價(jià)格的具體內(nèi)容。通過(guò)yield生成器將解析到item實(shí)體數(shù)據(jù)傳遞到管道中進(jìn)行進(jìn)一步的處理；當(dāng)提取完當(dāng)前頁(yè)面的目標(biāo)內(nèi)容后，通過(guò)yield scrapy.Request（url=URL，callback=self.parse）語(yǔ)句實(shí)現(xiàn)下一頁(yè)面的請(qǐng)求，其中url參數(shù)傳入的為下一頁(yè)對(duì)應(yīng)的URL地址，callback參數(shù)為處理請(qǐng)求返回內(nèi)容的回調(diào)函數(shù)，因各頁(yè)面目標(biāo)內(nèi)容的解析方法相同，在此仍使用parse作為回調(diào)函數(shù)；下一頁(yè)的URL是通過(guò)在首頁(yè)先通過(guò)next_page_URL=response.xpath（′//*［@id="body"］/section /div /div［3］/div［1］/div［3］/div［1］/div［8］/a/text（）′）.extract（）［0］語(yǔ)句獲得頁(yè)面總數(shù)后，在for循環(huán)中通過(guò)URL="http：//www.zyctd.com/jiage/1-0-0-"+str（i）+".html"語(yǔ)句進(jìn)行字符串拼接得到相對(duì)于當(dāng)前頁(yè)的下一頁(yè)URL地址，在此語(yǔ)句中的str（i）的i變量為頁(yè)數(shù)的值。

在spider文件中獲得目標(biāo)信息實(shí)體后，傳入到管道文件中進(jìn)行保存。借助Python豐富的開(kāi)源庫(kù)，得到數(shù)據(jù)可選擇多種存儲(chǔ)方式，如簡(jiǎn)單的文本文件存儲(chǔ)，JSON格式文件存儲(chǔ)、數(shù)據(jù)庫(kù)存儲(chǔ)等。經(jīng)實(shí)際測(cè)試發(fā)現(xiàn)將其保存為普通的文本文件存儲(chǔ)效率較高，因此在設(shè)計(jì)中采用文本文件格式存儲(chǔ)數(shù)據(jù)。為了方便后續(xù)導(dǎo)入Excel工具進(jìn)行分析，數(shù)據(jù)存儲(chǔ)格式如圖4所示，將爬取到的每條信息的品名、規(guī)格、市場(chǎng)、價(jià)格以逗號(hào)分隔，各信息條之間換行存儲(chǔ)。具體實(shí)現(xiàn)方法是在pipelines.py管道文件中通過(guò)open（"文件名.txt"，′a′）as fp語(yǔ)名打開(kāi)或創(chuàng)建文本文件，使用fp.write（item［′信息名′］.encode（"utf8"）+ ′，′）語(yǔ)名將爬取到的每條信息的品名、規(guī)格、市場(chǎng)、價(jià)格以逗號(hào)分隔，使用fp.write（item［′信息名′］.encode（"utf8"）+′ ′）語(yǔ)名將各信息條之間換行存儲(chǔ)。

圖4 數(shù)據(jù)存儲(chǔ)格式Fig.4 Data storage format

3 整體測(cè)試結(jié)果分析

在CPU為CORE（TM）i3-4160，內(nèi)存為4G，操作系統(tǒng)為WIN7-SP1-64位的宏基臺(tái)式機(jī)環(huán)境下，在CMD命令模式下通過(guò)“scrapy crawl–爬蟲(chóng)名”啟動(dòng)爬蟲(chóng)進(jìn)行中藥材信息采集測(cè)試，用時(shí)4.82 s，爬取201頁(yè)共計(jì)5 013條中藥材記錄條，與網(wǎng)頁(yè)實(shí)際記錄條數(shù)相符，運(yùn)行穩(wěn)定。

為了考察網(wǎng)上數(shù)據(jù)與實(shí)地市場(chǎng)調(diào)研線下數(shù)據(jù)的一致性，借助Excel 2010工具，將保存爬蟲(chóng)數(shù)據(jù)的文本文件以逗號(hào)分格方式導(dǎo)入，轉(zhuǎn)化為Excel 2010表格，以名貴中藥材西洋參、三七為例，利用Excel 2010自帶的折線圖工具分別繪制各市場(chǎng)西洋參、三七不同規(guī)格的價(jià)格折線圖。西洋參的價(jià)格折線圖如圖5所示，從圖5可知安國(guó)、亳州、荷花池、玉林藥市西洋參主要有大片、短支、特大片、長(zhǎng)支、中片等規(guī)格，其中長(zhǎng)、短支又有加拿大、美國(guó)、國(guó)產(chǎn)之分別，安國(guó)、亳州、荷花池、玉林藥市的相同規(guī)格的西洋參價(jià)格基本一致，其結(jié)果與線下實(shí)地市場(chǎng)調(diào)研結(jié)果基本相符。三七的價(jià)格折線圖如圖6所示，從圖可知三七主要有20、40、60、80、120頭春七、剪口春七、無(wú)數(shù)頭春七等規(guī)格，其產(chǎn)地都源于云南，安國(guó)、亳州、荷花池、玉林藥市的相同規(guī)格的三七價(jià)格也基本一致，同時(shí)可知三七的價(jià)格與頭數(shù)成反比，20頭春七價(jià)格最高，120頭價(jià)格最低，其結(jié)果與線下實(shí)地市場(chǎng)調(diào)研結(jié)果基本相符，可見(jiàn)所爬取的數(shù)據(jù)可靠準(zhǔn)確，可為后期的商品規(guī)格建立、價(jià)格預(yù)判的研究提供數(shù)據(jù)支撐。

4 結(jié)語(yǔ)

圖5 不同規(guī)格西洋參的價(jià)格Fig.5 Price of Panax quinquefoliumof different specifications

圖6 不同規(guī)格三七的價(jià)格Fig.6 Price of Panax notoginsengof different specifications

本文以中藥材天地為目標(biāo)網(wǎng)站，基于Scrapy框架設(shè)計(jì)、在深入分析網(wǎng)頁(yè)架構(gòu)的基礎(chǔ)上，設(shè)計(jì)編寫(xiě)爬蟲(chóng)代碼，經(jīng)測(cè)試，所設(shè)計(jì)的爬蟲(chóng)實(shí)現(xiàn)了對(duì)亳州、安國(guó)、玉林、蓮花池藥市各類中藥材品名、規(guī)格、價(jià)格等信息的快速采集。以線下實(shí)地調(diào)研數(shù)據(jù)為準(zhǔn)繩，借助Excel 2010工具，針對(duì)采集到的西洋參、三七兩種名貴中藥材規(guī)格、價(jià)格信息進(jìn)行分析，進(jìn)一步證明所采集的線上數(shù)據(jù)與線下數(shù)據(jù)基本一致，可用于中藥材商品規(guī)格等級(jí)及價(jià)格預(yù)測(cè)現(xiàn)狀的研究。本文基于Scrapy框架設(shè)計(jì)的中藥材價(jià)格信息收集系統(tǒng)雖然能夠快速準(zhǔn)確地獲取相關(guān)信息，但代碼的運(yùn)行依賴于Python命令環(huán)境，對(duì)于非計(jì)算機(jī)專業(yè)人員使用而言略顯不便。為了進(jìn)一步拓展其使用人群，后續(xù)的研究中可為其拓展GUI界面操作功能。