亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于網(wǎng)絡(luò)爬蟲的電子易購軟件設(shè)計(jì)與實(shí)現(xiàn)

        2017-03-06 20:40:01孫遒
        計(jì)算機(jī)時(shí)代 2017年2期
        關(guān)鍵詞:網(wǎng)絡(luò)爬蟲電子商務(wù)流量

        孫遒

        摘 要: 網(wǎng)上購物已經(jīng)普及,電子商務(wù)網(wǎng)站日漸增多,如何從這些網(wǎng)站中快速地選擇出自己喜愛的商品是一件不小的工作。提出一種電子易購的解決方法。該方法通過網(wǎng)絡(luò)爬蟲在整個(gè)電子商務(wù)網(wǎng)站系統(tǒng)上抓取有用的信息存儲(chǔ)在數(shù)據(jù)庫中,然后對(duì)相關(guān)數(shù)據(jù)進(jìn)行分析,利用Spring+Struts2+Hibernate+MySQL技術(shù)實(shí)現(xiàn)了基于B/S模型架構(gòu)的網(wǎng)站展示給用戶,使用戶更了解各個(gè)商城電子商品之間的差異,進(jìn)而選擇更適合自己的商品。通過網(wǎng)絡(luò)實(shí)驗(yàn),證明該方法行之有效。

        關(guān)鍵詞: 電子易購; 電子商務(wù); 流量; 網(wǎng)絡(luò)爬蟲

        中圖分類號(hào):TP274 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1006-8228(2017)02-41-04

        0 引言

        當(dāng)今電子商務(wù)業(yè)務(wù)開發(fā)如火如荼。在法、德等歐洲國家,電子商務(wù)所產(chǎn)生的營業(yè)額已占商務(wù)總額的1/4,在美國已占1/3以上,而這些歐美國家電子商務(wù)的歷史也不過十幾年的時(shí)間。在美國,美國在線(AOL)、雅虎、電子港灣等著名的電子商務(wù)公司在1995年前后開始賺錢,IBM、亞馬遜書城、戴爾電腦、沃爾瑪超市等電子商務(wù)公司在各自的領(lǐng)域更是取得了令人不可思議的巨額利潤[1,5]。

        中國電子商務(wù)始于1997年,如果說美國電子商務(wù)是“商務(wù)推動(dòng)型”,那么中國電子商務(wù)則更多的是“技術(shù)拉動(dòng)型”,這是在發(fā)展模式上中國電子商務(wù)與美國電子商務(wù)的最大不同[6,10]。在美國,電子商務(wù)實(shí)踐早于電子商務(wù)概念,企業(yè)的商務(wù)需求“推動(dòng)”了網(wǎng)絡(luò)和電子商務(wù)技術(shù)的進(jìn)步,并促成電子商務(wù)概念的形成。當(dāng)Internet時(shí)代到來的時(shí)候,美國已經(jīng)有了一個(gè)比較先進(jìn)和發(fā)達(dá)的電子商務(wù)基礎(chǔ)。在中國,電子商務(wù)概念先于電子商務(wù)應(yīng)用,“啟蒙者”是IBM等IT廠商,網(wǎng)絡(luò)和電子商務(wù)技術(shù)需要不斷“拉動(dòng)”企業(yè)的商務(wù)需求,進(jìn)而引致中國電子商務(wù)的應(yīng)用與發(fā)展。了解這一不同點(diǎn)是很重要的,這是中國電子商務(wù)發(fā)展的一大特點(diǎn),也是理解中國電子商務(wù)應(yīng)用與發(fā)展的一把鑰匙。

        電子商務(wù)網(wǎng)站發(fā)展繁榮的今天 ,面臨多元化的電子商務(wù)網(wǎng)站。對(duì)于用戶來說不知道去哪里買電子產(chǎn)品而顯得十分頭痛。導(dǎo)航就是一個(gè)可以指導(dǎo)用戶購物的電子產(chǎn)品,為用戶選擇商品提供幫助,可使用戶更加方便、快捷,并防止不懂電子產(chǎn)品的用戶更優(yōu)惠的選擇適合自己的產(chǎn)品[11,14]。

        1 系統(tǒng)結(jié)構(gòu)

        電子易購軟件的模塊設(shè)計(jì)如圖1所示。

        2 項(xiàng)目管理工具設(shè)計(jì)

        Maven可以對(duì)第三方依賴庫進(jìn)行統(tǒng)一的版本管理,其具有統(tǒng)一項(xiàng)目的目錄結(jié)構(gòu),可以保證所有項(xiàng)目的目錄結(jié)構(gòu)都是一樣的,目錄結(jié)構(gòu)統(tǒng)一的好處是,要找源代碼就去src/main/java/下,要找需要放到classpath下 的資源,就去src/main/resources/下。把軟件開發(fā)的過程劃分成了幾個(gè)經(jīng)典階段,比如先生成一些Java代碼,再把這些代碼復(fù)制到特定位置,然后編譯代碼,復(fù)制需要放到 classpath下的資源,再進(jìn)行單元測(cè)試,單元測(cè)試都通過了才能打包和發(fā)布。Maven還支持多種插件,自動(dòng)生成項(xiàng)目網(wǎng)站和報(bào)表。

        使用Ant,最令人頭疼的就是要為不同的項(xiàng)目寫很多build.xml腳本,而且這些腳本還不太通用,現(xiàn)在可以使用Maven提供的這些經(jīng)典構(gòu)建階段,讓每個(gè)項(xiàng)目只經(jīng)過相同的步驟,從源代碼一步一步變成可以部署的成品。如果還要什么附加功能,則把對(duì)應(yīng)的插件綁定到一個(gè)構(gòu)建階段上,那么到了執(zhí)行這個(gè)構(gòu)建階段時(shí),就會(huì)執(zhí)行綁定的插件了。

        如果說Ant可以使用ivy實(shí)現(xiàn)第三方依賴庫的統(tǒng)一管理,如果說Ant可以自己統(tǒng)一項(xiàng)目的目錄結(jié)果,如果說Ant支持插件更靈活,那么這些特性絕對(duì)沒有Maven強(qiáng)。

        Maven可以自動(dòng)為項(xiàng)目生成一個(gè)網(wǎng)站,里面包含了項(xiàng)目信息,參與人,項(xiàng)目管理相關(guān)的資源,第三方依賴庫,使用的插件,以及通過其他擴(kuò)展插件生成的各種報(bào)表。Ant 使用某些插件也可以生成html格式的報(bào)表,但是各個(gè)報(bào)表之間都沒什么關(guān)聯(lián),不像Maven中將網(wǎng)站和報(bào)表都關(guān)聯(lián)在一起,查看起來十分方便。Maven是基于項(xiàng)目對(duì)象模型(POM),可以通過一小段描述信息來管理項(xiàng)目的構(gòu)建,報(bào)告和文檔的軟件項(xiàng)目管理工具。

        通過MyEclipse創(chuàng)建Maven項(xiàng)目名為:gobuy,在main文件夾下建立webapp文件夾,將其作為Web的根目錄。在Maven的pom.xml文件中加入jar統(tǒng)一包進(jìn)行管理。

        3 系統(tǒng)構(gòu)架與實(shí)現(xiàn)設(shè)計(jì)

        現(xiàn)在流行的框架有很多,例如Spring,Struts2,Hibernate等等。其中Spring+Hibernate+Struts2最為廣泛使用,并且可以把大學(xué)的所學(xué)應(yīng)用于實(shí)際項(xiàng)目中。而且這三個(gè)都是輕型框架,很多代碼不用自己編寫,是目前中小公司用的最多的框架之一,若架構(gòu)搭得好,開發(fā)速度比java項(xiàng)目會(huì)提高不少,維護(hù)也比較方便,可拓展性強(qiáng),加上一堆的開源,可以豐富項(xiàng)目。

        即使是使用S2SH開發(fā),也有很多種形式,比如按配置文件,就分為配置文件寫在.XML文件中的,或者是配置在Spring的bean文件中的,又或者是零配置的全注解形式。Spring還可以對(duì)Struts2和Hibernate進(jìn)行管理,完全不需要知道Struts2和Hibernate的實(shí)現(xiàn)代碼就可以編寫程序,實(shí)現(xiàn)簡(jiǎn)單,快捷的敏捷式開發(fā)。Spring還會(huì)自動(dòng)掃描被注解的類,然后創(chuàng)建在對(duì)象池中,在需要的時(shí)候取出使用,真正達(dá)到了即用即取的低耦合性。項(xiàng)目采用S2SH框架開發(fā),使用的注解形式取代配置文件。

        4 爬蟲設(shè)計(jì)

        手寫爬蟲和Heritrix的選擇。Heritrix是IA的開放源代碼,可擴(kuò)展的,基于整個(gè)Web的,歸檔網(wǎng)絡(luò)爬蟲工程。它是很好的爬蟲框架,有很好的可擴(kuò)展性。但其配置復(fù)雜,使用不是很方便,其機(jī)構(gòu)也極其復(fù)雜。所以這里新寫了一個(gè)爬蟲實(shí)現(xiàn),結(jié)合HtmlParser解析返回的頁面來實(shí)現(xiàn)功能。

        爬蟲和多線程的實(shí)現(xiàn)(其中一個(gè)爬蟲為例):

        通過Strust2標(biāo)簽獲得從index.action中傳來的vgProductSku對(duì)象,值以獲得每個(gè)結(jié)果集,將對(duì)象中的屬性顯示在相應(yīng)位置。頁面如圖3所示。

        7 結(jié)束語

        經(jīng)過三個(gè)月的時(shí)間完成了易購導(dǎo)航網(wǎng)站的開發(fā),基本功能都已實(shí)現(xiàn)。爬蟲采用多線程技術(shù),6個(gè)爬蟲在網(wǎng)絡(luò)上不斷爬行,相不干擾,獲得了大量的電子商品信息??梢詫?duì)比商品信息,頁面美觀,操作簡(jiǎn)單,有很好的用戶體驗(yàn)??梢宰?cè)會(huì)員,登錄,并在網(wǎng)站上下單,或去第三方網(wǎng)站上查看更詳細(xì)的商品信息。網(wǎng)站致力于對(duì)商品的分析,給用戶更多的選擇空間和更好的選擇條件。

        本系統(tǒng)采用面向?qū)ο蟮拈_發(fā)原理,方便以后擴(kuò)展新的功能。系統(tǒng)在開發(fā)過程中,無時(shí)無刻不考慮著爬蟲的性能優(yōu)化和用戶的體驗(yàn),將系統(tǒng)做的更好,讓功能更加完善。對(duì)于商品信息的對(duì)比,還可以進(jìn)一步設(shè)計(jì)抓取商品評(píng)論、游覽次數(shù)、購買次數(shù)等信息,統(tǒng)一進(jìn)行數(shù)據(jù)處理,給用戶提供更完整,更好的選擇。網(wǎng)站還可以進(jìn)行更精確的商品分類和提供更準(zhǔn)確的搜索。

        系統(tǒng)給用戶網(wǎng)上購物帶來的是一個(gè)全新的體驗(yàn),給電子商務(wù)網(wǎng)站通過廣告和商品信息陳列帶來的是無限的流量收益。將來一定有更好的發(fā)展前景。

        參考文獻(xiàn)(References):

        [1] 王善發(fā),吳道榮.Java編程語言構(gòu)造方法研究[J].保山學(xué)院學(xué)

        報(bào),2011.2:23-25

        [2] 孫媛,陳麗梅.數(shù)據(jù)結(jié)構(gòu)在Java語言中的實(shí)現(xiàn)[J].電腦學(xué)習(xí),

        2008.1:53-55

        [3] 麻孜寧,伊浩,李祥.Java多線程并發(fā)系統(tǒng)中的安全性與公平

        性[J].計(jì)算機(jī)技術(shù)與發(fā)展,2006.2:14-20

        [4] 陳牧歌,王健.Ajax技術(shù)在Web開發(fā)中的應(yīng)用[J].電腦學(xué)習(xí),

        2010.4:103-105

        [5] 陸榮幸,郁洲,阮永良,王志強(qiáng).J2EE平臺(tái)上MVC設(shè)計(jì)模式的

        研究與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究,2003.3:108-200

        [6] 黃海,朱躍龍.J2EE設(shè)計(jì)模式與框架技術(shù)的應(yīng)用研究[J].計(jì)算

        機(jī)與現(xiàn)代化,2006.5:15-19

        [7] 劉星沙,羅昔軍.基于MVC模式的Struts和Spring整合框架的

        研究與應(yīng)[J].湘潭大學(xué)自然科學(xué)學(xué)報(bào),2007.1:209-211

        [8] 權(quán)寧一.基于JSP技術(shù)的企業(yè)電子商務(wù)系統(tǒng)[J].微處理機(jī),

        2005.6:147-151

        [9] 張承光.電子物流網(wǎng)絡(luò)的實(shí)現(xiàn)與構(gòu)想[J].互聯(lián)網(wǎng)周刊,

        1999.24:364-365

        [10] 孫釗.我國電子商務(wù)發(fā)展的現(xiàn)狀與對(duì)策[J].經(jīng)濟(jì)學(xué)情報(bào),

        2000.4:67-69

        [11] 諶燕,趙定遠(yuǎn).基于AJAX的異步Web開發(fā)模式[J].成都大

        學(xué)學(xué)報(bào)(自然科學(xué)版),2007.4:244-246

        [12] 雷麗秀.互聯(lián)網(wǎng)搜索引擎技術(shù)及展望[J].科技信息(學(xué)術(shù)研

        究),2008.20:17-21

        [13] 丁振國,陳靜,李凡.基于JSP建立電子商務(wù)網(wǎng)站的核心技術(shù)[J].

        計(jì)算機(jī)應(yīng)用研究,2002.7:159-161

        [14] 郭曉艷,劉曉霞,朱潔娜.基于JSP的電子商務(wù)網(wǎng)站的構(gòu)建技

        術(shù)[J].微機(jī)發(fā)展,2005.6:222-223

        猜你喜歡
        網(wǎng)絡(luò)爬蟲電子商務(wù)流量
        冰墩墩背后的流量密碼
        玩具世界(2022年2期)2022-06-15 07:35:36
        張曉明:流量決定勝負(fù)!三大流量高地裂變無限可能!
        尋找書業(yè)新流量
        出版人(2020年4期)2020-11-14 08:34:26
        《電子商務(wù)法》如何助力直銷
        電子商務(wù)
        煉鐵廠鐵量網(wǎng)頁數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
        基于社會(huì)網(wǎng)絡(luò)分析的權(quán)威網(wǎng)頁挖掘研究
        主題搜索引擎中網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn)研究
        淺析如何應(yīng)對(duì)網(wǎng)絡(luò)爬蟲流量
        關(guān)于加快制定電子商務(wù)法的議案
        精品国产福利片在线观看| 亚洲精品天天影视综合网| 国产成人精品123区免费视频| 日日摸夜夜添夜夜添无码免费视频| 岳好紧好湿夹太紧了好爽矜持 | 欧洲AV秘 无码一区二区三| 国产激情小视频在线观看| 亚洲国产av无码精品无广告| 免费无码一区二区三区蜜桃大| 日中文字幕在线| 偷拍与自偷拍亚洲精品| 精品亚洲麻豆1区2区3区| 无码人妻av一二区二区三区 | 欧美极品第一页| 国产精品久久中文字幕亚洲| 三级国产精品久久久99| 护士人妻hd中文字幕| 久精品国产欧美亚洲色aⅴ大片| 蜜桃精品国产一区二区三区| 日日碰日日摸日日澡视频播放| 日韩av精品国产av精品| 中文字幕久热精品视频免费| 在线久草视频免费播放| 亚洲另类无码专区首页| 国产手机在线αⅴ片无码观看| 深夜福利国产| 亚洲第一女人的天堂av| 各种少妇正面着bbw撒尿视频| 综合网自拍| 粉嫩的18在线观看极品精品| 日本在线一区二区三区不卡| 国产涩涩视频在线观看| 久久中文字幕久久久久| 青青青爽在线视频免费播放 | 91久久福利国产成人精品| 亚洲国产日韩综合天堂| 强开少妇嫩苞又嫩又紧九色 | 91福利国产在线观一区二区| 女优av性天堂网男人天堂| 亚洲av无码久久精品色欲| 国产毛片视频网站|