馬龍飛

（北京郵電大學(xué)網(wǎng)絡(luò)技術(shù)研究院寬帶網(wǎng)研究中心，北京 100876）

新型海淘購物比價引擎方案設(shè)計

馬龍飛

（北京郵電大學(xué)網(wǎng)絡(luò)技術(shù)研究院寬帶網(wǎng)研究中心，北京 100876）

海淘在經(jīng)過最近幾年的發(fā)展，已經(jīng)成為很多中國消費(fèi)者的購物方式之一。除了商家選擇、商品購買、商品轉(zhuǎn)運(yùn)外，消費(fèi)者最看重的環(huán)節(jié)之一便是價格比對。但是，目前大多數(shù)比價引擎僅支持英文或中文表述的網(wǎng)站，極少可以把對應(yīng)的跨境商品進(jìn)行價格比較。因此，本文提出一種能進(jìn)行國內(nèi)外相同商品比價的方案，通過以美中兩國Amazon購物網(wǎng)站進(jìn)行比價搜索，實現(xiàn)更好的比價效果。系統(tǒng)會結(jié)合翻譯模塊，能夠讓用戶用中文或英文進(jìn)行商品搜索。在收到用戶搜索請求之后，會優(yōu)先審查本地數(shù)據(jù)庫是否包含用戶之前的搜索記錄，如果有則反饋本地記錄，如果沒有則實時抓取美中兩國Amazon相應(yīng)商品信息。另外，雖然很多比價引擎能夠識別中文搜索，但識別精準(zhǔn)度和范圍都不是很好。為了提高搜索精度，系統(tǒng)將網(wǎng)上翻譯API和本地電商詞匯中英對照表結(jié)合，對用戶輸入的中英文進(jìn)行實時翻譯。為減少商業(yè)利益影響，不同于Amazon原始的商品排序，系統(tǒng)在Amazon原始排序算法基礎(chǔ)上，對排序做了改進(jìn)來實現(xiàn)關(guān)鍵字的排序優(yōu)化。

計算機(jī)應(yīng)用技術(shù)；海淘；在線比價；中英文搜索；排序優(yōu)化

本文著錄格式：馬龍飛. 新型海淘購物比價引擎方案設(shè)計[J]. 軟件，2016，37（11）：73-83

0 引言

近年來，新的跨境電商模式——海淘的蓬勃發(fā)展，為消費(fèi)者帶來了新的購物體驗。消費(fèi)者可以在海淘網(wǎng)站上購買特定商品，并由轉(zhuǎn)運(yùn)公司將其寄回國內(nèi)。

但是，海外商品是否真的比國內(nèi)便宜很多，不同國家銷售的商品其屬性是否一致，導(dǎo)致消費(fèi)者不免要做國內(nèi)外商品的比較。在這種情況下，消費(fèi)者面臨三個問題：

1. 消費(fèi)者必須在各種國內(nèi)外購物網(wǎng)站中搜索相應(yīng)的商品，記錄商品價格，重復(fù)操作，浪費(fèi)大量時間；

2. 海外電商網(wǎng)站對中文識別性差，通過測試，美國Amazon只能識別一小部分用中文描述的品牌。消費(fèi)者最好在海外網(wǎng)站上輸入商品相應(yīng)的英文名稱，以確保搜索的準(zhǔn)確性，但這對英語不好的人來說很不方便；

3. 雖然現(xiàn)有比價服務(wù)相對成熟，但大多數(shù)都只關(guān)注自己國家的商品。此外，他們無法滿足多語言搜索需求。這種比價引擎在跨境比價方面具有低適應(yīng)性，特別是對海淘。

為解決這些問題，需要一種能夠提供實時比價，支持中英文輸入和簡化操作過程的系統(tǒng)。以美中兩國Amazon購物網(wǎng)站比價為例，本文提出一種新型海淘購物比價引擎的設(shè)計方案，該系統(tǒng)由幾個核心功能組成：

1. 允許英語和中文輸入，甚至混合搜索輸入，并提供類別選項；

2. 按匹配度、價格或商品品牌排序，支持用戶過濾美國Amazon和中國Amazon的商品；

3. 向用戶展示每個商品的名稱、屬性、圖片、當(dāng)前和歷史價格等信息；

4. 定期插入和更新數(shù)據(jù)庫中的所有美國Amazon和中國Amazon商品信息，這有助于提取有用的歷史數(shù)據(jù)，以便進(jìn)行歷史價格比較。

1 方案設(shè)計

1.1 系統(tǒng)設(shè)計

系統(tǒng)流程由兩個過程組成，一個是接收用戶輸入并返回搜索結(jié)果，另一個是周期性過程，從數(shù)據(jù)庫中讀取用戶歷史記錄，并插入和更新數(shù)據(jù)庫中的信息。

1.1.1 系統(tǒng)流程圖

如圖1所示，左側(cè)是用戶搜索，負(fù)責(zé)與瀏覽器和用戶輸入交互；右側(cè)的數(shù)據(jù)更新是定期更新系統(tǒng)后臺的信息。

圖1 系統(tǒng)流程圖

1. 用戶搜索

· 接收用戶輸入

當(dāng)消費(fèi)者想要比較特定商品時，會輸入商品名稱、品牌或其他屬性用于搜索。瀏覽器搜索欄允許用戶輸入信息，用戶點擊搜索按鈕后，服務(wù)器將接收來自瀏覽器的用戶請求。

· 確定用戶輸入是否已存在于本地數(shù)據(jù)庫中

在接收到用戶輸入后，服務(wù)器將檢查本地數(shù)據(jù)庫是否包含此歷史搜索記錄。如果是，服務(wù)器向數(shù)據(jù)庫發(fā)送請求并等待信息返回；如果沒有，服務(wù)器將做實時信息爬取。

· 實時信息從兩個Amazon爬取

由于數(shù)據(jù)庫不包含相關(guān)的搜索輸入，服務(wù)器必須向兩個Amazon發(fā)送新的請求以抓取商品信息。該過程涉及DOM樹過濾不相關(guān)信息并提取商品信息的技術(shù)。

· 將新的用戶輸入和商品信息保存到數(shù)據(jù)庫

當(dāng)用戶輸入是新的時，服務(wù)器將該特定用戶輸入與從Amazon爬取到數(shù)據(jù)庫的相應(yīng)商品信息綁定。同時，Amazon中每個商品的初始排序也將保存。

· 從數(shù)據(jù)庫提取商品信息，并返回給用戶

如果數(shù)據(jù)庫包含用戶輸入，它將返回所有匹配的商品信息到服務(wù)器。然后服務(wù)器將這些信息插入到HTML模板并渲染一個頁面來向用戶顯示結(jié)果。

2. 數(shù)據(jù)更新

讀取保存在數(shù)據(jù)庫中的歷史用戶輸入

系統(tǒng)先讀取數(shù)據(jù)庫中包含的所有用戶搜索記錄的文檔列表。然后這些歷史數(shù)據(jù)將被視為搜索請求，分別發(fā)送給美中Amazon用于信息爬取。

· 從Amazon抓取新商品和現(xiàn)有商品的最新價格

根據(jù)歷史搜索記錄，服務(wù)器將從美國Amazon和中國Amazon遍歷信息。這個過程旨在獲得在Amazon銷售的新商品和保存在數(shù)據(jù)庫中的商品最新價格。

· 更新數(shù)據(jù)庫商品信息

現(xiàn)有商品和新商品的價格等信息將添加到數(shù)據(jù)庫中。

1.1.2 系統(tǒng)流程圖

如圖2所示，左側(cè)系統(tǒng)設(shè)計的整個框架取決于MVC架構(gòu)。M-Model，在價格引擎中，數(shù)據(jù)庫存儲可以被商品搜索模塊訪問的商品對象。V-View，結(jié)果反饋模塊包含渲染模板引擎。項目應(yīng)用EJS模板引擎做頁面呈現(xiàn)，它將數(shù)據(jù)和頁面模板作為輸入，然后生成HTML頁面，由瀏覽器再解析。C-Controller，路由控制器將根據(jù)用戶請求將過程引導(dǎo)到特定路由。

在框架的右邊是Web爬取模塊和信息提取模塊。Web爬取模塊負(fù)責(zé)從美國Amazon和中國Amazon抓取商品信息。之后，獲取的數(shù)據(jù)將被發(fā)送到信息提取模塊進(jìn)行信息過濾、提取和結(jié)構(gòu)化。最后，所有有用和處理過的信息被保存到數(shù)據(jù)庫中。

圖2 系統(tǒng)架構(gòu)圖

中間的是數(shù)據(jù)庫。一方面，當(dāng)用戶的輸入已經(jīng)記錄在數(shù)據(jù)庫中時，商品搜索模塊直接從數(shù)據(jù)庫中提取商品信息；另一方面，數(shù)據(jù)庫維護(hù)商品信息，更新的商品數(shù)據(jù)會被添加到數(shù)據(jù)庫中。存儲在數(shù)據(jù)庫中的數(shù)據(jù)類型為JSON。

助手組件幫助一些模塊實現(xiàn)特定功能，這也是價格引擎的新穎性之一。

1.2 系統(tǒng)模塊和組件

1.2.1 中英翻譯模塊

在美國Amazon，如果只輸入中文的一些品牌，美國Amazon能夠識別他們，但如果輸入更多的單詞，美國亞馬遜無法識別輸入。

如圖3進(jìn)行美國Amazon中文單詞識別測試。首先輸入全中文“華碩筆記本”，Amazon返回通知——您的搜索沒有匹配任何商品。然后輸入“華碩notebook”，美國Amazon成功完成搜索請求?？傊绹鳤mazon只能支持一些品牌翻譯，不能處理更長的句子翻譯。此外，用戶通常使用中文和英文的混合搜索，如“Samsung手機(jī)”、“蘋果MacBook Air”等，這對翻譯帶來了更多的挑戰(zhàn)。

為了提高搜索效果，本文采用的翻譯機(jī)制基本原理如下：

1. 從用戶輸入中分離中文和英文，并且僅對中文序列進(jìn)行中文分割，以便生成具有語義的分割單詞列表；[1]

2. 如果用戶的輸入包含專門的詞，則本地詞匯表將優(yōu)先翻譯它，如果單詞不匹配本地專用表中的任何信息，在線翻譯服務(wù)將接管并完成其余的翻譯工作；

3. 在完成整個輸入翻譯之后，處理后的用戶輸入將被發(fā)送以進(jìn)行搜索。[2]

圖3 美國Amazon中文識別測試

1.2.2 商品搜索模塊

· 商品排名優(yōu)化算法

出于商業(yè)利益考慮，當(dāng)用戶搜索一些特定的商品，一些不太相關(guān)的商品會被商家置頂。如圖4測試中輸入“HTC One S”，搜索結(jié)果顯示第三個商品“HTC One X”排在包含“HTC One S”關(guān)鍵字的第五和第六個商品之前。顯然這不符合消費(fèi)者的檢索目的。

圖4 商品排名測試

在這種情況下，基于美國Amazon的初始排名算法，本文嘗試設(shè)置匹配度作為排名索引。如果商品名稱包含用戶輸入，則索引將增加，反之亦然。

第一步，系統(tǒng)將過濾掉那些不相關(guān)的標(biāo)點符號，并根據(jù)特定的標(biāo)點符號分割整個用戶輸入。然后系統(tǒng)確定用戶輸入是否包括在一個商品名稱中。如圖5，e是一個商品的排名指數(shù)，searchingNameArr是已經(jīng)被分段的用戶輸入的數(shù)組，然后對于循環(huán)將做匹配確定。如果商品名稱包含用戶輸入的第i個單詞，則排名索引分配為0，否則e將減去某個數(shù)。

圖5 分段輸入的偽代碼和輸入存在的確定

第二步，系統(tǒng)將為用戶輸入中的每個分段字分配不同的權(quán)重。對于用戶輸入，單詞排名更高，則單詞將獲得更大的權(quán)重。例如，用戶的輸入是“三星Galaxy S7”，則“三星”可以獲得比“Galaxy” 更大的權(quán)重，等等。

圖6 將不同權(quán)重分配給不同輸入的偽代碼

第三步，系統(tǒng)確定每個分段輸入是否是商品名稱中的獨立詞。如果是，排名指數(shù)將增加（獨立意味著這個詞不被其他不相關(guān)的詞包裹或鏈接）。例如，用戶輸入中的“S”分割詞和“HTC ONE S320”是特定商品名稱。在這種情況下，“S”在商品名稱中不是獨立的，因為它后面跟著“320”，并且“ONE”、“HTC”是獨立詞。

更重要的是，用戶輸入有時存在于商品屬性中，所以需要額外做屬性和用戶輸入之間的匹配，這也影響最后的排名指數(shù)。

圖7 確定獨立詞的偽代碼

如果在中國Amazon，系統(tǒng)必須在第一步做中文分詞。其余的排名指數(shù)比較與美國Amazon的操作相同。

1.2.3 網(wǎng)站爬取模塊

網(wǎng)站傳輸由HTTP協(xié)議實現(xiàn)。瀏覽器將根據(jù)HTTP規(guī)定格式對請求進(jìn)行編碼，然后將其發(fā)送到服務(wù)器。接收請求后，服務(wù)器將根據(jù)相同的格式返回相應(yīng)的信息到瀏覽器。

在系統(tǒng)中，網(wǎng)站爬取模塊遍歷美國Amazon和中國Amazon的商品信息。通過分析Amazon網(wǎng)址請求，發(fā)現(xiàn)像http://www.amazon.cn/s/ref=nb_sb_noss? page=PageNumber&keywords=SearchName這樣的網(wǎng)址請求可以訪問Amazon中具有所需搜索名稱的特定網(wǎng)頁。如圖8所示，在瀏覽器中輸入http://www. amazon.cn/s/ref= nb_sb_noss?page=2&keywords=Samsung，Amazon將直接在第2頁中搜索“三星”。

因此，根據(jù)這個規(guī)則，從服務(wù)器發(fā)送特定URL的請求，系統(tǒng)可以在Amazon中廢棄無關(guān)商品信息。兩個函數(shù)requestUS()和requestCN()分別從美國Amazon和中國Amazon抓取商品列表。

圖8 請求Amazon搜索

在圖8中可以看出，請求Amazon搜索，商品頁面列表不包含商品屬性詳細(xì)信息。因此需要進(jìn)一步抓取屬性，即向Amazon服務(wù)器發(fā)送另一個URL請求，并獲取每個商品的詳細(xì)頁面。

通過分析，PC端Amazon在商品詳細(xì)信息頁面中有太多不相關(guān)的信息，而一些海淘應(yīng)用選擇爬取移動端Amazon頁面，會有較少不相關(guān)的屬性信息。本文借鑒此方法，通過Amazon移動網(wǎng)頁抓取商品詳細(xì)信息，如圖9。由于手機(jī)頁面渲染效果較差，也大大提高了系統(tǒng)抓取速度。

與壓縮軟件相同，網(wǎng)頁也采用壓縮技術(shù)來加速訪問速度。[3]在系統(tǒng)中，函數(shù)requestUS()和requestCN()中添加了支持gzip和deflate的代碼。與沒有壓縮編碼的設(shè)計相比，增加了數(shù)據(jù)爬取速度并提高了系統(tǒng)性能。

1.2.4 信息提取模塊

由于商品信息是結(jié)構(gòu)化數(shù)據(jù)，因此會在特定模板中顯示。為了獲得有用商品信息，應(yīng)提取商品模

板。HTML中描述的頁面可以轉(zhuǎn)換為DOM樹，以便于分析頁面結(jié)構(gòu)和進(jìn)行遍歷工作。由于美中兩國Amazon的DOM樹幾乎相同，以美國Amazon為例，圖10顯示了美國Amazon的商品列表模板。紅色框中的部分是商品列表的HTML代碼。15個商品信息通過紅色框中的HTML標(biāo)簽顯示，即表單標(biāo)簽至