孫乙博

（天津理工大學(xué)，天津 300384）

0 引言

隨著時(shí)代的發(fā)展，互聯(lián)網(wǎng)技術(shù)發(fā)展日新月異，數(shù)字化浪潮席卷而來(lái)，人們能夠接收到的信息量越來(lái)越大，種類越來(lái)越繁多，隨著云服務(wù)的出現(xiàn)，信息的存儲(chǔ)也更加方便、快捷。對(duì)于商業(yè)銀行來(lái)說(shuō)，需要保存很多數(shù)據(jù)到數(shù)據(jù)庫(kù)之中，而隨著數(shù)據(jù)量越來(lái)越大，數(shù)據(jù)分類越來(lái)越細(xì)化，銀行各項(xiàng)業(yè)務(wù)的自動(dòng)化實(shí)現(xiàn)逐漸成了商業(yè)銀行的一項(xiàng)主要需求。而自動(dòng)化一定離不開(kāi)RPA，RPA 一定離不開(kāi)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)。數(shù)據(jù)獲取，數(shù)據(jù)挖掘、數(shù)據(jù)清洗、數(shù)據(jù)分析等技術(shù)都離不開(kāi)網(wǎng)絡(luò)爬蟲(chóng)的支持，而這些技術(shù)恰恰是當(dāng)前商業(yè)銀行提升核心競(jìng)爭(zhēng)力的重要途徑之一。網(wǎng)絡(luò)爬蟲(chóng)技術(shù)與RPA 思發(fā)展為銀行獲取信息及有效整合應(yīng)用帶來(lái)了新一輪的變革。

1 網(wǎng)絡(luò)爬蟲(chóng)與RPA 簡(jiǎn)介

網(wǎng)絡(luò)爬蟲(chóng)（Web Crawler）指的是以任何技術(shù)手段批量地獲取數(shù)據(jù)。獲取數(shù)據(jù)需要按照一定的流程與規(guī)則，首先獲取目標(biāo)網(wǎng)頁(yè)的URL，再根據(jù)設(shè)定好的需求分析、提取頁(yè)面內(nèi)容；其次各大搜索引擎平臺(tái)就是目前應(yīng)用爬蟲(chóng)最為廣泛的例子——通過(guò)爬蟲(chóng)獲取各個(gè)URL 中相應(yīng)的網(wǎng)頁(yè)信息；之后在應(yīng)用時(shí)，主要起數(shù)據(jù)采集的作用，采用接口或暴力破解的方式解析網(wǎng)頁(yè)內(nèi)容以獲取目的資料，采集效率高，會(huì)對(duì)服務(wù)端后臺(tái)造成巨大負(fù)擔(dān)，也因此會(huì)出現(xiàn)反爬蟲(chóng)機(jī)制來(lái)禁止過(guò)多的爬蟲(chóng)。

可以把RPA（Robotic Process Automation，機(jī)器人流程自動(dòng)化）理解為一個(gè)“數(shù)字員工”或是“人工智能助手”，它可以模擬、代替員工來(lái)操控鼠標(biāo)和鍵盤(pán)，例如打開(kāi)應(yīng)用程序，復(fù)制信息，發(fā)送郵件等。對(duì)銀行業(yè)而言，RPA 技術(shù)代表了一種全新的、同時(shí)也是未充分利用的方式，它可以提高工作效率，同時(shí)最大限度地減少傳統(tǒng)的重復(fù)性、人工勞動(dòng)密集型的業(yè)務(wù)流程。因?yàn)樗暮诵氖恰澳M人”，所以它對(duì)系統(tǒng)施加的壓力也如一個(gè)人在系統(tǒng)上的正常操作一般，沒(méi)有多余負(fù)荷，不會(huì)對(duì)系統(tǒng)造成任何影響。

綜上，在銀行內(nèi)部業(yè)務(wù)系統(tǒng)應(yīng)用中，最好是將RPA 的思路與爬蟲(chóng)技術(shù)結(jié)合起來(lái)，借助Python 爬蟲(chóng)技術(shù)實(shí)現(xiàn)RPA “模擬人”的功能，從而既能完成RPA 的目標(biāo)——模擬人工操作獲取數(shù)據(jù)，提高采集效率與準(zhǔn)確性，又能將采集效率、操作頻率控制在一個(gè)合理的范圍內(nèi)，不至于觸發(fā)反爬蟲(chóng)機(jī)制或?qū)I(yè)務(wù)系統(tǒng)后臺(tái)造成過(guò)大的負(fù)擔(dān)。

2 爬蟲(chóng)技術(shù)與RPA 在銀行運(yùn)營(yíng)管理領(lǐng)域的應(yīng)用

如今，成熟的銀行機(jī)構(gòu)都會(huì)在內(nèi)部部署多個(gè)業(yè)務(wù)系統(tǒng)、管理系統(tǒng)，以實(shí)現(xiàn)業(yè)務(wù)、工作流程的數(shù)字化。然而遺憾的是，數(shù)字化的成功并沒(méi)能帶動(dòng)自動(dòng)化的實(shí)現(xiàn)，大多數(shù)銀行工作人員仍然必須每天往返于多個(gè)系統(tǒng)之間執(zhí)行大量的手動(dòng)工作，以獲取各項(xiàng)工作、交易用數(shù)據(jù)。在當(dāng)前銀行內(nèi)部的運(yùn)營(yíng)中，銀行數(shù)據(jù)來(lái)源主要以銀行各個(gè)業(yè)務(wù)系統(tǒng)及內(nèi)部審計(jì)系統(tǒng)的銀行內(nèi)部結(jié)構(gòu)化數(shù)據(jù)為主，其中可能包含每天的柜員業(yè)務(wù)量，VTM 業(yè)務(wù)量，ATM 業(yè)務(wù)量等運(yùn)營(yíng)績(jī)效數(shù)據(jù)；而對(duì)于銀行的運(yùn)營(yíng)部人員來(lái)說(shuō)，從這些結(jié)構(gòu)化的運(yùn)營(yíng)績(jī)效數(shù)據(jù)中分析、總結(jié)出用戶的需求、市場(chǎng)的趨勢(shì)等，就是工作的主要內(nèi)容。而在數(shù)據(jù)分析之前，首先需要獲取數(shù)據(jù)。因此，在一個(gè)銀行運(yùn)營(yíng)人員每天的工作流程中往往充斥著大量、重復(fù)、單調(diào)、枯燥的“低級(jí)”操作，這些操作不僅降低了工作效率，更消磨了員工的工作熱情。如何快速、有效地批量獲取銀行內(nèi)部業(yè)務(wù)系統(tǒng)的各項(xiàng)數(shù)據(jù)，進(jìn)而對(duì)數(shù)據(jù)進(jìn)行綜合分析，是大數(shù)據(jù)時(shí)代銀行內(nèi)部運(yùn)營(yíng)部門(mén)亟須解決的問(wèn)題。

為了解決這一問(wèn)題，銀行及其IT 部門(mén)正在努力將不同的原有IT 系統(tǒng)合并為一個(gè)連貫的工作流程，以方便員工的操作并提高效率。不過(guò)系統(tǒng)的集成耗費(fèi)的時(shí)間、涉及的成本以及最終的易用性都是阻礙銀行實(shí)現(xiàn)自動(dòng)化的絆腳石。

銀行內(nèi)部業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)的問(wèn)題關(guān)鍵在于煩瑣卻有序的步驟，而這恰恰是RPA 技術(shù)的最佳應(yīng)用環(huán)境——基于規(guī)則的流程，如果可以將其描述為一組詳細(xì)的邏輯步驟，則RPA 機(jī)器人可以輕松地做到這一點(diǎn)，從而大幅度節(jié)省人力資源。RPA的實(shí)現(xiàn)離不開(kāi)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，而在了解了RPA 的思路、目的后，借用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)及Python 語(yǔ)言，可以輕松地將一個(gè)RPA實(shí)現(xiàn)出來(lái)。以下用一個(gè)真實(shí)的項(xiàng)目案例來(lái)進(jìn)行分析。

首先分析相關(guān)頁(yè)面的主題特征，該頁(yè)面為銀行內(nèi)部業(yè)務(wù)系統(tǒng)的主頁(yè)，在其前端頁(yè)面上已經(jīng)完成了對(duì)數(shù)據(jù)的渲染及可視化，銀行內(nèi)部人員使用時(shí)可經(jīng)過(guò)一系列的選項(xiàng)后下載對(duì)應(yīng)日期、銀行各個(gè)方面的數(shù)據(jù)Excel 表格；因數(shù)據(jù)均由JavaScript 對(duì)頁(yè)面進(jìn)行動(dòng)態(tài)渲染獲得，且數(shù)據(jù)量非常龐大，難以進(jìn)行清洗及結(jié)構(gòu)化，不易使用Request、Beautiful Soup 等傳統(tǒng)的爬蟲(chóng)方式自動(dòng)進(jìn)行頁(yè)面分析及數(shù)據(jù)提取，且該需求對(duì)系統(tǒng)性能及并發(fā)能力要求不高，因此技術(shù)方面采用了模擬瀏覽器技術(shù)來(lái)模仿RPA批量、自動(dòng)地獲取數(shù)據(jù)。

確定技術(shù)使用后，則應(yīng)繼續(xù)按照RPA 的思路，確認(rèn)一個(gè)基于規(guī)則的流程單元，反映到該實(shí)際項(xiàng)目中來(lái)就是確定對(duì)應(yīng)數(shù)據(jù)的提取路徑，如：“運(yùn)營(yíng)狀況—運(yùn)營(yíng)業(yè)務(wù)量－柜員業(yè)務(wù)量 （折算后）—柜員業(yè)務(wù)量—查看詳細(xì)—選擇頻度—選擇日期—選擇機(jī)構(gòu)—選擇社區(qū)銀行—點(diǎn)擊搜索—Excel 下載”，后再根據(jù)路徑來(lái)確定元素定位及向?qū)?yīng)元素發(fā)送的需求事件。所用到的技術(shù)棧為Python 面向?qū)ο缶幊獭elenium 相關(guān)模塊應(yīng)用、Chrome、Xpath；圖1 為部分核心源代碼。

圖1 部分核心源代碼

另外，如果要實(shí)現(xiàn)真正的全自動(dòng)運(yùn)行，能夠每天自動(dòng)執(zhí)行以按天批量獲取所需數(shù)據(jù)，還需要完成自動(dòng)登錄事件，如果是從登錄頁(yè)面進(jìn)行登錄，則直接利用Selenium 獲取元素，發(fā)送對(duì)應(yīng)文本事件即可；而如果是直接訪問(wèn)對(duì)應(yīng)業(yè)務(wù)系統(tǒng)的話，則大概率需要進(jìn)行Nginx 權(quán)限認(rèn)證，此時(shí)因?yàn)槭菫g覽器的自動(dòng)彈窗，無(wú)法使用常規(guī)的Selenium 方法解決，完成自動(dòng)登錄；這時(shí)就需要將登錄用的賬號(hào)密碼添加到網(wǎng)址內(nèi)，以通過(guò)Nginx 權(quán)限認(rèn)證，添加格式如下：http://username:password@xxxxxxx.com。

但是直接將賬號(hào)密碼寫(xiě)在源代碼中，既不方便修改，也存在安全隱患，故將其寫(xiě)入Excel 表中，通過(guò)Pandas 庫(kù)來(lái)讀取，如圖2 所示。

圖2 Pandas 庫(kù)

通過(guò)以上編碼，即可實(shí)現(xiàn)一個(gè)全自動(dòng)、批量、準(zhǔn)確地獲取業(yè)務(wù)系統(tǒng)中整理好的Excel 表格數(shù)據(jù)的模擬瀏覽器爬蟲(chóng)，類似于一個(gè)功能單一的RPA。除獲取指定運(yùn)營(yíng)數(shù)據(jù)外，也可利用該爬蟲(chóng)獲取更加廣泛的信息，如員工崗位信息、輪崗信息等，可對(duì)各部門(mén)的運(yùn)營(yíng)調(diào)度工作提供基礎(chǔ)數(shù)據(jù)，大大提高工作效率。

3 RPA 技術(shù)與網(wǎng)絡(luò)爬蟲(chóng)的優(yōu)勢(shì)

RPA 與網(wǎng)絡(luò)爬蟲(chóng)技術(shù)之所以受到如此多的青睞，原因總結(jié)下來(lái)就一句：RPA 與爬蟲(chóng)技術(shù)在某些方面做得比人工更好、更快、更準(zhǔn)確。

RPA 與網(wǎng)絡(luò)爬蟲(chóng)通過(guò)在高頻率、可重復(fù)的任務(wù)中代替人力來(lái)降低運(yùn)營(yíng)成本，同時(shí)也減少了這些任務(wù)的處理時(shí)間。降低成本的估算因研究和使用案例而異，但降低50%以上并非不切實(shí)際。準(zhǔn)確性對(duì)各個(gè)行業(yè)來(lái)說(shuō)都很重要，但是對(duì)于金融服務(wù)行業(yè)這種高度管制、高風(fēng)險(xiǎn)高回報(bào)的行業(yè)，尤其是銀行來(lái)說(shuō)，確保準(zhǔn)確性更是業(yè)務(wù)中至關(guān)重要的一環(huán)。與可能錯(cuò)過(guò)某一步驟，改變步驟順序或是引入其他不同步驟的人工操作不同，RPA極其精確，不會(huì)有任何的偏差，只要是準(zhǔn)確的基于規(guī)則的流程，RPA 就會(huì)支持規(guī)則的一致運(yùn)用以及每次執(zhí)行都遵守設(shè)定好的規(guī)則流程。

RPA 與網(wǎng)絡(luò)爬蟲(chóng)在金融行業(yè)中還有一項(xiàng)重要的優(yōu)勢(shì)——合規(guī)，銀行中需要遵守的規(guī)則是如此之多，這對(duì)員工來(lái)說(shuō)是一項(xiàng)艱巨的任務(wù)，而只要能夠提前設(shè)定好對(duì)應(yīng)的規(guī)則，RPA 就能很好地幫助公司遵守規(guī)則。

4 總結(jié)與展望

在當(dāng)下的大數(shù)據(jù)時(shí)代，如何更好、更快地利用數(shù)據(jù)對(duì)業(yè)務(wù)進(jìn)行分析、審計(jì)、預(yù)測(cè)，是運(yùn)營(yíng)人員需要不斷思考的問(wèn)題，運(yùn)營(yíng)人員也需要把更多的時(shí)間和精力投入到這方面，而進(jìn)行分析的前提及首要條件就是獲取數(shù)據(jù)，“工欲善其事，必先利其器”，RPA 與爬蟲(chóng)技術(shù)就是這樣的一把“利器”。隨著數(shù)據(jù)量越來(lái)越大，種類越來(lái)越繁多，自動(dòng)化、批量化、準(zhǔn)確化一定是未來(lái)運(yùn)營(yíng)人員獲取數(shù)據(jù)的主要趨勢(shì)。而在這個(gè)趨勢(shì)下，RPA 不僅能自動(dòng)、高效、實(shí)時(shí)地提取需求數(shù)據(jù)，更能減少重復(fù)性工作，提高工作效率，降低錯(cuò)誤發(fā)生率，高效支撐運(yùn)營(yíng)管理工作，是運(yùn)營(yíng)管理工作向數(shù)字化、智能化發(fā)展的重要舉措，為“智慧運(yùn)營(yíng)＋”體系建設(shè)扎實(shí)推進(jìn)夯實(shí)基礎(chǔ)。RPA 技術(shù)使銀行業(yè)能夠以前所未有的方式整合業(yè)務(wù)流程的“最后一公里”，銀行業(yè)也將RPA 視為其新一輪變革的核心技術(shù)之一。不僅僅是RPA，爬蟲(chóng)技術(shù)也是如此，利用Python 語(yǔ)言包含的各種強(qiáng)大的函數(shù)庫(kù)，能夠輕松按照RPA 的思路來(lái)實(shí)現(xiàn)一個(gè)基于爬蟲(chóng)技術(shù)的簡(jiǎn)易R(shí)PA，大大降低了RPA 的開(kāi)發(fā)及使用門(mén)檻；RPA 思路的提供，爬蟲(chóng)技術(shù)的實(shí)現(xiàn)，兩者的成功結(jié)合將會(huì)為銀行業(yè)運(yùn)營(yíng)管理帶來(lái)全新的變化。

當(dāng)然，RPA 與爬蟲(chóng)技術(shù)僅能解決部分煩瑣的數(shù)據(jù)獲取問(wèn)題，而面對(duì)實(shí)際工作中更為復(fù)雜的運(yùn)營(yíng)管理任務(wù)，還需要更精細(xì)的數(shù)據(jù)分析并同時(shí)結(jié)合運(yùn)營(yíng)人員的專業(yè)知識(shí)及經(jīng)驗(yàn)，才能做出合理的選擇與判斷；同時(shí)，不局限于一方面的數(shù)據(jù)，如果能夠采集多方面的數(shù)據(jù)統(tǒng)一進(jìn)行專業(yè)、細(xì)致的分析，那么一定能夠更好地實(shí)現(xiàn)運(yùn)營(yíng)管理的職能。