王慶
摘 要 已經(jīng)來臨的大數(shù)據(jù)時代,將深刻影響中小商業(yè)銀行的未來發(fā)展,加之我國當(dāng)前正在深化以市場化為導(dǎo)向的金融改革,數(shù)據(jù)對金融行業(yè)發(fā)展的助推作用也在不斷深化。在金融大數(shù)據(jù)蓬勃發(fā)展的大背景下,商業(yè)銀行也面臨難得的發(fā)展機(jī)遇。如何抓住機(jī)遇,將銀行擁有的數(shù)據(jù)資源轉(zhuǎn)化為銀行發(fā)展的推進(jìn)器,更好地服務(wù)于金融地區(qū)民生,是擺在面前的緊迫課題。
關(guān)鍵詞 商業(yè)銀行 大數(shù)據(jù) 應(yīng)用創(chuàng)新
一、銀行大數(shù)據(jù)應(yīng)用的背景
大數(shù)據(jù)時代改變了人類的思維方式,變革了人類認(rèn)識世界的方式,提升了人類改造世界的能力,也給銀行的發(fā)展帶來了巨大的機(jī)遇和挑戰(zhàn)。
銀行大數(shù)據(jù)應(yīng)用可以理解為銀行對自身的業(yè)務(wù)類海量數(shù)據(jù)和銀行客戶的社會化海量數(shù)據(jù)實(shí)施高效低廉存儲、并行高速計算、深度靈活分析和持續(xù)創(chuàng)新應(yīng)用,并最終創(chuàng)造商業(yè)價值的過程。這里的價值可以包括銀行業(yè)務(wù)的商業(yè)模式創(chuàng)新、銀行經(jīng)營管理效率提升、銀行客戶商機(jī)挖掘和營銷、銀行客戶風(fēng)險評估優(yōu)化等各個方面,甚至可能涉及銀行進(jìn)行跨界的業(yè)務(wù)創(chuàng)新和市場競爭。[1]
我國商業(yè)銀行提供的服務(wù)和產(chǎn)品存在較大的同質(zhì)性,在金融大數(shù)據(jù)蓬勃發(fā)展的大背景下,互聯(lián)網(wǎng)金融和社交媒體的興起為銀行創(chuàng)造了全新的客戶接觸渠道,來自銀行網(wǎng)點(diǎn)、PC終端、移動終端的結(jié)構(gòu)化、非結(jié)構(gòu)化的海量數(shù)據(jù),為銀行創(chuàng)造了深化客戶挖掘、強(qiáng)化交叉銷售、加快產(chǎn)品創(chuàng)新的廣闊空間。[2]
另一方面在大數(shù)據(jù)時代,大數(shù)據(jù)將使銀行決策從經(jīng)驗(yàn)依賴向數(shù)據(jù)決策轉(zhuǎn)化,管理人員將在深入了解和把握銀行自身乃至市場狀況的基礎(chǔ)上,更加科學(xué)地評價經(jīng)營業(yè)績、評估業(yè)務(wù)風(fēng)險、配置全行資源,引導(dǎo)銀行業(yè)務(wù)科學(xué)健康發(fā)展。銀行業(yè)務(wù)人員依托行內(nèi)外海量數(shù)據(jù)的處理分析,實(shí)現(xiàn)客戶精細(xì)化管理,基于客戶大數(shù)據(jù)分析等,實(shí)現(xiàn)業(yè)務(wù)與IT融合、產(chǎn)品快速創(chuàng)新的目的。[3]
因此,銀行開展大數(shù)據(jù)應(yīng)用探索已是適應(yīng)移動互聯(lián)網(wǎng)時代、迎接互聯(lián)網(wǎng)金融挑戰(zhàn)的必然要求。運(yùn)用大數(shù)據(jù)思維對傳統(tǒng)銀行進(jìn)行改造,實(shí)現(xiàn)經(jīng)營服務(wù)轉(zhuǎn)型,這也是傳統(tǒng)銀行煥發(fā)生機(jī)、獲得生存與發(fā)展的必由之路。[4]
二、搭建大數(shù)據(jù)平臺,增強(qiáng)銀行數(shù)據(jù)管理分析能力
大數(shù)據(jù)最主要的特征是超常規(guī)的數(shù)據(jù)庫及軟硬件環(huán)境。超常規(guī)數(shù)據(jù)和軟硬件環(huán)境是指分布式處理(Distributed Processing),列式存儲(Column Oriented Database),內(nèi)存計算(In Memory Computing)和非關(guān)系型數(shù)據(jù)庫(NoSQL)等各種新技術(shù)來代替?zhèn)鹘y(tǒng)數(shù)據(jù)處理方法。由于數(shù)據(jù)規(guī)模的爆發(fā)性增長,傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)無法有效地處理海量的數(shù)據(jù),因此唯有借用超常規(guī)的技術(shù)才能實(shí)現(xiàn)數(shù)據(jù)的快速化。多樣化數(shù)據(jù)是指多數(shù)據(jù)來源,多數(shù)據(jù)類型和正確與錯誤數(shù)據(jù)的混合。綜上所述,擁有大量數(shù)據(jù)并非大數(shù)據(jù)的全部,大數(shù)據(jù)關(guān)鍵是指為了應(yīng)對海量的數(shù)據(jù),采用各種超常規(guī)技術(shù)快速有效地處理數(shù)據(jù)的各個環(huán)節(jié)——搜集、存儲、分析和應(yīng)用。
互聯(lián)網(wǎng)普及和大數(shù)據(jù)技術(shù)的發(fā)展讓數(shù)據(jù)的獲取方式更加豐富和便捷,這是大數(shù)據(jù)平臺的基礎(chǔ)。銀行作為經(jīng)濟(jì)領(lǐng)域中的交易中介,每天都會產(chǎn)生大量的數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù),比如交易渠道和門戶網(wǎng)站的地理位置信息、日志信息等。收集行內(nèi)數(shù)據(jù)是大數(shù)據(jù)搜集的第一步,收集行內(nèi)的客戶海量數(shù)據(jù)并不難,但是光采集到自己這一環(huán)的數(shù)據(jù)還不夠,銀行需要整合行內(nèi)與行外的數(shù)據(jù),增強(qiáng)捕獲和搜集行外數(shù)據(jù)的能力。比如與第三方平臺以及企業(yè)合作、提供小微企業(yè)云服務(wù)平臺、互聯(lián)網(wǎng)信息爬蟲抓取信息等方式,通過這些合作與開放式的方式能夠獲取更加全面的數(shù)據(jù)和信息,對數(shù)據(jù)整體的分析和處理幫助越大,這些外部數(shù)據(jù)和銀行內(nèi)部數(shù)據(jù)的結(jié)合給銀行帶來更立體的畫面。
在獲取和收集行內(nèi)行外的海量數(shù)據(jù)后,大數(shù)據(jù)平臺需要合理地存儲與組織各種數(shù)據(jù)源數(shù)據(jù),不適合的數(shù)據(jù)存儲方式及不合理的數(shù)據(jù)存儲策略都會增加存儲成本,降低數(shù)據(jù)利用與分析性能。傳統(tǒng)的集中式存儲策略無法提供良好的I/O訪問效率,也無法適應(yīng)海量數(shù)據(jù)的急速擴(kuò)張。因此采用目前比較前沿的Hadoop開源架構(gòu)構(gòu)建大數(shù)據(jù)平臺,實(shí)現(xiàn)海量數(shù)據(jù)分布式存儲策略。另一方面,大數(shù)據(jù)平臺需要支持高效的計算方法來管理海量數(shù)據(jù),例如分布式計算、SPARK內(nèi)存計算等,大數(shù)據(jù)平臺的高性能計算利用分布式計算架構(gòu)來管理和分析大數(shù)據(jù),利用高性能、可擴(kuò)展性的開放平臺為銀行的大數(shù)據(jù)提供技術(shù)支撐。[5]
商業(yè)銀行大數(shù)據(jù)平臺系統(tǒng)結(jié)合數(shù)據(jù)倉庫建設(shè),建立統(tǒng)一的數(shù)據(jù)處理分析平臺,數(shù)據(jù)倉庫和大數(shù)據(jù)平臺之間為相互補(bǔ)充的關(guān)系(見圖1)。通過增加業(yè)界主流的大數(shù)據(jù)處理平臺Hadoop,提升數(shù)據(jù)平臺在海量數(shù)據(jù)的計算和查詢能力以及非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲和計算能力,實(shí)現(xiàn)業(yè)務(wù)與IT融合、產(chǎn)品快速創(chuàng)新的目的。大數(shù)據(jù)平臺以海量數(shù)據(jù)的應(yīng)用基礎(chǔ)平臺為目標(biāo)定位,管理分析行內(nèi)歷史數(shù)據(jù),對接第三方等行外數(shù)據(jù),融合交易數(shù)據(jù)與行外數(shù)據(jù),在促進(jìn)營銷、風(fēng)險管控、降低成本上發(fā)揮大數(shù)據(jù)的特點(diǎn)和優(yōu)勢,更好地服務(wù)于銀行客戶,更好地服務(wù)民生,承擔(dān)起服務(wù)商業(yè)地方經(jīng)濟(jì)的主要責(zé)任,為商業(yè)銀行創(chuàng)造先發(fā)競爭優(yōu)勢。
大數(shù)據(jù)平臺的數(shù)據(jù)獲取層通過行內(nèi)ETL采集調(diào)度平臺獲取源系統(tǒng)數(shù)據(jù),通過網(wǎng)絡(luò)爬蟲、文件傳輸?shù)确绞将@取互聯(lián)網(wǎng)、第三方平臺的數(shù)據(jù)。在數(shù)據(jù)層,Hadoop平臺作為數(shù)據(jù)倉庫的有效補(bǔ)充,負(fù)責(zé)歷史數(shù)據(jù)存儲與查詢,提供并行的計算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力,實(shí)現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢計算能力。大數(shù)據(jù)平臺主要采用信息價值挖掘、用戶行為分析、語義識別、實(shí)時計算分析等技術(shù)手段,發(fā)現(xiàn)隱藏在海量數(shù)據(jù)背后的知識和規(guī)律。在應(yīng)用層通過海量數(shù)據(jù)可視化、數(shù)據(jù)庫服務(wù)和云計算等手段為用戶提供調(diào)用接口和操作界面。大數(shù)據(jù)平臺的主要建設(shè)目標(biāo)是通過構(gòu)建大數(shù)據(jù)處理框架,對銀行的行內(nèi)歷史數(shù)據(jù)及行外非結(jié)構(gòu)化數(shù)據(jù)信息進(jìn)行統(tǒng)一管理和利用,使數(shù)據(jù)信息產(chǎn)生最大化價值,為業(yè)務(wù)發(fā)展提供數(shù)據(jù)挖掘、數(shù)據(jù)分析、統(tǒng)一檢索、信息定制等綜合信息服務(wù),如及時推送行業(yè)情報分析、輿情分析、客戶輿情監(jiān)測分析等信息,為管理人員提供決策支持;對接行外數(shù)據(jù),提供客戶全維度的數(shù)據(jù)分析,為客戶市場、精準(zhǔn)營銷、客戶服務(wù)、風(fēng)險控制等應(yīng)用提供數(shù)據(jù)分析服務(wù);通過統(tǒng)一數(shù)據(jù)共享平臺,實(shí)現(xiàn)全行數(shù)據(jù)信息的集成與共享;通過報表、郵件、專題分析等形式為銀行業(yè)務(wù)人員及重要客戶定期提供可定制的、高附加值、專業(yè)化的信息增值服務(wù)。endprint
最后,大數(shù)據(jù)平臺作為數(shù)據(jù)基礎(chǔ)平臺,數(shù)據(jù)質(zhì)量高低直接影響數(shù)據(jù)處理的成敗,在大數(shù)據(jù)應(yīng)用中,數(shù)據(jù)來源更廣,因而數(shù)據(jù)質(zhì)量問題也更為重要。數(shù)據(jù)清洗技術(shù)可以提升數(shù)據(jù)質(zhì)量,但無法完全解決數(shù)據(jù)質(zhì)量問題,因此大數(shù)據(jù)平臺在配合行內(nèi)數(shù)據(jù)治理的過程中,通過流程、管理和技術(shù)手段保證數(shù)據(jù)質(zhì)量,比如建立數(shù)據(jù)集成與整合的框架,數(shù)據(jù)在獲取層以及數(shù)據(jù)層,通過對不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合、驗(yàn)證,保證數(shù)據(jù)的準(zhǔn)確性和唯一性,并且通過應(yīng)用層上的實(shí)際應(yīng)用反饋調(diào)整數(shù)據(jù)的整合策略。數(shù)據(jù)質(zhì)量管理是一個綜合的治理過程,不能只通過簡單的技術(shù)手段解決,需要從銀行整體的高度加以重視,才能在大數(shù)據(jù)世界里博采眾長,搶占先機(jī)。
三、銀行大數(shù)據(jù)應(yīng)用的實(shí)施方法建議
按照業(yè)界內(nèi)的經(jīng)驗(yàn),銀行大數(shù)據(jù)應(yīng)用的實(shí)施需要循序漸進(jìn)、內(nèi)修外和地開展。循序漸進(jìn)是指當(dāng)前大數(shù)據(jù)技術(shù)在銀行業(yè)的應(yīng)用尚未完全成熟,各家銀行都在邊探索邊實(shí)施,力爭搶得先機(jī);“內(nèi)修”是指加強(qiáng)銀行自身硬件和軟件的建設(shè),提高數(shù)據(jù)建模和數(shù)據(jù)分析能力;“外和”是指與監(jiān)管機(jī)構(gòu)、金融合作平臺、互聯(lián)網(wǎng)電商企業(yè)以及學(xué)校等方面加強(qiáng)應(yīng)用合作和研究合作。因此大數(shù)據(jù)平臺的建設(shè)遵循分步驟實(shí)施,在搭建自主可控的大數(shù)據(jù)基礎(chǔ)平臺的前提下,探索和實(shí)施大數(shù)據(jù)平臺在銀行的應(yīng)用,有重點(diǎn)、有突破地進(jìn)行應(yīng)用開發(fā)落地。
(一)加強(qiáng)大數(shù)據(jù)思維的轉(zhuǎn)變
近年來,大數(shù)據(jù)技術(shù)的快速發(fā)展深刻改變了我們的生活、工作和思維方式。大數(shù)據(jù)研究專家舍恩伯格指出,大數(shù)據(jù)時代,人們對待數(shù)據(jù)的思維方式會發(fā)生如下三個變化:第一,人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù);第二,由于是全樣本數(shù)據(jù),人們不得不接受數(shù)據(jù)的混雜性,而放棄對精確性的追求;第三,人類通過對大數(shù)據(jù)的處理,放棄對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系。傳統(tǒng)的銀行數(shù)據(jù)服務(wù)偏重于滿足內(nèi)部經(jīng)營管理需求的“內(nèi)向型”的應(yīng)用,隨著互聯(lián)網(wǎng)金融的蓬勃發(fā)展,銀行的業(yè)務(wù)和技術(shù)人員必須建立互聯(lián)網(wǎng)思維和大數(shù)據(jù)思維,擴(kuò)展數(shù)據(jù)的使用范圍,將更多的資源投向“外向型”的客戶分析,以洞察客戶需求,快速響應(yīng)客戶需求,實(shí)現(xiàn)以數(shù)據(jù)驅(qū)動業(yè)務(wù)轉(zhuǎn)型和持續(xù)改善客戶體驗(yàn)。另一方面,在大數(shù)據(jù)背景下的銀行信息化建設(shè)具有業(yè)務(wù)集中、技術(shù)整合、信息共享和數(shù)據(jù)挖掘等突出特點(diǎn),更強(qiáng)調(diào)運(yùn)用大數(shù)據(jù)技術(shù)挖掘信息價值。因此,需要培養(yǎng)和建設(shè)一支集數(shù)據(jù)分析、業(yè)務(wù)、技術(shù)綜合素質(zhì)于一體的專業(yè)人才隊(duì)伍,將數(shù)據(jù)轉(zhuǎn)化為知識,將信息資源優(yōu)勢轉(zhuǎn)化為市場競爭優(yōu)勢。
(二)積極探索大數(shù)據(jù)應(yīng)用創(chuàng)新,迭代優(yōu)化
在信息技術(shù)快速發(fā)展的今天,銀行需要積極學(xué)習(xí)新興技術(shù),不斷地探索實(shí)踐業(yè)務(wù)與應(yīng)用的創(chuàng)新,不斷地對現(xiàn)有的數(shù)據(jù)應(yīng)用進(jìn)行迭代優(yōu)化。目前,商業(yè)銀行大數(shù)據(jù)課題組已嘗試探索利用互聯(lián)網(wǎng)爬蟲、地理位置信息技術(shù)和非結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)在實(shí)際業(yè)務(wù)領(lǐng)域的實(shí)驗(yàn)應(yīng)用,積累了一定的經(jīng)驗(yàn)。
利用爬蟲技術(shù),在社交網(wǎng)站、微博、搜索引擎、新聞網(wǎng)站以及寒山聞鐘等本地論壇上的信息抓取和收集,分析客戶的網(wǎng)絡(luò)輿情信息,通過語義分析監(jiān)測客戶輿情情況,通過與行內(nèi)客戶數(shù)據(jù)的整合,展現(xiàn)客戶的外部輿情情況,給信貸業(yè)務(wù)人員提供貸前及貸中后的決策提供支持;利用地理位置信息技術(shù),獲取行內(nèi)客戶位置信息,通過熱力圖等形式展現(xiàn)客戶的地理分布情況,結(jié)合網(wǎng)絡(luò)爬蟲抓取客戶小區(qū)及房價信息,更加準(zhǔn)確地對客戶進(jìn)行挖掘分類,判別客戶的層次及需求,實(shí)現(xiàn)精準(zhǔn)營銷;在非結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)利用上,采集網(wǎng)銀和手機(jī)銀行的應(yīng)用和服務(wù)器日志,對日志文件進(jìn)行挖掘分析,通過非結(jié)構(gòu)化的數(shù)據(jù)分析發(fā)現(xiàn)客戶在網(wǎng)銀及手機(jī)App上的訪問路徑,發(fā)現(xiàn)客戶的行為習(xí)慣及關(guān)注興趣內(nèi)容,通過這些數(shù)據(jù)的挖掘分析幫助業(yè)務(wù)部門了解客戶的關(guān)注重點(diǎn),重點(diǎn)客戶的需求類別,通過這些結(jié)果適時調(diào)整網(wǎng)站及App應(yīng)用的布局,提升客戶體驗(yàn),進(jìn)一步增加客戶黏性。
銀行業(yè)務(wù)部門應(yīng)與科技開發(fā)人員共同配合,研究利用內(nèi)外部數(shù)據(jù)通過數(shù)據(jù)分析和數(shù)據(jù)挖掘,推動銀行的業(yè)務(wù)產(chǎn)品創(chuàng)新、客戶營銷設(shè)計、客戶風(fēng)險管理等大數(shù)據(jù)支撐的應(yīng)用探索工作,其中每個領(lǐng)域的大數(shù)據(jù)應(yīng)用都是一個需要長期研究的重大課題,都涉及如何利用更廣泛的數(shù)據(jù)資源、采用更合理的數(shù)理統(tǒng)計分析方法、建設(shè)更穩(wěn)定可靠的業(yè)務(wù)模型,并通過系統(tǒng)固化、數(shù)據(jù)更新、模型評估以及配套制度的落實(shí),確保該大數(shù)據(jù)應(yīng)用在銀行內(nèi)部實(shí)現(xiàn)最深入、最廣泛的應(yīng)用,發(fā)揮大數(shù)據(jù)應(yīng)用對銀行最大化的價值效益。
(三)逐步健全銀行客戶全景分析視圖
依據(jù)互聯(lián)網(wǎng)及小微云平臺、電商等第三方外部數(shù)據(jù),并結(jié)合內(nèi)部客戶交易、賬戶等業(yè)務(wù)數(shù)據(jù),采用機(jī)器學(xué)習(xí)、特征判斷等數(shù)據(jù)分析方法進(jìn)行數(shù)據(jù)分析,補(bǔ)充健全客戶全景視圖,為業(yè)務(wù)部門提供營銷決策支持和風(fēng)險評估??蛻羧耙晥D需要一個長期不斷建設(shè)、迭代優(yōu)化的過程,在規(guī)劃中可以以客戶需求為主線,通過客戶細(xì)分與客戶標(biāo)簽的形式完善客戶全景視圖。比如從客戶基本信息維度、偏好信息維度,涵蓋對銀行金融產(chǎn)品、服務(wù)和業(yè)務(wù)偏好,交易渠道和設(shè)備偏好,營銷活動偏好,興趣愛好、活躍路徑和空間等,融合客戶銀行業(yè)務(wù)交易、互聯(lián)網(wǎng)交易和行為等,通過這些維度的分析和挖掘,挖掘篩選營銷目標(biāo)客戶,實(shí)現(xiàn)精準(zhǔn)營銷。以客戶大數(shù)據(jù)分析為基礎(chǔ),分析客戶信用狀況及欺詐風(fēng)險,實(shí)時評估客戶授信額度及監(jiān)測客戶欺詐風(fēng)險,包括客戶信用、逾期概率預(yù)測、風(fēng)險評估、貸款額度評分等信息。
客戶全景視圖作為銀行大數(shù)據(jù)平臺應(yīng)用探索與實(shí)踐的信息基礎(chǔ),通過收集和分析客戶相關(guān)數(shù)據(jù),實(shí)現(xiàn)對客戶信息完整、一致展現(xiàn)的客戶信息模型。通過客戶全景視圖分析全面認(rèn)識和認(rèn)知客戶,促進(jìn)銀行業(yè)務(wù)部門人員加深對客戶需求的理解,進(jìn)而實(shí)現(xiàn)精細(xì)化管理、精確營銷和精準(zhǔn)服務(wù),提高客戶滿意度與忠誠度。因此,構(gòu)建客戶全景視圖,是大數(shù)據(jù)平臺發(fā)揮威力、增強(qiáng)業(yè)務(wù)價值的基礎(chǔ)與核心。
四、結(jié)語
大數(shù)據(jù)的方興未艾給金融行業(yè)帶來了生機(jī)的同時,也使傳統(tǒng)金融機(jī)構(gòu)面臨著前所未有的挑戰(zhàn)。銀行正在以搭建大數(shù)據(jù)平臺和探索實(shí)踐大數(shù)據(jù)銀行應(yīng)用的方式應(yīng)對大數(shù)據(jù)和互聯(lián)網(wǎng)金融的浪潮。銀行需要提升對大數(shù)據(jù)的認(rèn)識,加強(qiáng)自身產(chǎn)品創(chuàng)新和對大數(shù)據(jù)的分析能力,實(shí)現(xiàn)業(yè)務(wù)與IT融合和產(chǎn)品快速創(chuàng)新,在促進(jìn)營銷、風(fēng)險管控、降低成本上發(fā)揮大數(shù)據(jù)的特點(diǎn)和優(yōu)勢,以客戶為中心,更好地服務(wù)于客戶,服務(wù)民生,為銀行創(chuàng)造先發(fā)競爭優(yōu)勢。
(作者單位為蘇州國際發(fā)展集團(tuán))
參考文獻(xiàn)
[1] 婁飛鵬.商業(yè)銀行應(yīng)用大數(shù)據(jù)優(yōu)化經(jīng)營管理策略研究[J].南方金融,2014
(5):92-95.
[2] 方方.“大數(shù)據(jù)”趨勢下商業(yè)銀行應(yīng)對策略研究[J].新金融,2012(12):25-28.
[3] 劉靜如.大數(shù)據(jù):金融企業(yè)的盾與劍——淺談風(fēng)險管理與消費(fèi)智能[J].中國金融電腦,2012(09):83.
[4] 李卓霖.大數(shù)據(jù)時代銀行應(yīng)對互聯(lián)網(wǎng)金融沖擊的轉(zhuǎn)型方式研究[J].時代金融旬刊,2017(6):82+86.
[5] 李小慶,陳權(quán).構(gòu)建面向大數(shù)據(jù)的銀行數(shù)據(jù)挖掘平臺[J].金融科技時代,2017(03):16-21.endprint