逆水行舟

近日，由亞馬遜（AWS）聯(lián)合Morketing舉辦的“云計(jì)算撬動(dòng)的數(shù)字營銷”高端沙龍?jiān)诒本┦⒋笳匍_，現(xiàn)場(chǎng)匯集了40多位數(shù)字廣告行業(yè)的CTO進(jìn)行思想碰撞。作為AWS首席云計(jì)算技術(shù)顧問的費(fèi)良宏現(xiàn)場(chǎng)做了關(guān)于《亞馬遜與數(shù)字廣告》的主題演講，分享了廣告行業(yè)里企業(yè)應(yīng)用AWS的成功案例、對(duì)大數(shù)據(jù)再思考以及對(duì)技術(shù)的思考和實(shí)踐。

有一個(gè)說法，在互聯(lián)網(wǎng)發(fā)展的幾十年里，只有廣告和游戲?qū)儆谫嵈箦X的行業(yè)。數(shù)據(jù)顯示，廣告產(chǎn)業(yè)的確是一個(gè)巨大的市場(chǎng)。2016年，全球廣告市場(chǎng)總支出達(dá)到4，070億美元，這個(gè)規(guī)模里超過一半多是數(shù)字化廣告，份額高達(dá)2，100億美元，而且增長(zhǎng)的勢(shì)頭極好。

根據(jù)ZenithOptimedia的報(bào)告顯示，傳統(tǒng)的廣告媒體的份額在逐年下降，新興數(shù)字廣告的媒體增長(zhǎng)速度明顯增幅。過去一年全球移動(dòng)廣告增幅超過了35%，視頻廣告的增幅高達(dá)40%，F(xiàn)acehook的廣告收入的增長(zhǎng)也達(dá)到了27%，數(shù)字廣告在各個(gè)方面都呈現(xiàn)快速增長(zhǎng)的態(tài)勢(shì)。

針對(duì)數(shù)字廣告行業(yè)，我們可以通過一個(gè)簡(jiǎn)單的價(jià)值鏈來理清這個(gè)產(chǎn)業(yè)的脈絡(luò)。圖2涵蓋了市場(chǎng)和媒體之間的數(shù)字廣告的價(jià)值鏈。這里面包括了像Razorfish這樣的廣告代理機(jī)構(gòu)，DataXu這樣的廣告需求端平臺(tái)；在廣告發(fā)布方面，我們看到了發(fā)行解決方案提供商或供應(yīng)方平臺(tái)如Fiksu和Zedo等。

同樣在這樣一個(gè)生態(tài)鏈里，有很多中國的企業(yè)都利用AWS成就了他們的成長(zhǎng)。利用AWS的成功經(jīng)驗(yàn)，幫助中國企業(yè)如何立足于本地，嘗試用新的技術(shù)解構(gòu)遇到實(shí)際的困難，幫助企業(yè)成功。

一效率與規(guī)模

目前，移動(dòng)、視頻和數(shù)據(jù)這三大要素是數(shù)字廣告技術(shù)中的關(guān)鍵。此外，跨渠道的屬性和真正的受眾識(shí)別的能力也是能提升收入并決定企業(yè)在市場(chǎng)中成功的關(guān)鍵。

AWS提供的是基礎(chǔ)的云計(jì)算服務(wù)。在基礎(chǔ)設(shè)施之上的數(shù)字廣告從市場(chǎng)到媒體的所有企業(yè)，都是AWS的服務(wù)對(duì)象。隨著市場(chǎng)的發(fā)展，新的需求也會(huì)不斷地涌現(xiàn)，云計(jì)算提供的服務(wù)也將得到進(jìn)一步拓展。

目前的市場(chǎng)上有很多廣告企業(yè)借助AWS的技術(shù)、產(chǎn)品和服務(wù)取得了成功。全球第三大的廣告與傳播集團(tuán)陽獅集團(tuán)（ Puhlicis Groupe），也是其中之一。他們總結(jié)使用云計(jì)算的心得就是：效率很重要，但能力更為重要。

對(duì)于初創(chuàng)企業(yè)公司，比如美國這家專注于視頻市場(chǎng)的BrightRoll就認(rèn)為AWS無論成本、效益、滿足需求方面都是創(chuàng)業(yè)公司的完美基礎(chǔ)設(shè)施和技術(shù)服務(wù)的提供者。

AWS對(duì)于數(shù)字廣告市場(chǎng)的目標(biāo)就是幫助這個(gè)行業(yè)的參與者能夠以適當(dāng)?shù)膬r(jià)格在正確的時(shí)間將正確的信息送達(dá)正確的受眾。程序化的購買提供了新的機(jī)遇，它對(duì)于技術(shù)有了新的要求。利用技術(shù)手段，例如利用NoSQL的數(shù)據(jù)庫實(shí)現(xiàn)100多億條數(shù)據(jù)的管理；利用新的數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)對(duì)于用戶行為的洞察力。

一個(gè)令人驚嘆的關(guān)于成長(zhǎng)和成功的例子是一家來自美國加州的名為AdRoll企業(yè)。這是一家重定向廣告（ Retargeting）服務(wù)的技術(shù)公司，提供了基于用戶瀏覽記錄等信息，為廣告主提供幾乎瞬時(shí)的廣告位購買服務(wù)。伴隨著廣告業(yè)的發(fā)展，其在2012年的增長(zhǎng)率達(dá)150%。但是，為了有效地服務(wù)于廣告，AdRoll需要能夠靈活快速地增加容量，在極快的響應(yīng)時(shí)間內(nèi)實(shí)時(shí)中標(biāo)，并通過自動(dòng)化確保系統(tǒng)迅速響應(yīng)競(jìng)價(jià)。他們面向全球100多個(gè)國家龐大的群體提供服務(wù)，成本是非常重要的，在超過2，500臺(tái)服務(wù)器上運(yùn)行RTB平臺(tái)，運(yùn)行時(shí)間每天大約8小時(shí)，但是每臺(tái)機(jī)器每天花費(fèi)不到0.05美元。這中間，AWS起到了關(guān)鍵的作用。

在這個(gè)數(shù)據(jù)平臺(tái)上，如何將之前數(shù)據(jù)處理的延遲由分鐘級(jí)降到秒級(jí)，就是利用了Amazon Kinesis為代表的流處理技術(shù)，解決了大量數(shù)據(jù)處理壓力的效率的難題。相信這樣的架構(gòu)對(duì)大家、對(duì)于更好的架構(gòu)設(shè)計(jì)都會(huì)有一些啟發(fā)。

二、成本、實(shí)時(shí)競(jìng)價(jià)與全球化

如何以更低的成本滿足更高的處理的需要。許多人抱怨AWS的云計(jì)算服務(wù)報(bào)價(jià)復(fù)雜、計(jì)價(jià)也比較復(fù)雜，這實(shí)際上也給予每個(gè)云計(jì)算的使用者成本優(yōu)化的能力。例如，可以通過向上或向下的擴(kuò)展能力實(shí)現(xiàn)真正的彈性。此外這種彈性的能力可以通過SDK、腳本等實(shí)現(xiàn)自動(dòng)化的處理。

這里想特別強(qiáng)調(diào)的是AWS的競(jìng)價(jià)型實(shí)例（SpotInstance）。這種服務(wù)提供了一種通過競(jìng)價(jià)的方式得到低于市場(chǎng)價(jià)格的計(jì)算資源。許多時(shí)候，這個(gè)價(jià)格低于正常市場(chǎng)價(jià)格的30%。大家也許會(huì)擔(dān)心這種模式對(duì)于數(shù)字廣告行業(yè)是否有效，我們就先看—下有沒有人做這樣的嘗試。

Netseer這家公司提供基于概念的廣告解決方案，將搜索查詢和網(wǎng)頁內(nèi)容與廣告客戶和發(fā)布商的相關(guān)廣告相匹配。每天的處理請(qǐng)求高達(dá)soo億次，對(duì)他們來說計(jì)算成本壓力非常大。于是他們的選擇成本方法就是競(jìng)價(jià)型實(shí)例。按照他們的說法“使用AmazonEC2 Spot Fleet實(shí)例，我們的投標(biāo)成本是可以預(yù)測(cè)的?！庇腥藭?huì)擔(dān)心競(jìng)價(jià)型實(shí)例會(huì)有不方便的地方？許多的實(shí)踐證明，可以選擇通過自動(dòng)化的方法實(shí)現(xiàn)資源的管理，尤其是將日志管理能力結(jié)合在一起，可以動(dòng)態(tài)的去決定申請(qǐng)一個(gè)新的競(jìng)價(jià)實(shí)例。這樣的方式更大程度上兼顧了計(jì)算能力和計(jì)算成本。

對(duì)于第一次接觸AWS的人來說有必要解釋—下所謂的“區(qū)域”和“可用區(qū)”的概念。“區(qū)域”是指全球范圍內(nèi)的某個(gè)物理節(jié)點(diǎn)，每個(gè)“區(qū)域”由多個(gè)“可用區(qū)”組成?！翱捎脜^(qū)”由一個(gè)或多個(gè)分散的數(shù)據(jù)中心組成，每個(gè)都擁有獨(dú)立的配套設(shè)施，其中包括冗余電源、聯(lián)網(wǎng)和連接?？捎脜^(qū)能夠提高生產(chǎn)應(yīng)用程序和數(shù)據(jù)庫的運(yùn)行效率，使其具備比單個(gè)數(shù)據(jù)中心更強(qiáng)的可用性、容錯(cuò)能力以及可擴(kuò)展性。AWS云在全球16個(gè)地理區(qū)域內(nèi)運(yùn)營著42個(gè)可用區(qū)。接下來還將會(huì)新增三個(gè)新的區(qū)域，這三個(gè)區(qū)域?yàn)橹袊鴮幭?、法國巴黎和瑞典斯德哥爾摩。這個(gè)基礎(chǔ)設(shè)施足以支持?jǐn)?shù)字廣告企業(yè)實(shí)現(xiàn)全球化的業(yè)務(wù)覆蓋。

如何有效地利用AWS的云計(jì)算資源幫助企業(yè)實(shí)現(xiàn)全球化是一個(gè)很有意義的話題。一家名為BrightRoll的故事提供了很好的參考。BrightRoll的業(yè)務(wù)針對(duì)視頻的Ad Exchange。它提供了一個(gè)獨(dú)立的、統(tǒng)一的視頻廣告平臺(tái)，可在網(wǎng)絡(luò)，移動(dòng)設(shè)備和連接的電視機(jī)上提供數(shù)字視頻廣告。這樣一家創(chuàng)業(yè)型企業(yè)面臨的壓力是每天要處理海量的廣告請(qǐng)求，于是他們嘗試?yán)肁WS實(shí)現(xiàn)了每天處理300億條廣告數(shù)據(jù)，每個(gè)月投放30條視頻廣告的業(yè)務(wù)。endprint

而另一家名為Eyeota的企業(yè)提供的DMP平臺(tái)遇到問題是業(yè)務(wù)規(guī)模非常龐大，合作的媒體數(shù)量有3萬多家、用戶規(guī)模達(dá)到15億之多。他們最關(guān)心的一點(diǎn)是如何進(jìn)入到新的市場(chǎng)，也就是快速的產(chǎn)品投放，這決定了一個(gè)公司的生死。他們的結(jié)論就是“AWS能夠幫助我們進(jìn)入到新的市場(chǎng)而不是在新市場(chǎng)出現(xiàn)以后幾周或者幾個(gè)月以后……”

總結(jié)幾個(gè)案例，也歸納出企業(yè)目前共同面對(duì)的挑戰(zhàn)。二方面是程序化媒體的效率與規(guī)模的問題；另一方面是如何通過技術(shù)創(chuàng)新增加受眾范圍和提高參與度，這里面包括了應(yīng)用流分析和機(jī)器學(xué)習(xí)的技術(shù)以及利用新的廣告技術(shù)。

三、大數(shù)據(jù)再思考

大數(shù)據(jù)是不斷出現(xiàn)的話題，大家可能覺得已經(jīng)不那么新鮮。但大數(shù)據(jù)領(lǐng)域的技術(shù)發(fā)展還是會(huì)有一些新的方法可以幫助我們解決今天面臨的問題。

以往大數(shù)據(jù)處理更多地是使用“批處理”的模式，而今天我想為大家強(qiáng)調(diào)所謂的“流”式的處理模式。在AWS的產(chǎn)品家族里面，Amazon Kinesis就是這樣的一款實(shí)現(xiàn)了數(shù)據(jù)“流”處理的服務(wù)。

Beeswax公司在去年的AWS re：lnvent大會(huì)上分享了他們的系統(tǒng)架構(gòu)。這個(gè)架構(gòu)中的核心就是Streaming Message Hub，利用了“流”技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的低延遲、緩存、持久化，以滿足最后的實(shí)時(shí)分析和任務(wù)的處理。利用這個(gè)特性剛才所說的大數(shù)據(jù)的許多問題，都可以通過這樣的架構(gòu)加以解決。按照Beeswax的說法他們的系統(tǒng)峰值的QPS已經(jīng)超過了1M。

與剛才分享的案例有異曲同之處，就是利用Amazon Kinesis作為數(shù)據(jù)的緩沖區(qū)將前端和后端的處理能力做了極好的緩沖，這個(gè)方式對(duì)于降低大數(shù)據(jù)處理的延時(shí)已經(jīng)被證明是行之有效的。

DataXu是一家很神奇的企業(yè)，被認(rèn)為是行業(yè)內(nèi)成長(zhǎng)最快的企業(yè)之一。通過他們的介紹我們了解到，他們每秒的業(yè)務(wù)請(qǐng)求超過了200萬次，數(shù)據(jù)規(guī)模已經(jīng)達(dá)到PB級(jí)別，日增日志超過了180TB，僅僅用于分析的數(shù)據(jù)就有2PB之多。

在他們的架構(gòu)中，將Amazon S3作為數(shù)據(jù)存儲(chǔ)的核心，原始數(shù)據(jù)都保存在S3之上。對(duì)處理之后的數(shù)據(jù)也會(huì)保存在S3上。DataXu利用了Amazon Kinesis實(shí)現(xiàn)了數(shù)據(jù)的緩沖，將數(shù)據(jù)處理的響應(yīng)時(shí)間控制在10毫秒。

這個(gè)架構(gòu)的好處是什么？這樣的設(shè)計(jì)意味著數(shù)據(jù)只需保存一份，所有的業(yè)務(wù)處理都可以共享同一個(gè)數(shù)據(jù)源，這也是我們后面談到的最佳實(shí)踐的原則之一。而在MediaMath分享的案例里面，提到了他們名為“Firehose”的架構(gòu)。架構(gòu)的關(guān)鍵就是基于AmazonKinesis組件，功能就是通過“流”技術(shù)來簡(jiǎn)化流數(shù)據(jù)的攝取。

AOL的案例有另外的借鑒意義。首先，采用了混合的架構(gòu)，在原有的數(shù)據(jù)中心跟新的云計(jì)算服務(wù)之間做了很好的集成，兼顧了原有的處理能力和新的云計(jì)算的服務(wù)方式；其次，使用數(shù)百個(gè)Hadoop集群，這在成本上和運(yùn)維的效率上有很大的優(yōu)勢(shì)。

總結(jié)下來這些案例值得借鑒的地方有三點(diǎn)：

第一，對(duì)于創(chuàng)業(yè)企業(yè)來說，更少的維護(hù)成本是非常重要的；

第二，利用新的技術(shù)不斷創(chuàng)新。AWS在2016年有超過1000多項(xiàng)新的服務(wù)和更新，我們可以不斷利用這些新的技術(shù)保持我們創(chuàng)新的能力；

第三，在成本方面，很多人說AWS服務(wù)的價(jià)格貴?；蛟S單純比較價(jià)格，或者對(duì)比自己搭建的服務(wù)，AWS的服務(wù)價(jià)格要高一些。但是有沒有討成本優(yōu)化的空間？我相信是有的。因?yàn)榭吹皆诤芏嗟陌咐甲C明了這一點(diǎn)。

四、數(shù)字廣告業(yè)的創(chuàng)新

數(shù)字廣告業(yè)發(fā)展到今天，出現(xiàn)了一些創(chuàng)新，比如說新的廣告格式、新的投放方式、新的數(shù)字營銷中心（HUB）以及物聯(lián)網(wǎng)和地理位置驅(qū)動(dòng)等等。

我們完全可以通過借鑒去找到新的創(chuàng)新點(diǎn)。其中的一個(gè)新的廣告技術(shù)被稱作In Image廣告。這是針對(duì)圖片進(jìn)行廣告投放的方法。這種廣告的針對(duì)性更強(qiáng)，而且可視率非常高。GumGum就是進(jìn)行這種嘗試的廣告企業(yè)之一。他們與2000多家媒體合作，覆蓋的圖片數(shù)量達(dá)數(shù)十億，日數(shù)據(jù)量達(dá)到6TB。Localytics是一家針對(duì)地理位置實(shí)現(xiàn)廣告投放的企業(yè)，全球范圍合作的移動(dòng)應(yīng)用達(dá)到37，000多個(gè)，覆蓋的移動(dòng)設(shè)備高達(dá)30億臺(tái)。他們的一個(gè)很值得稱道的地方是利用Amazon Lamhda實(shí)現(xiàn)了靈活的編排處理。

這種被叫做Serverless的技術(shù)允許我們用小塊程序塊組織我們的業(yè)務(wù)架構(gòu)。它并不像傳統(tǒng)的業(yè)務(wù)架構(gòu)，需要去開發(fā)一個(gè)耦合度很高的精密的處理系統(tǒng)。這種變化讓我們的架構(gòu)設(shè)計(jì)可以變得更簡(jiǎn)單，開發(fā)者可以更容易的去實(shí)現(xiàn)業(yè)務(wù)功能。這是一個(gè)非常值得關(guān)注的方向。

對(duì)于數(shù)字廣告在技術(shù)領(lǐng)域的熱點(diǎn)目前有三個(gè)：第一是大數(shù)據(jù)，數(shù)據(jù)量非常大，動(dòng)輒TB級(jí)別。所以需要用新的技術(shù)去解決這樣一個(gè)海量數(shù)據(jù)。其中一個(gè)考慮就是用數(shù)據(jù)流去替代批處理。對(duì)于數(shù)據(jù)本身我們還希望借助新的算法去實(shí)現(xiàn)增值、個(gè)性化、推薦等。另外一點(diǎn)就是低延遲的需求。程序化的購買方式、程序化的廣告，需要在100到150毫秒內(nèi)完成，這是一個(gè)迫切的需求。再有一個(gè)是廣告內(nèi)容的發(fā)布，利用現(xiàn)有合作技術(shù)和手段去實(shí)現(xiàn)高效、安全的發(fā)布。

五、技術(shù)的思考和實(shí)踐

第一是混合架構(gòu)的模式。對(duì)于許多業(yè)內(nèi)的企業(yè)混合架構(gòu)是目前可以嘗試的一個(gè)辦法。就實(shí)現(xiàn)而言通過專線的方法將我們現(xiàn)有的數(shù)據(jù)中心與云計(jì)算進(jìn)行連接和集成。在兼顧原有的系統(tǒng)和處理能力的同時(shí)可以利用云計(jì)算帶給我們新資源和服務(wù)。

第二是數(shù)據(jù)的解耦。對(duì)于數(shù)據(jù)處理的流程而言無非就是采集、存儲(chǔ)、處理、分析這樣幾個(gè)環(huán)節(jié)。以往，我們習(xí)慣將數(shù)據(jù)的存儲(chǔ)和處理混在一起，但在今天看來這樣的系統(tǒng)會(huì)遇到越來越多的問題。所以比較好的方法就是將數(shù)據(jù)解耦，讓我們共享同一份數(shù)據(jù)但可以完成不同的處理任務(wù)。AWS提供的眾多服務(wù)都可以幫助我們實(shí)現(xiàn)這一點(diǎn)。

還有一點(diǎn)是“數(shù)據(jù)湖”的概念。所謂數(shù)據(jù)湖的概念是數(shù)據(jù)倉庫理論的一個(gè)延伸。強(qiáng)調(diào)的是在業(yè)務(wù)環(huán)境下一個(gè)全數(shù)據(jù)管理的實(shí)現(xiàn)。不同于傳統(tǒng)意義上的將數(shù)據(jù)按照不同的任務(wù)進(jìn)行切分，而是利用現(xiàn)代大數(shù)據(jù)的管理處理能力實(shí)現(xiàn)全數(shù)據(jù)的管理的能力。在AWS的框架下很多人選擇利用Amazon S3這樣一款雖然時(shí)間最久，雖然看起來最簡(jiǎn)單，但卻是樸實(shí)無華的數(shù)據(jù)服務(wù)來實(shí)現(xiàn)這個(gè)目標(biāo)。

最后一點(diǎn)就是機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)目前已經(jīng)成為業(yè)內(nèi)的熱點(diǎn)技術(shù)。以DataXu公司為例，在過去幾年他們?cè)谶@方面投入非常之大。對(duì)他們而言在機(jī)器學(xué)習(xí)領(lǐng)域最看重的就是處理的延時(shí)以及模型的尺寸。相信在數(shù)字廣告行業(yè)，這個(gè)技術(shù)一定會(huì)得到快速的發(fā)展。endprint