鄭云瀟
開篇直接看案例:
現(xiàn)有兩個廣告素材A和B,要測一下它們誰更能吸引用戶轉化,評比的指標是轉化率(轉化率=轉化數(shù)/曝光數(shù))。
為保證試驗公平,它們都設置了相同的預算額度,并且都在中午 12點開始投放,然后到晚上12點同時關閉。
這樣跑了半天,兩組廣告的預算也都基本花完了,結果發(fā)現(xiàn):A一共曝光6500次,轉化了70個用戶,轉化率是1.077%;B一共曝光6200次,也轉化了70個用戶,轉化率是 1.129%。
看到結果后,廣告投放師小李就認為B素材的轉化率更高。
這時,營銷總監(jiān)老王卻說:到目前為止,我更愿意相信A要高一些。
小李一臉蒙,問:“為啥啊?”
老王解釋道:“即使是相同的廣告,在不同的時段也會有不同的轉化率。一般來說,下午的轉化率是低于晚上的,因為大部分人白天都有事情,不太容易被轉化,而到了晚上,大家都有空了,所以更容易被轉化。”
小李又問:“你說得對,但跟這次投放試驗有啥關系呢?”
老王繼續(xù)說:“我剛從后臺看了素材的來量情況——A素材下午轉化50個,曝光5000次,晚上轉化20個,曝光1500次;B素材下午轉化20個,曝光2200次,晚上轉化50個,曝光4000次。其實不管是下午還是晚上,A的轉化率都是更高的。而你之所以認為B更高,主要是因為B在晚上才跑出了量——它捏的‘軟柿子’比較多,你就誤以為它更厲害?!?/p>
看到這里,可能你還有點蒙:是啊,如果拆開來看,確實A更高,但合并看總數(shù)的話,又是B更高,那這到底該怎么看呢?
上文的現(xiàn)象,就是典型的“辛普森悖論”(Simpson’s Paradox)——在某個條件下的兩組數(shù)據(jù),分別討論時都會滿足某種性質,可一旦合并考慮,卻可能導致相反的結論。
這是在其他領域的工作中也會經常遇到,并且經常會坑人的一個現(xiàn)象。
幾乎每一家公司,上司都會讓下屬對業(yè)務層面的各種數(shù)據(jù)進行匯總,然后呈報給自己,并自以為了解了總體的情況。
不過,谷歌的一位數(shù)據(jù)大牛曾說過:“匯總的數(shù)據(jù)往往就是一坨屎,沒有任何意義?!?/p>
為什么這樣說?
拋開專業(yè)的數(shù)學分析,如果用最通俗的語言來解釋,我認為就是:20頭豬就是20頭豬,50棵樹就是50棵樹,但如果你硬要把它們加起來(20+50=70),這個70是毫無意義的,什么都代表不了。匯總的數(shù)據(jù),除了象征性地匯報工作,往往并無其他意義。
為什么說是象征性的?
因為如果匯報工作是為了指導決策,那很可能會把人帶進坑里。
就像上文廣告素材的案例,如果營銷總監(jiān)想偷懶,只看最后的結果,那他很可能就誤判了廣告素材的優(yōu)劣。更嚴重的,甚至會導致后續(xù)投放的素材都沿著“壞素材”的方向去優(yōu)化。
所以在真實的情況中,如果一定要就此蓋棺論定,確實是A要高一些(當然更科學的做法是繼續(xù)試驗,并通過加大預算和嚴控時段,來減少偶然性,以及不同性質的數(shù)據(jù)占比的差距)。除了廣告投放,辛普森悖論還經常出現(xiàn)在各種各樣的數(shù)據(jù)統(tǒng)計活動之中——需要算比率的統(tǒng)計基本都會出現(xiàn),比如轉化率、留存率、合格率、負債率、投資回報率,等等。
那么,如何才能避免匯總數(shù)據(jù)可能帶來的坑呢?
關鍵記住8個字:不同性質,拆開來算。
“啤酒與尿布”的故事大家應該都聽過——通過相關性分析,商家發(fā)現(xiàn)啤酒的銷量與尿布的銷量呈高度正相關。于是他們在陳列上,讓啤酒和尿布離得更近,以此來提高銷量。當然,這完全是個不切實際的、杜撰的故事(杜撰者是Teradata公司的一位經理——估計是營銷經理,為了說服商家購買他家的數(shù)據(jù)服務,編的軟文)。
而這里想說的重點是:相關性分析。
如今,不管是傳統(tǒng)行業(yè)還是互聯(lián)網行業(yè),數(shù)據(jù)已成為企業(yè)內部最重要的資產之一。
而各家公司的數(shù)據(jù)分析師,幾乎每天都會做的一件事就是:分析各個因素之間的相關性,并以此來找到增長方法。
比如游戲公司發(fā)現(xiàn):用戶玩游戲時間越長,留存往往越好,所以就重點提升新用戶的游戲時長,以此大幅提升留存。
再比如便利店通過監(jiān)測發(fā)現(xiàn):人們逆時針環(huán)顧店內的時間占比越大,人均消費就越高,所以在裝修和陳列上,就盡量引導人們逆時針行走。因為右撇子的人更多,而一般逆時針環(huán)店能讓更多商品出現(xiàn)在人右側,這樣拿東西更方便,也就拿得更多了。
不可否認的是,通過相關性分析,確實能找到很多有效的增長方法。
不過,過于迷信相關性,有時會帶來相反的結果。
比如某社交APP想提高留存。
他們發(fā)現(xiàn),用戶發(fā)消息的條數(shù),與留存的相關性系數(shù)是最高的。不僅如此,他們還發(fā)現(xiàn),消息條數(shù)超過500的用戶群體,與沒有超過500的用戶群體,留存情況出現(xiàn)了斷崖式的差異。
于是,為提高留存,團隊就提出:假如我們設法提升新用戶發(fā)消息的條數(shù),盡量使之超過500,就可以明顯提高留存了。
再于是,他們就通過設置“階段性有獎任務”(發(fā)消息到一定條數(shù),就會觸發(fā)獲獎提示,并告知下一個有獎任務),將所有新用戶的消息條數(shù)都給拉了上去,并基本超過500。
然而,最后的結果卻是:雖然整體的短期留存上去了,但整體的長期留存反而下降了。
為什么會這樣?其實,這就是典型的誤把相關當因果,甚至是因果倒置——不是因為條數(shù)多,所以才留存好,而更多是因為留存好,所以條數(shù)才多。
上述的方案,雖然短期能通過利益提高留存,但對真正愿意使用產品的用戶來說,獲獎提示可能是一種打擾。另一方面,利益的刺激會帶動更多非目標用戶(羊毛黨)下載和使用APP,拉低用戶質量,所以長期留存就降了。
而最終關于留存的優(yōu)化方案,其實是在廣告方面:因為該APP是重點參考Instagram來做的,特點在于圖像相關的功能。但此前的廣告只是模糊地說了“好玩有趣”,沒有突出具體的功能和使用場景,所以造成用戶預期與產品不符,留存就不高的情況。
有趣的是,在之前數(shù)據(jù)分析的結果中,廣告與留存的相關系數(shù)并不算很高。
如果說上述兩個坑分別是因為對數(shù)據(jù)和業(yè)務不夠理解才掉進去的,那么第三個坑,可能就是越理解數(shù)據(jù)和業(yè)務,就越容易掉進去。
數(shù)據(jù)最大的問題,是它只能顯示有數(shù)據(jù)的信息,而不能顯示沒有數(shù)據(jù)的信息。
克萊頓·克里斯坦森將這兩種信息分別稱作積極數(shù)據(jù)與消極數(shù)據(jù)。
積極數(shù)據(jù)是指有結構、可量化的數(shù)據(jù)。比如:銷量、銷售額、留存率、轉化率、復購率、利潤率、付費率、性能指標、市場規(guī)模等(能規(guī)范地被整理到Excel里的數(shù)據(jù)都是積極數(shù)據(jù))。
而消極數(shù)據(jù)就是指那些沒有清晰的結構,也很難被發(fā)現(xiàn)和量化的數(shù)據(jù)。比如用戶使用產品背后的動機、情感、觀念、習慣以及這些因素跟隨時代的變化等。
從業(yè)務誕生的那天開始,企業(yè)就會掌握越來越多的積極數(shù)據(jù),比如:哪些產品賣得最多?哪些產品利潤最高?復購率如何?顧客年齡如何分布?市占率是多少?……
而隨著積極數(shù)據(jù)的增多,它對企業(yè)內部的影響也會越大——銷售部會根據(jù)不同產品的銷量和利潤,去影響生產規(guī)劃;品牌部會根據(jù)品類在網絡上的關鍵熱詞,去調整產品賣點;投放部會根據(jù)老用戶的屬性,精準投放新用戶;客服部也會根據(jù)用戶反饋,給產品提優(yōu)化建議……
好像一切都會正向發(fā)展,并慢慢沉淀為經驗。
不過,一些經驗之外的東西,也在醞釀和發(fā)生著。
以電商為例,當阿里和京東根據(jù)自己的增長經驗,擴充更高客單價的品類,搶奪更高凈值的人群,設立專門的打折促銷日,并戰(zhàn)略性地放棄低端市場的時候,拼多多卻突然冒了出來,并且只用幾年用戶量就全國領先。
阿里和京東其實都沒有錯,但拼多多是憑什么?那些低線的用戶。為什么不用淘寶,卻要用拼多多?因為更便宜。為什么拼多多更便宜?因為它有很多作坊貨、山寨貨。
那為什么這些作坊貨、山寨貨要去拼多多賣?
一方面是其他平臺不讓賣,另一方面是拼多多的拼團模式能讓他們薄利多銷——跟在線下去趕集一樣。
是的,對于低線的用戶(包括商家)來說,拼多多才是首個把他們線下購物的場景搬到線上來的APP——不管是組團購物、砍價還是買賣山寨便宜貨,本來就是他們線下的日常。
至于淘寶和京東,對他們來說則更像城里的商場——貴,去的次數(shù)也不多(而且對他們來說,但凡貴的東西,要看到實物才踏實)。
為什么拼多多能看準這個市場機會,還發(fā)明了“社交電商”這個新物種?
其實,對于低線用戶來說,購物本身就是社交——大家一起上街買東西;遇到熟悉的商販砍砍價,你買一斤花生,他送你兩顆棗;你幫隔壁大嬸帶點蔥,隔壁大嬸幫你帶點鹽。既有商品交易,也有情感往來——這就是拼多多洞察到的,關于用戶購物的消極數(shù)據(jù)。
所以,所謂的“幫砍拼送”“社交電商”,本來就來源于生活,來源于對那些消極數(shù)據(jù)(動機、情感、觀念、習慣等)的洞察。拼多多只不過是把它們搬到了手機上,讓它更容易發(fā)生而已。
至于阿里和京東,毋庸置疑,他們的核心團隊一定是既懂電商業(yè)務,又精于數(shù)據(jù)分析的。
不過,這么專業(yè)的團隊,為什么沒有在拼多多之前把握市場機會?
這里的原因是多方面的。
企業(yè)要增長,團隊要成長,自然更愿意把注意力放在利益更大的地方——更高凈值人群,更高客單價產品,更高頻的產品,等等。其實,現(xiàn)在的拼多多也一樣。
另一方面,如泉涌噴的積極數(shù)據(jù),也很自然地將內部注意力集中于產品和指標,如如何提升物流效率,如何提高廣告收入,如何提高用戶活躍度,等等。
就這樣,在利益和數(shù)據(jù)的驅動下,他們會越來越了解自己的用戶,并為其提供越來越好的產品和服務。與此同時,他們也會越來越清楚誰不是自己的用戶——“那些低線的人,就不是典型的電商人群,我沒什么精力去關注他們。”
不過,正是這種因數(shù)據(jù)導致的、慢慢被固化的偏見,才導致市場被分化、被占領,甚至被顛覆。