返回列表

作者:巨人電商

數據分析:如何分析活動效果?

POST TIME:2021-08-20

場景還原:某音樂類APP,對新用戶進行一個新注冊即送7天會員權益的活動,用戶注冊后,自主決定是否點擊領取,為期1個月,問:如何評價該活動。

一、活動評估常見錯誤

首先牢記,所有以評估/評價/判斷作為動詞的問題,答案只有一種:“好or壞”。

比如,如何評價該活動,可以回答:

  1. 這個活動很好,該繼續(xù)做;
  2. 這個活動不好,不能做
  3. 這個活動不好不壞,雞肋
  4. 這個活動沒有任何改變,做了也白做

這才是評估類分析的核心結論。離開這四句話,其他的都是廢話。比如:

  • 活動期間有4萬新人注冊
  • 活動期間注冊人數比活動前多1萬
  • 活動期間新用戶點擊率是80%
  • 活動期間新用戶使用權益率30%

這些統(tǒng)統(tǒng)不是結論,只是分析過程而已。如果沒有結論,直接甩這些過程指標,很容易遭遇業(yè)務方反問:“所以呢?所以呢?你分析了啥?結論呢!”最后被搞得灰頭土臉。

二、活動評估關鍵問題

活動評估,首先要得出好/壞評價。如果評價是好,再看能不能繼續(xù)做,還能做多少次;如果是評價是差,再看差在哪里,是差得不可救藥,還是能拯救一下繼續(xù)用。

數據+標注=判斷。因此想得出好/壞判斷,需要有2樣東西:

  1. 明確的考核指標。
  2. 明確目標數值。

達標了,算好;不達標,不好。就這么簡單(如下圖)。

看似簡單,實際上運營經常干的是:

  1. 稀里糊涂:老板讓做我就做,至于為啥?咱也不知道,咱也不敢問。
  2. 呆頭呆腦:我就是要做拉新人,拉就完了奧力給!
  3. 投機取巧:反正以前干過/別人也在干,干就完了。
  4. 渾水摸魚:這是改變用戶心智資源,數據豈能衡量!

總之,十個運營里最多只有倆,能準確說清楚現狀和目標。這時候就需要數據分析師自己有獨立判斷能力。能分析業(yè)務邏輯、梳理業(yè)務過程,才能得出客觀結論。這里我們拿完全稀里糊涂的場景舉例,看如何幫運營理清目的。

三、從0建立評估模型的做法 第一步,梳理活動流程

運營活動會改變用戶的行為,進而體現為數據指標的變化。從0開始建立評估模型,第一步就是了解活動具體流程,了解活動可能導致的用戶行為變化。比如問題里的新用戶送權益,可以按如下梳理(如下圖):

了解到行為變化以后,可以進一步看這些行為能用什么數據記錄,能反應為什么指標的變化。經過梳理,我們就能看清楚:衡量活動結果的指標了。這些工作,應該是運營在策劃階段的干的事,如果事前沒做好,事后就要補課。

第二步,篩選主指標

一個活動可能影響方方面面,比如上邊的問題,有送東西,你說:

  1. 能增加新用戶注冊——沒毛??;
  2. 能增加會員購買機會——似乎有機會
  3. 能提升忠誠度減少流失——似乎也有道理
  4. 能增加DAU!——額,理論上新注冊多了,DAU也增加。

如果不看數據,光聽嘴巴講,以上當然都有道理。但真要一鍋燉,讓你計算沒有流失的用戶,送會員占比百分之幾,產品本身占比百分之幾,歌曲數量占比百分之幾,能算清楚就見鬼了。所以,評估指標要分主次,才容易說清楚問題。

如果是事前定目標,那么活動的主指標應該與目標緊密結合,優(yōu)選直接受影響的指標。比如活動是為了拉新,那主指標就是新注冊用戶數;如果活動是為了提高新用戶留存率,那主要考慮的就是1-7日內留存情況。

這里看似簡單,實則很容易被運營渾水摸魚。運營經常喜歡扯一堆影響指標,甚至扯什么“我的活動從深層次改變了用戶心智認知,從而達到了數據不可衡量的深遠影響”,總之搞一堆指標進來,哪個好看說哪個,不好看的不說。

做數據評估,最忌諱搞幾百個指標然后做巨復雜的評估公式,混淆進來的的東西越多,就有越多搞文字游戲的空間,就越容易粉飾太平。越簡單清晰的評估,才越容易看出問題。

第三步,設定判斷標準

有了清晰的主指標,可以找判斷標準。找標準有四個基本思路:

  1. 從整體結果出發(fā),看總量。比如本月需要10萬新用戶,所以必須做到10萬。
  2. 同無活動對比,看增量。比如無活動一個月5萬,活動必須5+5萬,多的5萬作為標準。
  3. 同過往活動對比,看效率。比如拉新活動一般100塊一個新人,所以這次不能超過。
  4. 同無參與的用戶對比,看差異。比如分無參與組/參與組,對比參與組新注冊數/留存率。

站在公司角度,肯定是第一種方法最實在。但站在組織活動的角度,都喜歡突出自己的貢獻,因此傾向于用2、3、4種方法。運營最喜歡談:自然增長率(沒有活動情況下,自然增長是多少)。并且總是傾向于把自然增長率算得低低的,或者干脆弄成負數,這樣才顯得活動牛逼無比。

要注意的是:所謂自然增長率,只在活動不頻繁的時候才能計算。很多業(yè)務(比如電商、O2O),根本就是活動不斷,大活動套小活動,根本區(qū)分不出來,這時候就不適用。

同理,設參照組的前提,是參照組根本沒有活動提醒和活動參與功能,且參照組和活動組用戶質量差不多。如果不滿足這個限制條件就很難直接得出活動效益好的結論。這些方法都是看似科學,實則充滿玩貓膩空間。想討論清楚問題,就簡單直接立標準。

第四步,找影響結果的過程

以上1、2、3步都是為了得出判斷做鋪墊。有了“好/壞”判斷。就能進一步分析為啥好,為啥壞。這時候就需要細化梳理業(yè)務流程,找到能影響結果的關鍵點。比如拉新活動,廣告投放渠道、廣告文案、注冊流程、進去以后提示權益方式、領取會員權益流程,都會有影響(如下圖)。

在分析這些指標的時候,要注意先后順序。比如有關新用戶注冊問題。要先看各個用戶來源渠道的投放力度,活動是否及時上架,何時與投放結合。之后才是深入分析文案、活動禮品、領取后行為等等。

四、小結

這個題目如果拿來面試,你能一眼看出來菜鳥、新手、老手的區(qū)別:

菜鳥:我認為應該從用戶增長、產品體驗、品牌影響、商業(yè)收入、四大方面考慮,blablabla。然后你就抓住品牌影響問他,到底怎么衡量,基本就能把他問死。沒入門的菜鳥與新手之間最大差距,是他們根本不知道數據還需要做采集。菜鳥們最喜歡憑空講一些很難收集,但聽起來牛逼的指標。

新手:我認為應該考慮新人注冊數、新人次日、3日、7日留存、新人會員領取率、新人留存市場、新人點擊次數、新人購買會員數、新人使用權益頻次……(此處省略100多個各色指標)。建立神經網絡模型,綜合評估。

是滴,新人第一喜歡堆砌指標,似乎指標越多越牛逼。第二喜歡扯模型,不管模型能不能用,自己用沒用過,扯了就牛逼。唯獨會忽視標準問題。想懟死新人,只要問“憑什么增長5萬就是好,4萬9千1百2十7就不好!”“你建神經網絡評價模型,好/壞活動的標注誰來打,是對整個活動打標還是對某些指標打標,不同類型活動憑什么擺在一起打標”基本就把新人問蒙了。

說到底,活動評估這件事,又是一件思路清晰比技術高深重要,守住節(jié)操比思路清晰重要的事。只要對運營常見活動:拉新、促活、留存、轉化、裂變等等玩法有基礎了解。對常規(guī)運營數據有認識,對過往活動有了解跌,基本上都能答出正確答案。怕就怕對業(yè)務流程了解太少,連人家在干啥都不懂。

作者:接地氣的陳老師

來源:接地氣學堂

標簽:中山 南昌 肇慶 錫林郭勒盟 云浮 南充 三亞 新鄉(xiāng)