資料產品經理的入門手冊:如何評估資料產品的上線效果?
2023-01-02由 人人都是產品經理 發表于 林業
如何評價資料價值
一個好的產品透過產品評估才能衡量其產品效果及業務價值,那麼對於資料產品來說,我們怎麼對齊評估呢?本文作者同大家分享一套
適用於資料產品的評估體系,解答如何評估資料餐品的產品效果。
對於資料產品經理來說,最頭疼的問題就是:當我的產品上線之後,我該如何評估我的產品效果?
對於策略產品來說,我可以很輕鬆的基於實驗組或者對照組,來獲取策略的上線效果。
對於C端&B端產品來說,我可以透過使用者(或商戶)的規模、增長、活躍、留存等方面來衡量產品對業務的價值。
BUT,如果你做的是資料產品,或者從更大的範圍來看,從事面向內部使用者的後臺產品,你該怎麼來衡量產品的價值呢?
這個問題曾經困惑了我很久,在這些年的過程中,逐步摸索出一套
適用於資料產品的評估體系
,歡迎大家一起來討論。
一、評估上線效果的重要性
上線效果重不重要?這是一個毋庸置疑的問題。
對於一個團隊來說,上線效果評估是檢驗產品價值的重要方法。而這個問題,卻是資料產品們經常逃避,或者說不願意面對的問題。
我分析主要的原因是:
評估不清楚
。
我上線了一款實時監控產品,不是我不想評估,而是我評估不清楚,這裡的“清楚”,一方面是指我無法用合理的量化的指標來衡量產品的效果,另一方面是指即使我評估了,我也找不到我這款產品與業務價值的關聯。
在評估不清楚的大背景下,我們可以看到一個有趣的現象:
一般資料產品的產品文件或者上線效果評估中,經常會用如下句式來評估產品:
賦能…(上線後資料賦能某某業務)
助力…(上線後助力精準化運營的展開)
提升…(大幅提升分析效率)
你看,是不是非常熟悉類似這樣的句式?
如果我用上面類似的句式,這種宏觀的車軲轆話來評估資料產品的上線效果,會有什麼樣的影響呢?
經過這些年的風吹雨打,我理解會有如下兩個影響:
1.上線即結束
你的產品上線即為結束,你會立刻投入下個產品的程序之中,產品很難有一個系統化的迭代節奏,因為你沒有清楚的可評估的迭代價值。
2.答辯很吃虧
是的,產品經理,無論公司大小,都會面臨成長晉升的問題。
而對於一個數據產品,如果你在產品線晉升,面對策略產品各種亮眼的資料效果,面對C&B端產品各種的業務價值貢獻,你會舉步維艱;
如果你在BI線晉升,面對一個個幫助業務決策的分析例項,你毫無勝算。
所以說,資料產品的上線效果評估是一件非常重要的事情,不誇張的說,事關產品生死,個人前途。
二、一般的效果評估方法
既然資料產品的效果評估這麼重要,那作為一名資料PM,我該怎麼來評估我的產品呢?一般通用的思路會有如下的兩種方式:
1。 從訪問量的角度
看資料產品上線後的PV&UV等,和使用行為相關的資料。
乍一看,這毫無問題;但是我們可以仔細想一想如下兩個問題:
1)我上線兩款資料產品,一款是給10w運營看每天可以產生10w的UV,另一款只給老闆看每天僅產生5個UV,請問這兩款產品誰的上線效果好?誰的價值大?
2)實時監控產品的要求是每小時看一次,天級監控產品的要求是每天看一次,誰的價值更大?
你看,資料產品,由於目標使用者的侷限性與產品本身的定位差異,會導致訪問量存在天然差異,這個差異會讓資料產品沒有一個通用的訪問參考系來衡量。
2。 從提效的角度
假設資料產品上線後,產品分析資料的效率是excel分析效率的2倍,但是內部使用者不用這個資料產品,這個時候上線效果是好還是差?
資料產品及其依賴於使用者的使用,提效是建立在使用者使用的基礎上,很難從提效這一個單一維度來衡量資料產品的效果。
那麼,我該如何評估資料產品的上線效果呢?
三、一套資料產品的效果評估體系
首先,我理解資料產品的上線效果,不是對上線結果的靜態評估,而是對上線後整個產品運營過程的動態評估。
什麼叫上線結果的靜態評估?
類似訪問量等,即為上線後的一個自然結果。
什麼叫上線後整個產品運營過程的動態評估?
是指上線後,產品經理圍繞產品上線進行一系列運營過程,並對其過程進行評估。
我們可以把資料產品的上線運營過程拆解成如下模式:
1。 知不知道?
知不知道本質是解決產品的觸達問題。
一個完整的產品觸達流程分為如下節點:目標使用者規模->觸達使用者規模->真實的開啟產品的使用者規模。
目標使用者規模:代表產品服務的使用者範圍
觸達使用者規模:指產品透過社交群組、郵件周知到的使用者範圍
真實的開啟產品的使用者規模:指使用者開通許可權開啟產品的使用規模
這三個節點可以構成兩個核心衡量指標:
產品觸達率=觸達使用者數/目標使用者數
產品開啟率=開啟使用者數/觸達使用者數
基於如上,你就可以在“知不知道”這個層面衡量出產品的上線效果,具體如下:
2。 會不會用?
會不會用本質是解決產品的培訓問題。
培訓不是單純的指召開一場培訓會議,而是一系列的運營方法,大致會有如下幾種方法:
1.案例營銷(極其推薦)
經過驗證,這是最有效的一種運營方法,你可以多瞭解業務方或者分析師們正在解決的問題,然後嘗試用你的產品形成一個case,用分享的方式告訴他,這是最有效的一種培訓方式
2.線上使用手冊(推薦)
可以是文字形式,有條件也可以是影片形式,注意要進行資料產品的埋點,來統計使用者檢視使用手冊的頻次
3.培訓會議(不推薦,因人而異)
召開一場培訓會議,進行產品宣講,一般情況下,這種方式的培訓效果並不理想。當然,這裡的效果取決於你培訓時個人的演講能力。
有了運營方法還不夠,我們要在使用後及時監測這些方法的使用效果,一般可以透過主觀評價和客觀資料來衡量。
可以參考如下方式來評估“會不會用”:
3。 好不好用?
好不好用是指使用者是否有持續使用的動力?我們可以拆解為如下三個部分來看:
1.動機層面
指使用者使用這個產品的動機是什麼?這是好不好用的本質原因。如果資料產品沒有解決使用者使用的動機,大機率使用者是不會長期來使用的,動機可以分為如下兩點:
1)使用者訴求的解決程度
也就是你的產品是否達成預期產品的目標,以下為舉例:
2)分析效率
你的產品是否提升了使用者的分析效率,以下為舉例:
2.使用行為層面
觀測使用者使用產品的活躍度和使用頻次,注意,這裡更關注的是產品本身的趨勢變化,而不是和其他產品的橫向對比,以下為舉例:
3.主觀評價層面
可以透過截圖,收集一些使用者反饋,來證實產品的價值。
有條件,可以做一些線上的調查問卷,在產品上線兩週後發至使用者;然後基於問卷反饋來簡單的計算產品的NPS。
綜上,我們透過【知不知道-會不會用-好不好用】這個完整的產品上線過程,就可以衡量出一個數據產品的上線效果,總結如下:
最後,想提很重要的一點:資料產品的效果評估在當下行業內沒有一個共識的基準,比上線效果評估本身更重要的是縱向和leader、橫向和技術團隊共識上線效果的評估方法。
只有各方在一個共識語言內,你的上線效果評估才有機會得到認可並廣泛使用。
作者:羅大大,大資料產品專家
本文由 @羅大大 原創釋出於人人都是產品經理,未經許可,禁止轉載。
題圖來自 Unsplash,基於CC0協議