獲得驗證假設的能力
在團隊中建立一種數據驅動型文化
驗證哪些參與路徑對合作夥伴奏效
公司
Deliveroo 是一家位於英國倫敦的線上食品配送公司,業務遍佈全球 500 多個城市。透過提供快速、可靠和可追蹤的配送服務,公司業務逐年快速增長,合作餐廳的收入增長高達 30%。
Deliveroo 與三個不同的用戶群體打交道:餐廳(例如送餐)、騎手和消費者。其他配送公司在物流方面下足功夫並將此運用到不同領域,與之相比,Deliveroo 的使命宣言更加大膽:成為首屈一指的食品公司。「這意味著我們將接受其他人可能不會遇到的挑戰和機遇,」負責餐廳集團(Deliveroo 的合作餐廳和便利店)的 Jordan Ng 說。「我們的使命使我們能夠探索和嘗試一些例如 Editions 廚房項目。這也包括了我們的採購服務,合作餐廳可以透過我們購買物資,並利用我們聚合的購買力。讓我興奮的是,該使命宣言蘊含著豐富的多樣性,但同時仍然專注於食品,這也正是公司的激情所在。」
Jordan 表示,數據對於幫助 Deliveroo 確定其產品團隊的方向而言至關重要。如果沒有可靠的數據源,他們無法完全理解哪個方向的影響最大。
挑戰
Deliveroo 面臨兩大挑戰。
首先,公司需要整合其碎片化的分析生態系統。Deliveroo合作夥伴可以與多個應用程式進行互動,包括行銷網站、部落格、餐廳入口網站和平板電腦應用程式,所有這些應用程式都以截然不同的方式發佈指標和事件。
其次,Deliveroo 擁有一支由數據科學家組成的團隊,但該公司希望能夠更有效、更高效地使用這支團隊,並為更多團隊(如行銷、產品和工程)提供一種簡單的方法,讓他們能夠快速存取數據並執行報告,而無需編寫 SQL 或等待數據工程師有空的時候予以支援。為了將不同來源的所有數據匯入一個漏斗中並以更易於存取的方式讓公司中的每個人取得數據,Deliveroo 選擇使用 Mixpanel。Mixpanel 還允許 Deliveroo 建立自助式報告,查看參與度或新功能的表現,讓數據科學家得以開展更多的戰略性工作。
解決方案
Jordan 的團隊專注於中小企業——比如街角的炸魚小店。這些餐廳主要透過名為「餐廳中心」的工具參與其中,在那裡他們可以評估營運表現和存取自助服務工具來發展和管理業務。
Deliveroo的中小企業團隊關注的主要指標是參與度(每日活躍用戶數 (DAU)、粘性、留存)、轉化和流失。
Deliveroo 希望其合作餐廳透過使用該公司的服務獲得訂單和高投資回報率,從而取得成功。Deliveroo 密切關注從註冊到第一個訂單的轉化漏斗。對於每個市場,他們都有希望合作夥伴達到的目標,透過這樣來減少流失和增加轉化。他們對合作餐廳在平台上的表現進行追蹤。他們參與了嗎?他們是否採取了可以預示他們是否會成功的行動?決定使用Deliveroo過後,他們的入職時間有多長?Jordan 說:「我們希望我們的合作夥伴能夠在決定使用 Deliveroo 之後的幾小時內便接到他們的第一個訂單,並且能夠關注這些對此做出貢獻的指標。」
Deliveroo 使用 Mixpanel 漏斗報告追蹤用戶行為和留存報告以瞭解整體影響,同時也使用間接報告計算出 DAU。
Jordan Ng Deliveroo 資深產品經理「對我們來說,這意味著能夠理解我們如何最佳化合作夥伴的使用體驗和成功路徑。Mixpanel 能夠追蹤他們在我們應用中的行為,讓我們得以了解整體情況。」
Tweet to your network
結果
驗證假設
Deliveroo 使用 Mixpanel 輕鬆快速地驗證了關於 DAU 流量激增的假設。激增出現在公司首次使用 Mixpanel 的數周後。Jordan 說:「我們注意到,每日活躍用戶數每隔幾天就會出現一個激增,然後又會回到平常的流量。」
截至到此時,該公司尚未深入研究參與度或流量,因此他們不知道如何理解這次激增的現象。他們猜測,這或許與付款日有關——因為我們要向合作夥伴付款,他們便登入下載發票並進行各種關於付款的其他動作,於是出現激增。
「我們想驗證這一假設,因此我們很快將事件代入 Mixpanel 並執行了一份見解報告,將 DAU 與我們預計的人們與獲得錢款相關的行為(如下載發票等)進行比較。我們觀察了幾個星期,但沒有發現任何相關性。」 他们繼續收集了一個月的數據,然後意識到 DAU 會在每週一(或者小長假後的週二)出現飆升。「這是工作周的開始,毫無疑問我們的合作夥伴會進行登入。他們要看看收到的回饋以及上周的銷售情況,並據此對菜單或者營業時間進行調整。借助 Mixpanel,我們得以驗證並推翻我們此前關於付款日的假設。」
如果沒有 Mixpanel,Deliveroo 可能無法對激增進行進一步探究,因為那將不得不動用數據科學家。「但是,透過在 Mixpanel 中輕點幾次滑鼠,我們便能夠搞清楚現象背後的原因並在我們的報表中予以呈現,進而每周自動進行追蹤。」
餐廳參與度
Deliveroo 中心設定有專門的部分,餐廳可以在此查看其訂單和銷售指標。Deliveroo 原本預計企業會很少查看這些數據,也許每週或每月才看一次。但是他們看到的卻是,相當大一部分合作企業會每小時、至少會每天查看這些指標。
「這讓我們大吃一驚,」Jordan說。「我們原本認為這些指標在周末報告、月末報告、季末報告時才會用到,而不是像現在這樣被用戶更頻繁地關注。」
這一發現對 Deliveroo 很有幫助,因為它表明,既然餐廳已經在使用這一功能,也許他們不需要在這上面投入更多。
Jordan 說:「當時我們正在討論我們是否將客戶需要的內容展示給了他們。而他們這種程度的參與再次讓我們確信,他們看到的是他們想看的內容。」
最喜歡的功能
- 群組分析 – Deliveroo 的餐廳模塊屬於 B2C 公司中的 B2B 業務,專注於業務實體,不一定是用戶。中小企業中,許多情況是類似於一個用戶對應一家餐廳。從廣義上來說,Deliveroo 的情況並非如此:多家餐廳(尤其是許多較大的連鎖店)擁有多個用戶。「我們不一定關心特定用戶是否採取了某種行動——我們關心的是餐廳是否採取了這一行動。Mixpanel 的功能讓我們能夠追蹤這一點。」群組分析還允許 Deliveroo 將多個用戶聚合到所屬的餐廳級別,然後在漏斗中查看所有用戶,繼而建立群組並查看留存。該公司開始使用此功能進行更高層次的分組,例如同屬某一品牌旗下的餐廳的表現。「使用群組分析意味著我們不必擔心員工流失會影響我們的指標,」Jordan 說。「如果員工 A 是唯一代表某家餐廳登入我們工具的人,但是之後離職了,那麼對於這種情況,我們不希望我們追蹤的這家餐廳的所有指標都與該名用戶進行綁定。我們希望將指標與餐廳綁定。群組分析使我們能夠做到這一點。」Deliveroo 幾乎所有的報告都只關注群組分析,不過,也有一些情況下會關注用戶級別。例如,行銷網站的所有數據都對 Mixpanel 公開,這便允許公司查看匿名用戶。「我們一直都知道,對於用戶與餐廳的分離,我們有一個心理模型。當我們在设定 Mixpanel 屬性時,我們必須弄清楚是用戶屬性還是群組屬性,這是理解這種分離的關鍵。這一模型以及我們如何分離用戶與餐廳現在變得愈加清楚。」
- ID 合併 –「當我們看到這個功能發佈時,感覺就好像 Mixpanel 看透了我們的心思,」Jordan說。「因為我們有很多零碎的系統——用戶透過諸如 Salesforce 這樣的第三方技術進入行銷網站,最終可能成為餐廳中心的用戶——能夠追蹤這個過程中不同的 ID 並將所有內容關聯在一起,這是我們在使用 Mixpanel 之前無法做到的。」ID 合併功能的推出讓一些事情變得簡單,比如識別匿名查看 Deliveroo 部落格並在之後登入的餐廳,或者追蹤一家新餐廳從行銷網站的匿名用戶变成在 Salesforce系统的營銷线索再变成 Deliveroo 用戶的整個過程。「對我們來說,這意味著理解我們如何能夠最佳化合作夥伴的使用體驗和成功之旅。你可能已經做好了所有的前期工作並準備好接受訂單,但還沒有看到成功。也許您沒有拿到第一個訂單。也許你已經拿到了一個訂單,但卻收到了一個有關於此的負面評分。對於這些情況,我們可能開始推送給你一些行銷內容。或者我們會建議你改進包裝。又或者,我們會建議您在我們的配送包裝商店購買一些我們自己的包裝。Mixpanel 能夠追蹤他們在我們應用中的行為,讓我們得以了解整體情況。」
- 漏斗 – Deliveroo 主要透過漏斗查看流失情況。Jordan 說:「我們在這裡可以對特定路徑的情況進行改善,無論是已經建立的用戶使用一個小精靈,還是餐廳用戶登入並透過多步驟流程制定優惠。我們查看漏斗,看看是否有哪些地方我們可以做得更好,進而改善用戶體驗,並確保用戶真正完成該優惠的建立。它讓我們意識到哪裡可能存在問題,並幫助我們聚焦問題。也許我們需要更深入地研究數據,也許我們需要關注我們的錯誤。也許存在一些我們沒有考慮到的極端情況使得人們無法進入到下一步。」此外,Deliveroo 還會查看大的轉化漏斗,關注從首次註冊到首個訂單這一過程。在有問題的地方,他們會看看如何透過刪除手動流程或減少痛點來縮短這些步驟之間的時間間隔。
- 留存 – Deliveroo 透過一周和三周的留存數據判斷餐廳是否參與該平台。他們是否覺得使用中心有價值?「你不一定需要使用中心來取得訂單,」Jordan 說。「你可以設定好,然後完全自動運作,你的訂單便可以進來了。你可能不一定需要回到該入口網站,但我們希望幫助你,幫助你發展和管理你的業務。根據參與度與留存指標反映出的資訊,我們能夠有機會為你提供指導,幫助你改善你的業務,因此我們希望衡量這兩項指標。」
為什麼 Deliveroo 鐘情於 Mixpanel
各個團隊能夠使用 Mixpanel 取得數據。在 Deliveroo,使用 Mixpanel 的團隊/人員包括:
- 產品團隊:產品經理、工程經理、工程師、設計師和數據科學家。
- 商業團隊,特別是 B2B 行銷團隊。
- 數據科學團隊和 BI 團隊(特別是涉及參與度指標的團隊)
- PM 和產品行銷經理(特別是衡量參與度和新功能互動的相關人員)
與 Mixpanel 合作。「與 Mixpanel 客戶團隊合作非常棒,」Jordan 說。「當我們首次使用 Mixpanel 時,我們注意到我們的登入用戶數量與我們在 Mixpanel 中記錄的 MTU 數量之間存在很大差異。我們的 Mixpanel 客戶經理為我們聯繫了支援團隊。我的工程師與支援團隊合作,最終找出並修復了問題的根源。
「我想分享的另一件事是,我們與 Mixpanel 一起為多個不同領域的大約 40 名員工進行了訓練。這種程度的支援參與著實令人感激。這一訓練助益良多,它讓員工對使用 Mixpanel 充滿期待。」
來自 Jordan Ng 的一般性建議
「發佈正確的業務指標必須嵌入你的開發過程。這是什麼意思呢?當我要求工程師開發一個特定的功能或承擔一個任務時,我不需要明確要求他們寫一個單元測試來測試他們的程式碼。這是他們開發功能過程的一部分。發佈營運指標亦是如此。確保服務健康,執行這些指標無需補充說明。在思考業務指標時,我們需要運用同樣的思路和嚴謹性。
在大多數我曾經就職的公司里,情況並非如此。並不會預設這屬於構建功能任務的一部分而完成。將這一點融入到文化和期望中可能是你能做的最重要、最具影響力的事情。
你可以擁有世界上所有的工具,但是如果你不發佈數據,或者因為你的產品經理或數據科學家在開發時索要相關數據導致你需要返回去新增,那麼現在你已經落後了兩步。
我們需要一直問這些問題:有用的指標是什麼?我們要測量什麼?是否有我們應該向 Mixpanel 發佈的事件?這就是我最大的建議:將其融入企業文化中,並將其嵌入開發過程中,使其成為理所當然。」