제품 분석 사례 연구 - Deliveroo | Mixpanel
고객 사례

500개 이상의 도시에서 운영되는 선도적인 온라인 음식 배달 회사인 Deliveroo는 Mixpanel을 이용해 고객 참여를 높이고 이탈률을 낮추는 가설을 검증할 수 있습니다.

본부
영국 런던
웹 사이트
deliveroo.co.uk
업종
음식 배달
Deliveroo_Thumbnail

기존에는 답을 얻을 수 없었던
가설 검증 역량

조직 전체의 데이터 중심
문화 창출

파트너에게 어떤 참여 흐름이
작동하는지 확인

회사

영국 런던에 본사를 둔 온라인 음식 배달 회사인 Deliveroo는 전세계 500개 이상의 도시에서 운영되고 있습니다. 회사는 신속하고 안정적이며 추적 가능한 배달 서비스를 제공함으로써 매년 급속하게 성장하고 있으며, 파트너로 참여하는 음식점의 매출이 최대 30%까지 증가하고 있습니다.

Deliveroo는 사용자를 음식점(즉, 배달), 배달자, 소비자의 세 가지 그룹으로 분류하여 운영합니다. 물류 기능을 매우 잘 수행하고 이를 다른 영역에 적응하는 다른 배달 회사들과 달리, Deliveroo의 사명은 대담하게도 “절대적인 식품 회사”가 되는 것입니다. “다른 회사는 하지 않을 도전과 기회를 택하겠다는 것입니다.” Deliveroo에서 제품을 판매하는 음식점 파트너 및 편의점을 고객으로 하는 음식점 그룹의 Jordan Ng의 말입니다. “이러한 사명 하에 우리는 Editions 주방 및 조달 서비스를 제공하는데, 음식점 파트너들은 우리를 통해 소모품을 구매하면서 우리의 총합적 구매력을 활용할 수 있습니다. 이 사명문에는 많은 다양성이 있지만, 음식에 초점을 두고 있습니다. 이게 우리 회사의 열정이고, 저를 신나게 하는 것입니다.”

Jordan은 제품 팀의 방향을 설정하는 데 데이터가 매우 중요하다고 말합니다. 탄탄한 데이터가 없다면, 어떠한 방향의 효과가 가장 클지 완전히 이해할 수 없습니다.

과제

Deliveroo는 두 가지 주요 과제에 직면했습니다.

첫째, 분편화된 애널리틱스 생태계를 통합해야 했습니다. 파트너는 마케팅 사이트, 블로그, 음식점 포털, 태블릿 앱 등 다양한 응용 프로그램을 이용할 수 있었고, 이들 각각은 다양한 방식으로 각종 지표 및 이벤트를 게시하고 있었습니다.

둘째, Deliveroo에는 데이터 과학자 팀이 있지만, 회사는 이들을 보다 효과적이고 효율적으로 활용하면서, 마케팅, 제품, 엔지니어링 등의 팀이 데이터를 직접 이용하면서 SQL을 작성하거나 데이터 엔지니어가 가용해질 때까지 기다리지 않고도 직접 보고서를 실행할 수 있도록 하고자 했습니다. 다양한 출처의 자료를 하나의 유입 경로로 통합하고 회사 내 누구나 데이터를 이용할 수 있도록 하기 위해, Deliveroo는 Mixpanel을 실행하기로 결정했습니다. 또한, Mixpanel을 이용함으로써, Deliveroo는 고객 참여 또는 새로운 기능의 성과를 직접 볼 수 있는 셀프서비스 보고서를 생성할 수 있게 되어, 데이터 과학자들은 보다 전략적인 업무에 집중할 수 있게 되었습니다.

솔루션

Jordan의 팀은 동네에서 쉽게 찾아볼 수 있는 중소 규모의 사업체에 초점을 맞추고 있습니다. 이러한 음식점들은 주로 “음식점 허브”라고 하는 도구를 통해 참여하고 있으며, 이를 통해 운영 성과를 검토하고 사업 성장과 관리를 위한 셀프 서비스 도구를 이용할 수 있습니다.

SMB 팀이 중점을 둔 주요 지표는 참여(일간 활성 사용자(DAU), 고착도, 유지율), 전환, 이탈입니다.

Deliveroo는 파트너 음식점이 Deliveroo의 서비스를 이용해 주문을 받고 높은 ROI를 냄으로써 성공하기를 바랍니다. Deliveroo는 가입에서 첫 번째 주문까지의 전환 유입 경로를 자세히 살펴봅니다. 시장마다 파트너가 달성하기 바라는 목표가 설정되어 있어, 이탈을 줄이고 전환을 높이고 있는지 알 수 있습니다. 플랫폼 내에서 파트너 음식점이 어떻게 하고 있는지를 추적합니다. 참여하고 있는가? 성공 여부를 알려주는 지표인 행동을 취하고 있는가? 온보딩에 얼마나 걸렸는가? Jordan의 말입니다. “우리는 파트너가 Deliveroo에 참여하기로 결정한 후 수 시간 이내에 첫 번째 주문을 받게 되기 바랍니다. 그렇게 하기 위해 이러한 지표를 살펴보려고 하는 것입니다.”

Deliveroo는 Mixpanel Funnels를 사용하여 사용자 행동을 추적하고, Retention 보고서를 통해 전반적인 효과 및 인사이트를 이해해 DAU를 계산합니다.

우리에게는 파트너의 온보딩 과정과 성공에 이르는 여정을 최적화할 있는 방법을 이해하는 것이 중요합니다. Mixpanel 사용함으로써, 다양한 응용 프로그램에 걸친 상호 작용을 추적할 있게 되어, 그림을 그릴 있게 됐습니다.”

Tweet to your network
Jordan Ng Deliveroo의 수석 제품 관리자 Tweet to your network

결과

가설 검증. Deliveroo는 Mixpanel을 사용하여 DAU 트래픽이 급증하는 경우에 대한 가설을 빠르고 쉽게 검증했습니다. 이러한 트래픽 급증은 Mixpanel을 구현하고 몇 주 뒤에 발생했습니다. 요르단은 말합니다. “며칠마다 일간 활성 사용자가 급증하다가 다시 일반적인 트래픽으로 돌아가는 추세가 반복된다는 것을 알고 있었습니다.”

그 전에는 참여나 트래픽을 심층적으로 조사하지 않았기 때문에, 이러한 패턴을 어떻게 이해해야 할지도 알 수 없었습니다. 이들은 결제일과 상관관계가 있다는 가설을 수립했습니다. 즉, Deliveroo가 파트너에게 결제하는 시점에 파트너들이 결제를 받기 위해 청구서를 다운로드 하는 등의 활동을 위해 로그인하므로, 트래픽이 급증한다는 것입니다.

“우리는 이 가설을 검증하고 싶어서 신속하게 Mixpanel에 이벤트를 던졌고 Insights 보고서를 실행해 DAU와 사람들이 결제 받기 위해 할 것으로 기대되는 행동(청구서 다운로드 등)과 비교했습니다. 몇 주 동안 이를 실행했지만, 아무런 상관관계도 찾을 수 없었습니다.” 회사는 한 달 동안 데이터를 계속 수집했으며, 그 결과 매주 월요일(월요일이 휴일인 경우에는 화요일)에 트래픽을 급증한다는 것을 알게 됐습니다. “한 주가 시작되니 파트너들이 로그인하는 게 당연하죠. 고객 피드백을 보고, 지난 주의 매출을 검토하고, 메뉴를 조정하고, 운영 시간을 조정하기도 합니다. Mixpanel을 통해 결제일과 관련이 있을 것이라는 가설을 검증하여 기각할 수 있었습니다.”

Mixpanel이 없었다면 데이터 과학자를 참여시켜야 하므로, Deliveroo는 트래픽 급증을 자세히 분석할 수 없었을 것입니다. “하지만 Mixpanel에서의 클릭 몇 번으로, 이를 종합하여 대시보드에 올려 놓고 가만히 앉아서 몇 주 동안 이를 추적할 수 있었습니다.”

음식점 참여 Deliveroo Hub에는 음식점이 주문 및 판매 지표를 볼 수 있는 섹션이 있습니다. Deliveroo는 막연하게 음식점들이 간헐적으로, 즉 주나 월 단위로 이 섹션을 볼 것이라고 예상했습니다. 하지만, 실제로 상당수의 파트너 음식점들이 매시간은 매일 이를 보고 있음을 알게 됐습니다.

Jordan의 말입니다. “놀라운 일이었습니다. “고객들이 이러한 지표를 주말, 월말, 분기말 등에 본다고 생각했었으니까요. 그보다 훨씬 높은 빈도로 이를 이용한다고는 생각하지 않은 거죠.”

이는 Deliveroo에게 큰 도움이 됐습니다. 음식점들이 이미 이 기능을 사용하고 있으므로, 여기에 더 큰 투자는 필요하지 않다는 것을 알게 된 것입니다.

Jordan의 말입니다. “당시에 회사가 고객을 올바른 페이지로 데려오는지에 대해 논란이 있었습니다. 참여도가 이렇게 높으므로, 고객을 이리로 보내는 것이 옳다는 것을 재확인할 수 있었습니다.”

많이 쓰는 기능

  • 그룹 애널리틱스 Deliveroo의 음식점 그룹은 B2C 회사 내에 있는 B2B 부문으로 사용자가 아닐 수도 있는 사업체에 초점을 두고 있습니다. SMB 내에서는 음식점당 사용자가 한 명으로 생각할 수 있습니다. 하지만, Deliveroo의 경우에는 그렇지 않습니다. 많은 음식점(특히 큰 체인인 경우)에 사용자가 여러 명 있는 경우가 있습니다. “특정 사용자가 특정한 조치를 취했는지 여부는 중요하지 않습니다. 음식점이 해당 조치를 취했는지 여부가 중요합니다. Mixpanel의 기능을 통해 이를 추적할 수 있습니다.” 또한 Deliveroo는 그룹 분석을 통해 다수의 사용자를 해당 음식점 수준에서 집계한 다음 Funnels에서 모든 사용자를 살펴보고, 코호트를 만들 수 있으며, 유지율도 살펴볼 수 있습니다. 이 회사는 동일한 브랜드를 쓰는 음식점들의 성과처럼 더 높은 수준의 그룹화 작업을 수행하기 위해이 기능을 사용하기 시작했습니다. Jordan의 말입니다. “그룹 애널리틱스를 이용하면, 직원 이탈이 지표에 미치는 영향을 걱정할 필요가 없습니다. “한 음식점에서 직원 A가 우리 도구에 로그인하던 유일한 사람인데, 그만두게 된다면, 해당 음식점에 대해 추적하던 모든 지표가 그 직원에 태그를 지정하면 안 됩니다. 음식점에 태그를 지정해야죠. 그룹 애널리틱스에서 이것이 가능합니다.” Deliveroo의 보고서 배부분은 주로 그룹 애널리틱스를 대상으로 하지만, 사용자 수준을 보는 경우도 몇 가지 있습니다. 예를 들어, 마케팅 사이트의 모든 데이터는 Mixpanel에 게시되어 회사에서 익명 사용자를 볼 수 있습니다.”음식점 내 사용자들의 분리에 대해 정신적 모델은 항상 있었습니다. Mixpanel에서 속성을 배치할 때, 해당 속성이 사용자에 대한 것인지 그룹에 대한 것인지를 알아야 합니다. 그래야 그러한 분리가 의미가 있게 되죠. 이제는 이러한 모델링과 이를 분리하는 방법이 훨씬 명확해졌습니다.”
  • ID 병합. Jordan이 말합니다. “이 기능 출시를 보니, Mixpanel이 우리의 마음을 읽고 있는 것 같았습니다. “우리는 분편화된 시스템이 많이 있습니다. 사용자는 Salesforce와 같은 타사 기술을 통해 마케팅 사이트에 와서는 마침내 음식점 허브의 사용자가 되는데, Mixpanel 이전에는 이러한 여정에서 다양한 ID를 추적하고 모든 것을 하나로 묶을 수 있는 일이 불가능했습니다.” Mixpanel 전에는 역사적으로 할 수 없었던 일입니다.” ID 병합 기능의 출시로 인해, Deliveroo 블로그를 익명으로 조회하고 나중에 로그인하는 음식점을 식별하거나, 익명의 사용자로 마케팅 사이트에서 시작해 Salesforce의 잠재 고객이 되었다가 Deliveroo 시스템의 사용자가 되는 새로운 음식점을 추적하는 일이 단순해졌습니다. “우리에게는 파트너의 온보딩 과정과 성공에 이르는 여정을 최적화할 수 있는 방법을 이해하는 것이 중요합니다. 온보딩 및 중간 과정을 모두 거치고, 마켓플레이스에서 주문을 받을 수 있는 상태가 되었지만, 아직 성공을 못한 경우도 있고, 아직 첫 주문을 받지 못한 경우도 있습니다. 주문을 하나 받았지만, 그것에 대해 나쁜 평가를 받았고, 우리 회사에서 마케팅 콘텐츠를 푸시하기 시작할 수도 있습니다. 포장을 개선하기 위해 권장 사항을 제공하는 경우도 있습니다. 우리의 배달용 포장 매장에 가서 우리 포장용품을 구매하도록 권고를 받을 수도 있습니다. Mixpanel을 사용함으로써, 다양한 응용 프로그램에 걸친 상호 작용을 추적할 수 있게 되어, 큰 그림을 그릴 수 있게 됐습니다.”
  • 유입 경로 Deliveroo는 주로 이탈을 찾기 위해 Funnels를 활용합니다. Jordan의 말입니다. “이미 확립된 사용자가 작은 마법사를 실행하는 것과 같은 작업을 수행하든, 음식점 사용자가 로그인하여 다단계 프로세스를 통해 “상품”을 만든 것이든, 특정 흐름에서 볼트를 조일 수 있는 곳입니다. 우리는 Funnels를 통해 사용자 경험을 개선하고 사용자가 실제로 그 상품의 생성을 완료할 수 있도록 하기 위해 우리가 할 수 있는 일이 무엇인지 확인합니다. 이를 통해 마찰이 있을 수 있는 곳이 어디인지 통찰력을 얻을 수 있고, 어디를 살펴봐야 할지 초점을 좁힐 수 있습니다. 데이터를 심층 분석하거나 오류를 살펴봐야 하는 경우도 있습니다. 사람들이 다음 단계로 넘어가지 못하도록 막고 있지만, 우리가 다루지 못하는 경우도 있을 수 있겠죠.” Deliveroo는 또한 최초 가입에서부터 첫 번째 주문까지의 여정을 살펴보는 더 큰 전환 유입 경로도 지켜봅니다. 마찰이 있는 경우에는, 수동 프로세스를 잘라내거나 고통스러운 지점을 줄임으로써 해당 단계 사이의 시간 간격을 어떻게 줄일 수 있는지 살펴봅니다.
  • 고객 유지 Deliveroo는 음식점이 플랫폼에 참여하고 있는지 확인하기 위해 1주 유지율 및 3주 유지율을 지켜봅니다. 사용자가 허브 사용에서 가치를 찾고 있는지 보는 겁니다. Jordan의 말입니다. “허브를 통해 주문을 받을 필요는 없습니다. 일단 설정한 이후에는 완전히 자동 모드로 넘어갈 수 있고, 주문을 받을 수 있습니다. 이 포털에 다시 돌아올 필요는 없지만, 우리는 고객이 사업을 성장시키고 관리할 수 있도록 도와드리고 싶습니다. 고객을 교육하고, 방향을 제시하며, 사업을 개선할 수 있도록 도와드리는 기회이기 때문에, 고객 참여와 유지율을 측정하고자 하는 것입니다.”

Deliveroo가 Mixpanel을 좋아하는 이유

다양한 팀이 Mixpanel 통해 데이터에 액세스. Deliveroo에서는 다음 사람들이 Mixpanel을 사용합니다.

  • 제품 팀: 제품 관리자, 엔지니어링 관리자, 엔지니어, 디자이너, 데이터 과학자.
  • 상거래 팀, 특히 B2B 마케팅 팀.
  • 데이터 과학 팀 및 BI 팀(특히, 참여 지표에 관해)
  • PM 및 제품 마케팅 관리자(특히 새로운 기능에 대한 참여 및 상호 작용을 측정하기 위해)

Mixpanel과의 협업. Jordan은 이렇게 말합니다. “Mixpanel 계정 팀과의 협업은 환상적이었습니다. “Mixpanel을 처음 구현했을 때, 우리가 갖고 있던 로그인 사용자 수와 Mixpanel에서 기록한 MMT 수 사이에 큰 불일치가 있음을 알게 됐습니다. Mixpanel 계정 관리자는 지원팀에 연결을 해줬고, 결국 우리 회사의 엔지니어들이 지원팀과 협업하여 문제의 근본 원인을 파악하고 해결할 수 있었습니다.

“강조하고 싶은 또 다른 일화로, 다양한 분야의 직원 약 40명에 대해 Mixpanel과 함께 교육 세션을 진행했다는 점을 들 수 있습니다. 대단한 지원 수준이었습니다. 사람들이 Mixpanel을 좋아하고 사용하기 위해 필요한 일을 한 것입니다.”

Jordan Ng의 일반적인 권고 사항

“올바른 사업 지표를 보여주는 것이 개발 프로세스에 통합되어야 합니다. 그게 무슨 뜻일까요? 특정 기능이나 특정 작업을 수행하기 위해 엔지니어를 만날 때는 코드를 테스트하기 위한 단위 테스트 코드를 작성하라고 요청할 필요가 없습니다. 그것은 기능을 개발하는 과정의 일부이기 때문이죠. 운영 지표를 보여주는 것도 마찬가지입니다. 서비스도 잘 작동해야 하지만, 이러한 지표를 보여주는 것이 부록이 되어서는 안 됩니다. 사업 지표에 대해서도 마찬가지의 사고 훈련과 엄격함이 적용되어야 합니다.

하지만, 제가 있어 본 대부분의 회사에서는 그렇지 않았습니다. 기능을 작성하는 업무의 일부로 이러한 것이 기본적으로 수행되어야 한다는 당연한 일이 아닙니다. 이를 문화와 기대치 속에 녹여내는 것이 아마도 우리가 할 수 있는 가장 중요하고 영향력이 큰 일일 것입니다.

세상의 모든 도구를 확보할 수도 있겠지만, 데이터를 보여주지 않거나, 제품 관리자 또는 데이터 과학자가 개발 과정 중에 요청하지 않았기 때문에 이제 특정 질문에 답하기 위해 다시 과거로 소급해 가야 한다면, 두 단계 뒤처지는 것입니다.

우리는 다음과 같은 질문을 해야 합니다. 유용한 지표는 무엇입니까? 우리는 무엇을 측정하고 싶습니까? Mixpanel에서 보여줘야 하는 이벤트가 있습니까? 이것이 제 가장 큰 조언입니다. 이를 문화 속에 녹여넣고, 개발 프로세스에 녹여넣어, 당연한 것으로 만드십시오.”

더 좋은 제품을 만들고 싶으신가요?

강력한 제품 분석 솔루션을 통해 제품의 고객 참여를 늘리고, 유지율을 높이고, 전환을 증가킬 수 있는 인사이트를 발견하세요.