Shreyas Doshi氏「プロダクト指標の選択、調整、追跡について語る」 - Mixpanel
Shreyas Doshi氏「プロダクト指標の選択、調整、追跡について語る」
Innovators

Shreyas Doshi氏「プロダクト指標の選択、調整、追跡について語る」

Last edited: 4月 15, 2021
Shreyas Doshi PM Lead @ Stripe

賢いプロダクトチームがありきたりなプロダクトやインパクトのないプロダクトを構築することが多いのはなぜでしょうか?  多くの場合、その答えはプロダクトチームがプロダクトの価値を測定する方法にあります。

指標の選択:指標のカテゴリー

指標を選択するときは、いくつかの異なるカテゴリーを検討する必要があります。こうしたカテゴリーは、プロダクトについての厳しい決定を下すのに役立つ様々な粒度と見解にわたっています。一般に、次のようなカテゴリーを含めることで、ユーザーと貴社にとってのプロダクトの価値を十分に理解するための質問に対する答えを見つけることができます。

1つの指標が複数のカテゴリーに属することはあり得ます。同時に、そのプロダクトの特殊な状況・背景や成熟度に応じて、プロダクトの特定のカテゴリーを完全に除外することが理にかなっている場合があります。

1. 健全性の指標

チームがプロダクトのパフォーマンスを把握して、潜在的な問題を認識することは非常に重要です。

重要な質問: プロダクトは、ユーザーが合理的に期待するようなレベルの可用性および機能性を発揮しているか?

このカテゴリーに該当する一般的な例には次のようなものがあります。

  • レイテンシー: ユーザーのアクションとその結果である応答の間に要する時間。
  • 初期読み込み時間: ページがユーザーに表示されるまでに要する時間。
  • 稼働時間: システムが正常に稼働している合計時間。
  • データ損失率: 組織内外の作用によって引き起こされた意図的または非意図的なデータの損失。これは、データ移行といった正常なプロセスや悪意のある攻撃によって発生する可能性があります。
  • HTTPエラー: エンドユーザーにとってエラーに終わった要求の数。

 

2. 利用状況の指標

プロダクトが成功するかどうかは、主に、ユーザーのエンゲージメントレベルがどの程度か、どれくらいの頻度でユーザーが戻ってくるか(戻ってくる場合)にかかっています。利用状況の指標は、ほぼ必ず、プロダクトに関する決定を下すにあたって最も重要なインプットの1つであるべきです。

重要な質問: ユーザーはプロダクトをどのように利用しているか?

例としては、次のようなものがあります。

  • 時刻/曜日の傾向: トラフィックが最も高い/最も低いのはいつか?
  • 上位Nアクション: ユーザーがプロダクトで実行する主なアクション。
  • ファネルの指標: ファネルに関連する量、速度/発生頻度、コンバージョンの指標。
  • ヘルプドキュメントの使用状況: ユーザーがヘルプリソースを参照・使用する度合い。
  • パスワードのリセット率: パスワードに関連するフリクションは、コンバージョンを低下させて、ビジネスに大きな悪影響を及ぼす可能性があります。セキュリティとショッピング/サインインのしやすの間でバランスを取ることが重要です。

 

3. 採用の指標

採用の指標は、利用状況の指標とは異なる観点からユーザーエクスペリエンスに関するインサイトを得るのに役立ちます。ユーザーがプロダクトをどのように採用するか、新しい機能やサービスにどのように反応するかに焦点を当てています。

重要な質問: プロダクト(とその主な機能)は、自分たちが希望する頻度や方法で使用されているか?

多くの場合、チームは次のような採用の指標を追跡します。

  • アクティブユーザー: プロダクトに関与しているユーザーの数。これは、デイリーアクティブユーザー数(DOU)、週間アクティブユーザー数(WAU)、月間アクティブユーザー数(MAU)として測定されることが多いです。
  • M日中N日の使用: プロダクトを使用した日数/週数の測定値(7日中3日など)。
  • 戦略的機能の採用の傾向: 「採用率が最も低い機能と最も高い機能はどれか?」、「めったに使用されない、または一度も使用されない機能はどれか?」、「新機能を採用したDOUの割合はどれくらいか?」といった質問に対する答えを提供します。
  • 無料ユーザーから有料ユーザーへのコンバージョン: 所定期間後に有料ユーザーになった無料ユーザーの数。

 

4. 満足度の指標

満足しているお客様は、プロダクトに関する口コミを広めてくれる可能性が最も高いです。顧客満足度(CSAT)は、他の重要指標だけでなく、貴社のブランドにも影響を与えます。

重要な質問: プロダクトまたはその主な機能に対するお客様の全体的な感情はどのようなものか?

例としては、次のようなものがあります。

  • 総合CSAT これは、プロダクトやサービスに対するお客様の全体的な満足度です。
  • 新機能CSAT 新しくローンチした機能に関する顧客満足度スコア。
  • サポートCSAT プロダクトと一緒に提供されるサポートサービスに関する顧客満足度スコア。

 

5.エコシステムの指標

プロダクトは単独では動作しません。マクロ環境内でのプロダクトの位置を追跡することで、チームはより大きな機会と長期計画に目を向けることができます。

重要な質問: プロダクトが動作するドメイン内のプロダクトのマクロ状態はどのようなものか?

定期的に追跡すべき一般的な指標としては次のようなものがあります。

  • シェア・オブ・ウォレット(財布内シェア): これは、お客様の支払能力(「財布」)のうち、競合プロダクトではなく自社プロダクトへ行く金額のパーセンテージ(「シェア」)を表したものです。
  • サードパーティインテグレーション: サードパーティインテグレーションにより、プロダクトは「定着度」のより高い、お客様にとって価値のあるものになります。お客様は、他のアプリケーションとのインテグレーションに基づいて、プロダクトが適格か不適格かを判断することができます。
  • 業界ランク: 推定市場価値、顧客数、顧客レビュー、成長可能性、その他の要因に基づく競合他社との比較。
  • 対象セグメント内の市場シェア: プロダクトが浸透した獲得可能な市場の割合。

 

6.結果の指標

プロダクトはビジネスそのものだと捉える企業もあれば、プロダクトは業績をもたらすものだと捉える企業もあります。

重要な質問: このプロダクトにより、どのような業績を達成することができているか?

どのような指標を選択するかは企業によって異なりますが、一般的なものとしては次のようなものがあります。

  • 売上: プロダクトが総売上に与える影響を追跡します。
  • 売上総利益率: 総売上と売上原価の差を総売上で割った値。
  • アクティブユーザー: 所定期間内にプロダクトとインタラクションを行ったユーザーの数。
  • フォーチュン1000社で採用された割合: プロダクトを採用したフォーチュン1000社の数(大企業に売り込む企業で使用される)。

どのプロダクトについても、恐らく数十の指標を追跡することになります(特に利用状況の指標カテゴリー)。同時に、全体像を把握するのが難しくなるほど氾濫するデータに圧倒される状態になるのを避けなければなりません。

指標の調整:重要指標と先行指標

プロダクトの戦略と目標の達成状況を明確に示すいくつかの指標(3~5)を定義することをお勧めします。これらが、重要指標(KMです。

重要指標

通常、ハイレベルでは、プロダクトの変更に対応する北極星指標(プロダクトの目標と方向性、そして成功を計る尺度)を選択します。それが、プロダクトのユーザーにとっての価値を総合的に表したものになります。

しかし、星は北極星だけではありません。むしろ、様々な指標が異なる次元にて1つの複雑なプロダクトを測定することになります。ReforgeのCEOであるBrian Balfour氏は次のように述べています。「ほとんどのプロダクトには、アクイジション指標、リテンション指標、エンゲージメント指標、収益化指標という4つのハイレベル指標が必要です。この4つの指標は、一方が他方に影響を与えることができる1つのシステムとして機能します」。

プロダクトマネージャーは、プロダクトごとに異なる次元を捉えることで、数字の背後にある背景・状況を理解して、プロダクトの推進力を高めるバランスを見つけることができます。

重要指標を選択するための基準に関しては、決まったルールがあるわけではありません。 重要指標を選択するときに私が使用する基準には次のようなものがあります。

  1. プロダクトの変更に反応するものである必要がある。
  2. ユーザーにとってのプロダクトの価値を見極めるための集約的測定値である。
  3. ビジネス価値に容易に結び付けることができる。
  4. 長期にわたって追跡するものである(少なくとも2~3年)。

KMは、プロダクトのパフォーマンスに関する全体像を示してくれます。通常、KMに対して年間目標を設定します。貴社の役員や取締役も、これらの指標を見て、プロダクトの進捗状況を評価することになります。

一部のチームでは、指標に影響を与える外部要因があるため、特定のインジケーターをKM として使用することを避けます。たとえば、「自分たちの売上目標はこの要因に左右されるため、それをKMとして使用することはできない」とあるチームは言います。 確かに、売上が選択したいくつかのKMに影響を与える可能性はありますが、100%コントロールできない要因について私は気にしません。100%コントロールするなんてことはできないのですから。

各従業員が強い当事者意識を持つ健全な企業では、次のような考え方になります。「セールス部門が私の担当したプロダクトを販売できない/販売しない場合、それは私の問題でもある」。

特定の場合(採用サイクルが長いB2B SaaSなど)では、KMは成果の遅行指標(収益創出など)となります。販売サイクルが長い場合、機能やパフォーマンスが収益にどのような影響を与えているかを確認するのは困難です。

そのため、チームには先行指標(LMと呼ばれる指標もいくつか必要になります。 

先行指標

LM は、より短い期間内でのアクティビティ、変更、実験などの影響を把握するのに役立ちます。

たとえば、向こう2~3四半期にわたって、特定の戦略的機能の採用に関するLM(時間の経過とともにKMを変化させるもの)、国ごとの利用可能性に関するLM、またはセルフサービス型ファネルの成功に関するLMを使用します。

遅行指標であるKMを選択する企業の場合でも、一回に3~5つのLMを定義することをお勧めします。プロダクトの全体的な進捗状況と事業成長を測定するため、LMはより頻繁に変化する可能性があります。

指標の追跡に関するベストプラクティス

指標を選択して調整したので、次は指標を実際に使用してみます。 指標を使用する際に役立ついくつかの戦術:

  1. 指標ダッシュボードを1つのプロダクトのように扱います。
  2. その利用状況を追跡します(メタデータ)。
  3. Chromeにピン留めしたタブをダッシュボードに設定します。
  4. 指定した日にピン留めしたタブを確認します(私は毎朝確認しています)。
  5. 週次メールレポートを設定します(多くの人は指標をメール送信されることを非常に喜びます)。

 

注意点:誤った精度、意思決定支援、言い訳

指標を設定するときは、誤った精度に注意してください。多くの場合、来年の指標についての計画を立てるときが来ると、非常に分析的であるふりをするために多くの時間と労力をかけます。現実には、特定の数字を正確に予測する方法はありません。正確な予測にしようと過剰に労力を費やすことは、初期段階および中期段階にあるプロダクトの場合は無駄になることが多いです。

判断に迷う場合は、達成したい数値に最も近い代替指標となる定性目標を設定します。

結論

チームリーダーが適切なプロダクト指標を選択するための私の重要なアドバイスを要約すると次のようになります。

  1. カテゴリーに分類することは有効である: 上記の6つの指標カテゴリーを使用することは、ユーザー価値とビジネス価値について包括的思考をするのに役立ちます。
  2. KMLMの特定のグループを選択する: 私の場合、3~5つの重要指標と3~5つの先行指標を選ぶというアプローチは、ほとんどのB2B向けプロダクトや消費者向けプロダクトで非常に上手く機能しています。
  3. 指標駆動型の意思決定ではなく、指標志向型の意思決定になるようにする: チームが特定の指標の背後にある「理由」を理解していないのにもかかわらず、その指標に影響を与える意思決定を下すことにした場合、そのチームは、指標がもたらす情報に基づいてではなく、指標に駆り立てられて意思決定を下している可能性があります。

多くの場合、(いつ)ルールを破ることができるかどうかが、優れたPMとそうでないPMを差別化する要因になります。優れたPMは熱心に指標を追跡しますが、多々あるインプットの情報源の1つとして指標を利用します。

Shreyas Doshi氏について

Stripe初のPMリードであるDoshi氏は、プロダクト管理の役割を定義することと、StripePMチームを成長させることに尽力してきました。Stripe ConnectおよびStripe Terminalのプロダク管理を担当した後、現在はモバイルプロダクトを担当しています。また、TwitterGoogleYahooにてプロダクトリーダー職も歴任しています。Doshi氏は、twitter.com/shreyasにてプロダクト管理、リーダーシップ、組織心理学をテーマにした記事・投稿を書いています。