Аналитика и принятие решений на основе данных - одна из ключевых компетенций, по которым оценивают продакт-менеджера. С другой стороны, есть целые профессии, посвященные анализу данных и работе с метриками - data analyst (аналитик данных), BI-инженер и др. Иногда волей-неволей задумываешься, а где же граница? Сколько нужно знать продакту про метрики и что именно? Попробую ответить на наиболее частые вопросы про метрики, которые мне задают и которые задаю себе я.

Нужно ли продакту уметь работать с метриками?

Да, нужно. В конце-концов, именно вы отвечаете за результат. Как определить, что мы достигли успеха? Как понять, что фича, которую мы выпустили, действительно улучшает продукт? Как приоритизировать улучшения в продукте (думаю, не нужно объяснять, что основные ограничения, с которыми сталкиваются команды разработки сегодня - это team capacity и time to market)? Эти вопросы крутятся в голове продакта ежедневно, и ответить на них помогают метрики. Есть компании, в которых в каждой команде есть дата-аналитик, который поможет собрать данные и даже сгенерировать новые инсайты на их основе. Но тут есть два момента. во-первых, выделенные дата-аналитики есть далеко не во всех командах и не во всех компаниях. Даже в больших корпорациях зачастую команда дата аналитиков решает вопросы сразу для нескольких продуктовых команд. В таком случае, вам придется ждать, пока для вас освободится время. Во-вторых, даже если дата аналитик занимается построением метрик, в ваши обязанности входит их анализ.

Как анализировать метрики?

Это очень обширный вопрос, на который у меня нет однозначного ответа. Но я точно знаю, с чего стоит начать анализ метрики - с понимания ее физического смысла. Другими словами, что на уровне продукта значит "retention упал на 2 процентных пункта"? Давайте разберем этот вопрос на примере приложений типа ridesharing.

Это значит, что пользователи стали меньше открывать приложение каждый день? Или это значит, что пользователи стали меньше заказывать поездок в неделю? И тот, и другой ответ может быть правильным - все зависит от того, что вы вкладываете в понятие retention и как он измеряется. Retention 1-го дня на физическом уровне будет характеризовать "интересность" продукта - ridesharing не относится к продуктам типа entertainment (игры и развлечения) или social life (соцсети и мессенджеры), следовательно retention 1-го дня - точно не наша метрика. Заказ такси относится к среднечастотным продуктам, здесь более важны метрики 14-го и 30-го дня.

Далее, по какому действию пользователя оценить, что он вернулся в продукт? Ответ - по целевому. Далеко не всегда достаточно просто открыть приложение, чтобы сказать, что пользователь вернулся. Например, приложения такси часто открывают для сравнения цен, но этого недостаточно. Важно, чтобы пользователь заказал поездку.

Как определить, какие метрики отслеживать?

Спросить себя: "На какой вопрос я ищу ответ в этой метрике?" или в другой интерпретации: "Я хочу измерить X, чтобы что?" Мне очень сильно помогает отсечь ненужное.
Для любого продукта можно придумать миллион метрик. Проблема заключается в том, что в этом случае сильно размывается фокус и принимать решения становится невозможно. Метрики, за которыми вы следите, должны строго отвечать цели в продукте, которую вы преследуете. На работе я борюсь с этим каждый день. Мы разрабатываем продукт, судьбой которого интересуются очень многие стейкхолдеры. Естественно, у каждого в голове свои вопросы, на которые хочется получить ответы. Если бы после каждого такого запроса я бежала вводить новую метрику в продукт, мы бы уже сидели с десятком различных дашбордов, гадая, какое же решение нужно предпринять на основе всех этих абсолютно разных метрик. Вместо этого, я каждый раз объясняю, что на данном этапе наш фокус - это вовлечение пользователя в продукт. Поэтому, наравне с бизнесовыми, наши основные метрики - это конверсия, время в продукте, retention.
Pro tip: в следующий раз, когда на интервью у вас спросят, какие метрики успеха для фичи X вы предлагаете, остановитесь на минутку и уточните, какая цель этой фичи была изначально. Один этот вопрос даст вам +10 очков.

Как часто следить за метриками?

Зависит от их природы, степени влияния, которое вы можете оказать на метрики и их динамики. Даже если не вдаваться глубоко в теорию построения пирамиды метрик (что на деле может оказаться не только трудозатратной и вообще неподъемной задачей для продакта, но иногда и не нужной), то все метрики условно можно разделить на три категории:

• Бизнесовые, top-level метрики - двигать их сложно. Как правило на небольшое изменение такой метрики влияет огромное количество изменений в продукте, маркетинге и т.д. Самый простой пример top-level метрики - это средний чек. Нет смысла следить за ее изменением каждый день, возможно, имеет смысл отслеживать динамику таких метрик на временных интервалах 14-30 дней. Конечно, если вы планируете масштабное изменение, которое по вашим эстимациям должно оказать сильное влияние на top-level метрики, то динамику нужно отслеживать сразу после выпуска обновления.
• Главные продуктовые метрики - не обязательно это будет retention или LTV. Как правило, выбирают 5-7 ключевых метрик для продукта, в зависимости от стадии его развития (инициация, рост и т.д.) и отслеживают изменения на временных промежутках 7-14 дней. Для каждого конкретного продукта набор этих ключевых метрик и временной интервал отслеживания может быть свой. С моей точки зрения никакого золотого стандарта здесь нет, все зависит от цели, которую преследует продукт на данном этапе жизни.
• Тактические метрики - за которыми можно следить ежедневно. Это всевозможные конверсии, активации, показатели вовлечения и т.д. Это метрики фичей, которые влияют на главные продуктовые метрики, и далее - на метрики top-level.

Всегда ли нужно иметь North Star Metric?

Мое субъективное мнение - не всегда. North star - это отличная мотивирующая метрика для продуктовой команды, которая согласуется с продуктовой стратегий, и отличная метрика ценности для пользователей. Многие компании сегодня определяют для себя north star metric. Но существует также миллион других успешных бизнесов, которые прекрасно обходятся без нее. Вообще, природа North star метрики, равно как и ее влияние на продукт - очень интересная и неоднозначная, на мой взгляд, тема. Но об этом поговорим уже в другой раз.