• Нормализуйте метрики: попробуйте нормализовать показатели, разделив их на количество активных пользователей, – так линии в графиках всегда будут горизонтальными, пока не будут зафиксированы значительные изменения. Так, к примеру, общее число ежедневных комментариев идет вверх при увеличении пользовательской базы, и, просто взглянув на график, сложно определить, стал ли каждый из пользователей оставлять больше комментариев. А если взять общее количество комментариев и разделить его на число активных пользователей, можно быстро это выяснить.

• Учитывайте сезонность: некоторые продукты используются чаще в определенные дни недели или время года. Если не принимать этот момент во внимание, то сложно понять, будет ли тенденция восходящей или нисходящей. Проследить этот момент проще всего, проведя пунктирную линию от показателей прошлого года (или прошлой недели) к текущим и отметив сезонные колебания.

• Показывайте средние значения за 7 дней: некоторые продукты отличаются своим непостоянством и могут резко набирать популярность благодаря вирусной публикации или какому-то другому событию. И чтобы лучше разобраться в тенденциях, полезно просмотреть среднее значение за 7 (или 14, 28 и т. д.) дней. Это касается и продуктов, объем использования которых варьируется в зависимости от дня недели.

РЕГУЛЯРНО ПРОВЕРЯТЬ ПОКАЗАТЕЛИ СВОЕЙ КОМАНДЫ

Проводить обзор продуктовых метрик нужно на постоянной основе. Это позволяет быстро выявлять любые неожиданные изменения показателей и оперативно устранять проблемы. Вот некоторые ключевые вопросы для проверки метрик:

• Как поменялись графики для тех или иных показателей по сравнению с предыдущим периодом? Они пошли вверх или вниз? Что вызвало эти изменения?

• Отмечается ли влияние недавних продуктовых или маркетинговых изменений на показатели?

• Превысил ли какой-либо показатель свой порог настолько, что это стоило бы отметить?^[28]

• Прослеживаются ли какие-нибудь долгосрочные тенденции? Можно ли увидеть, какие показатели подтверждают или опровергают продуктовую стратегию?

В некоторых командах вводят очередность отслеживания показателей. Каждую неделю назначается человек, который анализирует метрики и отслеживает любые непредвиденные изменения. Благодаря этому вся команда в курсе изменения показателей и существует гарантия, что проверка действительно проводится.

ИЗУЧАТЬ ДАННЫЕ

Так же как пользовательские исследования дают новые сведения о клиентах, так и изучение данных о продукте может выявить новые возможности для его развития. К использованию данных можно подходить творчески, но, чтобы это делать, нужно понимать, какие данные вообще существуют. Приведем пример.

Однажды моя команда в Google решила использовать IP-адреса пользователей, чтобы выдавать релевантные по местоположению результаты поиска на запросы типа «пиццерия». Мне казалось, что IP-адреса для этого было достаточно. Но как я могла это доказать? Мы не горели желанием сразу же проводить эксперимент – он не смог бы показать, как точно можно предсказать местоположение пользователя по IP-адресу. А множество ошибочных результатов поисковой выдачи сильно бы раздражали клиентов.

РАССМОТРИМ ТАКОЙ СЦЕНАРИЙ

Представьте, что вы работаете в Google. Как вы докажете, что IP-адреса соответствуют местоположению людей, если вы не знаете, где именно они находятся?

Вероятно, существует много ответов на этот вопрос. Я поступила так.

Прежде всего, я предположила, что часть пользователей в какой-то момент ввела почтовый индекс (предположительно, свой) для поиска прогноза погоды или расписания сеансов кинотеатра. И я могла быть уверена, что местоположения их IP-адресов примерно соответствовали местам с указанным индексом. Пока все было хорошо.

Но IP-адреса все равно могли находиться за много миль от местоположения пользователей, даже если почтовый индекс был указан правильно. Как определить, что точнее: IP-адрес или почтовый индекс? Опять же, представьте, что вы работаете в Google и решаете эту проблему. Какие данные могут быть вам полезны?

Я подумала, что те же самые пользователи также периодически искали конкретные рестораны или магазины. Теперь вопрос заключался в следующем: когда они искали конкретные адреса, они совпадали с почтовым индексом или с IP-адресом?

Оказалось, что IP-адрес был намного точнее, чем почтовый индекс, а значит, он в принципе был довольно надежным источником информации. Теперь я была готова с уверенностью приступить к эксперименту, потому что знала, что ошибок с определением местоположения практически не будет. Эксперимент оказался успешным, и мы запустили новую функцию.

Все это стало возможным только потому, что я знала, какие данные существуют.

Проявите любопытство и изучите, какие данные доступны в вашей компании. Это могут быть дашборды Google Analytics, необработанные логи пользователей, отчеты NPS^[29], журналы поиска – все, к чему у вас есть доступ. Начните с любых вопросов, пришедших вам в голову, независимо от того, связаны ли они непосредственно с вашими проектами или просто с чем-то интересным для вас. Ищите что-то необычное, затем попробуйте разобраться, что это может означать и чем было вызвано. Если вы найдете нечто интересное, обязательно поделитесь этим с другими людьми.

СФОРМИРОВАТЬ КЛЮЧЕВЫЕ ПОКАЗАТЕЛИ УСПЕХА ВАШЕЙ КОМПАНИИ

Выбор отслеживаемых метрик не является догмой. По мере продвижения в карьере вы сможете помогать всей компании фокусироваться на самых важных показателях. Если вам кажется, что люди отслеживают не те метрики или путаются в расстановке приоритетов, это знак, что пора вмешаться и помочь.

Чтобы сформировать метрики успеха компании, понадобится кросс-функциональный корпоративный процесс, а также поддержка и участие многих коллег. Обозначьте, какие проблемы в связи с текущими показателями успеха видите вы, и попросите сотрудников разных отделов и направлений рассказать, что видят они и какие опасения у них возникают в связи с изменением метрик.

В конце этой главы мы дали некоторые рекомендации о том, как правильно выбрать нужные метрики и показатели.

Смотрите также разделы «Значимые показатели против метрик тщеславия» на с. 66 и «Пиратские метрики» на с. 67.

ОТВЕЧАТЬ ЗА ПРИБЫЛИ И УБЫТКИ

В некоторых компаниях PM-сеньор отчитывается за то, какие прибыли и убытки (P&L) показывает их структурное подразделение. Это означает, что они выходят на другой уровень ответственности, где им приходится работать не только с командой разработчиков, но и с другими группами, например отделом продаж или маркетинга. PM в данной позиции отвечает не только за создание отличного продукта, но и за то, чтобы тот приносил достаточную прибыль и не вызывал лишних затрат.

Если вы отвечаете за P&L, вам приходится вести бюджет своей команды с кем-то из отдела финансов. Бюджет содержит плановые и целевые показатели на год, обычно с разбивкой на кварталы или месяцы. В нем учитывается количество людей, которых вы собираетесь нанять на каждую позицию, затраты на рекламу и другие издержки. Также он включает в себя доход, прогнозируемый на основе дохода предыдущего периода, сезонности, численности персонала отдела продаж, маркетинговых мероприятий и запуска продуктов^[30].

Может показаться, что правильный прогноз получить невозможно; но, к счастью, он и не требуется. Илай Лернер (Ely Lerner), отвечающий за P&L в Yelp, поделился своей точкой зрения:

«Скорее всего, вам никогда не удастся составить точный прогноз, поэтому мой совет таков – продумывайте все на шаг вперед, чтобы заранее видеть возможные ошибки. Так у вас будет больше времени, чтобы исправить недочеты и сообщить об изменениях другим заинтересованным участникам. Полезно подготовить консервативный финансовый план для стейкхолдеров, а перед своими командами поставить более амбициозные внутренние цели – пытаясь их выполнить, они достигнут нужных результатов».

При составлении бюджета, особенно в публичной компании, приходится давать обоснование тех или иных инвестиций. Предположим, ваша стратегия состоит в том, чтобы максимизировать прибыль, или в том, чтобы повысить вложения для увеличения доли на рынке. Любой из вариантов может сработать, но ваша задача – убедить инвесторов в том, что вы делаете правильный выбор.

Прогнозирование играет большую роль, потому что цели, которые вы ставите, и ваша способность их достичь отражаются на стоимости акций компании напрямую. Это, в свою очередь, влияет на уровень компенсаций и может даже повысить риск того, что активные инвесторы получат контроль над вашей компанией^[31].

Каждый месяц или неделю вы будете отчитываться о прогнозах и анализировать, что на них влияет. Если начнут снижаться доходы или вырастут расходы, вам придется разобраться, почему это происходит. Со временем вы построите дашборды и модели, которые помогут вам быстро определять, в какой части воронки идет отставание.

Анализ движущих факторов может показаться сложным. Но, как сказал Сачин Рекхи (Sachin Rekhi), руководитель по P&L в LinkedIn, такой анализ улучшает продуктовую интуицию и способен сделать из вас хорошего PM:

«Теперь, выдвигая инициативу, вы будете думать о том, какой движущий фактор она будет стимулировать и как сильно. Понятно, что вы не можете быть точны на 100 %, но в конце каждого квартала вы сможете оценить, что действительно было сделано, и интуитивно понять, какие дополнения и изменения продукта привели к тем или иным значимым показателям».

Если что-то пойдет не по плану, вместе с командой вы сможете решить, за какие рычаги потянуть, чтобы вернуть процесс в нужное русло. Можно переориентировать бюджет с долгосрочных ставок на более краткосрочные проекты, например на рекламу. Или попросить инженеров разработать инструмент, который повысит продуктивность отдела продаж.

Практики роста

ИСПОЛЬЗУЙТЕ БЕНЧМАРКИ ДЛЯ ОСМЫСЛЕНИЯ ДАННЫХ

В начале карьеры я думала, что PM должен держать в голове множество разных сведений о продукте, и меня это очень пугало. Я не могла понять, зачем помнить наизусть количество пользователей продукта или темпы роста прибыли от его продаж. Мне сразу вспоминался урок истории, где я с трудом пыталась запомнить какие-то важные даты. Иногда я даже сомневалась, создана ли я для того, чтобы быть PM.

Моим спасением стало использование бенчмарков, которые добавляли определенный контекст и показывали важность тех или иных значений. Бенчмарки – это опорные точки, отраслевые стандарты или принятые в компании нормы, основанные на прошлых запусках продуктов.

Например, у венчурных компаний есть бенчмарки доходов и роста, используемые для оценки работы продукта.

При изучении данных выберите некую контрольную точку, чтобы понимать, как интерпретировать те или иные значения.

УЧИТЕСЬ ИНТУИТИВНО ПОНИМАТЬ ДАННЫЕ

Со временем вы научитесь лучше распознавать важные сведения среди информационного шума. Это похоже на магию, но на самом деле этот процесс основан всего лишь на узнавании паттернов, с которыми вы уже сталкивались в прошлом.

Вы можете развить свою интуицию, если присмотритесь к тому, как другие люди анализируют данные и выявляют закономерности. Примите участие в разборе эксперимента или изучите материалы прошлых разборов. Попытайтесь увидеть смысл в цифрах и понять, какая история стоит за ними.

ПОВЫШАЙТЕ КАЧЕСТВО ЭКСПЕРИМЕНТОВ

Эксперименты полезны, но это вовсе не значит, что их нужно использовать для проверки каждой идеи или разрешения любого спора. Провалить эксперимент – это нормально, даже хорошо. Но их подготовка и проведение отнимает массу времени. И если вы слишком часто терпите неудачу, вероятно, вы неразумно тратите время своей команды.

Нунду Джанакирам (Nundu Janakiram), директор по продуктам для пассажиров Uber, рассказал о том, почему важно повышать эффективность экспериментов:

«Хорошие PM учатся на ошибках… а лучшие меньше ошибаются.