Обидно в конце исследования обнаружить, что вопросы в нем были неправильными. Умение задавать правильные вопросы состоит в том, чтобы заранее знать, как использовать полученные ответы.

Дерево решений (с. 86) служит для этого отличным инструментом – оно помогает спрогнозировать возможные ответы и последствия для каждого из них. Если кто-то из стейкхолдеров настроен скептически, покажите им дерево решений до начала исследования, чтобы они убедились в правильности ваших вопросов.

Иногда при создании дерева можно увидеть, что все ответы ведут к одному и тому же решению. Представьте, например, мини-дерево для тестирования продукта с помощью бумажного прототипа:

• Если все прошло хорошо: переходим к более точному прототипу.

• Если все прошло плохо: возможно, причина в низком качестве прототипа. Переходим к высокоточному прототипу для более успешного тестирования.

Каков результат? В обоих случаях вы перейдете к прототипу высокого качества. Вы можете периодически показывать бумажные прототипы своим коллегам, просто чтобы выявить очевидные проблемы, но основные усилия лучше приберегите для подбора участников тестирования более точных прототипов.

Иногда информации, полученной в ответ на ваши вопросы, недостаточно для принятия решения. Например, вы можете спросить, сколько часов в день люди используют ваше приложение. Но для принятия решения вам нужно понять, сколько времени они хотят тратить на него.

Бывает, что дерево решений кажется вам идеальным, а потом выясняется, что у кого-то из стейкхолдеров на этот счет противоположное мнение. Предположим, ваше исследование показывает, что людям не требуется поддержка старых браузеров. Но коммерческий директор объясняет, что она нужна для привлечения внимания отраслевых аналитиков, а не конечных пользователей. В этой ситуации придется пересмотреть дерево решений и найти такой вопрос, который заставит руководителя согласиться с вами.

Вы воздействуете на ответы участников

Неверная формулировка или случайные наводящие вопросы могут легко исказить результаты исследования.

Если спросить: «Как поделиться этим с другими?», человек сразу обратит внимание на кнопку с надписью «Поделиться». А если сформулировать вопрос по-другому: «Как отправить это своему другу?», то нужную кнопку он найдет не так быстро.

Другой вариант воздействия на участника – спросить, нравится ли ему новая функция. Всем нравятся новые функции. Вместо этого лучше поинтересоваться, сколько он готов за нее заплатить, как часто он предполагает ей пользоваться и от чего он готов ради нее отказаться.

Вы взяли слишком много участников для юзабилити-теста

Существует простое и надежное правило – брать в среднем пять участников для тестирования юзабилити продукта^[27]. Если их больше, эффективность выявления проблем снижается, при этом их все еще недостаточно много, чтобы отвечать на количественные вопросы.

Когда приходится опрашивать слишком много людей, возникает опасность не только впустую потратить время, но и отпугнуть членов своей команды от участия в подобных исследованиях в будущем – им будет казаться, что эта деятельность отнимает слишком много времени.

Вы не воспринимаете исследователей пользователей как партнеров

Некоторые PM считают, что исследователи аудитории нужны только для изучения юзабилити или подтверждения правильности идей самого PM. Однако, если подключить таких специалистов к процессу с самого начала, они могут оказаться очень полезными стратегическими партнерами, которые помогут создать более успешный продукт.

Не стоит думать, что можно просто подкидывать им свои требования, в ответ на которые они будут выдавать результат. В успешном партнерстве существует гармоничное двустороннее общение. Нужно обсуждать методы, критерии подбора участников и сроки, посещать сеансы работы с пользователями и говорить о подмеченных вами закономерностях. Старайтесь установить приоритет для каждой выявленной проблемы и выделить время в графике для проработки высокоприоритетных задач.

Основные выводы

• Разговаривайте с пользователями: умение получать знания о реальных людях из первых рук – основное качество хорошего PM. Общение поможет вам накопить опыт, завоевать доверие и внести свой уникальный вклад в работу команды. Составьте свое расписание таким образом, чтобы регулярно общаться с текущими и потенциальными клиентами.

• Анализируйте то, что вы видите и слышите: не стоит принимать все, что говорит клиент, за чистую монету. Вы должны анализировать свои наблюдения и преобразовывать их в полезные идеи. Может оказаться, что люди запрашивают функцию, которая будет решать лишь часть их основной проблемы. Они могут быть крайне оптимистично настроены на покупку продукта, пока не увидят его цену. Применение правильных методов исследования пользователей поможет избежать распространенных ошибок.

• Исследование пользователей – это недорого: реальное поведение клиентов полно сюрпризов, а исследования пользователей стоят (относительно) дешево. Не тратьте месяцы на инженерную проработку идей, которые можно подтвердить исследованием. Существует широкий выбор подходов к изучению пользователей помимо тестирования юзабилити продукта. Поговорите со специалистами, прежде чем решать, можно ли ответить на ваш вопрос при помощи исследования.

• Отличный продукт отвечает реальным потребностям клиентов: пользователи могут ошибаться в оценке идеального решения своей проблемы (например, выбрать более быструю лошадь вместо автомобиля). Зато они могут указать вам на свой реальный запрос (в нашем случае – ускоренную транспортировку). Применение таких методов, как JTBD, поможет вам выявить настоящие потребности клиентов.

Глава 5
Анализ данных

Несомненно, разговаривать с пользователями очень полезно. Это дает глубокое понимание их опыта и мотивации, позволяет узнать не только, что они делают, но и почему.

Однако здесь есть подвох, и не один.

Качественные (описательные) данные, полученные в ходе изучения потребностей пользователей, представляют собой лишь выборку по нескольким людям. И, как правило, эти люди лишь приблизительно отражают реальную пользовательскую базу: они говорят на вашем языке, живут рядом и могут найти время в течение дня, чтобы принять участие в исследованиях. Существует огромная разница между тем, как люди описывают свои возможные действия или как они ведут себя, когда за ними наблюдают, и тем, что происходит на самом деле.

Здесь в игру вступают количественные (числовые) данные. PM использует количественные данные и метрики, чтобы узнать, как в действительности ведут себя люди, а также выявить новые возможности и измерить успех.

Обязанности

ИЗУЧИТЬ КЛЮЧЕВЫЕ ПОКАЗАТЕЛИ УСПЕХА ВАШЕЙ КОМПАНИИ

Что для вас означает успех? Это интересный вопрос как для отдельно взятого человека, так и для организации. И, как выясняется, компании (и команды) отвечают на него по-разному.

Поэтому, как только вы приходите в команду (неважно, джуниор вы или сеньор), вам необходимо изучить актуальные метрики. Как ваша компания измеряет успех? А продукт? Какие показатели его использования считаются высокими?

Хорошо, если приоритеты метрик уже расставлены и вам легко понять, какие из них стратегически важны. В некоторых компаниях больше всего заботятся об увеличении числа пользователей. Где-то во главу угла ставится удержание клиентов, объем продаж, количество проведенного на сайте времени или завоевание аудитории в ключевых областях промышленности.

В вашей компании должен быть дашборд, показывающий все нужные метрики в динамике. Если его нет, создайте его вместе со своей командой! Оптимизировать показатели невероятно сложно, если трудно понять, что они означают (см. «Создать дашборд для своей команды» на с. 61).

Оцените, что именно влияет на те или иные показатели в работе над продуктом. Новичкам полезно обсудить этот вопрос с командой. Какие изменения в прошлом повлияли на эти показатели? Воздействие было положительным или отрицательным? Если вам сложно получить ответ, это тревожный сигнал о том, что команда не уделяла особого внимания метрикам.

Подумайте и о том, как работа и метрики вашей команды соотносятся с показателями компании, и убедитесь, что ваши коллеги понимают эту связь. Например, вы работаете над инструментом обнаружения спама в электронной почте. При этом ваша команда занята оптимизацией ложных срабатываний системы, в то время как основной задачей компании является удержание пользователей. Как эти моменты связаны между собой? Зависит ли успех одного от успеха другого?

НАУЧИТЬСЯ ПОЛУЧАТЬ ДАННЫЕ САМОСТОЯТЕЛЬНО

Для анализа данных крайне важна скорость. Вы строите гипотезу, проверяете ее, строите новую, снова проверяете, и так далее. Если вы запрашиваете у кого-то данные для проведения анализа, ожидание ответа может занять от 15 минут до нескольких дней. Вот почему так важно научиться получать информацию самостоятельно.

Как это делать, зависит от компании. В одних компаниях действуют настраиваемые дашборды, и каждый PM может создать свой собственный дашборд. Это здорово! В других вы можете пользоваться только инструментами SQL. Тоже неплохо.

На самом деле даже при наличии индивидуального дашборда инструменты SQL могут оказаться очень удобными. Они позволяют более детально управлять анализом данных и в итоге экономят кучу времени. Не бойтесь, если вам не хватает для такой работы технических знаний; пары дней достаточно, чтобы изучить основы, а остальному научитесь по ходу дела.

СОЗДАТЬ ДАШБОРД ДЛЯ СВОЕЙ КОМАНДЫ

Каждому продукту нужен свой дашборд, которым будут пользоваться как PM, так и другие специалисты. Если вы еще ни разу не создавали подобные инструменты или хотите доработать имеющийся, помните о следующем:

• Показывайте метрики успеха: добавьте на дашборд графики, отображающие самые важные показатели успеха вашего продукта. Добиться серьезного изменения в них будет сложно, как и в случае с показателями удержания пользователей. Вы вряд ли увидите продвижение при запуске какого-то одного продукта, но со временем можно отследить тенденции.

• Ищите предпосылки: от чего зависят метрики успеха? Представим, что основным показателем является время, проведенное в сети. На него влияет число пользователей и количество публикаций каждого из них. Поэтому нужно отслеживать и эти данные. Так вы увидите на раннем этапе в худшую или лучшую сторону меняется продукт.

• Показывайте, как люди используют продукт: иногда команда перестает отслеживать, как люди на самом деле применяют продукт и что для них действительно важно. Добавьте на дашборд соответствующие показатели, такие как относительное использование различных функций. Даже если их значения меняются редко, они помогают вам и вашей команде всегда быть в курсе дела. А еще они служат постоянным напоминанием о том, что необходимо работать над теми элементами продукта, которые оказывают самое сильное воздействие на показатели.

• Уменьшите шум: подумайте, как можно разбить или отсортировать метрики, чтобы снизить разброс значений и шум. Например, вы хотите узнать количество пользователей, оставивших комментарии, а не количество самих комментариев. Если показатели количества и качества ежедневных новых пользователей сильно разнятся (например, из-за появления статей в прессе или попадания продукта в рекомендации магазина приложений), большинство графиков можно настроить так, чтобы они не учитывали пользователей, не прошедших качественный отбор. К примеру, можно оставлять только тех, кто завершил настройку или пользовался приложением по крайней мере три дня.