Что измерять после запуска

После запуска легко собрать десятки графиков и всё равно не понять, что делать дальше. Измерение полезно не тогда, когда число доступно, а когда оно меняет решение.

Начинайте не с события аналитики, а с вопроса: какое действие мы предпримем, если сигнал вырастет, упадёт или останется прежним?

Разделяйте активность и результат

Клики и посещения показывают движение по интерфейсу. Они не доказывают, что пользователь получил ценность или что операция завершилась.

Полезно различать четыре уровня:

• доступ — человек смог начать процесс;
• действие — выполнил значимый шаг;
• результат — получил нужное изменение;
• операционное последствие — система и команда смогли надёжно поддержать результат.

Рост верхнего уровня при падении нижнего может означать, что продукт создаёт больше нагрузки, а не больше ценности.

Измеряйте путь, а не отдельный экран

Основной процесс нужно наблюдать от запуска до завершения. Для каждого этапа полезны объём, доля завершения, время, повторные попытки и причины отказа.

Так можно отличить проблему интерфейса от задержки интеграции, нехватки данных или ручного операционного узкого места.

Добавьте сигналы качества

Продукт может расти и одновременно становиться менее надёжным. Рядом с показателями использования нужны:

• ошибки и отказы критических процессов;
• задержка ответа;
• дубликаты и ручные исправления;
• обращения в поддержку;
• успешность синхронизации и внешних интеграций;
• время обнаружения и восстановления.

Эти сигналы показывают стоимость результата для системы и команды.

Сегментируйте только ради решения

Сегментация по роли, рынку, каналу или стадии продукта полезна, если разные группы требуют разных действий. Бесконечные срезы без владельца решения создают аналитическую работу, но не продуктовое знание.

Сначала выберите минимальный набор сегментов, который может изменить приоритет, интерфейс или операционный процесс.

Зафиксируйте ритм обзора

У каждого сигнала должны быть владелец, допустимый диапазон, частота просмотра и действие при отклонении. Срочные производственные ошибки требуют уведомления. Изменение поведения пользователей может требовать недельного обзора. Коммерческий результат — более длинного окна.

Хорошая система измерений не пытается сделать всё срочным. Она направляет правильный сигнал к правильному решению в правильный момент.

После запуска данные должны возвращаться в продуктовый цикл: наблюдение приводит к объяснению, объяснение — к решению, а решение — к проверяемому изменению.