Тропинка по газону: наблюдение и метрики

Свежепостроенный университетский кампус. Между корпусами аккуратными прямыми углами проложены мощёные дорожки. Через месяц газон пересекает бурая линия — ровно там, где никакой дорожки не планировали и где ходят все.

У таких следов есть название — тропинки желания, — и некоторые архитекторы теперь откладывают мощение на сезон, дают людям протоптать маршруты, а потом кладут камень по появившимся линиям. В одном этом решении — почти всё, о чём статья: разница между маршрутом, который ты спроектировал, и маршрутом, которым ходят, и два очень разных инструмента, показывающих каждый из них.

Разрыв между «говорю» и «делаю»

Предыдущая статья была о том, как хорошо спрашивать. Эта начинается с границ самого спрашивания.

Люди неверно сообщают о собственном поведении, устойчиво и невинно: как часто заглядывают в телефон, сколько занимает задача, как раскладывают файлы. Не потому, что уклоняются, а потому, что поведение по большей части автоматично, а память сворачивает его в аккуратную историю.

Поэтому второй инструмент исследования проще первого: перестать спрашивать и смотреть.

Хью Байер и Карен Хольцблатт оформили это в 1997 году как контекстное исследование, и его центральный образ — мастер и подмастерье. Ты не расспрашиваешь мастера в переговорке; ты стоишь рядом, пока он работает, и спрашиваешь о происходящем по ходу дела. Держится это на четырёх принципах:

Контекст — иди туда, где работа реально происходит, а не туда, где её удобно обсуждать.
Партнёрство — ты подмастерье, тебя учат чужой работе. Ты не ведёшь и не экзаменуешь.
Интерпретация — ты произносишь своё понимание вслух («то есть вот этот кусок мешает, потому что…») и даёшь себя поправить. Поправки и есть данные.
Фокус — у тебя есть вопрос, ради которого ты пришёл, иначе вернёшься с восемью часами всего подряд.

Что искать

Наблюдение неструктурно, поэтому полезно охотиться за конкретным.

Костыли. Таблица рядом с твоим продуктом. Бумажный чек-лист. Второй профиль в браузере. Соглашение об именах с датой внутри. Каждый костыль — уже написанный запрос на функцию, уже подтверждённый тем, что человек тратит на него собственное время.

Заминка. Полусекундная пауза перед кликом. В интервью о ней не сообщают, потому что она не сохраняется как воспоминание. Но она отмечает решение, которое чего-то стоило, а решения, которые чего-то стоят, — ровно те места, где дизайн не сработал.

Не тот порядок. Люди делают шаги в порядке, которого твой сценарий не предполагал, и потом выкручиваются обратно.

Копирование и вставка. Данные, которые руками переносят между двумя системами, — это переодетая отсутствующая интеграция.

То, чего никогда не касаются. Целые области интерфейса без всякого трафика. На демонстрации люди кликают всё; в реальной работе пользуются шестью вещами.

Слова, которыми говорят. У них это «заявка», у тебя «проект», в коде «сущность». Кто бы ни проиграл этот спор, это не должен быть пользователь.

Зачем нужны цифры

Наблюдение показывает горстку людей вглубь. Аналитика показывает всех, но вширь. Они отвечают на разные вопросы, и путаница между ними — самая частая аналитическая ошибка в продуктовой работе.

Количественные данные отвечают на «что», «где», «сколько», «как часто». Отвал между третьим и четвёртым шагом. Медианное время до первой пользы. Доля сессий с мобильных. Поисковые запросы без результатов — недооценённая золотая жила: каждый из них человек, который сообщает тебе слово, неизвестное твоему продукту.

Качественные данные отвечают на «почему». И больше ничто. Воронка с потерей 60% на шаге ввода адреса — это факт; непонимание там, недоверие, отсутствующий способ оплаты или сломанное поле — это отдельное расследование.

Полезная связка: количественное находит, куда смотреть, качественное объясняет найденное. В таком порядке не пропадает ни одно.

Несколько показателей, которые стоит знать по имени:

Доля успешного выполнения — сколько людей доходят до конца заданной задачи. Грубо и при этом самое честное одиночное число в юзабилити.
Время на задачу — полезно, но не монотонно: быстрее лучше для рутинного действия и ничего не значит для исследовательского.
Частота ошибок и восстановление — как часто ошибаются и возвращаются ли.
Удержание — единственная метрика, которую нельзя подделать хорошей посадочной страницей.

Фреймворк HEART от Google раскладывает всё это разумно: Happiness, Engagement, Adoption, Retention, Task success — каждое превращается в конкретные сигналы и метрики через цепочку «цели — сигналы — метрики». Настоящая ценность в среднем шаге: он заставляет сказать, какой наблюдаемый сигнал указал бы на достижение цели, до того как выбрано число.

Цифры, которые врут

Метрики ломаются определёнными повторяющимися способами. Выучи их форму.

Метрики тщеславия. Накопительные итоги, которые только растут: зарегистрированные пользователи, просмотры, скачивания. Они не могут упасть, а значит, не могут сообщить, что что-то не так.

Среднее по двум популяциям. Средняя сессия в четыре минуты может быть двумя группами: те, кто уходит за десять секунд, и те, кто остаётся на десять минут. Среднее не описывает никого. Смотри на распределения.

Ошибка выжившего. Твоя аналитика измеряет тех, кто ещё здесь. Те, кого твой дизайн прогнал, не вносят вклада никогда — поэтому продукт может выглядеть здоровее по мере сужения.

Закон Гудхарта. Когда мера становится целью, она перестаёт быть хорошей мерой. Оптимизируй время в приложении — получишь приложение, из которого трудно выйти, а это не то же самое, что приложение, которым стоит пользоваться.

Событие, принятое за намерение. Клик не есть одобрение, повторный визит не есть лояльность, а долгая сессия означает либо восторг, либо потерянность.

Об опросах

Опросы выглядят дешёвым вариантом и на деле являются самым трудным здесь инструментом с точки зрения честности. Вопрос кренится незаметно для автора («Насколько полезным вы нашли новый дашборд?» уже предположил полезность). Шкалы разные люди трактуют по-разному. А отвечают систематически самые восторженные и самые раздражённые, тогда как огромная равнодушная середина молчит.

Два стандартных инструмента, честно описанных:

SUS — шкала удобства использования, десять фиксированных вопросов, придумана Джоном Бруком в 1986 году, оценка из 100 при среднем около 68. Её сила именно в том, что вопросы пишешь не ты, поэтому версии и продукты можно сравнивать.

NPS — «насколько вероятно, что вы порекомендуете», свёрнутое в одно число. Популярно у руководства, слабо связано с реальным поведением и ничего не говорит о том, что менять. Если его требуют, считай настоящими данными комментарий в свободной форме под ним.

Используй опросы для того, в чём они хороши: измерять уже понятое, на многих людях, повторно во времени. И никогда — чтобы обнаружить проблему, которую ты ещё не видел.

На практике

Посиди час за спиной у человека. С его реальной работой, а не с придуманной тобой задачей. Почти всё время молчи. Записывай каждую заминку и каждый костыль.

Прочитай пустые поисковые запросы. Слова без результатов — это лексика твоих пользователей, столкнувшаяся с твоей. Десять минут ради списка отсутствующих подписей и отсутствующих функций.

Преврати одну цифру в вопрос. Возьми худший провал воронки и найди трёх человек, которые там отвалились. Не теоретизируй о числе — иди и смотри.

Смотри на распределения, а не на средние. Для каждого среднего, на которое ты опираешься, хоть раз посмотри реальный разброс. Он изменит как минимум одно твоё убеждение.

Пиши сигнал раньше метрики. Прежде чем выбрать число, закончи фразу: «если это работает, мы увидим, что люди…». Потом выбери то, что измеряет эту фразу.

Сфотографируй костыль. Найдя таблицу, которую человек собрал, чтобы пережить твой продукт, зафиксируй её. Это самый убедительный артефакт, который ты когда-либо принесёшь на продуктовую встречу.

Проверь себя

Закрой статью и ответь своими словами:

Что такое тропинка желания и что ей соответствует в цифровом продукте?
Назови четыре принципа контекстного исследования и что каждый предотвращает.
Почему костыль ценнее запроса на функцию?
На какие вопросы аналитика отвечает и на какие не ответит никогда?
Объясни ошибку выжившего на примере собственного продукта.
Что такое закон Гудхарта и какую метрику он мог бы испортить?
Для чего опросы годятся и для чего их нельзя применять?

Коротко

Тропинки желания: реальное поведение расходится с задуманным, и расхождение — это данные, а не нарушение.
Люди невинно врут о собственном поведении. Для всего привычного наблюдение сильнее расспроса.
Контекстное исследование: иди к работе, будь подмастерьем, произноси интерпретацию вслух, держи фокус.
Охоться за костылями, заминками, неверным порядком, копипастой, нетронутыми областями и лексикой пользователя.
Количественное отвечает на «что» и «где», качественное — на «почему». Цифры находят место, люди его объясняют.
Метрики ломаются как итоги тщеславия, средние по двум популяциям, ошибка выжившего, закон Гудхарта и событие вместо намерения.
Опросы измеряют известное на масштабе и не открывают неизвестного. SUS сравним между версиями, NPS для дизайна почти бесполезен.