Пять человек и задача

Вот весь метод, в трёх строках.

Дай человеку задачу. Смотри, как он её делает. Молчи.

Всё остальное в статье — подробности вокруг этих трёх строк, и почти любой проваленный тест юзабилити провалился на третьей.

Почему пять

Число идёт из работы Якоба Нильсена и Томаса Ландауэра 1993 года. Если каждый участник находит долю L проблем, то n участников находят 1 − (1 − L)ⁿ. При типичном L около 31% пятеро вскрывают примерно 85% проблем дизайна, а каждый следующий находит в основном уже виденное.

Три оговорки удерживают это в рамках честности:

Пятеро — на каждый сегмент аудитории. Если новички и опытные пользуются продуктом совершенно по-разному, то по пятеро на каждых.

Это работает для поиска проблем, а не для измерения. Любое число, которое ты хочешь заявить с уверенностью — доля успеха, время на задачу, выигрывает ли B у A, — требует куда большей выборки. Пятеро говорят, что сломано, и никогда — насколько.

Три круга по пять лучше одного круга из пятнадцати. Пятнадцать человек, спотыкающихся об один и тот же экран, дают пятнадцать сообщений об одной проблеме. Протестируй пятерых, почини, протестируй ещё пятерых — и второй круг найдёт проблемы, которые первая проблема заслоняла.

Задачи, а не вопросы

Самый частый способ потратить сессию впустую — спрашивать людей, что они думают, вместо того чтобы просить их что-то сделать.

У хорошей задачи три свойства:

Цель, а не инструкция. «Выясните, сколько будет стоить отправить две коробки в Казань на следующей неделе», а не «воспользуйтесь калькулятором доставки».

Никаких интерфейсных слов. Если в задаче написано «нажмите иконку настроек и выберите уведомления», ты только что провёл тест сам и выдал участнику ответ. Называй результат, путь пусть ищут они.

Правдоподобный исходный контекст. «Вам пришло письмо, что подписка вот-вот продлится, и вы хотите этого не допустить». Контекст определяет, куда человек смотрит, а задача без контекста проверяет человека, которого не существует.

Давай три-пять задач за сессию, от простых к сложным, и работай на правдоподобных данных — на аккаунте с содержимым, а не на пустом демо.

Мышление вслух

Попроси человека проговаривать, о чём он думает по ходу. Техника восходит к работам Андерса Эрикссона и Герберта Саймона по анализу протоколов, и это самое близкое к чтению мыслей, что у нас есть, пока человек работает с софтом.

Она не бесплатна. Проговаривание замедляет и делает человека более обдуманным, чем он был бы обычно, — знать об этом стоит, а делать всё равно стоит, потому что альтернатива — смотреть на молчащий курсор и придумывать ему объяснения.

Когда человек умолкает на интересном месте, подтолкни нейтрально: «О чём вы сейчас думаете?», «Что вы ищете?», «Что, по-вашему, произойдёт?» И никогда — «почему вы так сделали?»: это приглашение к оправданию, а оправдания и есть те самые придуманные причины из статьи об интервью.

Если проговаривание слишком мешает задаче, возьми ретроспективный вариант: пусть человек работает молча под запись экрана, а потом вы вместе смотрите и он рассказывает, что происходило в местах, где он застревал.

Дисциплина модератора

Это трудная часть, и она целиком про сдержанность.

Не помогай. Тяга непреодолимая: человек мучается с тем, что ты разрешил бы четырьмя словами, и молчать кажется жестокостью. Но его мучение — это и есть данные. Жди. Считай до десяти. Дай провалиться как следует; у провала есть форма, и за формой ты и пришёл.

Не объясняй свой дизайн. Ни до, ни во время, ни после первого спотыкания. В момент объяснения ты его обучил и потерял остаток сессии.

Не подсказывай вопросом. Не «а вы заметили кнопку сверху?» — это ответ с вопросительным знаком. Когда тебя спрашивают, возвращай: «а что бы вы сделали, если бы меня здесь не было?»

Скажи, что дизайн не твой. «Я не автор, так что ругайте сколько угодно — обидеть меня нельзя, а помогает именно критика». Это заметно повышает откровенность, и если это маленькая ложь, то этичная.

Сиди чуть позади. Зрительный контакт заставляет человека играть на тебя; место сбоку позволяет ему сосредоточиться на экране.

Смотри на руки, а не на рот. Что люди делают, весит больше того, что они говорят. Если человек выполнил задачу с явным трудом и потом сказал «легко», записывай трудность.

Слушай выдающие фразы. «Тут я бы, наверное, спросил коллегу». «Обычно я просто звоню». «Честно, здесь бы я бросил». Каждая — критический провал, вежливо переодетый в предпочтение.

Что записывать

Не «пользователь запутался». Это пересказ, а пересказ нельзя ни проверить, ни исправить.

Записывай вместо этого:

Успех задачи — выполнено, выполнено с трудом, провалено, бросил.
Где именно застрял — экран, элемент, момент.
Их слова дословно — именно цитата убедит комнату потом.
Чего он ожидал — разрыв между ожиданием и поведением и есть находка.
Серьёзность — частота, влияние и то, будет ли он спотыкаться каждый раз или научится обходить.

Ошибки, которые обнуляют тест

Тестировать на коллегах. Они знают слишком много и хотят, чтобы у тебя получилось. Для раннего грубого прогона коридорный тест сойдёт; для чего-то серьёзного набирай посторонних.
Показывать вместо проверять. Если ты говоришь больше пятой части времени, это превратилось в презентацию.
Спасать при первых признаках трудностей. Самая частая и самая дорогая ошибка.
Спрашивать в конце «это было легко?» Люди отвечают «да». Ты четыре минуты смотрел, как человек мучается; ты уже знаешь.
Менять задачу посреди сессии, чтобы увести человека от проблемы.
Набирать только энтузиастов. Те, кто уже любит продукт, тестируют продукт, который у них уже работал.

Другие дешёвые проверки

Коридорный тест. Хватаешь того, кто рядом, пять минут, одна задача. Низкое качество, почти нулевая цена, ловит позор до того, как он дойдёт до настоящих участников.

Тест на пять секунд. Показать экран на пять секунд и спросить, для чего он. Проверяет первое впечатление и иерархию, больше ничего.

Тест первого клика. Даёшь задачу, фиксируешь только первый клик. Данные здесь впечатляют: когда первый клик верен, задачу доводят до конца в разы чаще, чем когда неверен. Дешёвый способ проверить навигацию и подписи без полноценной сессии.

Эвристическая оценка. Один-два человека проходят интерфейс по десяти эвристикам Нильсена и выписывают нарушения. Быстро, полезно и не заменяет наблюдения за живым человеком: находит то, что заметил бы дизайнер, а это другой набор, чем тот, обо что спотыкается пользователь.

A/B-тест. Отвечает «какой вариант работает лучше» на масштабе и никогда — «почему». Соединяй с качественной работой, иначе оптимизируешь себя в локальный максимум, так его и не поняв.

И действительно что-то поменяй

Тест, который породил документ, по которому никто ничего не сделал, — театр.

Возьми находки, оцени по частоте, влиянию и устойчивости и выбери две вещи, которые починишь до следующего круга. Две. Список из двадцати приоритизируют до полного забвения; две — делают. Потом тестируй снова, потому что твоя починка сама по себе непроверенная гипотеза.

Один круг тестирования — это мнение. Три круга — это процесс.

На практике

Проведи одну сессию на этой неделе. Один человек, три задачи, двадцать минут. Не жди полноценного исследования.

Напиши задачи и проверь их на интерфейсные слова. Удали из формулировок все названия кнопок, иконок и меню.

Тренируй счёт до десяти. Когда человек мучается, досчитай до десяти, прежде чем что-то сказать. Самая трудная и самая ценная привычка здесь.

Записывай две вещи на каждое застревание: чего человек ожидал и что он сделал вместо этого.

Показывай отрывок, а не пересказ. Тридцать секунд, где живой человек не справляется, заканчивают продуктовые споры, которые не заканчивают тридцать слайдов.

Почини две вещи и протестируй снова. Забронируй вторую сессию до того, как состоится первая.

Проверь себя

Закрой статью и ответь своими словами:

Откуда взялись «пять пользователей» и какие три оговорки удерживают это в честных рамках?
Почему три круга по пять лучше одного круга из пятнадцати?
Что делает задачу хорошей и чего в её формулировке не должно быть никогда?
Чего стоит мышление вслух и почему его всё равно стоит применять?
Почему нельзя помогать и что говорить, когда тебя о чём-то спрашивают?
Человек закончил с явным трудом и сказал «это было легко». Что ты записываешь?
Почему чинить две вещи, а не двадцать?

Коротко

Метод — это один человек, одна настоящая задача и твоё молчание. Большинство проваленных тестов провалились потому, что модератор говорил.
Пятеро находят ~85% проблем — на сегмент, для поиска проблем, а не для измерения, и лучше тремя кругами по пять.
Задача формулирует цель с правдоподобным контекстом и не содержит интерфейсной лексики.
Мышление вслух слегка замедляет и всё равно остаётся лучшим окном в чужие рассуждения; подталкивай «о чём вы думаете», но не «почему вы так сделали».
Не помогай, не объясняй, не подсказывай, скажи, что дизайн не твой, и смотри на руки, а не на слова.
Записывай успех, точное место застревания, дословные цитаты, ожидания и серьёзность, а не «пользователь запутался».
Дешёвые дополнения: коридорный тест, пять секунд, первый клик, эвристическая оценка, A/B для «какой», но не для «почему».
Почини две вещи и тестируй снова. Один круг — мнение, три — процесс.