A/B-тесты: требование, которое отсекает половину кандидатов

Требование знать A/B-тесты всё чаще встречается в вакансиях, где нужно принимать решения на основе данных. На собеседовании кандидата проверяют не на умении считать p-value, а на понимании логики эксперимента. Большинство проваливается именно на этапе постановки задачи: какую метрику взять, сколько ждать результатов и что делать, если эффекта нет.

Что проверяют этим требованием

Работодатель смотрит, умеет ли кандидат отличать случайные колебания от статистически значимого изменения. Тест на собеседовании — это проверка того, как человек принимает решения в условиях неопределённости. Если кандидат не может объяснить, почему он выбрал именно такую длительность эксперимента или почему не запустил его в высокий сезон, формальное знание критериев не спасёт.

Метрика и почему её выбирают заранее

Ошибка, которая стоит отказа в оффере, — выбор метрики после просмотра результатов. На собеседовании спрашивают, какая метрика будет первичной. Ответ «конверсия» или «доход» недостаточен: нужно указать, как именно вы её считаете и почему она лучше других. Если метрика выбрана постфактум, эксперимент теряет смысл. Второй частый вопрос — что будете делать с несколькими метриками. Здесь важно сказать про множественное тестирование и про то, как вы контролируете ложные срабатывания.

Размер выборки: главный практический вопрос

Это первый вопрос после того, как описан дизайн эксперимента. Интервьюер хочет услышать, что размер выборки считается до запуска, а не берётся «на глаз». Распространённая ошибка — считать, что чем больше данных, тем лучше. На деле нужно оценить минимальный детектируемый эффект (MDE) и время сбора данных исходя из бизнес-цикла. Если тест длится неделю, а бизнес-цикл — месяц, результаты будут искажены.

Незначимый результат — тоже результат

На собеседовании часто просят ответить, что делать, если p-value больше 0,05, а разница между вариантами есть, но незначимая. Правильный ответ: не пытаться дождаться значимости, продолжая тест. Это называется peeking problem. Если результат незначим, вы либо не набрали нужный размер выборки, либо эффект слишком мал, чтобы его внедрять. В любом случае решение принимается на основе заранее заданного порога, а не после подглядывания в данные.

Типичные ошибки в дизайне эксперимента

Основная — неправильное распределение пользователей по группам. Если алгоритм сегментирует пользователей неслучайно (например, по времени суток или браузеру), результаты будут смещены. Вторая ошибка — вмешательство в тест во время его проведения: остановка раньше срока, ручная корректировка трафика, добавление новой метрики. Третья — пересечение экспериментов, когда один и тот же пользователь попадает в два теста одновременно. На собеседовании могут спросить, как вы будете проверять, не конфликтуют ли эксперименты.

Когда тест ставить нельзя

Не каждый эксперимент имеет смысл запускать. Если изменение касается безопасности пользователей, критической инфраструктуры или законодательства, A/B-тест неуместен. Также нельзя ставить тест, если нет чёткой гипотезы — просто «посмотреть, что получится». На собеседовании могут спросить про сезонность: если сегодня чёрная пятница или новогодние праздники, поведение пользователей нетипично, и тест лучше отложить до стабильного периода.

Как рассказать про опыт, если тестов было мало

Кандидаты с небольшим опытом в A/B-тестах ошибаются, когда начинают выдумывать сложные дизайны. Лучше честно признаться, что тестов было немного, но описать один из них подробно: от гипотезы до того, как интерпретировали результат. Если тестов не было вовсе, стоит рассказать про учебный проект или про то, как вы анализировали результат уже проведённого эксперимента в компании. Основной навык, который оценивают, — это аккуратность в формулировках и понимание базовой логики, а не количество проведённых тестов.