Маркетинговая гипотеза для А/В тестов.
Как проверить?

Существует один классный инструмент — статистический калькулятор, и сейчас я попробую максимально просто объяснить как он работает. Калькулятор поможет проводить маркетинговые тесты более организованно, четко и экономно.

Какой вариант лучше: зеленая или красная?

Короткий или длинный заголовок, большая форма или маленькая, этот текст или тот — решает не спор, а A/B тест. Он требует выборки, необходимого количества проверок. Если мы сделаем маленькую выборку, получим неверный результат. Если слишком большую — потратим лишние деньги.

Вот как за две минуты определить размер выборки без математических формул.

У нас есть 2, почти одинаковые, страницы. Они отличаются только цветом кнопки: на одной странице кнопка зеленая, на второй — красная. Определим, есть ли разница между двумя вариантами и какая она для нашей целевой аудитории.

Мы должны привести на каждую страницу посетителей и определить, сколько из них нажмет кнопку.

Чтобы определить размер выборки, воспользуемся статистическим калькулятором, который рассчитает все буквально за минуту.

Смотрим на калькулятор и видим цифры. Что они значат и как их использовать?

Baseline conversion rate — изначальный уровень конверсии. Допустим, конверсия страницы с красной кнопкой была 20%. Подставьте свой уровень конверсии до тестирования.

Minimum Detectable Effect — это желаемая конверсия. Допустим, мы хотим повысить конверсию на 5% и для этого проводим эксперимент с кнопкой зеленого цвета.

Первый красный горизонтальный столбик это средняя конверсия. Калькулятор считает ее самостоятельно.

Второй красный горизонтальный столбик это доверительный интервал — если результаты контрольного варианта находятся в пределах интервала, возможно, это погрешность, а не достоверный результат. Если результаты контрольного варианта выходят за пределы интервала, значит, он существенно лучше или хуже изначального варианта.

Теперь поговорим о переключателе «абсолютное/относительное».

Если вы хотите выяснить разницу между изначальным показателем конверсии в 5% и переменным показателем конверсии в 6%, то в абсолютном выражении он составит 1% (6−5 =1). А в относительном 20% (6/5 = 1,2)

Обратите внимание на бегунки внизу.

Statistical power 1−β — это статистическая мощность. Она показывает, что между результатами двух страниц (с красной и зеленой кнопкой) действительно есть разница.

Проверим гипотезу о том, что мужчины выше женщин. Если мы измерим одного мужчину и одну женщину, то результат недостоверен: вдруг нам просто так попались низкий мужчина и высокая женщина. Но если мы измерим 100 000 мужчин и женщин, средний результат будет ближе к реальности.

Significance level α — это статистическая значимость. Она показывает, что разница между двумя вариантами неслучайна.

Допустим, красную кнопку нажимают на 3% чаще зеленой. Если мы проведем А/А-тест, то какова вероятность получить такой же результат? Если выше 5−7%, то результатам теста нельзя доверять.

Я рекомендую статистическую значимость 1−5%.

Так мы узнаем необходимое количество посещений для достижения 80-процентного шанса сделать статически значимый вывод и успешно провести тест.

В итоге мы получаем Sample size — это требуемый размер выборки. Именно столько трафика нужно привлечь на каждый вариант (один с зеленой и один с красной кнопкой), чтобы проверить гипотезу и получить достоверный результат.
6 шагов, как использовать статистический калькулятор:

  1. Подставьте уровень конверсии страницы с красной кнопкой.
  2. Напишите, на сколько % вы хотите увеличить конверсию.
  3. Поставьте галочку напротив параметра «абсолютный».
  4. Выбирайте статистическую мощность 80−90%, чтобы результат был достоверный.
  5. Установите статистическую значимость, что результат не случаен (шанс увидеть результат там, где его на самом деле нет).
  6. Проверьте, что результаты страниц больше доверительного интервала. Наш интервал по расчетам 15−25%.

Получаем: 1958 человек должны увидеть страницу с красной или зеленой кнопкой.

Фактически достаточно внести 2 цифры и поставить на нужное деление всего 2 колесика. 1−2 минуты — и вы точно знаете, как провести тестирование вариантов и получить статистически точный результат.


Алина Пациенко
Маркетолог S1

Made on
Tilda