Маркетинговая гипотеза для А/В тестов.
Как проверить?
Существует один классный инструмент — статистический калькулятор, и сейчас я попробую максимально просто объяснить как он работает. Калькулятор поможет проводить маркетинговые тесты более организованно, четко и экономно.
Какой вариант лучше: зеленая или красная?
Короткий или длинный заголовок, большая форма или маленькая, этот текст или тот — решает не спор, а A/B тест. Он требует выборки, необходимого количества проверок. Если мы сделаем маленькую выборку, получим неверный результат. Если слишком большую — потратим лишние деньги.
Какой вариант лучше: зеленая или красная?
Короткий или длинный заголовок, большая форма или маленькая, этот текст или тот — решает не спор, а A/B тест. Он требует выборки, необходимого количества проверок. Если мы сделаем маленькую выборку, получим неверный результат. Если слишком большую — потратим лишние деньги.
Вот как за две минуты определить размер выборки без математических формул.
У нас есть 2, почти одинаковые, страницы. Они отличаются только цветом кнопки: на одной странице кнопка зеленая, на второй — красная. Определим, есть ли разница между двумя вариантами и какая она для нашей целевой аудитории.
Мы должны привести на каждую страницу посетителей и определить, сколько из них нажмет кнопку.
Чтобы определить размер выборки, воспользуемся статистическим калькулятором, который рассчитает все буквально за минуту.
У нас есть 2, почти одинаковые, страницы. Они отличаются только цветом кнопки: на одной странице кнопка зеленая, на второй — красная. Определим, есть ли разница между двумя вариантами и какая она для нашей целевой аудитории.
Мы должны привести на каждую страницу посетителей и определить, сколько из них нажмет кнопку.
Чтобы определить размер выборки, воспользуемся статистическим калькулятором, который рассчитает все буквально за минуту.
Смотрим на калькулятор и видим цифры. Что они значат и как их использовать?
Baseline conversion rate — изначальный уровень конверсии. Допустим, конверсия страницы с красной кнопкой была 20%. Подставьте свой уровень конверсии до тестирования.
Minimum Detectable Effect — это желаемая конверсия. Допустим, мы хотим повысить конверсию на 5% и для этого проводим эксперимент с кнопкой зеленого цвета.
Первый красный горизонтальный столбик это средняя конверсия. Калькулятор считает ее самостоятельно.
Второй красный горизонтальный столбик это доверительный интервал — если результаты контрольного варианта находятся в пределах интервала, возможно, это погрешность, а не достоверный результат. Если результаты контрольного варианта выходят за пределы интервала, значит, он существенно лучше или хуже изначального варианта.
Теперь поговорим о переключателе «абсолютное/относительное».
Если вы хотите выяснить разницу между изначальным показателем конверсии в 5% и переменным показателем конверсии в 6%, то в абсолютном выражении он составит 1% (6−5 =1). А в относительном 20% (6/5 = 1,2)
Baseline conversion rate — изначальный уровень конверсии. Допустим, конверсия страницы с красной кнопкой была 20%. Подставьте свой уровень конверсии до тестирования.
Minimum Detectable Effect — это желаемая конверсия. Допустим, мы хотим повысить конверсию на 5% и для этого проводим эксперимент с кнопкой зеленого цвета.
Первый красный горизонтальный столбик это средняя конверсия. Калькулятор считает ее самостоятельно.
Второй красный горизонтальный столбик это доверительный интервал — если результаты контрольного варианта находятся в пределах интервала, возможно, это погрешность, а не достоверный результат. Если результаты контрольного варианта выходят за пределы интервала, значит, он существенно лучше или хуже изначального варианта.
Теперь поговорим о переключателе «абсолютное/относительное».
Если вы хотите выяснить разницу между изначальным показателем конверсии в 5% и переменным показателем конверсии в 6%, то в абсолютном выражении он составит 1% (6−5 =1). А в относительном 20% (6/5 = 1,2)
Обратите внимание на бегунки внизу.
Statistical power 1−β — это статистическая мощность. Она показывает, что между результатами двух страниц (с красной и зеленой кнопкой) действительно есть разница.
Проверим гипотезу о том, что мужчины выше женщин. Если мы измерим одного мужчину и одну женщину, то результат недостоверен: вдруг нам просто так попались низкий мужчина и высокая женщина. Но если мы измерим 100 000 мужчин и женщин, средний результат будет ближе к реальности.
Significance level α — это статистическая значимость. Она показывает, что разница между двумя вариантами неслучайна.
Допустим, красную кнопку нажимают на 3% чаще зеленой. Если мы проведем А/А-тест, то какова вероятность получить такой же результат? Если выше 5−7%, то результатам теста нельзя доверять.
Я рекомендую статистическую значимость 1−5%.
Так мы узнаем необходимое количество посещений для достижения 80-процентного шанса сделать статически значимый вывод и успешно провести тест.
В итоге мы получаем Sample size — это требуемый размер выборки. Именно столько трафика нужно привлечь на каждый вариант (один с зеленой и один с красной кнопкой), чтобы проверить гипотезу и получить достоверный результат.
Statistical power 1−β — это статистическая мощность. Она показывает, что между результатами двух страниц (с красной и зеленой кнопкой) действительно есть разница.
Проверим гипотезу о том, что мужчины выше женщин. Если мы измерим одного мужчину и одну женщину, то результат недостоверен: вдруг нам просто так попались низкий мужчина и высокая женщина. Но если мы измерим 100 000 мужчин и женщин, средний результат будет ближе к реальности.
Significance level α — это статистическая значимость. Она показывает, что разница между двумя вариантами неслучайна.
Допустим, красную кнопку нажимают на 3% чаще зеленой. Если мы проведем А/А-тест, то какова вероятность получить такой же результат? Если выше 5−7%, то результатам теста нельзя доверять.
Я рекомендую статистическую значимость 1−5%.
Так мы узнаем необходимое количество посещений для достижения 80-процентного шанса сделать статически значимый вывод и успешно провести тест.
В итоге мы получаем Sample size — это требуемый размер выборки. Именно столько трафика нужно привлечь на каждый вариант (один с зеленой и один с красной кнопкой), чтобы проверить гипотезу и получить достоверный результат.
6 шагов, как использовать статистический калькулятор:
Получаем: 1958 человек должны увидеть страницу с красной или зеленой кнопкой.
Фактически достаточно внести 2 цифры и поставить на нужное деление всего 2 колесика. 1−2 минуты — и вы точно знаете, как провести тестирование вариантов и получить статистически точный результат.
Алина Пациенко
Маркетолог S1
- Подставьте уровень конверсии страницы с красной кнопкой.
- Напишите, на сколько % вы хотите увеличить конверсию.
- Поставьте галочку напротив параметра «абсолютный».
- Выбирайте статистическую мощность 80−90%, чтобы результат был достоверный.
- Установите статистическую значимость, что результат не случаен (шанс увидеть результат там, где его на самом деле нет).
- Проверьте, что результаты страниц больше доверительного интервала. Наш интервал по расчетам 15−25%.
Получаем: 1958 человек должны увидеть страницу с красной или зеленой кнопкой.
Фактически достаточно внести 2 цифры и поставить на нужное деление всего 2 колесика. 1−2 минуты — и вы точно знаете, как провести тестирование вариантов и получить статистически точный результат.
Алина Пациенко
Маркетолог S1
