На какие шансы вы готовы делать ставку?

[sadiksojib35]

Вам нужно будет дать вашему тесту работать достаточно долго, чтобы получить существенное количество просмотров. В противном случае будет сложно сказать, была ли статистически значимая разница между вариациями.

6. Решите, насколько значительными должны быть ваши результаты.

Выбрав целевую метрику, подумайте, насколько значимыми должны быть ваши результаты, чтобы оправдать выбор одного варианта вместо другого.

Статистическая значимость — это очень важная часть процесса A/B-тестирования, которую часто неправильно понимают. Если вам нужно освежить знания, я рекомендую прочитать этот пост в блоге о статистической значимости с точки зрения маркетинга.

Чем выше процент вашего уровня уверенности, тем больше вы можете быть уверены в своих результатах. В большинстве случаев вам понадобится уровень уверенности не менее 95%, особенно если эксперимент был длительным.

Однако иногда имеет смысл испо база данных telegram индии льзовать более низкий уровень достоверности, если тест не должен быть столь строгим.

Мэтт Реолт , старший инженер-программист HubSpot, рассматривает статистическую значимость как ставку.

Сказать: «Я на 80% уверен, что это правильный дизайн, и я готов поставить на него все», — это то же самое, что провести A/B-тест до 80% значимости, а затем объявить победителя.

Реолт также говорит, что вам, скорее всего, понадобится более высокий порог доверия при тестировании чего-то, что лишь немного улучшает коэффициент конверсии. Почему? Потому что случайная дисперсия, скорее всего, будет играть большую роль.

«Примером того, как мы могли бы чувствовать себя безопаснее, снизив порог доверия, является эксперимент, который, вероятно, повысит коэффициент конверсии на 10% или более, например, переработанный раздел «Герой»», — пояснил он.