Калькулятор размера тестовой выборки A/B.
Прежде чем разделять аудиторию SMS или WhatsApp, определите, сколько получателей необходимо для каждого варианта, чтобы результат был статистически достоверным, а не представлял собой шум. Введите базовый коэффициент конверсии, наименьший потенциальный прирост, который стоит обнаружить, уровень достоверности и мощность, и получите необходимое количество выборок для каждого варианта и в целом. Все работает в вашем браузере.
Математические расчеты стандартны и точны; надежность зависит от ваших предположений.
В этом методе используется стандартная формула расчета размера выборки для двух пропорций. Предполагается, что каждый респондент конвертируется независимо, что вы заранее фиксируете размер выборки и считываете результат один раз в конце (тест с фиксированным горизонтом), и что введенный вами базовый уровень является репрезентативным. Мы не изобретаем никаких контрольных показателей — вы предоставляете базовый уровень. Многократная проверка теста и остановка, как только он кажется значимым («подглядывание»), значительно завышает количество ложноположительных результатов по сравнению с заявленной вами степенью уверенности; определите размер теста, а затем дайте ему пройти.
Ваш тест
Ваш текущий коэффициент конверсии — клики, ответы, покупки, подписки, все, что вы считаете конверсией.
Относительное значение: например, +10 означает улучшение на 10% по сравнению с базовым показателем — с 5% до 5,5%.
95% доверительный интервал → α = 0,05, допустимый уровень ложноположительных результатов. Для более высокого уровня доверия требуется большая выборка. Вероятность обнаружения реального повышения рейтинга такого масштаба составляет 80% — это обычный показатель; 90% — более строгий показатель, требующий большего числа получателей.
Двусторонний тест проверяет, есть ли вообще какие-либо различия в варианте (рекомендуется). Односторонний тест проверяет только улучшение и требует меньшей выборки.
Включая контрольную. 2 = классический A/B. Больше вариантов применяют коррекцию Bonferroni и требуют большей аудитории.
Общее количество контактов, которые можно зарегистрировать за день по всем вариантам теста. Используется для оценки продолжительности теста.
Необходимый образец
Тест на две пропорции · фиксированный размер выборки, определенный заранее · считывание результатов один раз в конце · результаты респондентов преобразуются независимо друг от друга.
Значение n для каждого варианта вычисляется по стандартной формуле двух пропорций с использованием ваших точных входных данных:
p̄ = (0.0500 + 0.0550) / 2 = 0.0525
z(α) = 1.9600 z(β) = 0.8416
n = (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂−p₁)²
n per variant = 31,234 ×2 variants = 62,468При взглядеТакой размер выборки действителен только в том случае, если вы определите его заранее и оцените результаты теста один раз, в конце. Ежедневная проверка и прекращение в момент появления значимых изменений может многократно увеличить реальную частоту ложноположительных результатов. Если вам необходимо проводить мониторинг в середине полета, используйте последовательный или байесовский метод, специально разработанный для этого.
Введите базовый уровень от 0 до 100% и минимальный обнаруживаемый эффект, превышающий ноль, чтобы увидеть необходимую выборку.
Короткий ответ
Сколько человек необходимо для проведения теста A/B?
Достаточно, чтобы реальная разница нужного вам размера проявилась на фоне случайного шума конверсии. Требуемый размер выборки для каждого варианта увеличивается, когда базовый коэффициент конверсии низок, когда желаемый эффект невелик и когда вы требуете большей достоверности или мощности. Он уменьшается, когда эффект велик или вы принимаете на себя больший риск. Этот калькулятор применяет стандартную формулу размера выборки для двух пропорций, поэтому ваш тест SMS или WhatsApp будет достаточно мощным, чтобы действительно обнаружить эффект, а не заканчиваться неубедительно или, что еще хуже, объявлять победителя случайным.
Как работает расчет
Вы задаёте два коэффициента конверсии: базовый (p₁) и целевой, который вы хотите обнаружить (p₂), полученный из вашего минимального обнаруживаемого эффекта. На основе вашего уровня доверия калькулятор вычисляет z(α) — количество стандартных отклонений, ограничивающее частоту ложноположительных результатов, — а на основе вашей мощности вычисляет z(β). Эти значения подставляются в формулу двух пропорций ниже, чтобы получить минимальное количество получателей на вариант. Итоговая сумма — это это значение, умноженное на количество вариантов. Значения z вычисляются в режиме реального времени с помощью аппроксимации рациональным методом обратного нормального распределения, поэтому работают любые значения доверия или мощности, а не только стандартные предустановки.
Формула
При p̄ = (p₁ + p₂) / 2, требуемое количество образцов для каждого варианта составляет:
| Совокупная ставка | p̄ = (p₁ + p₂) / 2 |
|---|---|
| z(α) двухсторонний | Φ⁻¹(1 − α/2) |
| z(α) односторонний | Φ⁻¹(1 − α) |
| z(β) | Φ⁻¹(power) |
| n на вариант | (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂ − p₁)² |
| Общая аудитория | n × number of variants |
Обычные z-значения
Для справки, предустановленные значения соответствуют следующим стандартным критическим значениям (вычисленным, а не найденным):
| Уровень | z(α) двухсторонний | z(β) мощность |
|---|---|---|
| 90% | 1.645 | 1.282 |
| 95% | 1.960 | 1.645 |
| 99% | 2.576 | — |
| 80% power | — | 0.842 |
Значения z берутся из рационального приближения обратной функции стандартного нормального распределения CDF (относительная погрешность ниже 1,15×10⁻⁹), поэтому поддерживаются произвольные значения доверия и мощности.
Часто задаваемые вопросы
Что такое минимально обнаруживаемый эффект (MDE), абсолютный или относительный?
MDE — это наименьший желаемый уровень подъема, который должен быть обнаружен тестом. Абсолютный уровень измеряется в процентных пунктах: от базового уровня в 5% +1 процентный пункт означает обнаружение повышения на 6%. Относительный уровень — это процент от базового уровня: +10% относительного уровня означает обнаружение повышения с 5% до 5,5%. Меньшие значения MDE сложнее доказать и требуют гораздо большей аудитории, поэтому установите его на наименьший уровень подъема, который действительно изменит ваше решение.
Что на самом деле означают уверенность и власть?
Доверие (1 − α) ограничивает количество ложных срабатываний — при 95% доверительной вероятности вы допускаете 5% вероятность того, что разница окажется реальной, хотя на самом деле это не так. Мощность (1 − β) — это вероятность обнаружения истинного повышения выбранного вами размера; при 80% мощности вы пропустите реальный эффект один раз из пяти. Повышение любого из этих параметров делает тест более строгим и увеличивает необходимую выборку.
Однохвостый или двухвостый?
Используйте двухсторонний тест, если у вас нет веских причин этого не делать. Двухсторонний тест задает вопрос: «Отличается ли вариант?» и защищает вас, если вариант на самом деле хуже. Односторонний тест задает только вопрос: «Лучше ли вариант?» — для него требуется меньшая выборка, но он игнорирует возможность нанесения вреда, что редко бывает нужно в реальной кампании.
Могу ли я протестировать более двух вариантов?
Да. Укажите количество вариантов (включая контрольный). При количестве вариантов более двух калькулятор применяет поправку Bonferroni — он делит α на значения, полученные в результате сравнений с контрольным вариантом, чтобы общая частота ложноположительных результатов оставалась в пределах вашего уровня достоверности. Эта поправка является консервативной и увеличивает необходимую аудиторию для каждого варианта.
Почему я не могу просто остановить тест, как только результат покажется значимым?
Поскольку эта формула предполагает фиксированный размер выборки, считывание происходит один раз в конце. Каждый раз, когда вы проверяете и можете остановиться, у вас появляется еще один шанс быть обманутым шумом, поэтому повторное считывание может значительно увеличить вашу истинную частоту ложноположительных результатов, превысив установленные вами 5%. Определите размер выборки заранее и дайте ей работать. Если вам необходимо непрерывное наблюдение, используйте последовательный или байесовский план, разработанный специально для этого.
Это относится к кампаниям SMS и WhatsApp?
Статистические данные являются стандартными и точными для сравнения двух показателей конверсии, что в точности соответствует тому, что делают большинство тестов мессенджеров — сравнение показателей кликов, ответов, подписок или покупок между вариантами. Точность зависит от ваших входных данных: репрезентативного базового уровня, независимых получателей и одного корректного прочтения в конце. Инструмент не создает никаких эталонных показателей; вы предоставляете базовый уровень и показатель прироста, который важен для вас.
Прогнозируйте выручку, затраты и рентабельность инвестиций после того, как в результате тестирования будет выбран победитель.
Сегментация, пользовательские сценарии и соответствующие требованиям кампании в масштабе предприятия.
Кодировка, сегменты и стоимость отправляемого сообщения.
Все бесплатные калькуляторы BroadNet и утилиты для разработчиков.
Запустите успешную кампанию в масштабе.
Задайте здесь необходимый размер тестового запроса, а затем отправьте его на инфраструктуру, созданную для обеспечения высокой доставляемости — SMS, WhatsApp и голосовую связь через нашу прямую сеть операторов связи. Обсудите с нашей командой вопросы маршрутизации, пропускной способности и тарифов.