A/B-тестирование представляет собой особый метод маркетингового исследования. A/B Тест заключается в том, что проводится сравнение двух вариантов одного объекта. Это могут быть, например, мобильные приложения, веб-страницы, рекламные объявления, причем не в полном варианте, а какие-то отдельные элементы. Сплит-тестирование актуально для проверки формы обратной связи на сайте, заголовка, функций кнопки и так далее.
Обычно A/B тест проводится так – нескольким группам пользователей показывают все варианты и следят за их реакцией. То есть, какие элементы и кому понравились больше, что не понравилось пользователям вообще, есть ли явные расхождения или, наоборот, параллельные результаты.
Методика A/B-тестирования выглядит следующим образом:
- Сбор данных. На этом этапе необходимо найти проблему, проанализировать текущие показатели, определить точки роста.
- Формирование гипотезы. Иными словами, это предложение, благодаря которому должны произойти изменения к лучшему и результаты, соответственно, оправдали ожидания пользователей.
- Создание вариантов. Предлагается два – А (контрольный) и В (экспериментальный). Они разрабатываются максимально тщательно, чтобы тестируемые могли четко видеть, что и как.
- Непосредственное проведение эксперимента. Трафик равномерно распределяется между двумя версиями.
- Анализ полученных результатов A/B теста. Он проводится при помощи статистики здесь все четко и понятно, поэтому определить победителя A/B теста не составляет труда.
- Внедрение изменений. По результатам тестирования успешное решение внедряется в работу и, при необходимости, масштабируется.
Зачем используют A/B-тесты
Основная цель A/B-тестирования заключается в том, чтобы найти подходящий вариант для улучшения метрики. Это включает в себя:
- увеличение конверсии. Когда все A/B тесты проведены, команда видит, какой вариант признан лучшим и перспективным, следовательно, именно его и необходимо внедрить. Главное, чтобы выбранный вариант A/B теста приводил к желаемому действию, например, побуждал пользователей пройти по ссылке, оформить заказ, зарегистрироваться, кликнуть и так далее;
- снижение расходов на рекламу. A/B-тестирование в этом отношении максимально прозрачное. A/B-тестирование указывает на наиболее эффективные варианты, соответственно, пользователю не нужно больше тратить бюджет на слабые и бесперспективные креативы. Остается только самое лучшее и проверенное A/B тестом;
- уменьшение рисков в целом. Как правило, A/B-тестирование сначала проводится на конкретной части аудитории (например, по полу, возрасту, социальному статусу). И если по результатам A/B теста продукт или товар прошел отбор, а гипотеза подтвердилась, значит, его можно внедрять без каких-либо затруднений. Компания в любом случае не потеряет пользователей, а все вложения хотя бы частично (на начальном этапе) окупятся.
Как правильно провести A/B-тест
Основные этапы A/B-тестирования:
- Создание подходящих вариантов. При проведении A/B тестирования объекты А и В должны отличаться друг от друга не радикально, а только какой-то одной функцией. Например, поменять только цвет кнопки, а остальные ее функции (размер, расположение) должны оставаться одинаковыми.
- Разделение аудитории. Нужно не просто проводить тестирование пользователей, но и выбирать конкретные группы.
- Запуск теста. A/B-тестирование должно проходить одинаково для всех групп. Это необходимо, чтобы не возникло сезонных или временных искажений. Все участники тестирования учувствуют в нем одновременно.
Важное правило теста – для получения корректных результатов тестирования не стоит проводить A/B-тест в периоды праздников, распродаж, акций и других маркетинговых кампаний. Это может существенно исказить результаты тестирования.
В среднем тестирование продолжается в течение недели. Это необходимо, чтобы каждый из вариантов набрал как минимум 100 целевых действий.
Что касается участников тестирования, то они ни в коем случае не должны пересекаться во время теста. Это нужно для чистоты результатов тестирования. В идеальном варианте пользователи распределяются случайным образом между контрольной и экспериментальной группами.
Методы анализа результатов A/B-теста:
- определение статистической зависимости. Сравниваются данные, полученные в результате A/B теста. Если P-value ниже 5%, то результаты A/B-тестирования можно назвать корректными. Если показатели выше, это говорит о том, что менять продукт не нужно;
- сравнение основной метрики. Это может быть, например, средняя стоимость заказа или конверсия. Важно посмотреть, какой именно вариант A/B тестирования показал хорошие результаты;
- оценка первичных и вторичных метрик. Это относится и к показателям откатов, и к проведенному на сайте времени, и к другим метрикам. Все они не менее важны, чем основная (в основном конверсия);
- сегментация полученных данных. Сегменты могут быть самыми разными – источники трафика, устройства. Например, вариант В часто работает лучше для пользователей, которые проходят тестирование на смартфоне;
- учет временных факторов. Это тоже имеет значение, поэтому A/B‑тестирование должно проводиться в специально предназначенное время. Для этого можно проконсультироваться со специалистом: когда и как проводить тестирование, в зависимости от специфики деятельности компании и от тестируемого продукта. Нужно, чтобы A/B тест полностью охватывал репрезентативный период.
После каждого проведенного A/B теста надо отмечать и фиксировать, какие варианты использовались, какой был результат и так далее. Это необходимо, например, для самодисциплины: не придется в будущем повторять какие-то тесты, а результат будет заметен.
Какие ошибки совершают при A/B-тестирование
В процессе тестирования часто допускаются ошибка, например:
- недостаточный объем тестируемых. Это может привести к тому, что результаты тестирования будут спорными и, соответственно, их нельзя будет учитывать при внедрении продукта или при отказе от этого;
- несбалансированные руппы. Для А и В должны быть конкретные люди, соответствующие ключевым характеристикам. Иначе результаты тестирования будут искажены;
- неверный выбор метрик. Тут все понятно: если нельзя правильно измерить результаты теста, то и выводы получатся некорректными;
- неправильно подобранное время для тестирования. Активность пользователей должна быть максимальной: только тогда можно что-то говорить о достоверности полученной информации;
- изменение не одного элемента, а нескольких. Например, цель тестирования должна быть или “перекрасить кнопку” или “переписать заголовок”. Если требуется и первое, и второе, то надо создавать и проводить сразу два тестирования. Но помещать их в одно нельзя, потому что будет очень сложно понять результаты теста;
- неверная интерпретация полученных сведений проведенного тестирования;
- множественное сравнение. A/B тест должен проводиться быть один раз в какое-то время. Когда тестов слишком много, люди начинают отвлекаться и, соответственно, могут иметь место ложные положительные результаты. То есть высокую оценку ставят не потому, что действительно так считают, но исключительно по привычке или на автомате;
- короткий срок тестирования. По времени он должен быть оптимальным: когда A/B тест короткий, это не сможет показать реальную картину. Например, важную роль играет пользовательское поведение: в будни одно, а в выходные и праздники – другое. Все это также сказывается на результатах A/B теста.
Наконец, главная ошибка – это A/B‑тестирование во время длительных праздников, распродаж, крупных событий в мире и так далее. Результаты будут более чем некорректными.
Часто задаваемые вопросы
Как понять, что A/B тест проведен успешно?
На это указывает улучшение основной метрики и стабильная разница между двумя вариантами. Но тут надо иметь в виду, что результат A/B теста должен сохраняться на протяжении нескольких дней. Это говорит о том, что случайных колебаний нет, соответственно, выбранный вариант действительно вызывает доверие и его можно внедрять.
Что делать, если оба варианта теста показали одинаковый результат?
Это говорит о том, что предложенный вариант неверный. Следовательно, нужна новая идея и ее проверка: формулировка гипотезы и ее тестирование.
Как учитывать статистическую значимость?
Если в A/B тесте нет достижения статистической значимости, значит, необходимо или что-то изменить, или продлить тестирование. В идеальном варианте она должна показать, случайный результат или закономерный.
Как анализировать доверительный интервал?
Узкий интервал свидетельствует о том, что данные A/B теста очень точные, а широкий – о большом разбросе. Соответственно, если результаты пересекаются по доверительному интервалу, то изменения вносить вряд ли придется. А если пересечений нет, это говорит об успехе А или В.
Можно ли запускать несколько гипотез одновременно?
Если речь идет о небольших проектах, то лучше проводить тестирование по очереди. Если же объем трафика достаточно большой, то допустимо параллельное исследование. Например, на разных страницах и при разном сегменте аудитории. Но тут есть важный момент – нельзя чтобы пользователи пересекались. Тогда данные A/B теста будут сильно искажены.
Что такое нулевая гипотеза?
Она звучит так: любое расхождение – это или ошибка выборки, или стандартная вариация.
Что такое мультивариантное тестирование?
Оно работает одновременно с несколькими элементами сайта. Проводят тестирования всех возможных вариантов, чтобы своевременно внести изменения, а также оптимизировать работу (при необходимости).
Можно ли проводить A/B тестирование чего-либо кроме веб-страниц?
Да. Конечно, целевые страницы и веб-страницы находятся на первом месте, но многие маркетологи и маркетинговые компании проводят A/B-тестирование РРС (это оплата пользователю за клик), призывов пользователей к действию (перейти по ссылке, зарегистрироваться, заказать что-то) и электронных писем.