А ещё это востребованный навык — только на HeadHunter в июле 2023 года было более 500 вакансий, в которых от соискателей требовали владения методами A/B-тестирования. Существует несколько инструментов, упрощающих работу исследователей. Эти программы могут самостоятельно разделять пользователей и отслеживать эффективность всех a/b тестирование вариантов тестируемых страниц. Дополнительно отслеживайте другие метрики — время пользователей на сайте, например. Это поможет в дальнейшем собрать более полную картину исследования. Отдельно стоит упомянуть компании, набирающие тестировщиков и оказывающие услуги тестирования другим организациям в качестве подрядчика.
На основе результатов тестов можно принять взвешенное решение о дальнейших действиях по изменению продукта. Более 50% тестов заканчиваются тем, что специалисты отказываются от внесения предложенных правок. Воспринимайте АБ тестирование как полезный опыт, который помогает лучше понять потребности и поведение клиентов. К примеру, по результатам А/В-теста фактический коэффициент конверсии вырос на 1%, как мы и предполагали в гипотезе. В результате выбранных изменений, метрика выросла, гипотеза подтвердилась.
Как провести тестирование?
Если с прокси-метриками всё ок, то внедряем изменения. В нашем примере мы также запустили два одинаковых сайта в тест Google Optimize. Тестировали две одинаковые версии, смотрели за разницей конверсии в течение 2–4-х недель. Разницы не обнаружили, всё прошло ровно, поэтому перешли к следующему этапу.
- Как отделить статистически значимые показания от случайных колебаний величин?
- Для успешной реализации теста важно хорошо к нему подготовиться, учесть нюансы и выбрать хороший сервис для проведения.
- Не забывайте, что данный инструмент — не волшебная палочка.
- А ещё это востребованный навык — только на HeadHunter в июле 2023 года было более 500 вакансий, в которых от соискателей требовали владения методами A/B-тестирования.
- Некоторые пользователи путают эти понятия или считают, что они взаимозаменяемы.
Такое случается из-за изменений в предпочтениях людей в течении дня или недели. Я категорически не рекомендую запускать А/В-тестирование без четкого понимания особенностей вашей целевой аудитории и особенностей поведения посетителей сайта. Глубина содержания влияет на SEO, а также на показатели времени, проведенного на странице и коэффициент конверсии. А/В-тестирование позволяет найти идеальный баланс между ними.
Настраиваем утилиту для тестирования и запускаем ее
Доверительное A/B-тестирование — это статистический термин, означающий измерение разницы средних параметров при помощи сравнения нескольких источников исследования. Это тоже своего рода тестирование, но более масштабное и продвинутое. Вы можете создать несколько вариантов страницы (больше двух). Искусственный интеллект автоматически подберет аудиторию под каждый тип страницы, причем он будет делать это на постоянной основе. Если аудитория не растет, а замена кнопок не помогает, то стоит задуматься об изменении условий пользования.
Каждый пользователь видит только один вариант дизайна (A или B), даже если обновляет интерфейс. При проведении A/B тестирования сравнения должны быть как можно проще. Например, не сравнивайте две совершенно разные версии своего веб-сайта, потому что вы не поймете, какие факторы действительно имели значение. Точно так же, если на сайт добавляется новый модуль или меню, он не может быть протестирован с помощью A/B тестирования, поскольку в этом случае у нас нет основ для сопоставления.
Определить статистическую значимость
Точнее, если после статистической обработки данных не будет доказано, что лучший вариант не мог быть получен случайно. Если сервис посчитал результат статистически недостоверным, сплит-тестирование повторяют с теми же вводными, но с большим размером выборки. На этом этапе определяют, какой вариант дал лучший результат. Если новый вариант показал, например, конверсию на 3% больше, его внедряют и показывают всей аудитории.
Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.
Анализ результатов A/B-тестирования
Мы рекомендуем протестировать не менее 1000 уникальных пользователей. Но это лишь субъективное представление, задача — проверить в действительности, поможет ли замена прямоугольных кнопок на круглые повысить конверсию. То есть необходимо внести правки, дать потенциальным клиентам «попробовать» измененный лендинг.
Если оказалось, что разницы почти нет или старый вариант лучше нового, формируют новую гипотезу и проверяют её. Проще всего использовать специальные сервисы или встроенные инструменты. Их нужно настроить один раз, а потом оценить результаты. Ручное тестирование требует больше времени на настройку и постоянного контроля, а программирование — много ресурсов. Для A/B-тестирования с другими метриками можно использовать другие калькуляторы.
Распространенные ошибки в проведении исследования
Итак, при A/B тестировании альтернативная гипотеза состоит в том, что новая версия лучше старой. В нашем примере это утверждение о том, что новый CTR будет больше старого. Проще говоря, утверждение, которое истинно до того, как мы собираем какие-либо данные, является нулевой гипотезой. При A/B тестировании основная нулевая гипотеза будет заключаться в том, что новая версия не лучше или даже хуже старой.
Генеральная совокупность — все пользователи, которые взаимодействуют с объектом. Например, число посетителей сайта в месяц или число активных пользователей сервиса. A/B тестирование (AB testing, а-б тест) или сплит-тестирование — это метод исследования, при котором тестируется эффективность двух вариантов. Респонденты делятся на равные и однородные группы, а затем оценивается, какой из вариантов оказался более успешным. Для проведения сплит-теста нужна большая выборка аудитории.