A b тест: Что такое A/B-тестирование и как его проводить

Что такое A/B-тестирование и как его проводить

*Обновление статьи

Бизнес не стоит на месте – чтобы выжить, нужно развиваться. Если остановить этот процесс, проект начнет деградировать. Часто приходится что-то менять – расширять ассортимент, увеличивать рекламный охват аудитории, улучшать дизайн сайта, добавлять новый, повышать конверсию. Как узнать заранее, что принесут эти новшества?

Одни из инструментов, помогающий развитию веб-проектов – A/B-тестирование. С его помощью можно проверить свои гипотезы и экспериментально оценить предпочтения посетителей – чтобы принять решение о том, стоит ли что-то менять или лучше оставить как есть.

Рассказываем, как это работает.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing — раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой.

Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию. Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование — это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Разбор показателей для отслеживания эффективности интернет-маркетинга

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%.

Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование — это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

• Текст и внешний вид конверсионных кнопок, а также их расположение.
• Заголовок и описание продукта.
• Размеры, внешний вид и расположение конверсионных форм.
• Макет и дизайн страницы.
• Цену товара и другие элементы бизнес-предложения.
• Изображения товаров и другие иллюстрации.
• Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных инструментов. Один из наиболее востребованных – сервис Google «Оптимизация» (до августа 2019 назывался Content Experiments), который является теперь частью новой платформы для маркетологов Google Marketing Platform. С его помощью можно тестировать элементы страниц, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.

п. «Оптимизация» бесплатна для малого бизнеса и в этом ее большое преимущество по сравнению с конкурентами.

Также можно использовать для проведения сплит-тестирования следующие инструменты:

• Optimizely — наиболее популярный в «буржунете» платный сервис A/B-тестирования. Стоимость его использования не публикуется – для уточнения нужно связаться с отделом продаж. К преимуществам относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
• Visual Website Optimizer — платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость месячной подписки VWO составляет от 99 до 999 долларов.
• Unbounce – сервис, предназначенный для создания и оптимизации лэндингов. В том числе он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 79 до 399 и более долларов в месяц. Является аналогом отечественного LPGenerator и тоже позволяет тестировать только лэндинги, сделанные в нем самом.

Как провести A/B-тестирование с помощью Google Optimize

Сервис «Оптимизация» Google Marketing Platform позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, можно проводить A/B/N-тестирование, которое отличается от стандартных A/B-экспериментов проверкой сразу несколько гипотез вместо двух.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Результаты можно наблюдать в личном кабинете или получить по e-mail.

Чтобы провести сплит-тестирование с помощью «Оптимизации» сделайте следующее:

1. Войдите в аккаунт Google Marketing Platform, откройте сервис «Оптимизация» и создайте свой первый проект. Дайте ему название, укажите URL базовой страницы, копии которой будут тестироваться и выберите режим «Эксперимент A/Б».

2. Зайдите в созданный проект и продолжайте его настройку в соответствии с планом, предлагаемым в подсказке. Последовательно выполните все пункты от 1 до 5.

3. Сначала создайте экспериментальные варианты и добавьте правила таргетинга. Для работы установите в браузер Chrome расширение «Оптимизация» из официального магазина Google. Оно позволяет визуально отредактировать изменения на страницах.

4. Укажите, при переходе на какие URL пользователь будет видеть измененные варианты страницы. Можно задать несколько условий проверки. Главное, не забыть их сразу протестировать, чтобы не было ошибки.

5. Настройте целевую аудиторию. Например, изменения на странице будут показаны только посетителям из Москвы.

6. Выберите стандартные или создайте собственные цели эксперимента. Они должны быть связаны с Google Аnalitics.
   Например, нас может заинтересовать в виртуальном эксперименте, как зависит количество просмотренных статей блога от цвета фона заголовка h2 на главной. Исследуем, серый или фисташковый?

7. Все готово, осталось только создать код эксперимента и вставить его на страницу. Если непонятно как это сделать, можно выбрать опцию «Отправить код веб-мастеру» или сделайте это самостоятельно. Но для этого нужно немного разбираться в HTML.

Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. А значит, выбираем 3 %.

8. Если все сделано правильно, в меню появится сообщение о том, что проект готов к запуску и будет разблокирована кнопка «Ок».

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью A/Б-тестирования

Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон заголовка главной страницы, как в прошлом примере.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

• Используйте конверсионную форму, которая остается перед глазами посетителя при прокрутке страницы. Например, эта форма может быть неподвижно «прикручена» к верхней части экрана, как навигационное меню Facebook.

• Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
• Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
• Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
• Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
• Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

A/Б тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. После этого следует воспользоваться одним из сервисов для проведения экспериментов, например, «Оптимизацией» Google. Оценку результатов можно проводить как минимум через две недели после его запуска.

что это такое, этапы, ошибки и инструменты

Нельзя на авось запускать кампании и креативы, надеясь на приток конверсий и заявок. Работая так, вы рискуете стабильно терять время и деньги. А мы здесь для того, чтобы зарабатывать. Разумнее проверить гипотезы, а уже потом пускать все в работу. Для таких целей часто используют A/B-тестирование.

В этой статье мы раскроем суть A/B-тестирования. Расскажем, что это, зачем, кому нужно, и какими инструментами пользоваться, а также разберем ошибки маркетологов. 

Что такое A/B-тестирование и зачем оно нужно

A/B-тестирование — эксперимент, в ходе которого из двух (или более) предложенных переменных выбирают наиболее эффективную.   

Чаще всего при A/B-тестировании берут один объект и сравнивают, какая из переменных в нем вызывает больше положительных откликов у аудитории. В качестве переменных выступают тексты, визуал, таргетируемая аудитория, оффер и т.д. С помощью теста вы поймете, какие изменения положительно влияют на результат.

Итог A/B-тестирования — запуск того варианта рекламы, всплывающих окон, текста, кнопок и т.д, которые по результатам анализа работают эффективнее других.  

Зачем делают A/B-тестирование

Экономия времени и ресурсов. Чтобы переделать лендинг или рассылку, которые вас не удовлетворили, придется подключить всю команду и потратить немало времени и ресурсов. Куда проще и быстрее сделать A/B-тест гипотез, увидеть результат через пару недель и внести одно изменение вместо полной переделки продукта.  

Читайте также:

Эффективная реклама в интернете: где ее разместить, как оценить и повысить основные показатели

Стабильный ROI. A/B-тест повышает эффективность выбранных каналов без крупных дополнительных затрат, а его результаты станут ориентиром для корректировок. Отсюда вытекает следующее преимущество. 

Уверенность в эффективности изменений. Результаты A/B-теста — конкретные измеримые данные и статистика, которыми вы будете руководствоваться в дальнейшем. Цифры — куда более крепкий аргумент, чем интуиция. 

Меньше рисков. Если вы резко начнете менять рассылку, кампании или сайт, вы рискуете сломать то, что работало и спугнуть клиентов. Точечные исправления на основе теста чинят именно те вещи, которые не работают. Быстро, без кардинальных перестановок. А значит, с меньшими рисками. 

Меньше отказов. Люди покидают сайт или не реагируют на рассылки и рекламу по разным причинам. В результате A/B-теста вы исключаете те вещи, которые побуждали людей отказывать. И чем дальше и эффективнее аналитика клиентского опыта, тем у них меньше поводов отказывать вам. 

Инсайты. Одно дело — строить гипотезы в переговорке, а другое — увидеть реальную картину мира. С A/B-тестами вы поймете аудиторию и узнаете, что ей нравится на самом деле. На основе этой информации вы можете не только корректировать один объект, но и выстраивать полноценные кампании.

Читайте также:

Как привлечь новых клиентов для бизнеса? Разбираемся с лидогенерацией

Резюмируя, A/B-тест положительно влияет на пользовательский опыт, что закономерно улучшает показатели и повышает эффективность рекламы. 

Что проверяют с помощью A/B-тестирования

Номинально, такой тест применяют ко всему, что может повлиять на поведение пользователей. К примеру, стриминговый сервис Netflix с помощью теста настраивает персональную страницу с рекомендациями для каждого пользователя, показывая в топе то, что согласно данным, с большей вероятностью посмотрят.Однако существуют вещи, для проверки эффективности которых A/B-тест используют чаще. Среди них:

• заголовки, темы писем — первое, что видит человек. А значит, они определяют, пойдет ли посетитель дальше, либо пропустит вас мимо. 
• изображения, анимация, видео — визуал вызывает разные эмоции у каждого человека. Ваша задача — найти то, что что приятнее ключевой аудитории.
• верстка контентных блоков на странице или в письмах — в результате теста вы добьетесь, чтобы все элементы органично дополняли друг друга и акцентировали внимание на том, что приведет к конверсионному действию. 
• тексты — узнайте, какой текст лучше описывает пользу и то, как вы решите проблему клиента. 
• каналы коммуникации — проверьте, на какой из площадок больше лояльной и вовлечённой аудитории, а от какой лучше отказаться и не тратить силы и бюджет.
• всплывающие окна — поп-апы часто раздражают, поэтому тест поможет найти тот вариант окна, который вызовет меньше негатива у пользователей.
• лид-магниты — в основе лид-магнитов лежит польза для клиента, с помощью теста вы узнаете, какой магнит лучше работает.  
• скидки и предложения — узнайте, какие предложения на самом деле интересуют вашу аудиторию. Вдруг вы найдете что-то более полезное и выгодное, чем скидки. 
• тексты на кнопках, CTA — последняя ступень перед совершением целевого действия. С помощью A/B-теста вы найдете то сочетание призыва к действию, цветов и форм кнопки, которое побудит человека к клику.

Инструменты для A/B-тестирования

Прелесть A/B-теста не только в его наглядности и простоте, но и в том, что существует готовое решение для проверки практически любого формата: от элементов на сайте до рассылок. То есть вам не понадобятся специальные знания или услуги агентств. Рассмотрим детально.

Калькулятор достоверности A/B-тестирования от Яндекса

Простой, бесплатный и универсальный инструмент. Онлайн-калькулятор наглядно сравнивает результаты эксперимента и выносит вердикт рекламным стратегиям. Занесите данные по конверсиям, кликам и расходам, кликните по кнопке «Рассчитать» — и всё. Подробный отчет анализа можно скачать в виде файла Excel. 

Google Optimize

Сервис помогает протестировать интерфейс сайта — можно сравнивать посадочные страницы, проверять эффективность элементов дизайна, контент. Указывайте цели, аудиторию, сроки эксперимента, синхронизируйте с Google Аналитикой и смотрите за результатами теста в реальном времени.  

A/B-тестирование всплывающих окон и других инструментов повышения конверсии от Callibri

В МультиЧат Callibri включен набор инструментов для повышения конверсии сайта. В том числе речь идет о всплывающих окнах, вовлекающих в чат крючках и квизах. Каждый из инструментов вы можете протестировать прямо в личном кабинете. Включите режим A/B-теста, задайте варианты и проверяйте, какое окно, квиз или крючок привлекает больше конверсий. Отчеты покажут всю информацию.

Встроенное А/B-тестирование заголовков письма и аудиторий от eSputnik

Сервис предлагает запустить сплит-тест уже на этапе создания рассылки. Вы можете указать несколько вариантов заголовков письма и сразу после запуска посмотреть, какой из них сработал лучше. В сервисе можно проводить и более глобальные эксперименты — протестировать баннеры, кнопки и анимацию. Для этого разделите аудиторию на группы и отправьте им разные варианты писем, результаты теста можно оценить минимум через сутки после запуска.

A/B-тестирование объявлений Facebook

Все действия происходят в Facebook Ads Manager. Здесь вы можете разделить аудитории на группы и проверять, какая из них лучше реагирует на ваши объявления и конкретные переменные. Процесс A/B-тестирования занимает от 3 до 14 дней. Ещё соцсеть дает тестировать:

• места размещения, 
• группы товаров,
• креативы,
• пользовательские переменные,
• оптимизации показа.

Сервис A/B-теста Realroi.ru

Сервис RealROI предлагает протестировать интернет-страницы, лендинги и сайты целиком. Выбирайте объект теста, будь то картинки, тексты или структура, а затем следите за данными по конверсии в реальном времени. 

Частые ошибки при A/B-тестировании

Как и любой инструмент, A/B-тест требует осознанного подхода. Если этого не будет, неизбежны ошибки, которые сведут на нет любой эксперимент. Где оступаются маркетологи, делая A/B-тесты?

Запуск теста без четкой гипотезы. Корректно формулируйте гипотезы до запуска теста. Экспериментируя без четко поставленной гипотезы, вы рискуете получить неверные данные и начать исправлять те вещи, которые этого не требовали.  Проведите анализ, поймите, что не работает и предложите варианты решения. Только после этой предварительной работы A/B-тест имеет смысл.

Читайте также:

Как сделать анализ целевой аудитории для запуска рекламной кампании. 3 метода и советы по работе с данными

Слишком много вариантов. Задавая излишнее количество переменных для теста, вы рискуете не узнать, что конкретно влияет на конверсию. Ведь в разной степени на нее влияет всё. Не рассеивайте внимание и четко расставляйте приоритеты, чтобы получить больше точных данных. Тестируйте 2 варианта рассылки или креатива в один момент. Помните, что чем больше переменных, тем ниже точность теста.

Неверный срок теста. Не важно, слишком долго или слишком мало шел тест — эксперимент неудачен в обоих случаях. Определите одинаковый временной отрезок, который покажет наиболее корректные данные по конверсиям переменных. К примеру, Facebook предлагает окно от 3 до 14 дней. Очевидно, что 3 дня может не хватить, а вот хотя бы неделю выделить на тест стоит. 

Неверная оценка внешних факторов по трафику. Если вы тестируете один вариант в тот период, когда на сайт идет больше всего трафика, а другой — в период затишья, то результаты теста использовать нельзя. Сезон отпусков, праздники, распродажи, любой период перепада трафика — не лучшее время для A/B-теста. 

Игнорирование статистики в пользу собственных ощущений. Отпустите собственные прогнозы и доверьтесь цифрам в отчетах. Даже низкие показатели говорят о том, что нужно взять новый курс, а не отказываться от инструмента. Запускайте каждый тест на основе данных предыдущего и продолжайте улучшать результаты, пока статистика не удовлетворит вас. А затем снова продолжайте 🙂

Заключение

A/B-тестирование — простой и наглядный инструмент, который помогает корректировать сайты и рекламу без больших трудов и затрат. Главное следовать простому алгоритму эксперимента:

• Поставьте цель;
• Выдвиньте гипотезы;
• Определите варианты корректировок для достижения цели;
• Протестируйте переменные;
• Проанализируйте результат. К примеру, помощью одного из вышеописанных инструментов и метрик;
• Запускайте самый эффективный вариант в работу.

Помните, что только руководствуясь данными аналитики и действуя последовательно, вы извлечете пользу из любого исследования. A/B-тест — не исключение. 

В каких случаях можно не проводить АБ-тесты

Как появились АБ-тесты, в каких ситуациях АБ-тестирование бесполезно и как определить лучший вариант лендинга или рекламы без тестирования.

Что такое АБ-тесты и причём тут пивоварение

АБ-тестирование — сравнение двух, реже — более двух, вариантов сайта, дизайна, офферов компании для определения наиболее эффективной версии. Варианты могу отличаться одним элементом, например, расположением заголовка или цветом кнопки, или совершенно отличаться друг от друга. По итогам тестирования выбирают лучшую альтернативу, например, страницу с максимальной конверсией в заявки и продажи.

Подробнее о том, что такое АБ-тестирование и как оно помогает увеличить продажи, читайте в нашем блоге.

АБ-тестирование началось с пива: основе АБ-тестирования лежит статистический анализ. Его развивал британский учёный Уильям Сили Госсет, в начале XX века работавший в компании Guinness.

Госсет хотел найти способ улучшить отбор сырья для пивоварения. Для этого он разработал математическое обоснование «закона ошибок» для малых статистических выборок. Сегодня его открытие известно как «t-распределение Стьюдента», которое и легло в основу концепции статистической значимости.

На основе статистических данных принимаются многие решения — от оценки эффективности политической кампании до оттенка синего цвета для гиперссылок на сайте.

Когда АБ-тесты бесполезны: парадокс Фредкина и закон тривиальности Паркинсона

Идеи в основе АБ-тестов содержат парадокс, который может поставить под сомнение ценность полученных данных.

Парадокс Фредкина. Чем больше два одинаковых варианта кажутся одинаково привлекательными, тем сложнее сделать выбор между ними. Из-за парадокса Фредкина выбор между двумя очень похожими вариантами не будет иметь ценности. Нет смысла запускать АБ-тестирование, чтобы определить какая кнопка — тёмно-синяя или светло-синяя — принесёт больше заявок.

Закон тривиальности Паркинсона. В 1955 году К. Норткот Паркинсон описал в своей книге вымышленную встречу, на которой 11 человек принимали решение о строительстве атомной электростанции и навеса для велосипедов. Из-за сложности вопроса только двое участников могли принять участие в обсуждении бюджета на строительство электростанции, который оценивался в $10 000 000. Через две минуты бюджет был утверждён. Обсуждение строительства навеса для велосипедов, стоимостью $2 350, заняло 40 минут, все присутствующие принимали активное участие в обсуждении.

Так Паркинсон показал, что время, затраченное на любой пункт повестки дня, будет обратно пропорционально затраченной денежной сумме. То есть зачастую на неважные решения затрачивается слишком много времени и денег. Поэтому иногда проведение АБ-теста не будет иметь ценности по сравнению с усилиями, которые будут потрачены на его проведение.

О том, какие ошибки мешают принимать правильные решения по итогам АБ-тестирования, рассказали в нашем блоге.

Альтернатива АБ-тестам

Проведение АБ-тестов может быть сложным и затратным. Создание второго, тестового варианта, может составлять половину суммы, которую компания потратила на создание первой версии. Поэтому АБ-тестирование стоит проводить только для проверки серьёзных изменений.

Как без АБ-тестов можно определить лучший вариант?

1. Проанализируйте действия пяти пользователей. Первые пять посетивших сайт пользователей обнаруживают более 75% проблем, связанных с простотой и удобством использования страницы. Проанализируйте их поведение — поймёте, как улучшить сайт без АБ-тестирования.

2. Вносите только одно простое изменение. Просто внесите это изменение и посмотрите, что произойдёт. Вместо того, чтобы показывать половине пользователей изменённый заголовок главной страницы и ждать статистически значимых результатов, покажите всем посетителям сайта новый вариант — получите результаты гораздо быстрее. Если страница станет хуже конвертировать посетителей в заявки, откатите её до старого варианта.

Такой способ не имеет такую статистическую точность как A/Б-тестирование, но он упрощает принятие решения о небольших изменениях.

3. Используйте сервис «А/Б-тесты» Roistat. В Roistat можно быстро настроить тестирование: поменять цвет кнопки или варианты главного меню без помощи программистов. Сервис сравнит, сколько заявок, продаж, выручки и прибыли принёс каждый вариант. При необходимости можно добавить другие важные для бизнеса показатели.

Пример отчёта в сервисе «А/Б-тесты» Roistat

Когда A/Б-тест принесёт пользу

Когда нужно проверить гипотезу в сжатые сроки. Например, если вы готовите лендинг к распродаже или мероприятию, и нужно быстро принимать решения. A/Б-тест поможет принимать обоснованные решения и быстро устранять проблемы, связанные с удобством и простотой работы с сайтом.

Когда вы рискуете потерять большую сумму денег, если не протестируете гипотезу. Например, если Amazon изменит цвет кнопки на форме заказа, не проведя АБ-тестирование, компания рискует потерять миллионы долларов за минуту: пользователи просто не поймут, как завершить заказ, и уйдут с сайта.

В таком случае АБ-тест снижает уровень возможных потерь и обеспечивает уверенность в том, что выбор был сделан правильно.

На нашем Telegram-канале делимся полезными материалами по маркетингу и аналитике, кейсами клиентов, собираем познавательные дайджесты и анонсируем бесплатные обучающие вебинары. Подписывайтесь, чтобы ничего не пропустить!

Онлайн-курс Теплицы: «Как НКО проводить A/B-тестирование сайтов»

Иллюстрация: Ксения Горшкова.

Команда Теплицы социальных технологий приглашает сотрудников некоммерческих организаций принять участие в онлайн-курсе «Как НКО проводить A/B-тестирование сайтов». Онлайн-курс пройдет с 24 по 27 августа 2021 года. 

Слушатели курса научатся проводить А/В-тестирование и работать с инструментами Google Tag Manager, Google Optimize и Google Analytics. 

О курсе

A/B-тестирование — метод, который позволяет понимать поведение пользователей на сайте и влиять на него через изменение элементов дизайна. 

Команды небольших фондов с помощью A/B-тестирования сайта и страниц для пожертвований смогут собирать больше средств. Сотрудники малых фондов на курсе углубят знания по Google Analytics и поймут, как в дальнейшем достигать целей.

За четыре дня курса участники смогут подготовиться к запуску теста и запустить его. Иногда для запуска A/B-теста фондам нужна помощь программистов. На курсе мы рассмотрим варианты, когда можно разобраться с технической частью самостоятельно и когда стоит обратиться к IT-специалисту.

Если у вас не подключена Google Analytics до старта курса, то, пожалуйста, подключите ее для эффективного обучения.

Ведущая курса

Екатерина Булгакова,координатор проектов благотворительной организации «Ночлежка»

Как устроен онлайн-курс

Курс будет состоять из четырех вебинаров и начнется 24 августа 2021 года. Вебинары будут проходить каждый день с 11:00 до 12:15 по московскому времени. Курс завершится 27 августа 2021 года.

Слушатели, успешно сдавшие финальный тест, получат сертификаты о прохождении курса. Это бесплатный курс.

Темы и даты вебинаров

Вебинар № 1: Как сформулировать гипотезу для А/В-теста

На первом вебинаре Екатерина Булгакова расскажет, что такое А/В-тест и как формулировать гипотезу для проведения эксперимента. 

Дата: 24 августа 2021 года с 11:00 до 12:15 (по мск).

Вебинар № 2: Инструменты для проведения А/В-теста 

На втором вебинаре мы поговорим о работе с Google Tag Manager, Google Analytics, Google Optimize. Участники ознакомятся с каждым инструментом, узнают, как связать Google Optimize с Google Analytics и зачем нужен сниппет Anti-Flicker.

Дата: 25 августа 2021 года с 11:00 до 12:15 (по мск).

Вебинар № 3: Как настроить первый эксперимент

На третьем вебинаре Екатерина расскажет о правилах таргетинга и пошагово покажет, как настраивать эксперимент в Google Optimizer. 

Дата: 26 августа 2021 года с 11:00 до 12:15 (по мск).

Вебинар № 4: Оценка эффективности эксперимента

На четвертом вебинаре мы остановимся на теме анализа результатов А/В-теста и оценке их значимости. Также часть вебинара будет посвящена ответам на вопросы тех участников, кто попробовал запустить эксперимент в течение курса.

Дата: 27 августа 2021 года с 11:00 до 12:15 (по мск).

Как получить сертификат

Для получения сертификата об успешном прохождении курса необходимо успешно пройти финальное задание.

Где учимся

Вебинары пройдут в сервисе Zoom. Ссылку на подключение вы получите в письме после регистрации. Вопросы по курсу вы можете задать Марии Борисёнок по почте [email protected]

Эти [17 ошибок] «похоронят» ваш A/B тест — CMS Magazine

Большинство A/B экспериментов делаются неправильно. Это правда. Вполне возможно и ваш последний эксперимент был сделан неправильно. А вы тут сейчас сидите и радуетесь, не подозревая о последствиях.

Кто из вас до старта эксперимента использовал сервисы, которые позволяют посчитать минимальное количество конверсий для получения достоверных результатов? Сомневаюсь, что вас много.

Серьёзно. У большинства, A/B тестирование — это лишь запуск эксперимента. Никакого анализа. Никаких гипотез. Поменял цвет кнопки и сидит довольный. Ждёт роста продаж, понимаешь ли.

Реальность не так сладка, дружок. Всё жёстче, чем ты думаешь. Большинство экспериментов делаются неправильно. Кругом одни и те же ошибки. Ошибки ведут к неправильным результатам. Неправильные результаты — к неправильным выводам. Неправильные выводы — к разочарованиям в самом A/B тестировании или даже убыткам.

И всё становится на свои места: никаких новых и эффективных инструментов улучшения сайта. Всё как обычно. Влил деньги в трафик. Получил посетителей. Заработал свою копейку. И счастлив.

Ну что, приступайте к поиску своих ошибок. Я долго собирал их все. Чтоб вас хоть слегка озарило.

A/B тестирование без гипотезы

К чему это приводит?

Большинство A/B тестов обречены на неудачу. Случайное тестирование бессмысленно. В 90 % случаев вы просто потратите время зря. И в итоге вообще перестанете проводить эксперименты, так как они не будут приносить положительных результатов.

Что делать?

Ставить поиск гипотезы на первое место в A/B тестировании. Сначала гипотеза — потом эксперимент. И никак иначе.

Для поиска гипотезы можно использовать разные варианты. К самым распространенным и эффективным способам относятся:

— Анализ количественных показателей сайта в Google Analytics и Яндекс.Метрике (Например, поиск самых посещаемых страниц с высоким показателем отказов/выходов, поиск посещаемых страниц с самым низким показателем конверсии).

— Анализ карты кликов, карты скроллинга, карты ссылок, вебвизора (Это даст понимание, на какие элементы жмут посетители, на что они обращают внимание, как глубоко листают страницу, как взаимодействуют с сайтом). Весь перечисленный функционал есть в Яндекс.Метрике и Hotjar.

— Проведение опросов потенциальных и текущих клиентов (Встраивание опросов прямо на сайт с помощью Qualaroo, Hotjar и других сервисов, опросы через E-mail рассылки, личное общение с целевой аудиторией).

— Анализ общения посетителей со службой поддержки и менеджерами по продажам через онлайн-консультанты или E-mail.

— User-testing — проведение пользовательских тестов с целевой аудиторией, начиная с захода на сайт и заканчивая совершением главного целевого действия (Можно сделать это лично либо с помощью сервисов Askusers.ru, Userpoint.ru или Usertesting.com (Guru99).

A/B тестирование сразу нескольких элементов

К чему это приводит?

Эксперимент заканчивается. Статистика собрана. Положительный или отрицательный результат есть. Но!

Ничего непонятно.

Откуда он взялся? Изменение, какого элемента, повлияло на конверсию? Именно таков итог подобных A/B тестов.

По каким причинам возникает эта проблема?

Либо нет обоснованной идеи для эксперимента, либо хочется сделать всё быстро и за 1 раз. Оба варианта ужасны. О важности идеи сказано в первом пункте. О скорости и говорить не стоит. A/B тестирование — это не такая штука, которую сегодня запустил, а завтра получил результат.

A/B тестирование — это систематический и последовательный подход к улучшению эффективности сайта. Он даёт результаты не сразу. Но, если делать всё правильно, то положительный результат будет.

Что делать?

Придерживайтесь одного простого правила: 1 эксперимент — 1 гипотеза. Проще некуда. Не нужно придумывать велосипед и пытаться «извратить» A/B тестирование. Вам будет только хуже от этого.

Проанализировали сайт, поведение пользователей, пообщались с ними > составили список идей для тестирования > расставили их по приоритетам (простоте реализации и вероятности влияния на конверсию) > начали последовательно тестировать гипотезы одну за другой (при этом после проведения каждого эксперимента делайте соответствующие выводы)

Преждевременное окончание эксперимента

К чему это приводит?

К неправильным выводам, в результате чего реализуется как бы победивший вариант, но уже через неделю/две/месяц происходит снижение конверсии. Очень велика вероятность такого исхода.

Пример:

Проводился A/B тест на сайте с небольшим количеством трафика и конверсий. Через 2 дня результаты были такими:

Конверсия в оригинальном варианте (Control) — 8.66. Конверсия в тестовом варианте (Variation 1) — 0.91. В этот момент «неопытный» интернет-маркетолог или клиент с пеной у рта будут требовать остановить эксперимент. Ведь всё очевидно. Но матёрый спец по увеличению конверсии умён. Он никогда так не поступит.

Результат через 10 дней после начала эксперимента:

Конверсия в тестовом варианте — 17.10 %. Конверсия в оригинальном варианте — 13.66 %. Так было ли всё настолько очевидно через 2 дня? Надеюсь, теперь вы понимаете, почему нельзя останавливать эксперимент раньше времени.

Конечно, это очень радикальный кейс: 11 против 1 конверсий через 2 дня. Но если будет 30 против 10, то «зелёный» интернет-маркетолог может поступить точно так же.

Что делать?

Не останавливать эксперимент при первых значительных результатах. В примере выше на 2-ой день было все 11 конверсий в оригинале, и 1 конверсия в тестовом варианте. Делать выводы на основе такой выборки нельзя!

На каждом варианте страницы должно быть как минимум 100 конверсий. Об этом говорят зарубежные эксперты. На мой взгляд, даже этого мало. Чем больше выборка, тем достовернее результаты. Поэтому не торопитесь.

Это одно из базовых правил.

Советую также использовать специальные калькуляторы, которые помогают понять, сколько нужно конверсий для получения достоверного результат. В этом калькуляторенужно ввести текущий показатель конверсии и минимально необходимое увеличение конверсии. Хотя это даже не совет. Это нужно делать обязательно!

Лайфхак: Не лезьте в аналитику в первые дни запуска A/B теста: не будет соблазнов остановить его раньше времени.

A/B тест проводится меньше недели

К чему это приводит?

Это приводит ко всем проблемам, которые описаны в предыдущем варианте.

Почему так происходит?

Потому что поведение посетителей отличается в разные дни недели. Это доказанный факт. Подтверждение ниже:

Это статистика известного интернет-магазина. Данных вполне достаточно, чтобы сделать достоверные выводы. В четверг и пятницу конверсия гораздо выше, чем в субботу.

Что делать?

Проводить A/B тесты минимум 7 дней. Лучше даже 14. При этом нужно также учитывать длительность цикла продажи. Если с момента первого знакомства с товаром и до его покупки проходит 10 дней, то и эксперимент должен длиться не меньше этого периода.

Это такое же базисное правило. Если не собираетесь соблюдать его, то вообще лучше не беритесь за A/B тестирование

Очень хорошо об этом написали ребята из Retail Rocket

На скриншоте ниже видно, что почти 7 % посетителей интернет-магазина принимают решение в течение 7-13 дней, прежде чем совершить покупку.

Таким образом, цикл продажи для некоторых составляет 7-13 дней. А ещё 2.5 % пользователей думают больше 14 дней.

Если запустить A/B тест в таком интернет-магазине и остановить его на 6-ой день, то около 10 % всей аудитории не попадёт в него. Соответственно результаты будут не максимально достоверными.

Игнорирование статистической достоверности

К чему это приводит?

К неправильным выводам. Всё, как и в двух предыдущих пунктах.

Что делать?

Не полагаться на результаты эксперимента, если статистическая достоверность меньше 95 %. 95 % — это минимальная планка. В идеале, этот показатель должен быть 99.9 %.

Несмотря на то, что во всех сервисах для A/B тестирования есть встроенные алгоритмы расчёта статистической достоверности, многие игнорируют их. А потом это игнорирование приводит к проблемам на сайте.

Зарубежные специалисты по увеличению конверсии советуют дополнительно использовать калькуляторы расчёта статистической достоверности. Можете воспользоваться этим сервисом

Три последних пунктах — количество конверсий, длительность теста и статистическая достоверность — это базовые правила. Обязательно соблюдайте их при A/Bтестировании.

Тестирование элементов, которые не влияют на конверсию

К чему это приводит?

Такие эксперименты не имеют никакого смысла. Изменяя элементы, которые не влияют на принятие решений, вы не сможете воздействовать на поведение пользователей.

Если вы изменяете текст, который никто никогда не читал или меняете элемент в нижней части посадочной страницы, которую видят только 10 % пользователей, то никакого толка не будет.1

Если вы цените своё время и деньги, то не тратьте время на бессмысленные A/B тесты.

Что делать?

Тестируйте элементы, которые влияют на принятие решений. Тестируйте элементы, с которыми взаимодействуют посетители сайта:

— СТА-кнопки (кнопки призыва к действию типа «Купить», «Скачать», «Регистрация»)
— Формы (для регистрации, подписки на сайт, оформления покупки)
— Текстовые элементы (Заголовки, подзаголовки, описания товаров, преимуществ, выгод для потенциального клиента)
— Визуальные элементы (Изображения, видеоролики, аудио)
— Страницы с ценами (Сами цены, описания ценности для клиента, значки безопасности, гарантии возврата денег)

Тестирование этих элементов является наиболее эффективным.

Копирование чужих экспериментов

Это простой способ «входа» в A/B тестирование. Не нужно сильно мучиться и загоняться по поводу гипотез для экспериментов. Берёшь и копируешь какой-нибудь успешный эксперимент. Кейсов и списков идей для A/B тестирования много. Они так и манят взять и повторить. Но это неэффективно.

Почему неэффективно?

Потому что у каждого сайта своя целевая аудитория. Эта целевая аудитория взаимодействуют с сайтом в соответствии со своими потребностями. Аудитория приходит на сайт с разных каналов. В итоге слишком много факторов влияют на её поведение.

И тупое копирование чужих кейсов вряд ли поможет кардинально исправить сайт и увеличить конверсию. Уж слишком всё индивидуально. Поведение пользователей на сайте зависит даже от того, какой текст использовался в вашем рекламном объявлении. Если на этом этапе всё плохо, то следование чужим успешным кейсам никак не поможет.

Расскажу об одном очень интересном кейсе. В интернет-магазине проводился A/B тест. Получилось так, что конкурент, который полностью скопировал сайт этого интернет-магазина, увидел тестовую страницу. И, в своём стиле, реализовал этот вариант страницы у себя. Через несколько недель эксперимент завершился. Конверсия в тестовом варианте оказалась ниже. Но конкурент уже об этом не узнал. Во всяком случае, в течение какого-то периода времени. Вот такие чудаки бывают.

Что делать?

Думайте своей головой. Все инструменты для анализа сайта и поведения пользователей у вас под рукой. Ищите проблемы конкретно на своём сайте, изучайте свою аудиторию. И запускайте тесты на основе полученных данных.1

При этом я ни в коем случае не ратую за то, чтобы вы прекратили изучать чужие кейсы. Это хорошая пища для ума. Подробно разобранные кейсы открывают глаза на многие вещи и заставляют совершенно иначе взглянуть на собственный сайт. Просто не нужно слепо следовать чужому примеру. Изучайте, анализируйте и берите из чужих кейсов самое лучшее.

Кстати, в любом случае A/B тестирование чужих кейсов лучше, чем прямая реализация идей с чужого сайта у себя. Если бы ребята из примера выше затестили новый вариант, то не потеряли бы часть клиентов.

Неправильное параллельное A/B тестирование

Под неправильным параллельным A/B тестированием я имею в виду ситуацию, когда посетители, участвующие в эксперименте на одной странице, попадают и в другой эксперимент. Например, в первом эксперименте они видят оригинальный вариант, а во втором — тестовый. В итоге это может повлиять на достоверность результатов, если анализировать влияние эксперимента на всю воронку продаж.

Что делать?

Если вы точно уверены, что аудитория экспериментов не будет пересекаться, то расслабьтесь и продолжайте тестить. Если нет, то даже не начинайте параллельные эксперименты. Запускайте эксперименты друг за другом. Это займёт больше времени, но даст более достоверные результаты.

Надежные результаты важнее, чем скорость тестирования. Все неправильные выводы потом вылезут боком1, и придётся проводить повторные тесты, чтобы обнаружить проблему.

A/B тестирование на сайтах с маленьким трафиком

К чему это приводит?

Эксперимент растягивается на месяцы (а проводить так долго тест не советуют!). Из-за длительного ожидания делаются преждевременные выводы (дождаться нужного количества конверсий очень сложно). Результаты эксперимента являются недостоверными. В итоге всё время и силы потрачены зря.

Так будет в большинстве случаев, если на сайте в день происходит 5-10 и даже 20 конверсий. В таких условиях, например, успешным можно будет считать тот эксперимент, в котором разница в конверсии будет очень значительной (Например, 150 конверсий против 75). Но подобное происходит редко.

А ведь небольших сайтов очень много. Также много и сайтов, где средний чек относительно большой и несколько сделок в день — это отличный результат.

Что делать таким сайтам?

Не тратить время на A/B тестирование, пока на сайте нет достаточного количества трафика и конверсий. Вместо этого, нужно заниматься анализом поведения пользователей на сайте. Нужно анализировать карты кликов и скроллинга и, исходя из этого, искать очевидные проблемы. Нужно общаться с целевой аудиторией и, исходя из потребностей/страхов/желаний, изменять тексты/элементы на сайте. Нужно смотреть записи действий посетителей (с помощью Вебвизора в Яндекс Метрике или Hotjar).

Такой вариант будет более эффективным.

Кстати, ещё один важный момент касательно трафика. Прежде, чем приступать к A/B тестированию, нужно грамотно настроит каналы качественного трафика, который будет день за днём приходить на сайт. Когда вы сможете обеспечить стабильный поток посетителей, тогда и будете думать об A/B тестировании.1

Aнализ результатов A/B теста без использования сегментирования

К чему это приводит?

Без сегментирования вы никогда не сможете проанализировать, как отдельные группы пользователей взаимодействовали с сайтом в тестовом варианте. И это одна из ключевых ошибок анализа.

Сравните хотя бы два сегмента пользователей — новые и вернувшиеся. Подумайте, насколько сильно различается их поведение на сайте? Есть идеи?

У меня есть реальные цифры. Поведение новых и вернувшихся пользователей совершенно разное.1 В интернет-магазинах вернувшиеся пользователи в среднем проводят на 3 минуты больше, чем новые. Новые посетители в среднем просматривают 3.88 страниц за сессию, а вернувшиеся — 5.55 страниц.

Достаточно, чтобы задуматься об анализе A/B тестов с помощью сегментирования? Думаю, да.

Поведение пользователей смартфонов и ПК тоже отличается. И по таким сегментам тоже нужно прогонять результаты эксперимента. Вполне возможно, что на одних устройствах конверсия снизилась, а на других — сайтом стало гораздо удобнее пользоваться, и конверсия увеличилась.

Что делать?

После проведения эксперимента смотреть не только общие цифры, но и лезть глубже. Всервисах для A/B тестирования, которые интегрированы с Google Analytics, есть возможность провести глубокий анализ результатов и применить к ним любой сегмент.

Кстати, совсем недавно проводил A/B тест на главной странице одного сайта. Объект тестирования — короткий дополнительный текст, поясняющий то, что произойдёт после регистрации. Анализируя результаты без применения сегментирования, обнаружилось, что тестовый вариант с дополнительным текстом работал немного хуже оригинального — на пару процентов конверсия была ниже.

Применив сегмент «Новые пользователи» к результатам эксперимента ситуация оказалась совершенно иная — тестовый вариант имел конверсию на 10 % больше.

Вывод: для вернувшихся пользователей этот текст не имел никакого значения, т.к. они кликали на СТА-кнопку в любом случае. А для новых пользователей текст всё-таки оказался одним из триггеров, который подталкивал совершить целевое действие.

Анализ влияния A/B теста только на одну цель в воронке продаж

Стандартная воронка продаж состоит из нескольких этапов. В интернет-магазине она может быть такой: Главная страница сайта — Переход в каталог продукции — Переход в карточку товара — Добавление товара в корзину — Переход к оплате товара — Завершение оплаты.

Представьте ситуацию, что вы запускаете эксперимент в каталоге товаров. Например, добавляете в призыв к действию информацию о 20 % скидке. Через неделю вы анализируете результат эксперимента и видите, что посетителям это нравится — они чаще кликают на эту кнопку и переходят в карточку товара. На первый взгляд, всё отлично. Ведь кликабельность кнопки увеличилась и на следующий этап воронки продаж переходит больше людей.

Но, ведь клики на эту кнопку — не главная цель вашего интернет-магазина. Самое важное — это оплата товара. Если посетители заходят в карточку товара, но при этом не заказывают его, то какой от этого смысл? Никакого.

К чему приводит эта ошибка?

Из-за поверхностного анализа эксперимента относительно только одной цели, вы не видите влияние на всю ворону продаж. А вдруг добавление привлекательной скидки повлияло на количество импульсивных кликов на эту кнопку? Посетители кликали, но при этом ещё были не готовы к покупке. На следующих этапах конверсия могла наоборот снизиться.

Не анализируя влияние на другие цели, вы этого не узнаете. Вы просто установите на сайт «победивший» вариант, а через какое-то время при подсчёте финансовых показателей обнаружите, что доходы упали. Результат — время потеряно зря, доходы просели.

Что делать?

После того, как эксперимент завершился, не спешите реализовывать лучший вариант.Проанализируйте влияние эксперимента на всю воронку продаж, начиная с цели, которую вы пытались улучшить, и заканчивая конечной целью (например, оплатой).

Сделать это очень легко, если эксперимент сделан через Google Analytics, Changeagain илидругой сервис , интегрированный с Google Analytics. Там можно посмотреть влияние на все созданные цели.

Кстати, мы уже описывали целый кейс с такой ошибкой. Почитать более подробном о нём можно здесь.

Пренебрежение «тестированием» страниц после запуска эксперимента

Эксперименты часто «ломаются». Запуск эксперимента происходит через специальный js-код, который вставляется на страницы сайта. Как показывает моя практика руководителя сервиса для A/B тестирования, проблемы были, есть и будут. Начиная с того, что могут возникнуть проблемы со страницей, СТА-кнопками или просто эксперимент не будет загружаться.

Все сайты разные: используются различные языки программирования, различные CMS-платформы и т.п. Более того, некоторые сайты пишут программисты с кривыми руками. И из-за этого может возникнуть конфликт между сайтом и сервисом.

К чему это приводит?

Вы запускаете тест. Думаете, что всё в порядке: пользователи видят оригинальную и тестовую страницу, статистика собирается, заказы идут. А на самом деле всё наоборот.

Эксперимент может вообще не отображаться всё это время. И если не проверить статистику через пару дней, то через неделю вы будете очень сильно удивлены отсутствием результатов.

Кнопки могут не работать. Я лично сам столкнулся с ситуацией, когда изменение одного элемента в тестовом варианте ломало структуру сайта и кнопка просто не нажималась (настолько криво был написан сайт).

Что делать?

Сразу после запуска эксперимента нужно зайти на сайт и проверить:
— все вариации теста (как это выглядит)
— основные функции сайта (работоспособность всех кнопок)

Это обязательный и очень важный этап, которые советует делать Сергей Гудков(специалист по увеличению конверсии). Он дошёл до этого сам после нескольких ошибок.

«Поверил программистам. Тест через неделю проиграл. Я был в варианте А. Жалко было, что тест проиграл. Пошёл анализировать ситуацию и оказалось, что там была ошибка. Кнопка отрабатывала через раз. Исправили. Тест пришлось перезапускать»

Как правильно проверить все вариации эксперимента?

Для этого нужно воспользоваться функцией «инкогнито» вашего браузера и открыть там страничку с экспериментом. Но здесь есть несколько важных нюансов.

Когда пытаетесь проверить отображение тестового варианта в режиме инкогнито, если открыли одну вкладку и попали на оригинальный вариант, то закройте эту вкладку. После этого открывайте новую 1 вкладку инкогнито. И так, пока не попадёте на тестовый вариант.

Если же вы сразу же откроете 5 вкладок инкогнито и вставите туда ссылку, где должен отображаться эксперимент, то именно та страница, которая отобразится на 1-ой вкладке, будет открываться и на всех остальных.

Отказ от A/B тестирования после первых неудачных попыток

Вот я тут всё пишу и пишу про A/B тестирование, пытаясь продвинуть этот крутой инструмент увеличения конверсии. И боюсь лишь одного — чтобы люди не подумали, что этот инструмент так запросто может помочь любому сайту. Это не так.

Большинство A/B тестов будут проваливаться. Такова реальность. Это неприятно, это не воодушевляет. Но на всё нужно смотреть объективно. По своей практике могу сказать, что неудачных экспериментов больше, чем удачных.

Чаще всего от A/B тестирования отказываются после первых неудач. Первый, второй, третий эксперимент, и ну его нахер. Проще не парить себе голову чем-то новым и сложным, а находится «в колее», в своей зоне комфорта и делать всё по стандартным правилам.

Если я создал у вас впечатление того, что A/B тестирование — это волшебная «пилюля», то простите. Легко не будет. Если не готовы усиленно пахать, даже не беритесь.

Что делать?

Чтобы не разочаровываться и отказываться от A/B тестирования, нужно больше времени тратить на подготовку к эксперименту. Анализ проблем на сайте и поиск идей для тестирования — это должно быть в приоритете.

Чем больше времени и усилий будете тратить на анализ сайта, тем лучше будут гипотезы для тестирования. Чем лучше поймёте свою целевую аудиторию, тем лучше сможете подготовить тестовый вариант. Идея для тестирования и результат тестирования находятся в прямой зависимости. Чем лучше проделан первый этап, тем выше вероятность положительного результата.

Даже если первые эксперименты провалились, не останавливайтесь на этом. Просто пересмотрите свой подход к генерации гипотез. Если вы начали с анализа карты кликов и скроллинга и все гипотезы придумали на основе этого, то попробуйте провести юзер-тестинг, изучить переписку клиентов со службой поддержки или вообще лично пообщайтесь с целевой аудиторией.

Когда компания Hubspot проводила опрос интернет-маркетологов, то 85 % из них сказали, что в 2015 году A/B тестирование будет одним из приоритетных направлений их деятельности. Все прекрасно знают, откуда идут тренды интернет-маркетинга. Поэтому было бы глупо отказываться сейчас от такого инструмента. Ведь через 2-3 года это будет инструмент «по умолчанию» в любой средней, крупной, а может даже и маленькой компании.

Отсутствие чёткого плана A/B тестирования

К чему это приводит?

К хаотичному тестированию. A/B тестирование требует систематизации и последовательности. Без этого сложно поставить процесс тестирования на поток. После каждого эксперимента будет возникать вопрос: Что тестить дальше? Придётся отвлекаться, опять искать идеи для тестов, и так каждый раз. Это реально неудобно. Проверено на себе.

Что делать?

При подготовке к A/B тестированию нужен чёткий план. В этом плане должны быть описаны:

— проблема на сайте
— идея A/B теста для решения этой проблемы
— сложность реализации эксперимента
— примерный срок проведения эксперимента (зависит от количества трафика и конверсий на странице)
— приоритетность эксперимента (исходя из сложности реализации, времени и потенциального результата)

Для составления такого плана лучше засесть на несколько дней над сайтом и проанализировать его в Google Analytics, в Яндекс.Метрике (карты кликов, вебвизор), переписки службы поддержки и консультантов по продажам, провести юзер-тестинг.

В общем, это я всё к тому, что нужно за 1 раз потратить день или два на подробный анализ, свести всю информацию в таблицу и выстроить гипотезы в зависимости от их приоритетности. Дальше все будет гораздо проще по принципу Hypothesis (Идея для тестирования) — Action (Запуск теста) — Data (Сбор данных) — Insight (Анализа результатов, выводы). И так по кругу.

Лично в своей практике к эффективному A/B тестированию я перешёл только в тот момент, когда составил две ключевые таблицы. Первая — это чеклист, по которому прогонял каждый сайт для поиска слабых мест и проблем. Вторая — это таблица для описания основных проблем и расстановки приоритетов на основе тех факторов, которые описаны выше. Так лично у меня произошёл переход от хаотичного A/B тестирования к последовательному.

Надежда на то, что маленькие изменения сильно увеличат конверсию

К чему это приводит?

Весь процесс A/B тестирования сводится к незначительным изменениям. Что-то вроде изменения цвета кнопки, текста кнопки, заголовка, удаление поля в форме и т.п.

Запустить такой эксперимент через специальный сервис проще простого. Двух минут хватит для этого. Но тогда и не стоит ожидать серьёзного роста конверсии от такого эксперимента.

При этом я не хочу сказать, что такие эксперименты не нужно проводить. Я сам делаю это. И такие эксперименты срабатывают. Просто происходит увеличение конверсии не в 2 раза, а на 10-20 %, что тоже является отличным результатом.

Просто нужно реально оценивать ситуацию. Если начинать A/B тестирование с мыслью о том, что изменение цвета кнопки улучшит ваш бизнес, то совсем скоро вы перестанете этим заниматься. Вы просто разочаруетесь.

Что делать?

Проводить эксперименты не только с маленькими изменениями на странице, но и ставить более серьёзные гипотезы, изменяя процесс взаимодействия пользователей с сайтом.

Рассмотрим пример с формой подписки на сайте. Форма с двумя полями — имя и e-mail + СТА-кнопка «Подписаться». Эта форма может размещаться прямо на странице. И в A/B тесте можно удалить поле «имя» или поменять текст/цвет кнопки. Это совсем незначительные изменения. И не факт, что они будут эффективными.

А можно сделать эту форму в два шага: разместить на сайте только кнопку «Подписаться», после чего будет открываться форма для заполнения. Это изменение уже делает процесс взаимодействия пользователей с формой другим. И результат такого эксперимента может быть более значительным, как в положительную сторону, так и в отрицательную.

Кстати, это одна из идей тестирования. Многие утверждают, что второй вариант с кнопкой и открывающейся формой работает эффективнее.

A/B тестирование в два этапа

Это самый простой способ A/B тестирования, который уже давно пора прекратить использовать. Но, как показывает опыт, его активно практикуют и не собираются останавливаться.

Смысл такого способа заключается в следующем: на месяц, например, на сайт ставится первая версия страницы. В конце месяца измеряются основные показатели страницы. После этого устанавливается вторая версия страница и происходит то же самое. Через 2 месяца у нас есть показатели эффективности двух страниц. Они сравниваются, и выбирается более эффективный вариант. Всё так просто.

К чему это приводит?

К недостоверным результатам. Качество трафика может сильно отличаться в первом месяце по сравнению со вторым. Если качество трафика отличается, то сравнивать результаты просто невозможно. Их нельзя сопоставлять.

Представьте ситуацию. У вас интернет-магазин. Вы запускаете A/B тест в два этапа в ноябре. С 1 по 31 ноября показываете всем посетителям первый вариант страницы. 1 декабря подводите итоги, фиксируете основные показатели сайта и запускаете новый вариант страницы с 1 по 31 декабря. При этом в декабре начинается пик продаж, так как все готовятся к Новому Году и закупают подарки. Аудитория в декабре гораздо более склонна к покупкам. Соответственно, её поведение отличается от поведения в предыдущем месяце. Всё, такие результаты нельзя сравнивать. Они несопоставимы.

А теперь подумайте, сколько праздников проходит, сколько различных рекламных каналов вы подключаете, сколько акций делаете. Если в течение двух этапов у вас были разные маркетинговые активности, то и качество аудитории может быть совершенно разным. Если хотите работать с недостоверными результатами экспериментов, то продолжайте так делать.

Что делать?

Если же вы хотите делать A/B тесты правильно, то тестируйте все варианты в течение одного периода времени, на одинаковом трафике. Тогда надежность данных будет выше.

Причём необязательно платить за то, чтобы проводить правильное A/B тестирование. Вы можете делать это через Google Analytics, вкладка «Поведение» > «Эксперименты». Это сложнее, чем через платные сервисы (Источник: http://oosta.ru/services/ab-testing/), но полностью бесплатно.

Вы можете отказываться от технологий, которые упрощают и позволяют проводить A/B тестирование правильно. Но через пару месяцев вы поймёте несостоятельность такого подхода.

A/B тестирование сайтов из 90-х

Не совсем стандартный пункт. Но очень захотелось добавить. Посвящен он владельцам бизнеса и интернет-маркетологам, чьи сайты давно не обновлялись и совсем не соответствуют трендам веб-дизайна, «недружелюбны» к посетителям.

К чему приводит тестирование таких сайтов?

К пустой трате времени. В таком случае вы будете пытаться улучшить то, что нужно просто «снести» и создать заново. И уже новый интерфейс систематически тестировать.

Не раз ко мне обращались с просьбой увеличить конверсию сайта. Когда я смотрел на некоторые сайты, хотелось просто закрыть глаза, а рука через 2 секунды тянулась к «крестику».

Юзабилити сайта бывает настолько убогим, что там нельзя ничего тестировать. Противопоказано!

Тесты будут гораздо более затратными и по времени, и по написанию кода, чем одно единственное обновление сайта.

Что делать?

У вас должен быть как минимум удобный для пользователей сайт, со стабильным целевым трафиком и совершаемыми конверсиями. Если сайт удобный, если трафик идёт, конверсии есть, и есть понимание, что их количество можно увеличить, то тогда можно задумываться об A/B тестировании. В противном случае, забудьте об этом. К сожалению, A/B тестирование ещё не достойно вас.

Вроде бы охватил все возможные ошибки. Если у вас есть, что добавить, то оставьте свой комментарий. Тогда я смогу внести ещё одну ошибку в статью. Полезно будет всем!

И да, ребята, если уж собираетесь проводить A/B тесты, то делайте это правильно!

Оригинал: http://boosta.ru/ab-testirovanie/mistakes/eti-17-oshibok-poxoronyat-vash-ab-test/

тестирование — что это, как и для чего проводить A/B тест сайта

Содержание статьи

1. Что такое A/B тестирование
2. Сервисы для А/В тестирования
3. Как проводить A/B-тестирование в Google
4. Как тестировать варианты страниц
5. Основные этапы A/B тестирования
6. Рекомендации по A/B-тестированию
7. Выводы

Конкуренты не дремлют. Чтобы бизнесу выжить в онлайн-сфере, успешно завоевывать внимание аудитории и обходить аналогичные проекты, нужно развиваться. В противном случае сайт начнет деградировать.

Для развития используют разные методы: расширяют ассортимент, улучшают дизайн ресурса, прорабатывают юзабилити, пишут новые продажные статьи. Но как заблаговременно узнать, что эти нововведения действительно принесут результаты и не станут напрасной тратой времени и денег?

Что такое A/B тестирование

A/B тестирование — это инструмент помогает развивать сайт и проверять гипотезы. Разработчикам удается путем экспериментов оценить предпочтения аудитории, чтобы решиться на изменения или оставить все как есть. А/Б тестирование, или как его еще называют, сплит-тестирование, представляет собой своеобразный способ оптимизации воронки сайта.

Рассмотрим подробнее то, как работает инструмент, для чего проводят такие тесты и каким образом реализуются задачи.

Как работает A/B-тестирование?

Если вкратце, то сплит-тесты позволяют оценить эффективность разных вариантов страницы. Допустим, у вас есть два примера дизайна карточки товара, и они оба ну очень круты. Какой из них выбрать? Основываться на интуиции — не лучшее решение. Проверьте работоспособность обоих вариантов на практике посредством тестирования сайта. Покажите одной части посетителей карточку №1, а другой — №2. Победителем становится тот, у кого показатели отклика выше.

Это далеко не единственный метод применения AB-тестов. Инструмент помогает проверять всевозможные гипотезы, удобство обновленной структуры, различные варианты текстов и многое другое.

Зачем нужны А/B (сплит) тесты

Электронная коммерция сражается с оставленными корзинами, b2b страдают от «пустых» лидов, а СМИ не могут повысить вовлеченность читателей. Все эти сферы объединены схожими проблемами: падением конверсии, потерей клиента на стадии оплаты заказа и проч.

A/B testing поможет выйти из сложной ситуации, а именно:

1. Решит проблемы посетителей. Пользователи заходят на ресурс с определенной целью: узнать о товаре подробнее, что-то приобрести или просто посмотреть. При этом посетители сайта сталкиваются с типичными сложностями. К примеру, кнопка «Заказать» находится в неудобном месте или ее трудно найти. Подобные моменты негативно сказываются на опыте пользователей и точно так же сказываются на конверсии.
2. Повысит окупаемость инвестиций. Бессмысленно рассказывать маркетологу о том, каким дорогим оказывается качественный трафик. Он давно все это знает. Тестирование и аналитика сайта обеспечивают более эффективное использование текущего трафика и повышают конверсию без расходов на привлечение нового. Порой даже мелкие корректировки положительно влияют на метрики.
3. Снизит количество отказов пользователей. Чтобы оценить результативность работы сайта, важно анализировать этот показатель. Люди закрывают страницу ресурса по разным причинам: несоответствие ожиданиям, неудобная форма заказа, сложности с поиском товара и т. д. С помощью тестирования можно создать несколько вариантов расположения элементов и проверить, какой из них работает лучше. Если увидели положительную динамику, можно вносить глобальные изменения.
4. Минимизирует риски от корректировок. Эксперты советуют вносить изменения дозированно и последовательно, чтобы не потерять показатель конверсии. Например, понадобилось внедрить новую функцию на сайт. Проведите тестирование и посмотрите, какой из вариантов получился более выигрышным.
5. Обеспечит статически значимые улучшения. A/B анализ базируется на конкретных сведениях, а не на гадании на кофейной гуще. Вы с легкостью можете определить выигрышный вариант изменений на основе статически значимых улучшений: время пребывания на странице, число оставленных корзин и т. д.
6. Поможет усовершенствовать дизайн. Масштабы редизайна бывают разными: от замены пары цветов до полного преображения ресурса. Необходимо выбирать решение только по итогам сплит-тестов. Сначала внесли небольшое изменение, протестировали и убедились, что оставили лучшую версию.

A/B-тестирование — нужная мера, и это вне всяких сомнений. Оно поможет привести показатели сайта к желаемым и гарантировать, что потраченные на изменения деньги и время будут оправданы.

Сервисы для А/В тестирования

Маркетологи выполняют сплит-тесты при помощи специализированных инструментов. Самый востребованный — Google Optimize. Он помогает тестировать определенные элементы страниц, в том числе заголовки, шрифты, картинки и проч. Есть бесплатный вариант инструмента, что и делает его популярным на фоне конкурентов.

Другие сервисы для тестирования страниц:

• Optimizely — платный инструмент. В нем можно создавать эксперименты в визуальном интерфейсе, благодаря чему специалистам не требуется работать с HTML-кодом. Точная цена использования инструмента нигде не указывается, поэтому лучше уточнить ее в отделе продаж;
• Visual Website Optimizer — еще один платный сервис для тестирования элементов страниц. В работе специалисту понадобится понимание HTML. Месяц подписки на сервис будет стоить от $99 до $999;
• Unbounce — инструмент, при помощи которого удобно создавать и оптимизировать лендинги, проводить сплит-тесты. В месяц за подписку придется тратить от 79 до 399 у. е. и больше;
• Convert.com — находится в числе самых популярных среди отечественных маркетологов. Привлекает продвинутым таргетингом и возможностью отслеживать одновременно несколько метрик.

Тонкости проведения сплит-тестов во многом зависят от интерфейса и особенностей сервиса. Но в целом алгоритм действий будет одинаковым.

Как проводить A/B-тестирование в Google

Проводить тесты с помощью нескольких разных сервисов — это трудоемко, сложно и дорого. Лучше сосредоточиться на одном проверенном. К примеру, воспользоваться популярными сервисами от Google.

A/B тесты в Google Analytics

В этом сервисе есть удобная вкладка — «Эксперименты». Находится она в пункте «Поведение». Зайдите в «Эксперименты», введите урл страниц, участвующих в тестах, и получите код для вставки.

Обратите внимание: скрипт нужно добавлять только на исходную страницу!

Перейдите к запуску теста.

Примечательно, что Google А/Б тестирование не воспринимает как маскировку и накрутку. Наоборот, разработчики относятся к экспериментам нейтрально.

A/B тестирование с Google Optimize

Этот сервис используется в связке с Google Analytics: отсюда берутся сведения по показателям: доход, число транзакций и проч. Если описывать кратко работу в Google Optimize, схема будет выглядеть так:

1. Зарегистрируйте аккаунт и определите тип эксперимента.
2. Для настройки теста создайте варианты страниц и задайте распределение трафика на них.
3. Свяжите Optimize с Analytics.
4. Настройте цели в этом сервисе или выберите до этого заданные в Analytics.
5. Введите настройки таргетинга — условия, при которых активируется эксперимент.
6. Задайте код посредством Google Tag Manager.
7. Введите в коде сайта скрипт, который скроет замену элементов.

Поскольку инструмент бесплатный, за раз вы можете запустить не больше 5 тестов и сделать до 10 подмен. Если нужно работать неограниченно, воспользуйтесь платным Google Optimize 360. В целом малому и среднему бизнесу хватает возможностей бесплатной версии.

Как тестировать варианты страниц

Узнаем об этом на примере все того же Google Optimize.

Отличия при настройке разных экспериментов будут находиться в разделе «Таргетинг и варианты».

Для многовариантного теста вы проверяете комбинации элементов (до 16 шт.). Потребуется:

1. Указать названия разделов. Изначально выставлены имена «А» и «В». Если по эксперименту требуется больше, добавьте варианты кнопкой «Добавить раздел» и каждый назовите.
2. Добавить в разделах варианты, которые будете сравнивать с исходником. Тоже дайте им названия, чтобы не путаться.
3. Изменить элементы в визуальном редакторе. Выполните это для каждого варианта. К примеру, смените цвет кнопок.

Работает эксперимент следующим образом: посетитель заходит на исходную страницу. Ее адрес вы указывали при создании проекта. Сервис переадресует пользователя на один из тестовых вариантов (урлы вы задаете во время настройки).

Сразу же после запуска теста начинают составляться отчеты, с которыми вы можете ознакомиться в соответствующей вкладке.

Хорошо то, что Google Optimize сам определяет, когда пора завершить тестирование для получения достоверных сведений. Когда один из вариантов теста выигрывает, сервис автоматически начинает демонстрировать его пользователям.

Основные этапы A/B тестирования

Рассмотрим небольшую пошаговую инструкцию к тому, как проводить сплит-тесты.

Определение целей

Сначала сформулируем ключевые задачи компании или магазина и убедимся, что цели эксперимента с ними совпадают. Не проверяйте гипотезы, которые сразу не согласованы с глобальной целью. Если неверно выбрать ориентир, вы впустую потратите время и деньги.

Выбор метрики

Под понятием подразумеваются значимые показатели: количество продаж, чистая прибыль, число посетителей, доход и т. д. Для начала выберем одну метрику, но порой удобно рассматривать сразу несколько.

Если вы будете анализировать в рамках одного тестирования десяток метрик, эффективность работ значительно снизится.

Выдвижение гипотезы

Теперь переходим к важному этапу. Гипотезу выбирайте по схеме «если что-то сделать, то произойдет то». Например: если цвет кнопки «Заказать» изменить на зеленый, конверсия вырастет с 3–4 % до 7–8 %.

Чтобы верно оценить результаты, требуется выдвинуть 2 гипотезы:

• нулевая — к улучшениям не приведет и оставит показатель на прежнем уровне;
• альтернативная — корректировки повысят конверсию до 7–8 %.

Соответственно, если изменений не произошло, сработала нулевая гипотеза и вносить изменения бессмысленно. Если показатели выросли, альтернативный вариант победил. Это значит, что можно вносить более глобальные правки.

При негативном результате нужно просто откатить изменения и пробовать повышать метрику дальше.

Подготовка контрольных данных

Страница переделана, все готово к тестированию. Перед этим необходимо измерить исходные показатели конверсий и прочих метрик, которые будут учитываться. Первоначальный вариант называем А, новый — В.

Запуск теста

На этом этапе рандомно разделяем трафик 50/50. Половина пользователей увидит страницу А, остальная — В. Причем важно, чтобы состав трафика был равным. В противном случае тест будет необъективным.

Анализ результатов

Когда набралось достаточно сведений для статистики, пора оценить эффект А/Б тестирования. Выборка должна представлять статическую значимость. То есть вероятность случайности не должна превышать 5%.

По итогам анализа принимаем решение: распространить внесенные изменения на всю аудиторию или откатить до первоначальной версии.

Рекомендации по A/B-тестированию

Вы уже узнали, что сплит-тесты помогают повысить отдачу страниц. Чтобы они принесли результаты в действительности, специалисту нужно генерировать идеи для позитивного влияния на метрики. Нельзя придумывать правки наобум. Вы должны видеть пути улучшения страниц и понимать, почему именно они перспективные.

Но любой маркетолог порой попадает в ситуацию, когда протестированные идеи не помогли достичь целей. Если вы столкнетесь с подобным, попробуйте внести такие правки:

• используйте конверсионную форму, которая при прокрутке остается видимой для пользователя;
• уберите лишние поля. Возможно, посетитель не хочет указывать определенные данные и из-за этого отказывается совершить действие;
• увеличьте срок бесплатного тестирования вашего продукта;
• «поиграйте» с цветом конверсионных кнопок. Иногда положительную динамику дает агрессивный красный, а порой выигрышным становится спокойный зеленый.

Не опускайте руки после первой неудачи. Тестирование на то и называется тестированием, чтобы проверять, пробовать и экспериментировать.

Выводы

Вне зависимости от того, стал ваш эксперимент удачным или нет, относитесь к тестированию как к возможности для обучения. Пользуйтесь приобретенными навыками в создании и проверке последующей гипотезы. В любом случае рано или поздно получится найти те самые точки роста, которые помогут повысить показатели метрик и найти лучшее решение для развития бизнеса.

FAQ

Что такое A/B тестирование?

A/B тестирование представляет собой инструмент для развития сайта и проверки гипотез. Это особый метод оптимизации воронки ресурса. При его помощи разработчики оценивают предпочтения аудитории, определяя, требуется внедрять какие-то изменения или нет.

Когда проводить A/B тестирование сайтов?

А/В тестирование проводят, когда хотят оптимизировать ресурс, повысить продажи или выполнить анализ работы ресурса. Основная цель – сделать его более удобным для посетителей, подтолкнуть их оформлению заказов.

Что можно проверять с помощью А/В тестов?

Данный инструмент используется для сравнения базовой (контрольной) версии и оптимизированной, чтобы отследить реакции пользователей. Использовать А/В тестирование можно для оценки удобства обновленной структуры, нескольких вариантов текстов и прочих составляющих сайта.

Как провести A/B тестирование?

Для проведения A/B тестирования можно воспользоваться сервисами Google: Analytics, Optimize. Использовать их нужно в связке. Analytics отслеживает сведения по показателям (количество транзакций, доход и пр.), которые необходимы для использования Optimize.

У ВАС ОСТАЛИСЬ ВОПРОСЫ?

Оставьте ваши контактные данные. Наш менеджер свяжется и проконсультирует вас.

ПОЛУЧИТЬ КОНСУЛЬТАЦИЮ

Наш менеджер свяжется с Вами в ближайшее время

Отправить заявку

А/Б-тестирование в Яндекс.Директе — как провести и где брать идеи

Огромный потенциал развития любого проекта кроется в постоянном поиске новых точек роста и формировании гипотез для улучшения показателей с их последующей проверкой. А/Б-тесты должны быть неотъемлемой и непрерывной частью управления рекламой.

Переходить к проведению тестов можно, когда вся система маркетинга выстроена наиболее прозрачно: настроены цели, определены ключевые метрики для оценки результатов, запущены все основные типы ключевых слов и рекламных кампаний, есть продажи и выручка. Тогда смело выделяйте время, ресурсы и бюджеты на А/Б-тестирование для улучшения результатов продвижения.

С чего начать?

Сформируйте список гипотез — это предположения о том, где рекламная кампания может работать лучше. Концентрироваться стоит не только на главной цели — получении продаж, можно работать над повышением конверсионности посадочной страницы и объявлений, уменьшением показателя отказов, увеличением кликабельности и прочим.

После формирования списка оцените, какой пункт может дать наибольший эффект, если гипотеза сработает. Так получится сформировать очередность тестов, выделяя в приоритет самые потенциально результативные решения.

Где брать идеи для тестов

1. Стандартные элементы. Под ними понимаются тексты объявлений, картинки, позиции в выдаче, стратегии управления ставками. Это прекрасный старт для внедрения процесса А/Б-тестирования. Внимательно наблюдайте за результатами, записывайте всё, что заметите, — это может стать отличной базой для следующих тестов.

2. Рекомендованные настройки и стандарты. Подвергайте сомнениям все настройки, особенно те, что диктуются рынком и системами как правильные и проверенные. К примеру, в сети Яндекса принято не использовать минус-слова: считается, что это ограничивает охват. А что если попробовать применить общий пакет минус-слов? Возможно, станет меньше трафика, но он будет более качественным.

3. Аналитика. Статистика может стать основным источником вашего вдохновения. На основе отчетов по рекламным кампаниям можно сформировать целый ряд гипотез о том, как улучшить каждый этап пути пользователя к покупке: от показа объявления до заказа на сайте.

4. Отдел продаж и клиентский сервис. Ценную информацию для гипотез могут подсказать отделы, которые напрямую общаются с клиентами. Они чаще всего знают боль пользователя и причины выбора вашего продукта, удобство сайта и прочие важные мелочи. Опираясь на эти данные можно сгенерировать немало идей.

5. Конкуренты. Идеи для тестирований можно взять из анализа конкурентов в этой или близкой тематике. Именно так у нас стал популярен вариант с расширенными уточнениями в виде коротких УТП: объявление становилось на строку больше и занимало еще больше места. Мы заметили такой формат у конкурентов бренда, протестировали, отметили рост CTR и стали внедрять для разных тематик.

Читайте также

Как проводить А/Б-тестирование

Шахматное расписание показов — изначальный и самый распространённый способ в Яндекс.Директе примерно до прошлого года.

Суть метода:

1. Определяется гипотеза тестирования. Например, мы хотим проверить, что лучше в качестве посадочной для рекламы: лендинг или основной сайт.

2. Подбираются кампании для теста. Важно понимать: чем больше трафика и конверсий, тем быстрее пройдет тестирование.

3. Создаются две копии выбранной кампании для теста. В одной кампании мы ведем на короткий лендинг, а во второй — на основной сайт.

4. В настройках времени показа настраивается время работы кампаний: час показывается одна, час — другая.

Именно таким образом — по времени — можно разделить всю аудиторию на две части. Это ручной способ деления показов между кампаниями, в котором есть несколько сложностей:

• ограничение возможностей: протестировать достоверно более двух вариантов одновременно в этой схеме не получится;

• не всегда корректная статистика: если пользователь несколько раз осуществлял поиск в разное время, он мог увидеть два варианта рекламы.

Эксперименты — собственный продукт Яндекса для проведения тестирований, который позволяет делить аудиторию (на поисковых и тематических площадках). С марта 2020 года «Эксперименты» стали доступны всем без предварительных запросов в службу поддержки.

Теперь деление аудитории доверено автоматическим алгоритмам, и это избавило специалистов от части сложностей. Пользователь попадает только в одну группу эксперимента и даже при множественном поиске увидит только свой вариант.

Запуск с помощью «Экспериментов» происходит похожим образом:

1. Определяется суть теста, затем происходит выборка кампаний.

2. Создаются копии выбранных кампаний.

3. Создается «Эксперимент» в Яндекс Аудиториях.

4. В настройках каждой кампании необходимо привязать соответствующий сегмент «Эксперимента».

Результаты можно сводить на уровне кампаний или с использованием отчета по «Экспериментам» в Директе и Метрике.

А/Б-тестирование можно считать статистически корректным и значимым, если соблюдать специальные правила:

1. Копировать кампании нужно с уже накопленной статистикой. Это позволит начать тестирование с использованием статистики, которая уже есть. Кампании не будут разгоняться, набирать CTR заново и получать дорогие клики.

2. Новые кампании должны стартовать вместе с остановкой старой. Одновременная работа не допускается.

3. Вносить изменения во время тестирования нужно в обе кампании сразу.

4. Один тест — один элемент. Например, при тестировании заголовков другие элементы менять нельзя, чтобы оценить вклад только этого изменения.

5. Эксперимент считается завершенным, когда данных для принятия решения будет достаточно. Определить это можно с помощью калькуляторов А/Б-тестов, которых в сети достаточно много.

Больше о проведении тестов

Как тестирование может улучшить результаты

Разберем несколько примеров из нашей практики, когда тестирование помогло оптимизировать продвижение.

Соцдем корректировки в рекламе крупного интернет-магазина мебели

Гипотеза от команды клиента: в наиболее результативных кампаниях с большим количеством трафика не нужны корректировки по полу и возрасту.

Чтобы проверить гипотезу, мы запустили тест. Кампания с корректировками по полу и возрасту принесли клиенту больше трафика и рост среднего чека, как следствие, увеличился доход с сокращением ДРР. Это произошло из-за перераспределения аудитории: реклама стала чаще показываться пользователям с большей покупательской платежеспособностью в сети.

Гипотеза оказалась ошибочной, а по итогам теста корректировки по полу и возрасту были внедрены во все кампании.

Banner

Товары-хиты в быстрых ссылках интернет-магазина электроники

Гипотеза: в быстрых ссылках поисковых объявлений эффективнее показывать хиты продаж.

Детали эксперимента:

• в первой кампании быстрые ссылки остались без изменений и вели на подкатегории;

• во второй кампании указаны наименования самых популярных в магазине товаров.

В результате первый тип кампании — на подкатегории — принес больше конверсий и дохода. Конверсия в покупку была выше, этот результат считаем статистически значимым.

Вероятно, так получилось потому, что:

• названия «популярных товаров» были непривлекательными;

• ссылки на товары не несли никакой ценности для клиента. Подкатегории же в быстрых ссылках давали возможность пользователю получить представление об ассортименте и сразу перейти в необходимый раздел на сайте.

По итогам теста товары-хиты в быстрых ссылках больше не использовались.

Турбо-страницы для медицинской клиники

Гипотеза: посадочные страницы сайта довольно сложные для восприятия и слишком долго грузятся на мобильных устройствах, что снижает конверсию в заявку.

Решение и тест: создать простые турбо-страницы для одного направления и сравнить, какая посадочная отработает лучше для мобильного трафика.

В результате конверсия в обращение с турбо-страниц оказалась почти в два раза выше, а СРА — в два раза ниже. При этом улучшения произошли именно из-за роста конверсии на мобильных устройствах.

После теста на одном направлении мы решили внедрить турбо-страницы на все остальные.

Будьте последовательны и цикличны для роста вашего проекта: анализируйте результаты, формируйте гипотезы, проводите А/Б-тесты, внедряйте положительный опыт и возвращайтесь на первый этап.

Что такое A / B-тестирование? Определение и обзор

Если вы пытаетесь развивать свой бизнес, бывает сложно сказать, какие маркетинговые стратегии больше всего находят отклик у вашей аудитории. A / B-тестирование — наряду с другими стратегиями оптимизации конверсии — позволяет вам опробовать разные вещи, чтобы вы могли улучшить свой контент, обеспечить лучший клиентский опыт — и быстрее достичь своих целей по конверсии. Это руководство по AB-тестированию поможет вам узнать о его основах.

Что такое A / B-тестирование?

A / B-тесты, также известные как сплит-тесты, позволяют сравнить 2 версии чего-либо, чтобы узнать, какой из них более эффективен.Проще говоря, вашим пользователям нравится версия A или версия B?

Концепция аналогична научному методу. Если вы хотите узнать, что происходит, когда вы меняете что-то одно, вам нужно создать ситуацию, в которой изменяется только это одно.

Вспомните эксперименты, которые вы проводили в начальной школе. Если вы положите 2 семечки в 2 стакана с грязью и положите одно в шкаф, а другое у окна, вы увидите разные результаты. Такой экспериментальной установкой является A / B-тестирование.

Развитие A / B-тестирования

В 1960-х годах маркетологи начали понимать, как такого рода тестирование может помочь им понять влияние своей рекламы.Будет ли реклама на телевидении или радио привлечь больше бизнеса? Письма или открытки лучше подходят для прямого маркетинга?

Когда в 90-х Интернет стал неотъемлемой частью делового мира, A / B-тестирование стало цифровым. Когда у команд цифрового маркетинга появились технические ресурсы, они начали тестировать свои стратегии в режиме реального времени — и в гораздо большем масштабе.

Что такое A / B-тестирование в эпоху цифровых технологий?

По своей сути A / B-тестирование такое же, как и всегда.Вы выбираете фактор, который хотите проверить, например, сообщение в блоге с изображениями или такое же сообщение без изображений. Затем вы случайным образом показываете посетителям один стиль сообщения в блоге, учитывая другие факторы. Вы также должны записывать как можно больше данных: показатели отказов, время, проведенное на странице, и т. Д.

Вы даже можете протестировать более 1 переменной одновременно. Например, если вы хотите оценить шрифт, а также наличие изображений, вы можете создать 4 страницы, на каждой из которых будет отображаться сообщение в блоге с:

1. Arial с изображениями
2. Arial без изображений
3. Times New Roman с изображениями
4. Times New Roman без изображений

Программное обеспечение для A / B-тестирования возвращает данные подобных экспериментов.Затем кто-то из вашей компании интерпретирует результаты, чтобы решить, имеет ли смысл для компании действовать в соответствии с ними — и если да, то как.

Почему важно A / B-тестирование?

A / B-тесты предоставят вам данные, необходимые для максимального использования вашего маркетингового бюджета. Допустим, ваш начальник выделил вам бюджет на привлечение трафика на ваш сайт с помощью Google AdWords. Вы настраиваете A / B-тест, который отслеживает количество кликов для трех разных заголовков статей. Вы запускаете тест в течение недели, следя за тем, чтобы в любой день и в любое время показывать одинаковое количество объявлений для каждого варианта.

Результаты этого теста помогут вам определить, какой заголовок получает больше всего переходов по ссылкам. Затем вы можете использовать эти данные, чтобы соответствующим образом сформировать свою кампанию, повысив ее рентабельность инвестиций (ROI) больше, чем если бы вы выбрали название наугад.

Мелкие изменения, серьезные улучшения

A / B-тесты позволяют оценить влияние изменений, внедрение которых относительно недорогое. Проведение кампании AdWords может быть дорогостоящим, поэтому вы хотите, чтобы каждый аспект был максимально эффективным.

Допустим, вы запускаете A / B-тестирование шрифта, размера текста, заголовков меню, ссылок и положения настраиваемой формы регистрации на своей домашней странице. Вы тестируете эти элементы по 2 или 3 за раз, чтобы не было слишком много неизвестных, взаимодействующих друг с другом.

По завершении теста вы обнаружите, что изменение последних трех элементов увеличивает конверсию на 6% каждый. Ваш веб-дизайнер реализует эти изменения менее чем за час, а когда они будут завершены, у вас есть шанс получить на 18% больше дохода, чем раньше.

Низкие риски, высокие награды

A / B-тестирование не только экономично, но и эффективно по времени. Вы проверяете 2 или 3 элемента и получаете ответ. Отсюда легко решить, вносить ли изменение или нет. Если реальные данные не соответствуют результатам вашего теста, всегда можно вернуться к более старой версии.

Максимально эффективное использование трафика

Если вы используете A / B-тестирование, чтобы сделать свой веб-сайт максимально эффективным, вы можете получить больше конверсий на одного посетителя.Чем выше ваш процент конверсии, тем меньше времени и денег вам нужно потратить на маркетинг. Это потому, что теоретически каждый, кто посещает ваш сайт, с большей вероятностью будет действовать.

Помните, когда вы улучшаете свой веб-сайт, это может увеличить коэффициент конверсии как для платного, так и для неоплачиваемого трафика.

Узнайте, что лучше всего работает

A / B-тестирование позволяет попробовать что-нибудь и выбрать победителя.

A / B тестирование

Над чем работает A / B-тестирование?

Когда дело доходит до контента, ориентированного на клиентов, вы можете многое оценить с помощью A / B-тестирования. Общие цели включают:

• Рассылка по электронной почте
• Индивидуальные адреса электронной почты
• Мультимедийные маркетинговые стратегии
• Платная интернет-реклама
• Информационные бюллетени
• Дизайн сайта

В каждой категории вы можете проводить A / B-тесты по любому количеству переменных.Например, если вы тестируете дизайн своего сайта, вы можете попробовать различные варианты, например:

• Цветовое решение
• Макет
• Количество и тип изображений
• Заголовки и субпозиции
• Стоимость продукта
• Специальные предложения
• Дизайн кнопки призыва к действию

По сути, практически любой стиль или элемент контента в элементе, ориентированном на покупателя, можно протестировать.

Как вы проводите A / B-тесты?

В общем, процесс A / B-тестирования — это просто научный метод.Если вы хотите получить от этого максимум пользы, вам нужно подойти к этому с научной точки зрения.

Процесс

Как и в лабораторной версии научного метода, A / B-тестирование начинается с выбора того, что тестировать. Весь процесс состоит из нескольких шагов:

1. Определите проблему. Убедитесь, что вы определили конкретную проблему. Например, «Недостаточно конверсий» — это слишком общий термин. Существует слишком много факторов, влияющих на то, станет ли посетитель веб-сайта клиентом или перейдет ли получатель электронной почты на ваш сайт.Вы должны знать, почему ваш материал не конвертируется.

Пример: Вы работаете в розничном магазине женской одежды, у которого много онлайн-продаж, но очень немногие из этих продаж поступают из его кампаний по электронной почте. Вы переходите к своим аналитическим данным и обнаруживаете, что высокий процент пользователей открывают ваши электронные письма со специальными предложениями и читают их, но лишь немногие действительно конвертируют.

2. Анализируйте пользовательские данные. Технически вы можете проводить A / B-тестирование всего, что видят ваши клиенты, когда открывают ваши электронные письма, но это займет много времени.Они сталкиваются с множеством элементов дизайна и контента, которые, вероятно, не имеют отношения к делу, поэтому вам нужно выяснить, на какой элемент нацеливаться.

Пример: Люди открывают ваши электронные письма, поэтому нет ничего плохого в том, как вы пишете тему письма. Они также проводят время за их чтением, поэтому нет ничего, что могло бы заставить их мгновенно щелкнуть мышью. Поскольку многие пользователи, которые находят ваш веб-сайт из других источников, в конечном итоге становятся клиентами, вы можете сказать, что нет ничего плохого в том, как вы представляете свои продукты.Это говорит о том, что, хотя люди находят ваши электронные письма привлекательными, они каким-то образом теряются, когда переходят на ваш сайт.

3. Разработайте гипотезу для проверки. Теперь вы действительно сужаете его. Ваш следующий шаг — решить, что именно вы хотите протестировать и как вы хотите это тестировать. Сузьте количество неизвестных до 1 или 2, по крайней мере, для начала. Затем вы можете определить, как изменение этого элемента или элементов может решить проблему, с которой вы столкнулись.

Пример: Вы заметили, что кнопка, которая переводит людей в ваш интернет-магазин, спрятана в нижней части электронного письма, под сгибом.Вы подозреваете, что, подняв его в верхнюю часть экрана, вы сможете более эффективно побуждать людей посещать ваш сайт.

4. Проведите проверку гипотез. Разработайте новую версию тестового задания, которая реализует вашу идею. Затем запустите A / B-тест между этой версией и вашей текущей страницей с целевой аудиторией.

Пример: Вы создаете версию электронного письма с кнопкой, расположенной над сгибом. Вы не меняете его дизайн — только его расположение.Вы решаете запустить тест в течение 24 часов, поэтому вы устанавливаете это в качестве параметра времени и запускаете тест.

5. Проанализируйте данные. По окончании теста просмотрите результаты и посмотрите, привела ли новая версия вашего элемента к каким-либо заметным изменениям. Если нет, попробуйте протестировать новый элемент.

Пример: Ваше новое электронное письмо немного повысило конверсию, но ваш начальник хочет знать, может ли что-то еще сделать лучше. Поскольку вашей переменной было расположение кнопки, вы решаете попробовать разместить ее в двух других местах.

6. Найдите новых претендентов на своего чемпиона. В мире A / B-тестирования иногда используются слова «чемпион» и «претендент» для обозначения текущего лучшего варианта и новых возможностей. Когда соревнуются 2 или более вариантов, и один из них оказывается значительно более успешным, это называется чемпионом. Затем вы можете проверить этого победителя с другими вариантами, которые называются претендентами. Этот тест может дать вам нового чемпиона или может показать, что исходный чемпион действительно был лучшим.

Пример: Вы провели A / B-тестирование двух версий целевой страницы и нашли чемпиона между ними, но есть еще и третья версия страницы, которую вы хотите сравнить с чемпионом из первого теста.Третья версия становится новым претендентом на испытание против предыдущего чемпиона.

После того, как вы пройдете все 6 шагов, вы можете решить, было ли улучшение достаточно значительным, чтобы вы могли завершить тест и внести необходимые изменения. Или вы можете запустить еще один A / B-тест, чтобы оценить влияние другого элемента, например размера кнопки или ее цветовой схемы.

Советы для A / B-тестеров

Вот несколько советов, которые помогут сделать ваши A / B-тесты максимально полезными.

Используйте репрезентативные образцы ваших пользователей.

Любой ученый скажет вам, что если вы проводите эксперимент, вы должны убедиться, что ваши группы участников максимально похожи. Если вы тестируете веб-сайт, вы можете использовать ряд инструментов автоматического тестирования, чтобы убедиться, что случайная выборка людей увидит каждую версию.

Если вы отправляете материалы напрямую своим клиентам или потенциальным клиентам, вам необходимо вручную создать сопоставимые списки. Сделайте группы максимально равными по размеру и — если у вас есть доступ к данным — равномерно распределите получателей по полу, возрасту и географическому положению.Таким образом, вариации этих факторов окажут минимальное влияние на ваши результаты.

Увеличьте размер выборки.

Чем больше людей вы протестируете, тем надежнее будут ваши результаты. Это связано с концепцией, которую статистики называют «статистической значимостью».

Вкратце, если результат статистически значим, это означает, что он маловероятен. Например, если вы отправляете новую версию электронного письма 50 людям, а контрольную версию — еще 50, увеличение CTR на 5% означает, что 5 человек лучше откликнулись на вашу новую версию.Разница настолько мала, что ее можно объяснить случайностью, и если вы выполните тот же тест еще раз, есть большая вероятность, что вы получите другие результаты. Другими словами, ваши результаты не были статистически значимыми.

Если вы можете отправлять один и тот же набор писем группам по 500 человек, увеличение на 5% означает, что 50 человек лучше отреагировали на ваш новый стиль, что гораздо более вероятно.

Избегайте типичных ошибок.

Заманчиво создать всплывающую кнопку с новым шрифтом, новым размером текста, новыми размерами кнопок и новыми цветами кнопок.Но чем больше новых элементов вы добавите, тем более запутанными будут ваши результаты.

Если придерживаться приведенного выше примера, если ваше новое всплывающее окно полностью отличается по дизайну от оригинала, вы, вероятно, увидите полностью случайные корреляции. Возможно, похоже, что большая фиолетовая кнопка «Проверить» со значком доллара работает лучше, чем маленькая синяя кнопка, которую она заменила, но возможно, что только 1 из этих элементов дизайна был значительным, например, размер.

Помните, вы всегда можете запустить новый тест с другими элементами позже. Будет легче взглянуть на этот контрольный тест, чем пытаться проанализировать тест с 18 различными переменными.

Подождите, пока тест не закончится, прежде чем вносить изменения.

Поскольку A / B-тесты позволяют увидеть эффекты изменения в реальном времени, возникает соблазн закончить тест, как только вы увидите результаты, чтобы вы могли сразу же внедрить новую версию. Однако это означает, что ваши результаты, скорее всего, будут неполными и будут менее статистически значимыми.Факторы, зависящие от времени, могут повлиять на ваши результаты, поэтому вам нужно дождаться окончания периода тестирования, чтобы воспользоваться рандомизацией.

Выполнять тесты более одного раза.

Даже лучшее программное обеспечение для A / B-тестирования возвращает ложные срабатывания, потому что поведение пользователя очень изменчиво. Единственный способ убедиться, что ваши результаты точны, — это запустить тот же тест еще раз с теми же параметрами.

Повторное тестирование особенно важно, если ваша новая версия показывает небольшие улучшения.Один ложноположительный результат имеет большее значение, когда положительных результатов не так много.

Кроме того, если вы запускаете много A / B-тестов, более вероятно, что вы время от времени будете сталкиваться с ложными срабатываниями. Возможно, вы не сможете позволить себе повторять каждый тест, но если вы будете повторять тест время от времени, у вас будет больше шансов обнаружить ошибки.

Узнайте, что лучше всего работает

A / B-тестирование — это эффективный и действенный способ оценить реакцию вашей аудитории на идею дизайна или контента, поскольку оно не мешает работе пользователей и не рассылает разрушительные опросы обратной связи.Просто попробуйте что-то новое, и пусть результаты говорят сами за себя.

Руководство по A / B-тестированию от экспертов CRO, с примерами

A / B-тестирование — это метод сравнения двух версий веб-страницы или приложения друг с другом, чтобы определить, какая из них лучше справляется с конкретной задачей. Это один из наиболее широко используемых методов повышения производительности цифровых активов, таких как веб-сайты, мобильные приложения, продукты SaaS, электронные письма и т. Д.

Контролируемые эксперименты предоставляют маркетологам, менеджерам по продуктам и инженерам возможность быстро и масштабно выполнять итерацию, что приводит к основанным на данных, тщательно обоснованным решениям относительно их творческих идей.С помощью A / B-тестов вы можете перестать задаваться вопросом, почему некоторые вещи не работают, потому что доказательство находится в пудинге. Это идеальный способ улучшить коэффициент конверсии, увеличить доход, расширить базу подписчиков и улучшить результаты привлечения клиентов и привлечения потенциальных клиентов.

Некоторые из самых инновационных компаний, такие как Google, Amazon, Netflix и Facebook, разработали подходы к бережливому бизнесу, что позволяет им проводить тысячи экспериментов каждый год.

Как однажды сказал Джефф Безос: «Наш успех в Amazon зависит от того, сколько экспериментов мы проводим в год, в месяц, в неделю, в день.”

Netflix написала в одном из своих технологических блогов еще в апреле 2016 года: «Следуя эмпирическому подходу, мы гарантируем, что изменения в продуктах будут осуществляться не наиболее самоуверенными и громкими сотрудниками Netflix, а фактическими данными, позволяя нашим участникам самим направляют нас к опыту, который им нравится ».

И Марк Цукерберг однажды объяснил, что одна из вещей, которыми он больше всего гордится и которая действительно является ключом к их успеху, — это их система тестирования: «В любой момент времени не работает только одна версия Facebook.Их, наверное, 10 000 ».

Что такое A / B-тест?

В классической процедуре A / B-тестирования мы решаем, что мы хотим протестировать и какова наша цель. Затем мы создаем один или несколько вариантов нашего исходного веб-элемента (также известного как контрольная группа или базовый план). Затем мы случайным образом разделяем трафик веб-сайта между двумя вариантами (т.е. мы случайным образом распределяем посетителей в соответствии с некоторой вероятностью), и, наконец, мы собираем данные о производительности нашей веб-страницы (метрики).По прошествии некоторого времени мы смотрим на данные, выбираем вариант, который работал лучше всего, и отменяем тот, который работал плохо.

При неправильном выполнении тесты могут не дать значимых, ценных результатов и даже могут ввести в заблуждение. Вообще говоря, проведение контролируемых экспериментов может помочь организациям с:

1. Решение проблем с пользовательским интерфейсом и проблемных моментов у посетителей
2. Повышение производительности за счет существующего трафика (более высокие конверсии и доход, снижение затрат на привлечение клиентов)
3. Повышение общей вовлеченности (снижение показателя отказов, повышение рейтинга кликов и т. Д.).)

Мы должны помнить, что в тот момент, когда мы выбираем вариант, мы обобщаем меры, которые мы собрали до этого момента, на всю совокупность потенциальных посетителей. Это значительный шаг в сторону веры, и он должен быть осуществлен правильно. В противном случае мы неизбежно примем неверное решение, которое в конечном итоге нанесет вред веб-странице. Процесс получения достоверности называется проверкой гипотез , а достоверность, которую мы ищем, называется статистической значимостью .

Некоторые примеры A / B-тестов:

Как рождается A / B-тест: построение гипотезы

A / B-тест начинается с выявления проблемы, которую вы хотите решить, или поведения пользователя, на которое вы хотите поощрять или влиять. После идентификации маркетолог обычно делает вывод о гипотезе — обоснованном предположении, которое либо подтверждает, либо опровергает результаты эксперимента.

Пример гипотезы : Добавление значка Social Proof на ваши страницы сведений о продукте (PDP) проинформирует посетителей о популярности продукта и увеличит количество добавленных в корзину событий на 10%.

В этом случае, как только проблема будет выявлена ​​(например, низкая частота добавления в корзину) и проработана гипотеза (добавление значка социального доказательства, чтобы побудить больше посетителей сайта добавлять товары в свои корзины), вы готов протестировать на своем сайте.

Классический подход к A / B-тестированию

В простом A / B-тесте трафик разделяется между двумя вариантами контента. Один считается контрольным и содержит исходное содержание и дизайн. Другой функционирует как новая версия управляемого варианта.Вариация может быть разной во многих аспектах. Например, мы могли бы протестировать вариант с другим текстом заголовка, кнопками с призывом к действию, новым макетом или дизайном и т. Д.

В классическом эксперименте на уровне страницы вам не обязательно нужны два разных URL для правильного тестирования. Большинство решений для A / B-тестирования позволяют динамически создавать варианты, изменяя содержимое, макет или дизайн страницы.

Однако, если у вас есть два (или более) набора страниц, которые вы хотите включить в контролируемый тест, вам, вероятно, следует подумать об использовании теста с разделением URL-адресов.

Когда использовать тесты с разделением URL-адресов

Тестирование с разделением URL-адресов, иногда называемое «многостраничным» или «многопользовательским», является методом, аналогичным стандартному A / B-тесту, который позволяет проводить эксперименты на основе отдельных URL-адресов каждого варианта.

С помощью этого метода вы можете проводить тесты между двумя существующими URL-адресами, что особенно полезно при обслуживании динамического содержимого. Запустите тест с разделением URL-адресов, если у вас уже есть две страницы и вы хотите проверить, какая из них работает лучше.

Например, если вы запускаете кампанию и у вас есть две разные версии потенциальных целевых страниц, вы можете запустить тест разделенного URL, чтобы проверить, какая из них будет работать лучше для этой конкретной кампании.

A / B-тест не ограничивается двумя вариантами

Если вы хотите протестировать более двух вариантов, вы можете запустить тест A / B / n. Тесты A / B / n позволяют измерить производительность трех или более вариантов вместо тестирования только одного варианта на контрольной странице.Сайты с высоким трафиком могут использовать этот метод тестирования для оценки производительности гораздо более широкого набора изменений и максимального увеличения времени тестирования с более быстрыми результатами.

Однако, хотя он полезен для любого тестирования, от незначительных до значительных изменений, я рекомендую не делать слишком много изменений между контролем и вариацией. Попробуйте внести всего несколько важных и заметных изменений, чтобы понять возможные причинные причины результатов эксперимента. Если вы хотите проверить изменения нескольких элементов на веб-странице, рассмотрите возможность проведения многовариантного теста.

Что такое многомерные тесты?

Многовариантные тесты, иногда называемые «многовариантными» тестами, позволяют тестировать изменения в нескольких разделах на одной странице. В качестве примера запустите многовариантный тест на одной из ваших целевых страниц и замените его двумя новыми элементами. В первой версии добавляйте контактную форму вместо основного изображения. Во второй версии добавить видео пункт. Теперь система сгенерирует другую возможную комбинацию на основе ваших изменений, которая включает как видео, так и контактную форму:

Всего тестовых версий: 2 x 2 = 4

V1 — Вариант управления (без формы контакта и без элемента видео)
V2 — Версия контактной формы
V3 — Версия элемента видео
V4 — Контактная форма + версия элемента видео

Поскольку многовариантные тесты генерируют все возможные комбинации ваших изменений, не рекомендуется создавать большое количество вариантов, если вы не проводите тест на сайте с высокой посещаемостью.С другой стороны, выполнение многовариантных тестов на сайтах с низким трафиком даст плохие результаты и недостаточно данных, чтобы сделать какие-либо существенные выводы. Убедитесь, что ваш сайт посещает не менее нескольких тысяч в месяц, прежде чем проводить многовариантный тест.

Пример многовариантного теста на странице со списком товаров электронной коммерции

Когда использовать каждый тип теста

A / B-тесты помогут вам ответить на такие вопросы, как: какая из двух версий моей страницы работает лучше с точки зрения реакции посетителя на нее?

Многовариантные тесты ответят на такие вопросы, как:

• Лучше ли посетители реагируют на видео рядом с контактной формой?
• Или на веб-страницу только с контактной формой и без видео?
• Или на веб-страницу с видео, но без контактной формы?

Как измерить эффективность платформы A / B-тестирования

Одним из методов определения эффективности платформы A / B-тестирования является выполнение A / A-теста.Это означает, что вы создаете два или более идентичных варианта и запускаете A / B-тест, чтобы увидеть, как платформа обрабатывает варианты. Успешные результаты должны показать, что оба варианта дают очень похожие результаты. Подробнее об A / A тестах вы можете прочитать здесь.

Путь к успеху A / B-теста

«Я не провалил тест, я просто нашел 100 способов сделать это неправильно». / Бенджамин Франклин

При проведении A / B-теста использование действующей методологии имеет решающее значение для нашей способности полагаться на результаты теста и обеспечивать лучшую производительность еще долгое время после его завершения.Другими словами, мы пытаемся понять, влияют ли протестированные изменения напрямую на поведение посетителей или возникают случайно. A / B-тестирование обеспечивает основу, которая позволяет нам измерять разницу в реакции посетителей между вариантами и, в случае обнаружения, устанавливает статистическую значимость и, в некоторой степени, причинно-следственную связь.

Читать далее

А / А тестирование и принятие решений в экспериментах

Что такое A / B-тестирование? Научитесь проводить A / B-тесты от А до Я.

A / B-тестирование, также известное как сплит-тестирование, представляет собой маркетинговый метод, который включает сравнение двух версий веб-страницы или приложения, чтобы определить, какая из них работает лучше .Эти варианты, известные как A и B, представлены пользователям случайным образом. Часть из них будет направлена ​​на первую версию, остальные — на вторую. Затем статистический анализ результатов определяет, какая версия, A или B, работает лучше, в соответствии с определенными предопределенными показателями, такими как коэффициент конверсии.

Другими словами, вы можете проверить, какая версия получает больше всего кликов, подписок, покупок и т. Д. Эти результаты могут затем помочь вам оптимизировать ваш сайт для конверсии.

Примеры A / B-тестирования

Многие из вас ищут идеи для своих следующих A / B-тестов. Если вы читали предыдущие главы, то знаете, что волшебной пули не существует и что примеры из учебников зависят от конкретного сайта. Однако, поскольку вы просто ничего не можете с собой поделать, вот несколько ссылок на несколько примеров.

Другие примеры A / B-тестов и результаты

Какие типы веб-сайтов подходят для A / B-тестирования?

Любой веб-сайт может извлечь выгоду из A / B-тестирования , поскольку у всех них есть «причина для существования» — и эта причина поддается количественному определению.Независимо от того, являетесь ли вы интернет-магазином, новостным сайтом или сайтом для привлечения потенциальных клиентов, вы стремитесь повысить коэффициент конверсии, независимо от того, какой тип конверсии это может быть.

Lead

Термин «потенциальный клиент» используется для обозначения потенциальных клиентов или потенциальных клиентов. Особенно актуальны здесь электронные письма, отправленные с целью увеличения продаж. В этом случае при A / B-тестировании используется информация о характере людей, с которыми вы общались, например об их поле или возрасте.

Медиа

В контексте СМИ более уместно говорить о «редакционном A / B-тестировании».В отраслях, которые тесно сотрудничают с прессой, идея A / B-тестирования состоит в том, чтобы проверить успешность данной категории контента — например, чтобы убедиться, что она идеально подходит целевой аудитории. Здесь, в отличие от приведенного выше примера, A / B-тестирование выполняет редакционную функцию, а не коммерческую. Заголовки контента A / B-тестирования — обычная практика в медиаиндустрии.

Электронная коммерция

Неудивительно, что цель использования A / B-тестирования в контексте электронной коммерции — измерить, насколько хорошо веб-сайт или коммерческое онлайн-приложение продает свои товары.A / B-тестирование использует количество завершенных продаж, чтобы определить, какая версия работает лучше всего. Особенно важно смотреть на домашнюю страницу и дизайн страниц продукта, но также неплохо рассмотреть все визуальные элементы, необходимые для совершения покупки (кнопки, призывы к действию).

Какие A / B-тесты следует использовать?

Есть несколько типов A / B-тестов. Вам следует выбрать тот, который лучше всего подходит для вашей конкретной ситуации.

• Классический A / B-тест. Классический A / B-тест представляет пользователям два варианта ваших страниц с одним и тем же URL-адресом. Таким образом, вы можете сравнить два или несколько вариантов одного и того же элемента.
• Сплит-тесты или тесты перенаправления . Сплит-тест перенаправляет ваш трафик на один или несколько отдельных URL-адресов. Если вы размещаете новые страницы на своем сервере, это может быть эффективным подходом.
• Многомерный тест или тест MVT . Наконец, многовариантное тестирование измеряет влияние нескольких изменений на одной и той же веб-странице.Например, вы можете изменить свой баннер, цвет текста, презентацию и многое другое.

С точки зрения технологии, вы можете:

• Использовать A / B-тестирование на веб-сайтах. A / B-тестирование в Интернете позволяет сравнить версии A и B страницы. После этого результаты анализируются в соответствии с заранее определенными целями — клики, покупки, подписки и так далее.
• Используйте A / B-тестирование для собственных мобильных приложений iPhone или Android. A / B-тестирование более сложное с приложениями.Это связано с тем, что невозможно представить две разные версии после того, как приложение было загружено и развернуто на смартфоне. Существуют обходные пути, позволяющие мгновенно обновить свое приложение. Вы можете легко изменить свой дизайн и напрямую проанализировать влияние этого изменения.
• Используйте серверное A / B-тестирование через API. API — это программный интерфейс, который обеспечивает соединение с приложением для обмена данными. API позволяют автоматически создавать кампании или варианты на основе сохраненных данных.

С такими решениями, как AB Tasty, можно тестировать на нескольких устройствах.

A / B-тестирование и оптимизация конверсии

Оптимизация конверсии и A / B-тестирование — это два способа для компаний увеличить прибыль. Их обещание простое: приносят больше доходов при том же объеме трафика. В свете высоких затрат на привлечение и сложных источников трафика, почему бы не начать с получения максимальной отдачи от текущего трафика?

Amazon хорошо знаком с A / B-тестированием — они постоянно тестируют, чтобы улучшить UX и коэффициент конверсии.

Удивительно, но средний коэффициент конверсии для сайтов электронной коммерции продолжает колебаться от 1% до 3%. Почему? Потому что конверсия — это сложный механизм, который зависит от ряда факторов, включая качество генерируемого трафика, пользовательский опыт, качество предложения, репутацию веб-сайта, а также от того, что делают конкуренты.

Профессионалы электронной коммерции, естественно, будут стремиться минимизировать любое негативное влияние, которое взаимодействие вышеперечисленных элементов может оказать на потребителей на пути к покупателю. Для этого существует множество методов, в том числе A / B-тестирование — дисциплина, которая использует данные, чтобы помочь вам принимать наилучшие решения.

A / B-тестирование полезно для разработки более широкой стратегии оптимизации конверсии, но его ни в коем случае недостаточно. Решение для A / B-тестирования позволяет статистически проверять определенные гипотезы, но само по себе оно не может дать вам глубокого понимания поведения пользователей. Однако понимание поведения пользователя, безусловно, является ключом к пониманию проблем с преобразованием.

Поэтому важно обогатить A / B-тестирование информацией, предоставленной другими способами.Это позволит вам получить более полное представление о ваших пользователях и, что особенно важно, поможет вам выдвинуть гипотезы для проверки.

Существует множество источников информации, которые можно использовать для получения более полной картины:

• Данные веб-аналитики . Хотя эти данные не объясняют поведение пользователя, они могут выявить проблемы с конверсией (например, выявление брошенных корзин покупок). Это также может помочь вам решить, какие страницы тестировать в первую очередь.
• Оценка эргономики.Этот анализ позволяет без больших затрат понять, как пользователь воспринимает ваш веб-сайт.
• Пользовательский тест. Хотя пользовательское тестирование ограничено ограничениями по размеру выборки, оно может предоставить огромное количество информации, недоступной иным способом с использованием количественных методов.
• Тепловая карта и запись сеанса . Эти методы обеспечивают наглядность того, как пользователи взаимодействуют с элементами на странице или между страницами.
• Отзывы клиентов . Компании собирают большое количество отзывов от своих клиентов (например,грамм. мнения, указанные на сайте, вопросы в службу поддержки). Их анализ может быть дополнен опросами об удовлетворенности клиентов или живыми чатами.

Рекомендуемые решения для оптимизации конверсии:

Как найти идеи для A / B-тестирования?

Ваши A / B-тесты должны быть дополнены дополнительной информацией, чтобы выявлять проблемы с конверсией и предлагать понимание поведения пользователей. Эта фаза анализа имеет решающее значение и должна помочь вам создать «сильные» гипотезы. Помогут упомянутые выше дисциплины. Правильно сформулированная гипотеза — это первый шаг к успешной программе A / B-тестирования, при этом необходимо соблюдать следующие правила.

Гипотезы должны:

• быть связаны с четко определенной проблемой, имеющей идентифицируемые причины
• указать возможное решение проблемы
• указать ожидаемый результат, который напрямую связан с измеряемым KPI

Например , если выявленная проблема связана с высоким процентом отказов от формы регистрации, которая кажется, что она может быть слишком длинной, гипотеза может быть такой: «Сокращение формы путем удаления необязательных полей увеличит количество собранных контактов.”

Используйте весь спектр доступных решений, чтобы понять препятствия ваших пользователей.

Дополнительные статьи о формулировании тестовых гипотез:

Что следует тестировать A / B на своем веб-сайте?

Что нужно тестировать на своем сайте? Этот вопрос возникает снова и снова, потому что компании часто не знают, как объяснить свои показатели конверсии, хорошие или плохие. Если бы компания могла быть уверена, что у ее пользователей возникли проблемы с пониманием их продукта, они бы не стали проверять расположение или цвет кнопки добавления в корзину — это было бы не по теме.Вместо этого они будут проверять различные формулировки преимуществ для своих клиентов. Все ситуации разные. Вместо того, чтобы предоставлять исчерпывающий список элементов для тестирования, мы предпочли предоставить вам структуру A / B-тестирования для идентификации этих элементов. Вот несколько хороших мест для начала:

Что такое A / B-тестирование и его преимущества?

A / B-тест, также известный как сплит-тест, представляет собой эксперимент для определения того, какой из различных вариантов онлайн-опыта работает лучше, путем представления каждой версии пользователям случайным образом и анализа результатов.Итак, что такое A / B-тестирование? A / B-тестирование демонстрирует эффективность потенциальных изменений, позволяя принимать решения на основе данных и обеспечивая положительное влияние.

Кайл Раш, вице-президент по разработке в Casper и бывший руководитель отдела оптимизации в Optimizely, использовал A / B-тестирование, чтобы увеличить конверсию пожертвований на 49%, когда он работал в кампании Обамы для Америки в 2012 году, помогая цифровой команде собрать 250 миллионов долларов за 6 месяцев. . «Если вы не тестируете, вы не знаете, насколько эффективны ваши изменения», — говорит Раш.«У вас может быть корреляция, но нет причинно-следственной связи».

A / B-тестирование может сделать гораздо больше, чем просто доказать, как изменения могут повлиять на ваши конверсии в краткосрочной перспективе. «Это помогает вам расставить приоритеты в отношении того, что делать в будущем», — говорит Раш. «Если у вас есть 20 пунктов в вашей дорожной карте продукта и вы хотите получить окончательный ответ относительно того, что будет двигать иглу, вам нужны данные. Если есть функция, которая очень похожа на функцию, которая не работала при тестировании, не продвигайтесь вперед ».

«С A / B-тестированием у вас гораздо больше знаний о том, что проводить через 3–4 года.”

При постоянном и последовательном использовании тестирование может улучшить общее впечатление пользователей, увеличивая коэффициент конверсии в краткосрочной и долгосрочной перспективе.

Преимущества A / B-тестирования

1. Повышение уровня вовлеченности пользователей

Элементы страницы, приложения, рекламы или электронных писем, которые могут быть протестированы A / B, включают заголовок или тему, изображения, формы призыва к действию (CTA) и язык, макет, шрифты и цвета, среди прочего. Тестирование одного изменения за раз покажет, какие изменения повлияли на поведение пользователей, а какие нет.Обновление опыта с помощью «выигрышных» изменений улучшит пользовательский опыт в целом, в конечном итоге оптимизируя его для достижения успеха.

2. Улучшенное содержание

Для тестирования рекламного текста, например, требуется список потенциальных улучшений, которые можно показать пользователям. Сам процесс создания, рассмотрения и оценки этих списков отсеивает неэффективные формулировки и делает окончательные версии более удобными для пользователей.

3. Сниженный показатель отказов

A / B-тестирование указывает на комбинацию элементов, которая помогает посетителям дольше оставаться на сайте или в приложении.Чем больше времени посетители проводят на сайте, тем выше вероятность, что они поймут ценность контента, что в конечном итоге приведет к конверсии.

4. Повышение конверсии

A / B-тестирование — это самый простой и эффективный способ определить лучший контент для преобразования посещений в подписки и покупки. Знание того, что работает, а что нет, помогает привлечь больше потенциальных клиентов.

5. Более высокая конверсия

Уроки A / B-тестирования, успешно примененные к одному опыту, могут быть применены к дополнительному опыту, включая страницы для более дорогих продуктов и услуг.Лучшее взаимодействие на этих страницах продемонстрирует аналогичный рост конверсий.

«Мы используем A / B-тестирование перед тем, как вносить какие-либо серьезные изменения в Casper», — говорит Раш. «Мы A / B протестировали компоненты нового опыта электронной коммерции, прежде чем запустить его с нашим новым матрасом премиум-класса. Матрас премиум-класса — это огромное изменение нашей бизнес-модели, поэтому тестирование было важным, чтобы убедиться, что запуск прошел успешно ».

6. Простота анализа

Определить победителя и проигравшего в A / B-тесте очень просто: показатели какой страницы или приложения подходят ближе к его целям (потраченное время, конверсии и т. Д.),).

«Раньше показатели A / B-тестирования были просто необработанными числами, и вам приходилось интерпретировать их, чтобы принять решение», — говорит Раш. «Теперь такие сервисы, как Optimizely, принимают решения за вас с помощью статистических машин, следуя лучшим практикам».

И хотя службы тестирования эволюционировали и стали включать статистический анализ для пользователей всех уровней знаний в области электронных таблиц, цифры для сравнения двух опытов не впечатляют по своей сложности. Ясность этой статистики также подрывает мнение самого высокооплачиваемого человека (HIPPO), которое в противном случае могло бы быть переоценено.

7. Быстрые результаты

Даже относительно небольшой размер выборки в A / B-тесте может дать важные практические результаты в отношении того, какие изменения наиболее интересны для пользователей. Это позволяет оптимизировать короткие заказы новых сайтов, новых приложений и страниц с низкой конверсией.

8. Все проверяемо

Формы, изображения и текст являются типичными элементами для A / B-тестирования и обновления, но любой элемент страницы или приложения можно настроить и протестировать. Стиль заголовка, цвета кнопок CTA, длина формы и т. Д., могут повлиять на взаимодействие с пользователем и коэффициенты конверсии способами, которые, возможно, никогда не будут известны, если они не будут протестированы. Ни одна идея не должна быть отвергнута во время конференц-связи; Тестирование и показатели, а не эмоции, доказывают, что работает, а что нет.

9. Пониженные риски

С помощью A / B-тестирования можно избежать дорогостоящих и трудоемких изменений, которые оказались неэффективными. Основные решения могут быть хорошо информированными, что позволяет избегать ошибок, которые в противном случае могли бы ограничить ресурсы для получения минимальной или отрицательной выгоды.

«Самый очевидный способ использовать A / B-тестирование — это использовать его, чтобы что-то исключить», — говорит Раш. «Если вы видите, что внесение изменений может снизить конверсию, не двигайтесь вперед».

10. Уменьшение количества брошенных тележек

Для электронной коммерции заставить пользователя завершить оформление заказа после нажатия кнопки «купить» на товаре является серьезной проблемой, поскольку большинство потенциальных клиентов бросают свои тележки перед оплатой. A / B-тестирование может помочь найти оптимальную комбинацию настроек страниц заказа, которая доведет пользователей до конца.

«Пользовательский опыт между оформлением заказа и вводом адреса доставки — лучшее место, на котором можно сосредоточиться при A / B-тестировании», — говорит Раш.

11. Увеличение продаж

Все перечисленные выше преимущества A / B-тестирования способствуют увеличению объема продаж. Помимо первоначального роста продаж, которые производят оптимизированные изменения, тестирование обеспечивает лучший пользовательский опыт, что, в свою очередь, способствует росту доверия к бренду, созданию лояльных, постоянных клиентов и, следовательно, увеличению продаж.

Как вы проводите A / B-тест?

1.Пойдите для большого легкого

Внедрите культуру экспериментов с помощью A / B-тестирования элементов пользовательского опыта, которые легко изменить, но при этом имеют большое потенциальное влияние. Протестируйте изменения, чтобы оптимизировать заголовок целевой страницы и призывы к действию, настройте язык, чтобы определить лучший обмен сообщениями. Изменение заголовка может привести к увеличению конверсии на 100% или больше. Эта быстрая победа даст вам возможность и смелость провести дополнительное тестирование.

«Намочите ноги и посмотрите, как все пойдет», — говорит Раш.«Продолжайте делать это, пока не возьмете в руки. Чем больше вы это делаете, тем лучше у вас получается. Это не волшебство.

2. Найдите свои больные места

Обдумывая, что тестировать, посмотрите на свою воронку продаж, чтобы определить, где вы теряете потенциальные конверсии.

«Выясните, каков коэффициент конверсии на каждом этапе воронки», — говорит Раш. «Сосредоточьтесь на том, где происходит самый большой спад. Оптимизация, которая принесет наибольший эффект ».

3. Тестируйте изменения только там, где они необходимы

Если он не сломался, не пытайтесь его заменить.

«Если коэффициент конверсии страницы составляет 99%, у вас нет проблем», — говорит Раш. «Но если вы откроете его для тестирования, люди найдут вещи, к которым можно придраться, исходя из своих предпочтений, например, цвет. Но тестирование на это — пустая трата времени ».

4. Сделайте A и B существенно разными

A / B-тестирование может подтвердить решение о внесении изменений или оставить все как есть, но только в том случае, если предлагаемое обновление заметно отличается от оригинала (хотя все еще находится в рамках рекомендаций по стилю сайта).

«Добавление запятой ничего не изменит, — говорит Раш. «Выберите что-то совершенно другое, а не просто другой способ сказать то же самое. Он должен быть высококонтрастным, но все же соответствовать бренду. Если контраст слишком велик, его всегда можно уменьшить ».

5. Получите идеи от всех

Самая сложная часть A / B-тестирования — придумать, что изменить и как это изменить. Что касается пользовательского опыта, важно мыслить — и искать — нестандартно в поисках идей.

«Идеи высокого уровня для изменений могут прийти откуда угодно, — говорит Раш. «Не из мозговых штурмов, которые могут быть пустой тратой времени. Моя мама пришла к выводу, что я спросила ее: «Что ты думаешь по этому поводу?» У нее уникальная точка зрения, которая может быть полезной ».

6. Контроль времени

Чтобы доказать причинно-следственную связь, A / B-тест требует контрольных переменных, элементов, которые остаются неизменными на протяжении всего эксперимента. Одна переменная, которую нужно контролировать, — это время, то есть период, в течение которого выполняется тест.Не запускайте тесты последовательно: период A / B-теста должен быть одинаковым для переменных «A» и «B», чтобы пользовательская база, просматривающая каждую версию, была одинаковой.

7. Запускайте тесты с недельным шагом

Если вы не планируете публиковать разные версии своей страницы или приложения по выходным, ваш A / B-тест должен длиться достаточно долго, чтобы обеспечить посещаемость в течение всей недели. Это гарантирует, что вы получите точные общие результаты, учитывающие провалы и всплески, связанные с днем ​​недели и временем суток.

8. Всегда вводить новшества

A / B-тестирование может оптимизировать ваш сайт или приложение за счет постепенных улучшений, дающих быстрые положительные результаты. Но не позволяйте краткосрочным успехам вытеснять настоящие инновации, которые требуют принятия рисков и возможных неудач, но при этом имеют наибольший потенциал для еще более значительного вознаграждения.

Что такое A / B-тестирование? Полное руководство

Сегодняшние маркетологи все чаще повышают коэффициент конверсии, используя метод, который, по мнению экспертов, является одним из самых простых и эффективных для оптимизации: A / B-тестирование.

Это подробное руководство научит вас всему, что вам нужно знать, чтобы начать улучшать свою прибыль с помощью A / B-тестирования, включая некоторые из самых серьезных ошибок, которые совершают даже обычные практикующие.

(Имейте в виду, что, хотя мы делаем все возможное, чтобы объяснять вещи нашим читателям просто без жаргона, мы несовершенны. Иногда отраслевой жаргон пробирается в наш контент. Если вы видите какой-либо термин, который вы не понимаете, вы можно найти простое определение этого слова в маркетинговом словаре Instapage).

Что такое A / B-тестирование?

A / B-тестирование — это метод сбора информации для оптимизации. Он включает в себя тестирование оригинального дизайна (A) по сравнению с альтернативной версией этого дизайна (B), чтобы увидеть, какая из них работает лучше. Этот оригинальный дизайн также известен как «контроль», а альтернативная версия известна как «вариация».

В этом руководстве будет обсуждаться A / B-тестирование, связанное с оптимизацией целевой страницы после клика, но вы можете использовать этот метод для сравнения и улучшения других веб-страниц, электронных писем, рекламы и т. Д.

Что я могу протестировать?

Естественно задаться вопросом, какие элементы целевой страницы после клика вы можете протестировать. Хотя вам не следует просто выбирать из этого списка наугад (почему вы поймете позже), он должен дать вам представление о тестируемых элементах, которые могут повлиять на ваш коэффициент конверсии.

Рассмотрим тестирование:

• Заголовки
• Макет страницы
• Длина формы захвата свинца
• Длина страницы
• Показатели доверия
• Призывы к действию
• СМИ (e.грамм. видео против гифки или снимок героя против инфографики)

Однако то, что вы можете это протестировать, не означает, что вам следует это делать. Подробнее об этом в главе 5.

Думаете, вы готовы начать A / B-тестирование? Давайте узнаем…

A / B-тестирование может повысить чью-либо прибыль, но — только тогда, когда придет время. Подходит ли вам? Некоторые вопросы, которые стоит задать себе:

Принесет ли A / B-тестирование самые большие улучшения в мою текущую кампанию?

Хотя A / B-тестирование является ценным подспорьем в оптимизации, это не единственный метод оптимизации.Есть ли другие быстрые исправления, которые вы могли бы внести в свою кампанию, прежде чем посвятить время и ресурсы процессу A / B-тестирования?

Вы удалили навигацию со всех своих целевых страниц после клика? Вы выяснили свои лучшие источники трафика?

Рассмотрим этот пример от Дерека Халперна:

«Если на мой сайт пришло 100 человек, и у меня коэффициент конверсии 20%, это означает, что я получу конверсию 20 человек … Я могу попытаться повысить коэффициент конверсии до 35% и привлечь 35 человек, или я мог бы просто выяснить, как получить 1000 новых посетителей, поддерживать эту 20% конверсию, и вы увидите, что 20% от 1000 (200) намного выше, чем 35% от 100 (35).”

Иногда A / B-тестирование — не самый быстрый путь к увеличению прибыли.

Каковы мои ожидания?

Слишком много людей начинают A / B-тестирование по неправильным причинам. Они видят, что их конкурент использовал этот метод для увеличения числа регистраций на 1000%, или читают тематическое исследование компании, которая принесла дополнительные 100000 долларов ежемесячных продаж с помощью A / B-тестирования. Таким образом, они рассчитывают получить большой выигрыш от подобного эксперимента.

Но большие победы случаются нечасто. Если они кажутся таковыми, то это потому, что никто не публикует в блогах сообщения о десятках неудачных тестов, которые потребовались для достижения этих больших побед.Мартин Гудсон, руководитель исследований в Qubit, пишет:

Маркетологи начали сомневаться в ценности A / B-тестирования, спрашивая: «Где мой рост на 20%? Почему кажется, что он никогда не отображается в чистой прибыли? »Их A / B-тест сообщает о росте на 20%, но, тем не менее, это увеличение, похоже, никогда не приводит к увеличению прибыли. Так что же происходит?

Причина, по его словам, в том, что 80% A / B-тестов иллюзорны. Большинство из этих больших, 20, 30, 50% лифтов не существует.

Статистика подчеркивает важность правильного метода тестирования.Всего одна ошибка может дать ложноположительный или отрицательный результат.

Не проводите A / B-тестирование, если вы ожидаете повышения коэффициента конверсии на 50 или даже 20%. Экологичные лифты обычно намного меньше по размеру.

Я сделал домашнее задание?

Уже существует

лучших практик для целевой страницы после клика. Не могли бы вы протестировать целевую страницу после клика, на которой блоки текста отображаются поверх просматриваемой копии? Вы могли бы, но многие исследования показали, что люди предпочитают бегло просмотреть, чем читать полностью. Блокирующий текст может отпугнуть ваших посетителей.

Не могли бы вы протестировать одну версию вашей целевой страницы после клика с навигацией и без? Вы могли бы, но снова и снова было доказано, что навигация снижает коэффициент конверсии. Некоторое время назад HubSpot проверил это на одной странице, на которой была навигация, а на другой — нет:

.

Вот результаты:

Нет смысла тестировать то, что уже доказало свою работоспособность. Прежде чем начинать какие-либо эксперименты, прочитайте, как лучше всего создать целевую страницу с высокой конверсией после клика.Если вы еще не создали анатомически правильную целевую страницу после клика, вы не готовы приступить к A / B-тестированию.

Почему я провожу A / B-тестирование?

Очевидно, вы проводите тестирование, чтобы увеличить прибыль своего бизнеса, но по причинам, которые вы обнаружите позже, у вас должна быть причина для проведения каждого из ваших тестов. И эта причина должна быть основана на данных.

Вместо того, чтобы выбирать случайный элемент для тестирования, найдите слабые звенья в своей маркетинговой воронке и выберите тип теста, который может исправить эти ссылки.Клиенты Якоба Баадсгаарда, самым слабым звеном обычно является трафик:

«Я обнаружил, что в среднем все конверсии в аккаунте AdWords происходят только по 9% ключевых слов аккаунта.

Да, вы правильно прочитали — все преобразования.

Проще говоря, на каждые 10 ключевых слов, на которые вы делаете ставку, 9 из них ничего не дают! Абсолютно ничего! И вот что интересно: бесполезные 91% ваших ключевых слов съедают 61% ваших рекламных расходов «.

Подробнее о том, что тестировать, читайте в главе 3.

Готов ли я правильно посвятить время и ресурсы A / B-тесту?

Хороший A / B-тест при правильном проведении должен длиться как минимум несколько недель. Даже если у вас есть доступ к значительному и стабильному потоку трафика, выполнение всего одного теста может занять месяцы.

Готовы ли вы посвятить такое время? Готовы ли вы вникнуть в свои данные, выяснить, почему люди не конвертируются, и провести мозговой штурм, как это исправить?

Готовы ли вы внимательно следить за своим тестом по прошествии нескольких недель, чтобы убедиться, что внешние угрозы достоверности не отравят ваши результаты?

Если ответ «да», продолжайте узнавать, как именно вам следует начать подготовку к экзамену.

А / Б-тестирование — это гораздо больше, чем просто создание варианта исходной страницы и привлечение на нее трафика. Это требует тщательного планирования, терпения и немного статистики.

Давайте разберемся по порядку.

Шаг 1. Установите цели конверсии

Прежде чем начинать тестирование чего-либо, важно глубоко погрузиться в свои данные. Почему вы хотите пройти A / B-тест?

Ответ на этот вопрос придет после того, как вы выясните, как посетители взаимодействуют с вашей страницей.

Показывает ли Google Analytics, что они немедленно отказываются от него? Возможно, вы захотите попробовать проверить лучшее соответствие сообщений.

Показало ли программное обеспечение теплового картографирования, что они не замечают вашу кнопку с призывом к действию? Возможно, вы захотите протестировать больший размер, другое расположение или более привлекающий внимание цвет кнопок.

Ниже приведены лишь несколько примеров инструментов, которые вы можете использовать для лучшего понимания клиентов при проведении A / B-тестов:

Имея представление о том, как посетители ведут себя на вашей странице, вы можете сформулировать предварительную гипотезу.

Шаг 2: Разработайте гипотезу

Теперь пришло время спросить себя: «Что я пытаюсь улучшить с помощью этого A / B-теста?»

Давайте воспользуемся приведенным выше примером, поскольку новичкам его легко понять. Если вы меняете цвет кнопки, потому что заметили, что ее не замечают, ваша гипотеза будет выглядеть примерно так:

«После просмотра многочисленных пользовательских тепловых карт я обнаружил, что посетители не замечают кнопку с призывом к действию.Поэтому я считаю, что изменение цвета привлечет к нему больше внимания ».

Без четкой гипотезы нет четкой цели вашего теста. Но как вы собираетесь это сделать и почему вы вносите коррективы?

Для новичка: «Какова моя цель?» кажется настолько простым, что не стоит спрашивать. Большинство полагает, что конечной целью любого A / B-теста является повышение конверсии, но это не всегда так. Возьмем, к примеру, этот тест из Server Density.

Вместо увеличения конверсии их целью было увеличение доходов.Итак, они A / B протестировали новую пакетную структуру ценообразования по сравнению со своей старой.

Вот старая структура ценообразования, основанная на количестве серверов, необходимых клиенту, которые контролируются компанией:

Вот вариант — цена за пакет от 99 долларов в месяц.

После тестирования одной структуры по сравнению с другой они обнаружили, что исходная структура вызвала больше конверсий, но вариация принесла больший доход. Вот данные, подтверждающие это:

Хотя коэффициент конверсии во многих случаях является наиболее важным показателем, который необходимо отслеживать при проведении A / B-теста, это не всегда.Помните об этом, когда будете определять свою гипотезу и цель.

Шаг 3. Внесите необходимые изменения

После того, как вы определили, что вы меняете и почему вы меняете, самое время создать свой вариант.

Если вы изменяете макет исходной страницы (также известной как «контрольная страница»), настройте его на странице варианта. Если вы хотите увидеть эффект нового цвета кнопки, измените цвет.

Если вы используете профессиональный редактор WYSIWYG (то, что вы видите, то и получаете), вы сможете редактировать элементы на своей странице без участия ИТ-персонала.В противном случае вам понадобится помощь веб-дизайнера с опытом программирования, чтобы настроить тест.

Различные типы A / B-тестов

Некоторые маркетологи утверждают, что для проведения «истинного» A / B-теста вы можете тестировать только один элемент за раз — будь то заголовок, цвет кнопки или избранное изображение и т. Д. Однако это не совсем правильно.

Тестирование одного элемента за раз

Многие оптимизаторы коэффициента конверсии предпочитают тестировать только один элемент за раз из соображений точности и простоты, поскольку может быть сложно тестировать сразу несколько элементов.Когда ваша страница варианта отличается от вашей контрольной страницы только одним способом, тогда, когда одна из них превосходит другую, причина понятна.

Например, в приведенном выше гипотетическом тесте, если ваша контрольная страница и ваша страница варианта идентичны, за исключением кнопки другого цвета, то в конце теста вы узнаете, почему одна страница превосходит другую. Причина в цвете кнопок, как в этом тесте от HubSpot:

Обе страницы идентичны, за исключением цвета кнопки. Тот, у кого красная кнопка, преобразовался лучше в конце теста, так что это означает, что красная кнопка, вероятно, является причиной увеличения.

Если у вас есть время, ресурсы и большой объем трафика, необходимые для проведения подобных тестов, тогда дерзайте. Однако, если вы похожи на большинство компаний, вам нужно изменить более одного элемента за один тест.

Одновременное тестирование нескольких элементов

К сожалению, на завершение всего одного A / B-теста могут уйти месяцы. В этом случае многие малые предприятия, не имеющие тысяч доступных посетителей, предпочтут изменить более одного элемента страницы за раз, а затем протестировать страницы друг на друга.

Вопреки распространенному мнению, это не многовариантный тест, потому что вы все еще тестируете контрольную страницу (A) и страницу варианта (B). Разница между этим методом и многовариантным тестированием заключается в том, что после объявления страницы-победителя вы не узнаете, , почему она выиграла, . Некоторые называют это тестом «кластер переменных». На этом, проведенном командой MarketingExperiments, контрольная страница сравнивалась с вариантом с другим заголовком, большим количеством копий и социальными доказательствами.

Оригинал:

Вариант:

В результате конверсия выросла на 89%.Однако, поскольку многие элементы были изменены в этом тесте по сравнению с исходным, команда MarketingExperiments не может знать, какие новые элементы больше всего повлияли на изменение.

Многовариантный тест, с другой стороны, может сказать вам, как различные элементы взаимодействуют друг с другом, когда они сгруппированы в один тест. Но для этого требуются некоторые дополнительные шаги, которые делают метод немного сложнее, чем A / B-тестирование. Это также требует намного больше трафика.

Если вас беспокоит мысль о том, почему одна страница работает лучше, чем другая, тогда вам стоит тестировать по одному элементу за раз или узнать, как провести многовариантный тест.

Но если у вас нет времени или ресурсов для изменения только одного элемента за тест, то изменение нескольких элементов за тест может оказаться лучшим решением.

Многие влиятельные лица цифрового маркетинга, такие как Рэнд Фишкин из Moz, рекомендуют использовать этот метод для оценки радикально различных дизайнов страниц, чтобы найти наиболее близкий к глобальному максимуму (наилучший возможный дизайн целевой страницы после клика). Тестирование отдельных элементов страницы — например, попытка найти, какой цвет кнопки или заголовок лучше всего конвертируется — может помочь вам улучшить текущую страницу.Однако, просто улучшая свою текущую страницу, вы предполагаете, что с самого начала были на правильном пути. Может быть, есть совершенно другой дизайн, который будет работать лучше. В сообщении блога под названием «Не попадитесь в ловушку мелочей A / B-тестирования» Фишкин уточняет:

«Допустим, вы нашли страницу / концепцию, которая вас относительно устраивает, и начинаете тестировать мелочи — оптимизируя примерно до локального минимума. Вы можете проводить тесты в течение 4-6 месяцев, добиваться улучшения общего коэффициента конверсии на 5% и чувствовать себя неплохо.До…

Вы тестируете еще одну большую новую идею и продолжаете совершенствоваться. Теперь вы знаете, что зря потратили время на оптимизацию и совершенствование страницы, общая концепция которой не так хороша, как новая, грубая, неоптимизированная страница, которую вы только что тестировали в первый раз ».

Как показано на изображении выше, тестирование отдельного элемента обычно дает минимальный подъем, если таковой имеется. Много времени для небольшой отдачи. С другой стороны, тестирование радикально иного дизайна, основанного на новом подходе, может дать большой прирост конверсии.

Возьмем для примера эту целевую страницу Moz после клика, протестированную с вариантом, созданным командой экспертов по коэффициенту конверсии:

Вариант был в шесть раз длиннее и принес на 52% больше конверсий! Вот что об этом сказали тестировщики:

«Анализируя эффективную личную презентацию Рэнда, мы заметили, что ему нужно как минимум пять минут, чтобы обосновать пользу платного продукта Moz. Существующая страница больше походила на минутное резюме.Когда мы добавили ключевые элементы презентации Рэнда, страница стала намного длиннее ».

Если бы они просто попытались улучшить существующие элементы на исходной странице с помощью таких тестов, как цвет кнопки по сравнению с цветом кнопки, или призыв к действию по сравнению с призывом к действию и т. Д., То они никогда бы не построили более длинный , более полная и, в конечном итоге, целевая страница с более высокой конверсией после клика.

Имейте это в виду при разработке теста.

Шаг 4. Рассчитайте размер выборки

Прежде чем вы сможете завершить свой тест, вы должны быть максимально уверены в надежности ваших результатов — иначе говоря, ваша новая страница на самом деле работает на лучше, чем старая.И единственный способ сделать это — достичь статистической значимости.

Что такое статистическая значимость?

Статистическая значимость — это мера, с некоторой степенью уверенности, насколько вы уверены, что ваши результаты A / B-теста не случайны. При уровне значимости 80% (также называемом «уровнем достоверности») вы можете быть на 80% уверены, что ваши результаты обусловлены вашим изменением, а не случайностью.

Чтобы достичь статистической значимости, вам понадобится адекватный размер выборки, то есть количество посетителей вашей страницы, прежде чем вы сможете завершить тест.И этот размер выборки будет зависеть от уровня значимости, которого вы хотите достичь.

Чем больше вы хотите быть уверенными в результатах теста, тем больше посетителей вам нужно будет привлечь. Чтобы быть уверенным на 90%, вам нужно привлечь больше посетителей, чем нужно для уверенности на 80%.

Имейте в виду, что стандартный уровень статистической значимости составляет 95%. Но часто профессионалы проводят тесты, пока они не достигнут 96, 97 и даже 99%.

Хотя вы никогда не можете быть полностью уверены, что ваш новый вариант лучше оригинала, вы, , можете приблизиться к нему как можно ближе, проводя тест столько, сколько позволяет время.Даже эксперты много раз отмечали, что их вариантная страница превосходила оригинал на уровне значимости 99%, а затем терялась для оригинала после того, как тест длился дольше. Пип Лаха описывает один:

«Вариант, который я построил, проигрывает более чем на 89% (и нет перекрытия в пределах погрешности). Некоторые инструменты уже называют это и говорят, что статистическая значимость составляет 100%. Программное обеспечение, которое я использовал, сообщило, что Вариант 1 имеет 0% шанс превзойти Контроль. Мой клиент был готов объявить, что все уходит.Однако, поскольку размер выборки здесь был слишком мал (чуть более 100 посещений на вариант), я настаивал, и 10 дней спустя это выглядело так.

Вариант, который имел 0% шанс превзойти контроль, теперь выигрывал с 95% уверенностью ».

Чем дольше вы запускаете тест, тем больше размер вашей выборки. Чем больше размер вашей выборки, тем увереннее вы будете в результатах. В противном случае, как отмечает Бенни Блюм на простом примере, небольшой размер выборки может дать вводящие в заблуждение данные:

Рассмотрим нулевую гипотезу: собаки больше кошек.Если я использую выборку из одной собаки и одной кошки — например, гаванского и льва — я бы пришел к выводу, что моя гипотеза неверна и что кошки крупнее собак. Но если бы я использовал больший размер выборки с большим количеством кошек и собак, распределение размеров нормализовалось бы, и я пришел к выводу, что в среднем собаки крупнее кошек.

Вы можете определить размер выборки вручную с помощью сложных математических расчетов и знаний статистики, или вы можете быстро использовать калькулятор, подобный этому, от Optimizely.

В любом случае, чтобы выяснить, сколько посетителей вам нужно привлечь, прежде чем вы сможете завершить тест, вам нужно знать еще несколько вещей, например, базовый коэффициент конверсии и минимально заметный эффект.

Каков ваш базовый коэффициент конверсии?

Каков текущий коэффициент конверсии вашей исходной страницы? Сколько посетителей нажимают вашу кнопку CTA по сравнению с тем, сколько посетителей попадает на вашу страницу?

Чтобы понять это, разделите количество людей, которые совершили конверсию на вашей целевой странице после клика, на общее количество людей, которые ее посетили.

Каков ваш желаемый минимально обнаруживаемый эффект?

Ваш минимальный обнаруживаемый эффект — это минимальное изменение коэффициента конверсии, которое вы хотите обнаружить.

Вы хотите иметь возможность определять, когда ваша страница конвертируется на 10% больше или меньше, чем оригинал? 5%? Чем меньше число, тем точнее будут ваши результаты, но тем больше размер выборки вам понадобится, прежде чем вы сможете завершить тест.

Например, если перед тестом вы установили минимальный обнаруживаемый эффект на 5%, а по его завершении ваше программное обеспечение для тестирования сообщает, что ваша страница варианта конвертируется на 3% лучше, чем исходная, вы не можете быть уверены, что это правда.Можно только быть уверенным в любом увеличении или уменьшении коэффициента конверсии, превышающем 5%.

Теперь вы можете ввести оба этих числа вместе с желаемым уровнем уверенности (мы рекомендуем не менее 95%), и калькулятор, который вы используете, сгенерирует количество посетителей, которых вам нужно достичь, прежде чем вы сможете завершить тест.

Однако достижение такого количества посетителей не всегда означает, что можно безопасно завершить тест. Подробнее об этом дальше.

Шаг 5: Устранение мешающих переменных

Важно помнить, что вы не проводите тест в лаборатории.И из-за этого есть внешние факторы, которые угрожают отравить ваши данные и, в конечном итоге, достоверность вашего теста. Неспособность контролировать эти вещи в меру своих возможностей может привести к ложноположительному или отрицательному результату теста.

Такие вещи, как праздники, разные источники трафика и даже такие явления, как «возврат к среднему значению», могут заставить вас увидеть прибыли или убытки там, где их на самом деле нет.

Это этап, который охватывает весь ваш тест. Угрозы достоверности неизбежно появятся до того, как вы достигнете статистической значимости, а некоторые из них вы даже не заметите.Чтобы узнать о некоторых из наиболее распространенных, на которые стоит обратить внимание, см. Главу 4.

Разница между достоверностью и надежностью

Если вы читаете с вопросом: «Надежность? Срок действия? Разве это не одно и то же? », Позвольте нам уточнить.

Надежность достигается за счет достижения статистической значимости. Как только вы сгенерируете достаточно трафика, чтобы сформировать репрезентативную выборку, вы получите надежный результат.

Другими словами, если бы вы снова запустили A / B-тест, вы бы получили тот же результат? Будет ли ваш вариант лучше оригинального? Или этот оригинал превзойдет вариацию?

Тест, который достигает значимости 95% или выше, считается надежным.Результат, скорее всего, будет таким же, даже если вы снова запустите тест.

Действительность, с другой стороны, связана с настройкой вашего теста. Ваш эксперимент измеряет то, что, по его утверждению, измеряется.

В нашем предыдущем примере — когда вы настраиваете тест, который направлен на измерение влияния цвета кнопки, действительно ли это? Или результаты ваших тестов могут быть связаны не с цветом кнопки?

Даже если ваша страница варианта превосходит ваш контроль на уровне значимости 99%, это не означает, что причина, по которой она является выигрышной, — это цвет вашей кнопки.

Шаг 6: Обеспечение качества всего

Тест перед тестом — один из самых важных шагов в этом процессе. Убедитесь, что все ссылки в ваших объявлениях направляют трафик в нужное место, что ваши целевые страницы после клика выглядят одинаково в каждом браузере и правильно отображаются на мобильных устройствах.

Теперь проверьте заднюю часть своей страницы. Заполните поля формы и убедитесь, что данные о лидах передаются в вашу CRM. Срабатывают ли пиксели от других технологий? Есть ли другие инструменты, которые вы интегрируете с регистрацией конверсии?

Если вы забудете проверить их и позже поймете, что ваши ссылки не работают или ваша информация не отсортирована должным образом, это может полностью испортить ваш тест.Не позволяйте этому случиться с вами.

Шаг 7. Привлекайте трафик, чтобы начать тестирование

А теперь пора начать тест, отправляя посетителей на вашу страницу. Помните, что источники трафика ваших страниц должны быть одинаковыми (если, конечно, вы не проводите A / B-тестирование источников трафика). Подписчик по электронной почте будет вести себя на вашей странице иначе, чем тот, кто не знаком с вашим брендом. Не направляйте трафик электронной почты в один, а трафик PPC в другой. Убедитесь, что вы управляете одним и тем же типом трафика как для вашего контроля, так и для вариации, иначе вы рискуете поставить под угрозу достоверность вашего теста.

Шаг 8: Запустите тест

Будьте терпеливы. Даже если у вас есть огромный объем трафика, необходимый для достижения статистической значимости в течение нескольких дней, пока не завершайте тест.

дней в неделю могут повлиять на ваш коэффициент конверсии. Люди, посещающие вашу целевую страницу после клика в понедельник и вторник, могут вести себя иначе, чем те, кто посещает ее в субботу и воскресенье.

Дайте ему поработать не менее трех недель и проводите испытания недельными циклами.Если вы начали тест в понедельник и достигли статистической значимости через три недели в среду, продолжайте привлекать трафик на свои страницы до следующего понедельника.

И помните, чем дольше вы запускаете тест, тем надежнее будут ваши результаты.

Шаг 9: Анализ результатов

После того, как вы достигли статистической значимости, даете тесту работать не менее трех недель, и вы достигли того же дня недели, в который начали, можно с уверенностью назвать свой эксперимент.

Помните, однако, что чем дольше вы его запускаете, тем точнее будут результаты.

Что случилось? Ваш вариант свергнул ваш контроль? Было ли ваше первоначальное правление безраздельно? Вы устранили основные мешающие переменные, или ваши результаты могут быть связаны с чем-то другим, кроме того, что вы намеревались проверить?

Независимо от этих ответов, следующий шаг будет таким же.

Шаг 10: Продолжайте тестирование

То, что вы повысили коэффициент конверсии, не означает, что вы нашли лучших целевой страницы после клика.Чем больше тестов, тем больше выигрыш.

Если ваш вариант потерял контроль, произойдет то же самое. Вы не ошиблись, вы просто нашли дизайн, который не находит отклика у вашей аудитории. Выясните, почему, и используйте эти знания для дальнейших испытаний.

Помните: то, что ваш тест достиг статистической значимости, не означает, что он измерял то, что вы думали.В этот момент он надежен — это означает, что если вы снова протестируете эти две страницы друг против друга, скорее всего, вы получите тот же результат.

Это, конечно, если только одна из следующих угроз действительности не отравила ваши данные. Вот что вам нужно остерегаться.

Инструментальный эффект

Если вы станете жертвой инструментального эффекта, это означает, что где-то на линии инструменты, которые вы использовали для проведения теста, подвели вас — или вы провалили их.

Вот почему важно не пропускать шаг 6. Вы проверили и перепроверили, правильно ли настроен ваш эксперимент? Все ваши пиксели срабатывают? Ваши данные передаются в вашу CRM-систему?

После того, как вы убедились, что все настроено должным образом, внимательно следите за отзывами ваших инструментов на протяжении всего теста. Если вы видите что-то необычное, проверьте, не возникали ли аналогичные проблемы у других пользователей вашего программного обеспечения.

Регрессия к среднему

Сказать, что ваш тест «регрессировал к среднему», — это просто причудливый способ сказать, что «данные со временем выровнялись.”

Представьте, что вы разработали новый вариант, и ваши первые 8 посетителей целевой страницы после клика совершают конверсию по вашему предложению, а коэффициент конверсии страницы составляет поразительные 100%. Означает ли это, что вы стали первым, кто создал идеальную целевую страницу после клика?

Нет. Это означает, что вам нужно запускать тест дольше. Когда вы это сделаете, вы обнаружите, что через некоторое время ваш тест вернется к «среднему» или в «среднем» диапазоне.

Имейте в виду, что эта регрессия к среднему значению может произойти в любой момент.Вот почему так важно проводить тестирование как можно дольше. Специалист по цифровому маркетингу Чейз Дюмон обнаружил, что это произошло через шесть месяцев после начала тестирования:

Сначала исходная версия превзошла переменную. Я был удивлен этим, потому что подумал, что переменная лучше, точнее написана и спроектирована.

Он добавляет:

И, несмотря на такой большой ранний отрыв от конверсий к продажам (о чем свидетельствует большой синий всплеск наверху — исходная версия превосходит переменную), со временем переменная в конечном итоге догнала и превзошла показатели исходной страницы продаж.

Чем дольше будет проводиться тест, тем точнее он будет.

Эффект новизны

Это может сбивать с толку угрозу действительности. Давайте снова воспользуемся нашим примером цвета кнопки, чтобы продемонстрировать.

Представьте, что вы изменили цвет кнопки на зеленый после 5 лет использования синей кнопки на всех целевых страницах после нажатия.

Когда ваш вариант будет опубликован, есть вероятность, что посетители нажмут новую зеленую кнопку не потому, что она лучше, а потому, что она новенькая.Это новое. Они привыкли видеть синий, но не зеленый, поэтому он выделяется в их сознании, потому что он отличается от того, каким был раньше.

Избавьтесь от эффекта новизны, ориентируясь на посетителей, которые впервые не видят вашу синюю кнопку. Если они будут нажимать на нее чаще, чем на синюю кнопку, то вы поймете, что одна лучше другой. Они не привыкли видеть ни один цвет.

Эффект истории

Помните, что факторы, полностью не зависящие от вас, могут повлиять на валидность вашего A / B-теста.Жертвами эффекта истории становятся люди, которые не обращают внимания на реальные проблемы, которые могут отравить их данные. Эти вещи включают, но не ограничиваются:

• Праздники
• Отказ сервера
• Стихийные бедствия
• События

Если вы размещаете рекламу в Твиттере, а социальная сеть не работает, это повлияет на результат вашего теста. Если вы тестируете целевую страницу после клика, которая предлагает веб-семинар в праздничный день, она, вероятно, не будет генерировать такое же количество конверсий, как веб-семинар, запланированный на рабочий день.Помните об эффекте истории при тестировании собственной целевой страницы после клика.

Эффект выбора

Тестировщики, данные которых испорчены из-за эффекта отбора, случайно выбрали конкретную выборку, не репрезентативную для их целевой аудитории.

Например, если вы поставщик программного обеспечения B2B и размещаете рекламу на веб-сайте, который широко посещается маркетологами B2C, это исказит результаты вашего теста.

Убедитесь, что при создании теста вы ориентируетесь на аудиторию, которая представляет вашего целевого клиента.

Эти дорогостоящие ошибки нередко совершают даже обычные специалисты по A / B-тестированию. Имейте в виду, что перечисленное ниже может привести к потере вашего времени, ресурсов и данных.

Слепое следование лучшим практикам или их полное несоблюдение

Итак, вы увидели, что ваш конкурент повысил коэффициент конверсии с помощью оранжевой кнопки, и они заявили в тематическом исследовании, что оранжевый — лучший цвет кнопки.Что ж, их дело, как бы оно ни было похоже на ваше, не ваше.

«Лучшие практики», проверенные другими компаниями, не обязательно подходят для вашей компании . В то же время вы не пытаетесь изобретать велосипед. Профессиональные оптимизаторы уже провели для вас бесчисленное количество тестов, и по результатам этих тестов мы знаем такие вещи, как:

• Отзывы повышают доверие
• Заголовки, ориентированные на выгоду, работают
• Листовая копия упрощает чтение
• Навигационные ссылки убивают конверсию

Но такие вещи, как «лучший цвет кнопки» и «идеальный заголовок»? Все они субъективны.Они не обязательно применимы к вам.

Тестирование вещей, которые вряд ли принесут подъемник

Google однажды протестировал 41 оттенок синего, чтобы определить, какой из них с наибольшей вероятностью повлияет на коэффициент конверсии. Тебе следует?

Нет. Если вы похожи на большинство представителей малого и среднего бизнеса, подобные тесты будут пустой тратой ваших ресурсов.

Вам следует , а не подходить к A / B-тестированию с мышлением «протестируйте все». Вместо этого сосредоточьтесь на корректировке вещей, которые, скорее всего, принесут наибольший рост коэффициента конверсии.В большинстве случаев это не мелкие изменения в цветах или шрифте.

Конечно, вы прочтете в Интернете тематические исследования о том, как бизнес получил миллионы прибыли, изменив одно слово на своей целевой странице после клика или удалив единственное поле формы — но такие результаты невероятно редки (а они может даже не быть точным).

Если у вас нет времени и ресурсов, избегайте подобных тестов.

Прежде чем приступить к A / B-тестированию, убедитесь в эффективности, инвестировав в профессиональное программное обеспечение.С Instapage вы можете создавать целевые страницы после клика для A / B-тестирования за считанные минуты. Затем, с помощью самой передовой в отрасли панели инструментов аналитики и начав A / B-тестирование сегодня, вы сможете отслеживать показатели точнее, чем когда-либо прежде.

Выберите один из бесчисленных профессиональных шаблонов, щелкните, чтобы отредактировать любой элемент страницы, и полностью настройте его в соответствии с вашими требованиями к брендингу:

Одним щелчком мыши создайте вариант для тестирования. Затем управляйте каждым из них с помощью простого раскрывающегося меню с четырьмя опциями: Дублировать, Пауза, Перенос, Удалить:

1.Дублировать: копировать конкретный вариант при создании нового теста
2. Пауза: временно запрещать посетителям страницы видеть этот вариант (вся статистика сохраняется)
3. Перенос: переносит вариант на другую целевую страницу после клика
4. Удалить: полностью удалить вариант (вся статистика оптимизации будет удалена)

Начав тестирование, используйте самую передовую аналитическую панель в отрасли для отслеживания ключевых показателей эффективности, например:

Уникальные посетители: количество уникальных посетителей, которые просмотрели конкретный вариант целевой страницы после клика.
Уникальные конверсии: количество посетителей, которые заполнили форму или нажали кнопку CTA на варианте.
Коэффициент конверсии: процент посетителей, совершивших конверсию на определенном варианте страницы.
Улучшение: разница между коэффициентом конверсии, протестированным по сравнению с контрольной версией и вариантом A.

Просматривайте свои результаты на удобных для чтения графиках, которые сравнивают коэффициент конверсии с течением времени и количество уникальных посетителей, и даже настраивайте процентные и базовые показатели коэффициента отображения прямо с панели инструментов.

Создайте профессиональную целевую страницу после клика и приступайте к работе. Начните A / B-тестирование, как сегодня профессионалы.

Что такое A / B-тест ?. Это второй пост из нескольких частей… | от Netflix Technology Blog | Сентябрь 2021 г.

При проведении многих экспериментов, в том числе с иллюстрацией коробки «Перевернутый вверх дном», нам необходимо тщательно продумать, что нам говорят наши показатели. Предположим, мы смотрим на рейтинг кликов, измеряя долю участников в каждом опыте, которые нажимали на заголовок.Сама по себе эта метрика может быть неверной мерой того, является ли этот новый пользовательский интерфейс успешным, поскольку участники могут щелкнуть заголовок в продукте Upside Down только для того, чтобы его было легче читать. В этом случае мы также можем захотеть оценить, какая часть участников впоследствии уйдет от этого заголовка по сравнению с продолжением его воспроизведения.

Во всех случаях мы также смотрим на более общие показатели, которые стремятся отразить радость и удовлетворение, которые Netflix доставляет нашим участникам. Эти показатели включают в себя показатели взаимодействия участников с Netflix: помогают ли идеи, которые мы тестируем, нашим участникам выбрать Netflix в качестве места для развлечений в любой конкретный вечер?

Также задействовано много статистики — насколько большая разница считается существенной? Сколько членов нам нужно в тесте, чтобы обнаружить эффект заданной величины? Как мы наиболее эффективно анализируем данные? Мы рассмотрим некоторые из этих деталей в следующих статьях, уделяя особое внимание интуиции высокого уровня.

Сохраняя все остальное постоянным

Поскольку мы создаем наши контрольные («A») и лечебные («B») группы с использованием случайного распределения, мы можем гарантировать, что индивидуумы в двух группах в среднем сбалансированы по всем параметрам, которые могут быть значимым для теста. Случайное назначение гарантирует, например, что средняя продолжительность членства в Netflix не будет заметно различаться между контрольной и лечебной группами, равно как и предпочтения контента, выбор основного языка и т. Д.Единственное остающееся различие между группами — это новый опыт, который мы тестируем, чтобы наша оценка воздействия нового опыта никоим образом не была предвзятой.

Чтобы понять, насколько это важно, давайте рассмотрим другой способ принятия решений: мы могли бы развернуть новый интерфейс Upside Down box art (обсуждаемый выше) для всех участников Netflix и посмотреть, есть ли большие изменения в одной из наших метрик. . Если есть положительные изменения или нет свидетельств каких-либо значимых изменений, мы сохраним новый опыт; если будут признаки отрицательного изменения, мы вернемся к предыдущему опыту работы с продуктом.

Допустим, мы сделали это (опять же — это гипотетически!) И переключили переключатель в режим «вверх ногами» 16-го числа месяца. Как бы вы поступили, если бы мы собрали следующие данные?

Рисунок 3: Гипотетические данные о выпуске нового продукта Upside Down box art на 16-й день.

Данные выглядят хорошо: мы выпускаем новый продукт, и вовлеченность участников растет! Но если бы у вас были эти данные, а также знание того, что продукт B переворачивает все графические элементы пользовательского интерфейса с ног на голову, насколько вы были бы уверены, что новый продукт действительно полезен для наших участников?

Знаем ли мы, что новый продукт — это то, что вызвало увеличение вовлеченности? Какие еще объяснения возможны?

Что, если бы вы также знали, что Netflix выпустил хит, например, новый сезон «Очень странных дел» или «Бриджертон», или популярный фильм, такой как «Армия мертвых», в тот же день, когда (гипотетически) выкатили новый «вверх тормашками»? опыт работы с продуктом? Теперь у нас есть несколько возможных объяснений увеличения вовлеченности: это может быть новый продукт, популярное название в социальных сетях, может быть и то, и другое.Или это могло быть что-то совсем другое. Ключевым моментом является то, что мы не знаем, привел ли новый продукт к увеличению вовлеченности.

Что, если бы вместо этого мы провели A / B-тест с продуктом Upside Down Box Art, при этом одна группа участников получила текущий продукт («A»), а другая группа — продукт Upside Down («B»). в течение всего месяца и собрали следующие данные:

Рисунок 4: Гипотетические данные для A / B-теста нового продукта.

В этом случае мы пришли к другому выводу: продукт Upside Down обычно приводит к снижению вовлеченности (что неудивительно!), И обе группы видят увеличение вовлеченности одновременно с запуском большого названия.

A / B-тесты позволяют сделать причинно-следственные связи. Мы представили продукт Upside Down только для группы B, и поскольку мы случайным образом распределили участников в группы A и B, все остальное остается неизменным между двумя группами. Таким образом, мы можем с высокой вероятностью заключить (подробнее о деталях в следующий раз), что продукт Upside Down привел к снижению вовлеченности .

Этот гипотетический пример является экстремальным, но общий урок состоит в том, что всегда есть что-то, что мы не сможем контролировать. Если мы раскроем опыт для всех и просто измерим метрику до и после изменения, могут быть соответствующие различия между двумя периодами времени, которые не позволят нам сделать причинно-следственный вывод. Может быть, популярно новое название. Возможно, это партнерство с новым продуктом, которое откроет доступ к Netflix большему количеству пользователей. Всегда есть что-то, о чем мы не знаем.Проведение A / B-тестов, где это возможно, позволяет нам обосновать причинно-следственную связь и уверенно вносить изменения в продукт, зная, что наши участники проголосовали за них своими действиями.

Все начинается с идеи

A / B-тест начинается с идеи — некоторые изменения, которые мы можем внести в пользовательский интерфейс, системы персонализации, которые помогают участникам находить контент, процесс регистрации для новых участников или любую другую часть опыт Netflix, который, по нашему мнению, принесет положительный результат нашим участникам.Некоторые идеи, которые мы тестируем, представляют собой инкрементальные инновации, например способы улучшения текста, который появляется в продукте Netflix; некоторые из них более амбициозны, например, тест, который привел к появлению списков «Топ-10», которые Netflix теперь показывает в пользовательском интерфейсе.

Как и все инновации, предлагаемые участникам Netflix по всему миру, первая десятка начиналась как идея, которая была превращена в проверяемую гипотезу. Здесь основная идея заключалась в том, что появление названий, популярных в каждой стране, принесло бы нашим участникам двоякую пользу.Во-первых, рассказывая о том, что популярно, мы можем помочь участникам обмениваться опытом и общаться друг с другом посредством разговоров о популярных названиях. Во-вторых, мы можем помочь участникам выбрать какой-нибудь отличный контент для просмотра, удовлетворив внутреннее человеческое желание участвовать в общей беседе.

A / B-тестирование | Что такое A / B-тестирование (сплит-тестирование)?

Если посетители не совершают конверсию на вашем веб-сайте, то очевидно, что их останавливает проблема.

Вы можете попросить свою команду дизайнеров создать новые дизайны, но остается вопрос: как узнать, что новые дизайны привлекут больше посетителей по сравнению с исходным дизайном?

Вот здесь и пригодится AB-тестирование.

A / B-тестирование (иногда называемое сплит-тестированием) — это процесс тестирования нескольких новых дизайнов веб-страницы по сравнению с исходным дизайном этой страницы с целью определения того, какой дизайн вызывает больше конверсий.

Первоначальный дизайн страницы обычно называют элементом управления. Новый дизайн страницы обычно называют «вариациями», «претендентами» или «рецептами».

Процесс проверки того, какой дизайн страницы вызывает больше конверсий, обычно называют «тестом» или «экспериментом».»

« Конверсия »будет зависеть от вашего веб-сайта и тестируемой страницы. Для веб-сайта электронной коммерции конверсией может быть посетитель, разместивший заказ. Для веб-сайта SaaS конверсией может быть посетитель, подписавшийся на услугу. Для веб-сайта лидогенерации конверсией может быть посетитель, заполнивший контактную форму.

1 ^st Пример: Домашняя страница веб-сайта электронной коммерции принимает 100 000 посетителей в месяц.

Чтобы определить, есть ли способ увеличить конверсию, команда дизайнеров создает один новый дизайн для домашней страницы.

Программное обеспечение для тестирования AB затем используется для случайного разделения посетителей домашней страницы между контролем и новым претендентом. Итак, 50 000 посетителей направляются на контроль, а 50 000 посетителей направляются на претендент. Поскольку мы тестируем, какой дизайн генерирует больше заказов (конверсий), мы используем программное обеспечение для тестирования AB, чтобы отслеживать количество конверсий, генерируемых каждым дизайном. Затем программа A / B-тестирования определит победивший дизайн на основе количества конверсий.

2 ^nd Пример. Домашняя страница блога принимает 3000 посетителей в месяц.

Основная цель конверсии домашней страницы — заставить посетителя подписаться на список рассылки блога. Дизайнер создает новый дизайн для домашней страницы блога, который выделяет поле подписки.

Программное обеспечение для сплит-тестирования используется для отправки 1500 посетителей на исходный дизайн страницы (контроль), а программное обеспечение для тестирования отправляет 1500 посетителей на новый дизайн (претендент). Программное обеспечение для тестирования отслеживает количество подписчиков (конверсий), генерируемых каждым дизайном.

Опрос, проведенный E-consultancy в 2015 году, показал, что 58% респондентов проводят A / B-тестирование:

Но насколько успешно AB-тестирование помогает компаниям повысить коэффициент конверсии?

Опрос, проведенный Optimizely в 2017 году, показывает, что только 25% всех A / B-тестов дают положительные результаты.Visual Website Optimizer сообщает, что только 12% всех A / B-тестов дают положительные результаты. Наконец, данные Google показывают, что только 10% всех A / B-тестов дают положительные результаты.

Пример использования: что Netflix узнал в результате A / B-тестирования?

Справочная информация

46% опрошенных посетителей Netflix жаловались, что веб-сайт не позволяет им просматривать названия фильмов до регистрации в сервисе. Итак, Netflix решил провести A / B-тест своего процесса регистрации, чтобы увидеть, поможет ли переработанный процесс регистрации увеличить количество подписок.

Создание теста AB

Новый дизайн отображал названия фильмов для посетителей до регистрации. Команда Netflix хотела выяснить, вызовет ли новый дизайн с названиями фильмов больше регистраций по сравнению с исходным дизайном без названий. Это было проанализировано путем проведения A / B-теста между новым дизайном и оригинальным дизайном.

Гипотеза проверки была простой: разрешение посетителям просматривать доступные названия фильмов перед регистрацией увеличит количество новых регистраций.

В сплит-тесте команда представила пять различных претендентов на исходную конструкцию. Затем команда провела тест, чтобы увидеть влияние. Какие были результаты?

Результаты теста и анализа AB

Оригинальный дизайн неизменно превосходил всех претендентов.

Настоящий анализ происходит после того, как вы завершите A / B-тест. Почему оригинальный дизайн превзошел все новые дизайны, хотя 46% посетителей сказали, что просмотр названий Netflix убедит их подписаться на сервис?

Команда Netflix привела три причины, по которым оригинальный дизайн победил всех соперников:

1. Netflix — это все о впечатлениях: чем больше пользователей взаимодействуют с веб-сайтом, тем больше им нравится этот опыт.Итак, Netflix — это больше, чем просто просмотр.
2. Упростите выбор: исходный дизайн (элемент управления) предлагал пользователям один вариант: подписаться на услугу. Новый дизайн предлагал посетителям несколько вариантов (несколько фильмов). Это усложняло выбор, который пришлось сделать посетителям. Больше вариантов привело к меньшему количеству конверсий.
3. Пользователи не всегда знают, чего хотят: Команда Netflix утверждала, что результаты тестов указывают на то, что пользователи не всегда знают, чего хотят.

Хотя это могут быть обоснованные объяснения, особенно второй пункт, мы бы поспорили, что есть совсем другая причина.

Может случиться так, что посетители, наконец, увидят все варианты фильмов, которые предлагает Netflix, и не сочтут выбранный фильм убедительным, поэтому они решают уйти? Если это так, то проблема в новом дизайне или проблема в выборе фильмов, которые предлагает сайт?

Как программа A / B-тестирования определяет победивший дизайн?

По своей сути, программное обеспечение AB для тестирования отслеживает количество посетителей, приходящих на каждый дизайн в эксперименте, и количество конверсий, генерируемых каждым дизайном.Сложное программное обеспечение для A / B-тестирования отслеживает гораздо больше данных для каждого варианта. В качестве примера FigPii отслеживает:

• Конверсии
• Просмотры страниц
• Посетители
• Доход за посещение
• Показатель отказов
• Выход
• Доход
• Источник трафика
• Среда трафика

Программное обеспечение для сплит-тестирования использует различные статистические режимы для определения победителя в тесте. Двумя популярными методами определения победителя являются модели Frequentist и байесовский.

Программное обеспечение для сплит-тестирования отслеживает коэффициент конверсии для каждого дизайна. Однако для объявления победителя в сплит-тесте требуется нечто большее, чем просто небольшое увеличение коэффициента конверсии по сравнению с контролем.

Модель Frequentist использует два основных фактора для определения победившего дизайна:

• Коэффициент конверсии для каждого дизайна: это число определяется путем деления количества конверсий дизайна на количество уникальных посетителей этого дизайна.
• Уровень достоверности для каждого дизайна: статистический термин, указывающий на уверенность в том, что ваш тест даст одинаковый результат, если один и тот же эксперимент проводится с множеством отдельных наборов данных в разных экспериментах.

Думайте об уровне уверенности как о вероятности получения результата. Итак, если претендент увеличивает конверсию на 20% с достоверностью 95%, то вы предполагаете, что у вас есть отличная вероятность получить тот же результат при выборе этого претендента в качестве дизайна по умолчанию. Это также означает, что у вас есть 5% -ная вероятность того, что результаты вашего теста были получены случайно, и 5% -ная вероятность того, что вы нашли неправильного победителя.

Байесовская модель использует два основных фактора для определения выигрышного дизайна:

• Коэффициент конверсии для каждого дизайна: , как определено выше.
• Статистика за прошлые периоды: Показатель успешности ранее проведенных A / B-экспериментов на веб-странице.

Леонид Пекелис, первый штатный статистик Optimizely, объясняет это тем, что

Байесовская статистика использует более восходящий подход к анализу данных. Это означает, что прошлые знания о подобных экспериментах кодируются в статистическом устройстве, известном как априорные, и эти априорные данные объединяются с данными текущего эксперимента, чтобы сделать вывод о тесте.

Обычно мы полагаемся на несколько показателей при определении победившего дизайна для теста. Большинство наших клиентов электронной коммерции используют комбинацию коэффициента конверсии и дохода за посещение, чтобы определить окончательного победителя в эксперименте.

Выбор показателей будет зависеть от вашей конкретной ситуации. Однако очень важно выбрать показатели, которые повлияют на вашу прибыль. Оптимизация для более низких показателей отказов или выходов будет иметь небольшую прямую и измеримую долларовую ценность для большинства предприятий.

Команда Bing пыталась найти способ увеличить доход, который сайт получает от рекламы. Для этого они представили новый дизайн, подчеркивающий способ отображения поисковых объявлений. Команда проверила новый дизайн по сравнению со старым. По результатам сплит-теста доход от одного посещения вырос на 30%.

Это, однако, произошло из-за ошибки в их основном алгоритме результатов поиска в новом дизайне. Эта ошибка показывала посетителям плохие результаты поиска. В результате посетители были разочарованы и нажимали на рекламу.

Хотя новый дизайн приносил более высокий доход за посещение, это не было хорошей долгосрочной стратегией. Вместо этого команда решила придерживаться старого дизайна.

Присвоение взвешенного трафика различным вариантам

Большинство программ для тестирования AB автоматически распределяют посетителей поровну между различными вариантами.

Однако есть случаи, когда вам нужно присвоить разные веса разным вариациям.

Например, возьмем эксперимент с оригинальным дизайном и двумя претендентами.Команда тестирования может захотеть отнести 50% посетителей к исходному дизайну, а оставшиеся 50% разделить между первым и вторым вариантами.

Стоит ли проводить AB-тестирование 100% посетителей?

Некоторые эксперты по оптимизации конверсии подробно обсуждают этот вопрос.

Глядя на свою аналитику, вы обычно можете заметить, что разные сегменты посетителей по-разному взаимодействуют с вашим сайтом. Вернувшиеся посетители (те, кто посещал сайт ранее), как правило, более вовлечены в работу с сайтом, чем новые посетители.

При запуске нового теста AB вы заметите, что во многих случаях:

• Новые посетители лучше реагируют на участников вашего эксперимента.
• Вернувшиеся посетители, которые привыкли к вашему текущему дизайну, негативно реагируют на ваш новый дизайн.

Тот факт, что новые посетители конвертируются с более высокими темпами при использовании нового дизайна по сравнению с вернувшимися посетителями, объясняется теорией импульсного поведения.

Если ваш сайт привлекает большое количество посетителей, мы рекомендуем запускать новые тесты только для новых посетителей и наблюдать, как они на это реагируют.После этого вы можете запустить тест для вернувшихся посетителей и сравнить их реакцию на новые дизайны, представленные в эксперименте.

Сплит-тесты удержания

Обычно мы рекомендуем проводить сплит-тесты для крупных веб-сайтов, которые получают тысячи конверсий в месяц. В этих типах тестов вы запускаете тесты для небольшого процента посетителей вашего сайта. Например, вы начинаете с запуска теста для 10% посетителей. Если результаты обнадеживают, вы расширяете тест до 25%, 50% и 100% посетителей вашего сайта.

Использование сдерживающих A / B-тестов дает несколько преимуществ:

• Обнаружение любых ошибок тестирования: Когда вы запускаете AB-тест, в ваших проектах могут быть ошибки. Запустив тест на небольшом проценте посетителей, только этот крошечный сегмент посетителей увидит ошибки в новом дизайне. Это даст вам возможность исправить эти ошибки, прежде чем тестировать 100% посетителей.
• Уменьшите риск получения дохода: запуская тест на небольшом проценте посетителей, вы уменьшаете риск того, что один из ваших вариантов теста приведет к значительному падению доходов.

Если вы решили запустить сдерживающее A / B-тестирование, убедитесь, что вы запускаете новый тест каждый раз, когда вы меняете распределение трафика во время эксперимента, чтобы избежать каких-либо статистических проблем с результатами.

Сколько вариантов нужно включить в тест?

Чтобы определить, сколько вариантов должно быть включено в A / B-тест, требуется много математических расчетов. Ниже приведены общие рекомендации, которые вы можете применить, однако более подробная информация будет рассмотрена в следующем разделе:

Рассчитайте ежемесячное количество конверсий, генерируемых конкретной страницей, которую вы планируете протестировать:

• для консервативной стороны, разделите общее количество ежемесячных конверсий, генерируемых страницей, на 500 и вычтите одну
• для агрессивной стороны, разделите общее количество ежемесячных конверсий, генерируемых страницей, на 200 и вычтите одну

. Если у вас меньше 200 конверсий в месяц, ваш сайт не готов для A / B-тестирования.

No related posts.