Ab тестирование что это: что это, для чего нужны такие тесты и как их проводить

А/Б тест: что это такое

Содержание

• Зачем нужен А/Б-тест
• Что можно анализировать с помощью А/Б-теста
• Как провести А/Б-тестирование в Roistat
• Как оценивать результат А/Б-теста

А/Б- или сплит-тестирование — это вариант маркетингового исследования, цель которого сравнить две версии рекламного объявления, лендинга, элемента сайта, которые отличаются одним параметром. А/Б-тест определяет, какой вариант больше привлекает целевую аудиторию, приносит наибольшую конверсию.

Пример: маркетологу нужно прорекламировать новый шампунь. Он хочет протестировать, какое предложение приводит больше клиентов. Гипотеза: возможно, скидка не влияет на размер конверсии, а только уменьшает доходы компании.

Сервис А/Б-тестирования Roistat

Тестируйте влияние разных вариантов страниц на заявки и продажи. Сравнивайте эффективность вариантов не только по конверсиям, но и по прибыли.

Подробнее

На первом варианте лендинга компания добавляет баннер с предложением скидки 30%. Второй лендинг выглядит так же, как и первый, только на нём нет баннера с предложением скидки.

Маркетолог настраивает А/Б-тест: в случайном порядке половина пользователей видит лендинг со скидкой (вариант А), а другие — версию без скидки (вариант B). Через неделю маркетолог изучает показатели и видит, что второй вариант привёл больше клиентов.

Результаты тестирования в сервисе «А/Б тесты» Roistat — сервис учёл расходы на рекламу и посчитал пользу каждого варианта в рублях

Зачем нужен А/Б-тест

1. Чтобы быстрее проверять гипотезы. Если не устраивает конверсия в продажи, можно поменять весь сайт. Это долго, дорого и не гарантирует роста конверсии. А/Б тест поможет сэкономить и получить результат за пару недель — изменяйте элементы, которые вызывают сомнения, например, кнопки или основные тексты, настраивайте тестирование и отслеживайте изменение показателей.

2. Чтобы принимать решения на основе данных, а не интуиции. Бывает так, что опыт эксперта не совпадает со взглядами целевой аудитории. Используйте экспертизу для построения гипотез, тестируйте, чтобы убедиться в их эффективности.

3. Чтобы лучше узнавать свою аудиторию. Тестирование поможет определить, как работать с аудиторией, что ей больше всего нравится, что привлекает внимание и стимулирует продажи. Результаты тестов помогут в будущих проектах. Например, вы узнали, что у баннеров с отзывами клиентов высокая конверсия. В дальнейшем будете делать так все баннеры — их лучше воспринимает ваша аудитория.

Что можно анализировать с помощью А/Б-теста

Тестировать можно любой элемент коммуникации — в лендингах, в рассылках, на сайтах, в рекламных объявлениях:

1. Кнопки — СТА, внешний вид, расположение.
2. Заголовки и описания — в статье, на лендинге, в постах, в рассылках.
3. Формы обратной связи — дизайн, расположение, СТА.
4. Дизайн страницы — расположение элементов, цвета, стиль.
5. Картинки продуктов.

Как провести А/Б-тестирование в Roistat

Roistat — маркетинговая платформа, сервисы которой помогают компаниям повысить эффективность маркетинга. В Roistat есть сервис «А/Б-тесты»: с его помощью можно самостоятельно создавать и проводить А/Б-тесты посадочных страниц, рассчитывать прибыльность каждого варианта. Можно протестировать любой элемент сайта или лендинга и отследить не только конверсию в заявку, но и в покупку.

Как провести А/Б-тест в Roistat:

1. Определить, что нужно улучшить.

Проще формировать цель через показатели — какой вариант поможет увеличить конверсию сайта в заявку.

2. Разработать гипотезу — что тестировать и зачем. Предполагаем, какой элемент нужно заменить и почему, какие результаты ожидаем получить.

3. Настроить тест в Roistat. Открываем сервис, переходим в главное меню и выбираем пункт А/Б-тесты. Мы протестируем стили — визуальную часть сайта или лендинга. Кликаем «Создать тест стилей».

Появляется окно с настройками.

Указываем название теста и прописываем CSS-код — для исходного варианта и для версии 1

Нажимаем Посмотреть, чтобы проверить, как будут отображаться каждый из вариантов в тесте.

Если всё в порядке, кликаем «Создать тест».

4. Указать продолжительность теста. Новый тест появится на основном экране сервиса. Прописываем даты начала и окончания тестирования.

Когда всё будет готово, жмём Запустить тест

5. Определить выборку. Roistat автоматически показывает пользователям разные варианты сайтов и лендингов. Иногда для А/Б-тестов нужно определить выборку — это аудитория, которая увидит разные варианты теста. Минимальный размер выборки можно рассчитать с помощью калькулятора — Яндекса или Mindboх.

Подробнее о том, что такое А/Б-тестирование и как оно помогает бизнесу, рассказали в нашем блоге и в ролике на YouTube-канале:

Как оценивать результат А/Б-теста

Можно использовать такие метрики:

• количество регистраций и скачиваний;
• CTR;
• трафик;
• количество отказов;
• выручка.

Бесплатные калькуляторы оценивают тесты по основным показателям — по конверсии, CTR, Open Rate. Но эти данные не всегда полезны бизнесу, где важно знать, какой вариант из А/Б тестов принёс больше прибыли.

Оценить результаты тестирования по выручке и прибыли можно в инструменте «А/Б-тесты» от Roistat. Он покажет расширенные данные по тестам — какую прибыль принёс каждый вариант, сколько было посещений, какая конверсия в заявки и в продажи, какой средний чек. Также Roistat автоматически рассчитает показатели CBA и CBA+ — показатели вероятности, что в А/Б-тесте победит тот или иной вариант.

График в отчёте Roistat по тестам показывает, сколько визитов на сайт конвертировались в заявки

Подписывайтесь на наши каналы в Telegram. Делимся статьями из блога и полезными видео, рассказываем о последних обновлениях продукта Roistat.

Что такое A/B-тестирование (сплит-тестирование) | Unisender

А/В-тестирование сайта (сплит-тестирование) – это метод, который применяется для оценки эффективности веб-страниц. А/В-тесты позволяют повысить конверсию целевых страниц, а значит, и доходность интернет-проекта.

С помощью метода сравнивают несколько вариантов одной страницы, каждый из которых показывают одинаковому количеству посетителей.  Через некоторое время подводят итоги теста и оставляют тот вариант, который показал лучший результат (чаще всего выбирают страницу с более высокой конверсией).

Зачем нужно А/В-тестирование

Представьте, что вы запустили образовательный проект. Конверсия посадочной страницы составляет 3%, но вы желаете увеличить показатель до 6%. Тогда вы формулируете предположение, как этого можно добиться — гипотезу.

Например, у вас появилась идея, что короткую форму заявки заполнять проще, чем длинную, и стоило бы убрать несколько полей. Конечно, если у вас небольшой стартап, и вы только запустились, можно обойтись вовсе без теста. Однако с ростом трафика растет и цена ошибки. Что если число лидов не вырастет, но при этом вы будете терять важную информацию о своих потенциальных клиентах? Или при росте числа лидов не изменится итоговая конверсия в слушателя курса? Чтобы избежать подобных ошибок,  используют A/B-тестирование.

При формировании гипотез хорошей практикой является их оценка как с точки зрения результата (к примеру, вы уверены, что гипотеза №24 увеличит конверсию на 10%), так и с точки зрения затрат на разработку. Это позволит эффективно приоритизировать гипотезы.

Иван Белозеров

веб-аналитик в digital-агентстве i-Media

Таким образом, А/В-тестирование позволяет:

• выяснить влияние отдельных компонентов страницы на поведение пользователей;
• исключить субъективность в принятии решений и возможные факторы риска;
• сконцентрировать финансовые и трудовые ресурсы на уже работающих для вашей аудитории элементах;
• улучшить конверсию любого действия и экономических метрик (объем выручки, величину среднего чека и т.д.).

Как работает А/В-тестирование

Механизм метода А/В-естов прост – вы разделяете всех посетителей ресурса на группы и направляете на две разные страницы. Половине пользователей показываете контрольную страницу А, а другой – измененную страницу В. Такое разделение 50/50 не является единственно возможным. Вы можете делить трафик 70/30 или, наоборот, 20/80.

Чтобы получить статистически значимые результаты, необходимо исключить ситуацию, когда одному пользователю показываются оба варианта. То есть один пользователь должен принадлежать к одной аудитории. Обычно для этого используется специальный параметр, который пишется в cookie браузера.

При этом важно учитывать все каналы трафика (социальный, поисковый, рекламный, email) и делать замеры в одно время. Желательно также снизить влияние внутренних факторов – любых действий операторов call-центра, сервисной службы, модераторов ресурса, сотрудников редакции.

Какие элементы можно тестировать

Выбор компонента тестирования зависит от целей и задач.

Фактически каждый элемент веб-страницы, конвертирующий посетителя в клиента, может быть протестирован. В классическом варианте тестируют изменения одного компонента. Но существует мультивариантное А/В-тестирование нескольких измененных элементов.

Обычно тестируют следующие элементы:

• заголовки, подзаголовки;
• тексты, описания продуктов;
• количество контента на странице;
• изображения;
• внешний вид и текст СТА-кнопок;
• отзывы;
• регистрационные формы;
• дизайн и макет страницы;
• цены, акции, условия доставки и другие бизнес-компоненты.

Как провести сплит-тестирование

При проведении А/В-тестирования не стоит руководствоваться исключительно опытом и интуицией. Такой подход не принесет должного результата, а время и ресурсы будут потрачены впустую. Здесь применима определенная методология, которая включает следующие этапы:

1. Определяете цель А/В-тестирования и показатели, которые хотите улучшить.
2. Проанализируйте сайт при помощи инструментов Google Analytics и определите, как именно посетители взаимодействуют с ним, электронными письмами и т. д.
3. Сформулируйте гипотезы оптимизации. Например, вы предполагаете, что конверсию сайта можно повысить, если поднять форму подписки навпервый экран сайта или изменить цвет конверсионной кнопки.
4. Расставьте приоритеты.Определите наиболее значимые элементы, изменение которых приведет к максимальному результату.
5. Рассчитайте необходимый размер выборки с помощью статистических формул или воспользуйтесь специальными сервисами.
6. Проведите А/В-тестирование важных гипотез. Например, определите количество подписок при изменении месторасположения регистрационной формы и цвета кнопки призыва к действию.
7. С помощью статистических формул или сервисов проанализируйте результаты А/В-тестирования и сделайте выводы. Если конверсия повысилась значимо, то ваша гипотеза верна. Если существенного роста не наблюдается, вернитесь к пункту 3 и составьте новый список идей улучшения.
8. Поделитесь результатами сплит-тестирования со всеми участниками оптимизации проекта.

Что показали 6 A/B-тестов для интернет-магазина

Главное в этом процессе — не делать поспешных выводов. Когда вы получили первые данные А/В-тестирования, которые вас удовлетворяют, есть большой соблазн прекратить эксперимент. Спешить не следует, потому что значения основных показателей могут меняться на протяжении нескольких дней.

Для сравнения случайных параметров оценивают средние показатели, поэтому потребуется 7–14 дней для накопления данных. Следует отметить, что чем больше емкость сегмента, тем меньше разброс суточных показателей. Поэтому при небольшом трафике тестирование может занять больше времени.

Запускать А/В-тесты лучше через специальные сервисы, которые позволят правильно разметить аудиторию и собрать статистические данные.

Наиболее популярным инструментом для А/В-тестирования считается Google Optimize. Этот сервис легко настроить, он бесплатный и легко интегрируется с Google Analytics.. С его помощью можно протестировать разные элементы страницы и настроить полную автоматизацию эксперимента.

Главные мысли

Что такое A/B-тестирование? И почему это так важно?

Основные выводы:

• A/B-тестирование используется для измерения производительности различных версий опыта. Это помогает определить, какая версия даст наилучший результат.

• A/B-тестирование — один из лучших инструментов в вашем наборе инструментов для повышения коэффициента конверсии и дохода

• Типы тестов включают тестирование разделенных URL-адресов, многовариантное тестирование и многостраничное тестирование

• Существует множество инструментов, которые помогут командам проводить A/B-тесты на веб-сайтах, в приложениях, в рекламе и в электронных письмах. продуктовая аналитика

Что такое A/B-тестирование?

A/B-тестирование — это процесс тестирования двух версий цифрового элемента для определения того, какая из них работает лучше всего. Его также называют сплит-тестированием.

Он был разработан Рональдом Фишером, биологом и статистиком 20-го века, которому широко приписывают разработку принципов и методов, делающих этот метод надежным.

Применительно к маркетингу A/B-тестирование восходит к 1960-м и 1970-м годам, когда оно использовалось для сравнения различных подходов к кампаниям прямого отклика.

Теперь A/B-тестирование используется для оценки всех видов инициатив, от электронных писем и целевых страниц до веб-сайтов и приложений. Хотя цели A/B-тестирования изменились, лежащие в его основе принципы остались прежними.

Ниже мы обсудим, как работает A/B-тестирование, различные стратегии, лежащие в основе процесса экспериментирования, и почему оно имеет решающее значение для вашего успеха.

Как работает A/B-тестирование?

A/B-тестирование — это тип эксперимента. Он тестирует две разные версии веб-сайта, приложения или целевой страницы. Этот эксперимент показывает различия в ответах пользователей. Это помогает оценить реакцию пользователя.

Статистические данные собираются и анализируются, чтобы определить, какая версия работает лучше.

A/B-тестирование сравнивает две версии веб-страницы. Контрольная версия известна как вариант A. Вариант B содержит тестируемое изменение.

A/B-тестирование иногда называют случайным контролируемым тестированием (RCT), поскольку оно обеспечивает случайное распределение групп образцов. Это помогает добиться лучших результатов.

Почему вам следует подумать об A/B-тестировании?

При возникновении проблем в воронке конверсии можно использовать A/B-тестирование, чтобы определить причину. Некоторые из наиболее распространенных утечек воронки конверсии включают:

• Непонятные кнопки призыва к действию

• Плохо квалифицированные лиды

• Сложные макеты страниц

• Слишком большое трение приводит к отказу от формы на ценных страницах

• Ошибки или разочарование при оформлении заказа B-тестирование можно использовать для тестирования различных целевых страниц и других элементов. чтобы определить, где возникают проблемы.

  Решение проблем посетителей

  Когда посетители приходят на ваш сайт или нажимают на целевую страницу, у них есть цель, например:

  • Узнать больше о сделке или специальном предложении

  • Изучение продуктов или услуг

  • Совершение покупки

  • Чтение или просмотр контента на определенную тему

  Даже «просмотр» считается цель. Во время просмотра пользователи могут столкнуться с препятствиями, которые мешают им достичь своих целей.

  Например, посетитель может столкнуться с запутанным текстом, который не соответствует контекстной рекламе, на которую он нажал. Или может быть трудно найти кнопку CTA. Или, может быть, кнопка CTA вообще не работает.

  Каждый раз, когда пользователь сталкивается с проблемой, которая мешает ему достичь своих целей, он может разочароваться. Это разочарование ухудшает пользовательский опыт, снижая коэффициент конверсии.

  Есть несколько инструментов, которые можно использовать для понимания поведения посетителей. FullStory, например, использует тепловые карты, анализ воронки, воспроизведение сеанса и другие инструменты, чтобы помочь командам улучшить свои цифровые впечатления.

  Анализируя эти данные, вы можете определить источник проблем пользователей и приступить к их устранению.

  Используйте как количественные, так и качественные данные при анализе проблемы. Это поможет выявить проблему и понять причину. Независимо от того, какой инструмент вы выберете, обязательно совмещайте оба типа данных.

  Как Томас использовал FullStory и надежную программу A/B-тестирования для повышения конверсии 94%

  «FullStory помогает нам держать пользователей в центре внимания, но также дает нашим коллегам систематический способ предлагать основанные на фактах идеи для улучшение.»

  Прочитать историю успеха

  Повышение рентабельности инвестиций от существующего трафика

  Если вы уже получаете много входящего трафика, A/B-тестирование может помочь вам повысить рентабельность инвестиций от этого трафика.

  Благодаря улучшению воронок конверсии данные A/B-тестирования также могут помочь компаниям максимизировать рентабельность инвестиций в существующий трафик.

  A/B-тестирование помогает определить, какие изменения положительно влияют на UX и улучшают конверсию. Такой подход часто оказывается более рентабельным, чем инвестиции в получение нового трафика.

  Уменьшить показатель отказов

  Показатель отказов — это показатель, который подсчитывает, как часто кто-то заходит на ваш сайт, просматривает одну страницу, а затем уходит.

  Показатель отказов рассчитывается путем деления количества одностраничных сеансов на общее количество сеансов на вашем веб-сайте.

  Существуют и другие способы определения показателя отказов, но все они подразумевают одно и то же: невовлеченные пользователи.

  По сути, высокий показатель отказов указывает на то, что люди заходят на ваш сайт, сталкиваются с чем-то запутанным или разочаровывающим, а затем быстро уходят.

  Этот тип трения является прекрасным примером проведения A/B-тестирования. Вы можете определить конкретные страницы, на которые уходят посетители, и изменить то, что вы считаете проблематичным. Затем используйте A/B-тестирование для отслеживания производительности различных версий, пока не увидите улучшение производительности.

  Эти тесты могут помочь выявить болевые точки посетителей и улучшить UX в целом.

  Внесение изменений с низким уровнем риска

  Внесение серьезных изменений в ваш веб-сайт всегда сопряжено с риском.

  Вы можете вложить тысячи долларов в капитальный ремонт неэффективной кампании. Однако, если эти серьезные изменения не окупятся, вы не увидите отдачи от этих инвестиций. Теперь вы потеряли много времени и денег.

  Вместо этого A/B-тестирование для внесения небольших изменений вместо полного редизайна .

  Таким образом, если тест не пройден, вы рискуете гораздо меньшими затратами времени и денег.

  Достижение статистически значимых результатов

  Важно понимать, что A/B-тестирование работает хорошо, только если выборка статистически значима. Это не сработает, если тестировщики полагаются на предположения или догадки при настройке тестов или анализе результатов.

  Статистическая значимость используется для определения того, насколько осмысленным и надежным является A/B-тест. Чем выше статистическая значимость, тем надежнее результат.

  Статистическая значимость — это «утверждение, что набор наблюдаемых данных не является результатом случайности, а вместо этого может быть приписан определенной причине».

  Если тест не является статистически значимым, может иметь место аномалия, например ошибка выборки. И если результаты не являются статистически значимыми, их не следует считать значимыми.

  Идеальные результаты A/B-тестирования должны иметь 95% статистическую значимость. Хотя иногда менеджеры по тестированию используют 90%, поэтому требуемый размер выборки меньше. Это было статистически значимые результаты приходят быстрее.

  Могут возникнуть проблемы с достижением достаточного уровня статистической значимости:

  • Недостаточно времени для проведения тестов

  • Страницы с исключительно низким трафиком

  • Изменения слишком незначительны для получения результатов

  Можно быстрее достичь статистической значимости, запустив тесты на страницах, которые получают больше трафика, или внеся большие изменения в тесты. Во многих случаях отсутствие трафика делает практически невозможным получение достаточно значимых результатов.

  Понимание размера выборки и статистической значимости также поможет вам спланировать, сколько времени займет ваше тестирование.

  Редизайн веб-сайтов для увеличения прибыли в будущем

  Если вы делаете провести полный редизайн веб-сайта, A/B-тестирование все еще может быть полезным.

  Как и при любом другом A/B-тестировании, вы сделаете доступными две версии сайта. Затем вы измерите результаты после того, как получите статистически значимое количество посетителей.

  A/B-тестирование не должно заканчиваться после запуска. Вместо этого пришло время приступить к доработке элементов вашего сайта и их тестированию.

  Важные идеи, которые необходимо знать при тестировании

  При тестировании следует учитывать определенные стратегии: многостраничное тестирование, разделенный URL-адрес, динамическое размещение и многовариантное тестирование.

  Тестирование раздельного URL-адреса

  Тестирование разделенного URL-адреса используется для внесения значительных изменений в веб-страницу в ситуациях, когда вы не хотите вносить изменения в существующий URL-адрес.

  В тесте с разделенным URL-адресом ваш инструмент тестирования будет отправлять некоторых посетителей на один URL-адрес (вариант A), а других — на другой URL-адрес (вариант B). По своей сути это временная переадресация.

  Когда следует подумать о тестировании разделенных URL-адресов?

  В общем, используйте это, если вы вносите изменения, которые не влияют на пользовательский интерфейс. Например, если вы оптимизируете время загрузки страницы или вносите другие скрытые изменения.

  Крупные изменения на странице, особенно в верхней части страницы, также могут иногда «мерцать» при загрузке, создавая резкий UX. Разделенные URL-адреса — простой способ избежать этого.

  Тестирование с разделением URL-адресов также является предпочтительным способом проверки изменений рабочего процесса. Если на ваших веб-страницах отображается динамическое содержимое сайта, вы можете протестировать изменения с помощью тестирования разделенного URL-адреса.

  Многовариантное тестирование

  Многовариантное тестирование представляет собой более сложную форму тестирования и совершенно другой тип тестирования, чем A/B.

  Это относится к тестам, которые включают изменения в несколько вариантов элементов страницы, которые реализуются и тестируются одновременно. Этот подход позволяет тестировщикам собирать данные о том, какая комбинация изменений работает лучше всего.

  Многовариантное тестирование устраняет необходимость запуска нескольких A/B-тестов на одной и той же веб-странице, когда цели каждого изменения схожи друг с другом. Многовариантное тестирование также может сэкономить время и ресурсы, предоставляя полезные выводы за более короткий период времени.

  Например, вместо простого A/B-тестирования страницы вы хотите запустить совершенно новый многостраничный интерфейс. Вы хотите, чтобы шаг 1 был вариантом A или B, а шаг 2 — либо C, либо D. C

• A, затем D

• B, затем C

• B, затем D

/B проверяет сразу.

Поскольку многовариантные тесты содержат больше вариантов, чем A/B-тесты, для достижения статистической значимости многовариантному анализу требуется больше трафика. Это означает, что для достижения надежных результатов, вероятно, потребуется больше времени.

Многостраничное тестирование

Многостраничное тестирование включает в себя изменения определенных элементов. Вместо того, чтобы тестировать изменения, внесенные на одной странице, вы применяете это изменение к нескольким страницам, например к каждой странице в рамках определенного рабочего процесса.

В этом случае вы будете использовать воронку продаж для оценки результатов. Затем вы проверяете новые страницы на контрольные. Этот подход известен как «многостраничное тестирование воронки».

Второй — добавлять или удалять повторяющиеся элементы, такие как отзывы клиентов или индикаторы доверия. Затем проверьте, как эти изменения влияют на конверсию. Этот подход известен как «обычное» или «классическое многостраничное тестирование».

Динамическое размещение

Динамическое размещение — это метод быстрого устранения малоэффективных тестовых вариантов. Этот метод помогает упростить процесс тестирования и сэкономить время. Он также известен как тест на многорукого бандита.

Допустим, вы интернет-магазин и проводите срочную распродажу. Вы знаете, что хотите, чтобы как можно больше людей просматривало ваши товары со скидкой, когда они появлялись на вашем сайте. Для этого вы хотите показать им цвет CTA, который заставит как можно больше людей щелкнуть по нему — синий, розовый или белый.

Используя тест динамического размещения, ваш инструмент тестирования автоматически определит, какой вариант вызывает наибольшее количество кликов, и автоматически покажет этот вариант большему количеству пользователей. Таким образом, вы делаете как можно больше кликов как можно быстрее.

Поскольку трафик распределяется неравномерно, динамическое распределение не дает статистической значимости и не дает никаких знаний, которые можно использовать в будущем.

Динамическое распределение предназначено для быстрой конвертации лифтов, а не для обучения.

Как выбрать тип теста для запуска?

Существует несколько факторов, которые необходимо учитывать при выборе тестов для оптимизации коэффициента конверсии (CRO). Вы должны подумать о:

• Количество изменений, которые вы будете вносить

• Сколько задействованных страниц

• Объем трафика, необходимый для получения статистически значимого результата

Наконец, рассмотрим степень проблемы, которую вы пытаетесь решить. Например, конверсия на целевой странице, которая может выиграть от изменения цвета кнопки, будет идеальным вариантом использования для A/B-тестирования.

Однако изменение нескольких страниц, с которыми пользователь сталкивается на пути клиента, лучше подходит для многостраничного тестирования.

Как вы проводите A/B-тестирование?

A/B-тестирование — это метод тестирования изменений для определения того, какие изменения имеют желаемое влияние, а какие нет.

Если раньше организации лишь изредка прибегали к A/B-тестированию, то сейчас многие команды на 51 % популярных сайтов проводят A/B-тестирование, чтобы улучшить качество обслуживания клиентов и повысить конверсию.

Шаг 1: Исследование

Прежде чем проводить какие-либо тесты или вносить изменения, важно установить базовый уровень производительности. Соберите как количественные, так и качественные данные, чтобы узнать, как работает рассматриваемый веб-сайт в его текущем состоянии.

Следующие элементы представляют количественные данные:

Большая часть этой информации может быть собрана с помощью инструментов DXI, таких как FullStory.

Качественные данные включают информацию, собранную о пользовательском опыте посредством опросов и опросов. Особенно при использовании в сочетании с более количественными данными это ценно для лучшего понимания производительности сайта.

Шаг 2: Наблюдение и формулирование гипотезы

На этом этапе вы анализируете имеющиеся у вас данные и записываете свои наблюдения. Этот подход — лучший способ разработать гипотезу, которая в конечном итоге приведет к большему количеству конверсий. По сути, A/B-тестирование — это проверка гипотез.

Шаг 3. Создание вариантов

Вариант — это просто новая версия текущей страницы, содержащая любые изменения, которые вы хотите подвергнуть тестированию. Это изменение может заключаться в изменении текста, заголовка, кнопки призыва к действию и т. д.

Шаг 4: Запустите тест

Здесь вы выберете метод тестирования в соответствии с тем, чего вы пытаетесь достичь, а также с практическими факторами, такими как ожидаемый трафик. Продолжительность теста также будет зависеть от желаемого уровня статистической точности. Помните, что более высокая статистическая значимость более надежна, но требует больше трафика и времени.

Шаг 5: Анализ результатов и развертывание изменений

На этом этапе вы можете просмотреть результаты тестов и сделать некоторые выводы. Вы можете определить, что тест действительно был убедительным и что одна версия превзошла другую. В этом случае вы просто развертываете желаемое изменение.

Но так бывает не всегда. Возможно, вам потребуется добавить и протестировать дополнительное изменение, чтобы получить дополнительную информацию. Кроме того, вы можете перейти к тестированию изменений в другой части рабочего процесса. С помощью A/B-тестирования вы можете проработать все страницы пути клиента, чтобы улучшить UX и повысить конверсию.

Есть несколько рекомендаций, которые можно использовать при A/B-тестировании, но помните, что все сайты, приложения и интерфейсы разные. Истинные «лучшие практики» для вас могут быть по-настоящему поняты только посредством тестирования.

A/B-тестирование на стороне сервера и на стороне клиента

При тестировании на стороне клиента посетитель веб-сайта запрашивает определенную страницу. Эта страница доставляется веб-сервером. Однако javascript выполняется в сеансе браузера посетителя и корректирует то, что представлено.

Эта корректировка основана на том, какой вариант они видят в соответствии с таргетингом, который вы установили в тесте A/B. Эта форма тестирования используется для видимых изменений, таких как шрифты, форматы, цветовые схемы и текст.

Тестирование на стороне сервера немного более надежно. Он позволяет тестировать дополнительные элементы. Например, вы можете использовать эту форму тестирования, чтобы определить, увеличивает ли скорость загрузки страницы вовлеченность. Вы также можете использовать тестирование на стороне сервера для измерения реакции на изменения рабочего процесса.

Как вы интерпретируете результаты A/B-тестирования?

Результаты A/B-тестирования оцениваются на основе достигнутой скорости конверсии. Определение преобразования может варьироваться. Это может быть клик, просмотр видео, покупка или загрузка.

На этом шаге также вступает в игру 95% статистическая значимость. После нескольких тестовых прогонов 95% будут указывать на истинный коэффициент конверсии. Тем не менее, вы также должны учитывать погрешность.

Таким образом, если эта разница составляет ±3 %, это можно интерпретировать следующим образом: если вы достигаете коэффициента конверсии 15 % в своем тесте, вы можете сказать, что конверсии составляют от 12 % до 18 % с достоверностью 95 %.

Частотный подход

Существует два способа интерпретации результатов A/B-тестирования.

Первый — частотный подход. Этот подход основан на предположении, что между A и B нет различий. 

После завершения тестирования у вас будет p-значение или значение вероятности. Это значение представляет собой вероятность того, что разницы нет. Таким образом, низкое значение p означает, что существует высокая вероятность различий.

Частотный метод является быстрым и популярным, и для его использования доступно множество ресурсов. Недостатком является то, что невозможно получить какие-либо значимые результаты, пока тесты не будут полностью завершены. Кроме того, этот подход не говорит вам, насколько выиграл вариант — он просто это сделал.

Байесовский подход

Байесовский подход предполагает использование существующих данных в эксперименте. Они известны как априорные, причем первый априорный результат равен «нет» в первом раунде тестов. В дополнение к этому, есть также свидетельства, которые являются данными из текущего опыта.

Наконец, задняя часть. Эта цифра представляет собой информацию, полученную в результате байесовского анализа априорных данных и свидетельств.

Основное преимущество байесовского подхода заключается в том, что вы можете просматривать данные во время цикла тестирования. Затем вы можете объявить результаты, если ясно, что есть явный победитель. Кроме того, вы можете определить выигрышный вариант.

Как компании используют A/B-тестирование?

A/B-тестирование может использоваться брендами для самых разных целей. Пока существует какое-то измеримое поведение пользователя, его можно протестировать.

Метод тестирования A/B часто используется для тестирования изменений в дизайне веб-сайта, целевых страницах, заголовках контента, электронных письмах маркетинговых кампаний, платной рекламе и онлайн-предложениях. Как правило, это тестирование проводится так, что испытуемые не знают, что они посещают тестовую версию A веб-страницы, а не версию B.

Этап 1: Измерение

На этапе планирования идея состоит в том, чтобы определить способы увеличения доходов за счет увеличения числа конверсий. Первый этап включает в себя анализ данных веб-сайта и показателей поведения посетителей.

После сбора этой информации вы можете использовать ее для планирования изменений и создания списка страниц веб-сайта или других элементов, которые необходимо изменить. После того, как это будет сделано, вы можете создать гипотезу для каждого элемента, который необходимо изменить.

Этап 2: Приоритет

Установите приоритеты для каждой гипотезы в зависимости от уровня компетентности, важности и простоты реализации.

Существуют платформы, помогающие установить эти приоритеты, например модели ICE, PIE или LIFT.

Модель ДВС

ДВС — это важность/уверенность/легкость.

• Важность — насколько важна рассматриваемая страница

• Достоверность — уровень уверенности в успешности теста

• Простота — насколько легко разработать тест

Каждому элементу присваивается балл, и для оценки его приоритета берется среднее значение.

Модель PIE

PIE — это потенциал/воздействие/легкость.

• Потенциал — бизнес-потенциал рассматриваемой страницы

• Влияние — влияние выигрышного теста

• Простота — насколько легко можно выполнить тест

9 0002 Переменные здесь немного отличаются от ICE, но оцениваются одинаково.

PIE и ICE просты в использовании, но недостатком является то, что они субъективны. Люди будут применять свои собственные предубеждения и предположения при оценке этих переменных.

Модель LIFT

Модель LIFT — это третья платформа для анализа клиентского опыта и разработки гипотез. Эта структура основана на шести факторах:

• Ценностное предложение — ценность конверсий

• Ясность — насколько ясно сформулированы ценностное предложение и призыв к действию

• Релевантность — Релевантность страницы для посетителя

• Отвлечение — Элементы, отвлекающие посетителей от CTA

• Срочность — Элементы на странице, побуждающие посетителей действовать быстро

  9001 0

• Беспокойство — Все, что создает нерешительность или отсутствие доверия

Этап 3: Проверка

После определения приоритетов определите, какие идеи будут проверены и реализованы в первую очередь, просмотрев накопившиеся идеи. Вы должны принять решение в соответствии со срочностью бизнеса, ресурсами и ценностью.

После выбора идеи следующим шагом будет создание ее варианта. Затем пройдите этапы его тестирования.

Этап 4: Повторить

Одновременно тестировать слишком много изменений рискованно. Вместо этого тестируйте чаще, чтобы повысить точность и масштабировать свои усилия.

Наиболее популярные инструменты A/B-тестирования

Существует несколько инструментов, которые помогают предприятиям настраивать, выполнять и отслеживать A/B-тесты. Все они различаются как по цене, так и по возможностям.

Лучшие инструменты A/B-тестирования веб-сайтов и приложений

Optimizely

Optimizely — это платформа для оптимизации конверсии с помощью A/B-тестирования. Команды могут использовать этот инструмент для настройки тестов изменений веб-сайта, которые будут испытаны реальными пользователями. Эти пользователи перенаправляются на разные варианты; затем собираются данные об их поведении. Optimizely также можно использовать для многостраничного и других форм тестирования.

AB Tasty

AB Tasty предлагает A/B и многовариантное тестирование. Тестировщики могут настроить тестирование на стороне клиента, на стороне сервера или полное тестирование. Кроме того, существуют такие инструменты, как байесовский статистический движок, для отслеживания результатов.

Как Optimizely, так и AB Tasty легко интегрируются с FullStory, чтобы вы могли видеть, как ведут себя пользователи, видящие различный опыт.

VWO

VWO — третий крупный игрок в области A/B-тестирования и программного обеспечения для экспериментов. Как и Optimizely и AB Tasty, они предлагают эксперименты в Интернете, мобильных приложениях, на стороне сервера и на стороне клиента, а также персонализированный опыт.

Инструменты A/B-тестирования электронной почты

Существует несколько специализированных инструментов для тестирования изменений, внесенных в электронные письма маркетинговых кампаний. Вот наиболее широко используемые:

Moosend

Moosend — это инструмент для создания и управления кампаниями по электронной почте. Он предлагает возможность создать кампанию с разделенным тестом A / B. Эта возможность позволяет маркетологам тестировать различные варианты маркетинговых электронных писем, измерять реакцию пользователей и выбирать версию, которая работает лучше всего.

Aweber

Aweber обеспечивает раздельное тестирование до трех электронных писем. Пользователи могут тестировать такие элементы, как строка темы, текст предварительного просмотра и содержимое сообщения. Кроме того, он допускает другие условия тестирования, такие как время отправки. Тестовые аудитории при желании можно сегментировать, а совершенно разные письма сравнивать друг с другом.

MailChimp

Пользователи MailChimp могут проводить A/B-тестирование темы письма, имени отправителя, содержания и времени отправки. Может быть несколько вариантов каждой переменной.

Затем программа позволяет пользователям определить, как получатели будут разделены между каждым вариантом. Наконец, тестировщики могут выбрать действие-конверсию и количество времени, указывающее, какой вариант выиграет тест. Например, открытая ставка за период в восемь часов.

Постоянный контакт

Постоянный контакт предлагает A/B-тестирование темы сообщения. Эта функция помогает пользователям проверить, какая версия строки темы электронной почты наиболее эффективна. Это автоматизированный процесс, при котором инструмент автоматически отправляет получателям электронные письма с выигравшей строкой темы после определения победителя.

Службы и агентства A/B-тестирования и CRO

Некоторые компании располагают инфраструктурой и персоналом для проведения собственных экспериментальных программ, а другие могут отсутствовать. К счастью, существуют службы и агентства, которые помогут вам в проведении A/B-тестирования и CRO.

Conversion

Компания Conversion, базирующаяся в Великобритании, является одним из крупнейших в мире CRO-агентств и работает с такими брендами, как Microsoft, Facebook и Google.

Lean Convert

Компания Lean Convert, также базирующаяся в Великобритании, является одним из ведущих агентств по экспериментированию и CRO.

Prismfly

Prismfly — это агентство, которое специализируется на CRO электронной коммерции, дизайне UX/UI и разработке Shopify Plus.

Что такое A/B-тестирование и как его использовать?

Вы, возможно, сталкивались с собраниями, на которых обсуждалось множество идей о том, как улучшить существующий продукт или услугу. На этих встречах разные мнения могут быстро превратиться в затяжную битву защит. К счастью, появление A/B-тестирования, которое когда-то считалось эксклюзивным для технологических компаний, стало жизнеспособным и экономически эффективным способом выявления и тестирования идей, создающих ценность, для всех типов бизнеса.

Связанный: Преимущества принятия решений на основе данных

Что такое A/B-тестирование?

С точки зрения статистики, A/B-тестирование — это метод проверки гипотез с двумя выборками. Это означает сравнение результатов двух разных вариантов (A и B) путем проведения контролируемого мини-эксперимента. Этот метод также иногда называют сплит-тестированием .

Для чего используется A/B-тестирование?

A/B-тестирование часто обсуждается в контексте взаимодействия с пользователем (UX), оптимизации коэффициента конверсии (CRO) и других приложений, ориентированных на маркетинг и технологии; однако он может быть полезен и в других ситуациях.

Хотя концепция A/B-тестирования была вдохновлена ​​гигантами Силиконовой долины, смысл A/B-тестирования не нов. Практика заимствует традиционные рандомизированные контрольные испытания для создания небольших, более масштабных экспериментов.

По этой причине профессионалы также проводят A/B-тестирование, чтобы получить ценную информацию и принять важные бизнес-решения, например, определить, какие функции продукта наиболее важны для потребителей.

A/B-тестирование — популярный метод экспериментов в области цифрового маркетинга и веб-дизайна. Например, маркетолог, стремящийся увеличить продажи в электронной коммерции, может провести эксперимент, чтобы определить, влияет ли расположение кнопки «Купить сейчас» на странице продукта на количество продаж конкретного продукта.

В этом сценарии версия A страницы продукта может иметь кнопку в правом верхнем углу страницы, а версия B размещает кнопку в правом нижнем углу. Если все остальные переменные остаются постоянными, случайно выбранные пользователи взаимодействуют со страницей. После этого маркетолог может проанализировать результаты, чтобы определить, какое расположение кнопки привело к наибольшему проценту продаж.

Пример A/B-тестирования

В качестве простого примера предположим, что вы художник-абстракционист. Вы уверены в своей технике, но не знаете, как внешний мир — и, что более важно, искусствоведы — отреагируют на ваши новые картины. Оценка качества искусства — это известный сложный процесс.

Чтобы использовать A/B-тестирование для этого сценария, начните с создания двух разных картин, которые похожи друг на друга. Пока вы рисуете обе части, измените одну мелочь — например, добавьте красный квадрат к одной картине, а не к другой. Опять же, это означает, что все в картинах одинаково, за исключением одной модификации. После внесения изменений выставьте две картины в случайно выбранных художественных галереях по всей стране и подождите, пока ваш арт-агент или другое непредвзятое третье лицо соберет отзывы и сообщит о них.

После того, как каждая картина была размещена в достаточном количестве художественных галерей, отзывы могут отражать, что картина с красным квадратом получила значительно больше похвал, а может быть, и нет. Гипотетический результат не имеет значения. Скорее, важно то, что вы можете быть достаточно уверены в том, что ваше изменение улучшит или не улучшит картину, и в результате вы сможете продолжать создавать более качественное искусство.

«Самые разыскиваемые в Америке» Комара и Меламида использовали другую технику (опросы) для создания картины, отвечающей художественным предпочтениям американской публики. Источник: Фонд «Диа Арт».

Аспект рандомизации в этом дизайне особо подчеркивается, потому что рандомизация является золотым стандартом для устранения предубеждений. Искусство является субъективной областью и развивается с течением времени. Как и предпочтения и мнения покупателей, клиентов или коллег. A/B-тестирование — это не статичный процесс, и тесты можно повторять или дополнять, если компании считают, что результаты больше недействительны или неприменимы.

И последнее замечание: крайне важно, чтобы дизайн A/B-тестирования был строгим, чтобы гарантировать достоверность результатов. Кроме того, могут быть некоторые решения, в которых внутреннее мнение является более эффективным с точки зрения затрат или своевременным.

Принятие бизнес-решений на основе данных

Такие компании, как Google, Amazon и Facebook, используют A/B-тестирование для создания более интуитивно понятных веб-макетов или рекламных кампаний, и фирмы во всех отраслях могут извлечь выгоду из экспериментов.