Что такое a b тестирование: A/B тест — это просто / Хабр

A/B тест — это просто / Хабр

A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.

Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.

Зачем нужны А/B тесты?

Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.

Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.

Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.

Как проводим тесты?

Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.

Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т. е. в один и тот же период времени.

Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.

Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.

Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.

Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.

Что улучшаем?

Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.

Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.

Конверсия

Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.

Экономические метрики

Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.

Поведенческие факторы

К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.

Анализ результатов

Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.

Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.

Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?

Ниже на картинках приведены примеры распределения значений показателя в сегментах.

Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.

На обеих картинках средние значения

показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.

Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.

Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.

Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать

ошибочные выводы об эффекте, полученном в результате изменения.

Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.

Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.

Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за б

ольшего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.

Оценить значимость результатов

Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя.

В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.

В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.

Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.

В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.

Инструменты

Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.

Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.

Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.

А дальше?

В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов. Следующий шаг — это продуктовая аналитика. В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.

Что такое A/B-тестирование и как провести его правильно. Урок 1 — Коптельня на vc.ru

Перед вами — гайд по A/B-тестированию, который расскажет, в чем разница между A/B-тестированием и мультивариативным тестированием, как проводить тесты структурировано и последовательно, и как понять, какой эксперимент стоит выбрать, чтобы выжать максимум.

4892 просмотров

Автор английской версии: Янив Навот, CMO, Dynamic Yield

Вы читаете перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.

Коптельня — команда по быстрой разработке веб-приложений и сайтов.

Иллюстрация Jack Daly: https://dribbble.com/shots/3474087-Curated-Living 

А/В-тестирование — это метод сравнения двух версий страницы или приложения, который помогает понять, какая из них работает лучше в контексте какой-то конкретной задачи. А/В-тест — один из самых популярных методов повышения производительности цифровых продуктов: сайтов, мобильных приложений, SaaS-продуктов, рассылок и других т. д.

При помощи контролируемых экспериментов маркетологи, продакт-менеджеры и разработчики могут быстро проверять свои творческие идеи на жизнеспособность и, отталкиваясь от объективных данных, быстро и гибко внедрять самые удачные из них в продукт. Короче говоря, вам больше не надо рассуждать, почему тот или иной вариант страницы (или шага в пользовательском сценарии) более удачный — эксперимент все скажет сам за себя. Этот метод идеально подходит, когда нужно поднять конверсию, увеличить выручку, нарастить базу подписчиков или привлечь побольше клиентов и лидов.

Содержание:

Глобальные компании, такие как Google, Amazon, Fb и Netflix выстроили процессы в бизнесе так, чтобы проводить тысячи экспериментов в год и оперативно внедрять их результаты в работу.

Успех Amazon зависит от того, сколько экспериментов мы сможем провести в год, в месяц, в неделю, в день

Джефф Безос

В технологическом блоге Netflix в апреле 2016 года прозвучала такая фраза: «Благодаря эмпирическому подходу к работе, мы точно знаем, что изменения в продукте продиктованы не вкусами и мнениями самых авторитетных сотрудников компании, а объективными данными. То есть наши зрители сами подсказывают нам, что им нравится».

И Марк Цукерберг в одном из интервью признался, что успех Fb кроется в их уникальной системе тестирования, чем предприниматель очень гордится: «В любую секунду в мире работает не одна версия Fb, а порядка 10,000».

Что такое A/B тест и в чем его ценность для развития цирфорового продукта?

В классическом A/B тесте, мы, первым делом, определяем, что будем тестировать и какова наша задача. Далее мы создаем одну или несколько вариаций исходного веб-элемента (еще его называют контрольной группой или точкой отсчета) . Далее, мы делим трафик пополам (в случайном порядке: то есть распределяем пользователей согласно некой вероятности) , и, наконец, собираем данные (метрики) о том, как работает каждая версия страницы. Спустя какое-то время, мы анализируем данные и оставляем ту версию, которая отработала лучше, а менее удачную — выключаем.

Очень важно проводить тесты грамотно: иначе вы не только не получите осмысленные и полезные результаты, но и можете выбрать ошибочный путь. В целом, контролируемые эксперименты могут помочь в решении следующих задач и дают следующую ценность:

1. Разобраться с недочетами UX и популярными барьерами для клиентов (pain points)
2. Повысить эффективность существующего трафика (поднять конверсию (conversions) и выручку (revenue) , оптимизировать затраты на привлечение клиентов (customer acquisition costs))
   
3. Поднять вовлеченность (снизить показатель отказов (bounce rate), повысить показатель кликабельности (click-through rate) и т. д.)
   

Нужно помнить, что когда мы отдаем предпочтение тому или иному рианту, мы по сути масштабируем результаты, полученные к этому моменту, на всю аудиторию потенциальных пользователей. Это настоящий прыжок веры, и каждое такое действие должно быть обосновано. Внедряя решения без веских оснований, мы обязательно сделаем хоть один неверный шаг — что негативно скажется на продукте в долгосрочной перспективе. Процесс сбора таких обоснований мы называем тестированием гипотез, а искомые обоснования —статистической значимостью.

Вот несколько примеров A/B тестов:

• Тестирование разных типов сортировки в меню навигации сайта (как в этом примере крупного немецкого продавца электроники)
• Тестирование и оптимизация лендингов (как в этом примере ведущей европейской компании по защите авиапассажиров)
  
• Тестирование маркетинговых сообщений: например, рассылок или баннеров (как в этом примере международного розничного продавца натуральной косметики)
  

Как рождается A/B тест: Изучаем ситуацию и формулируем гипотезу

В основе любого A/B теста лежит проблема (ситуация) , которую нам надо решить (разрешить) или некое поведение пользователя, которое нам нужно изменить или, наоборот, закрепить. Выявив проблему или задачу, маркетолог формулирует гипотезу — обоснованное предположение, которое либо подтверждается, либо опровергается в результате эксперимента.

Пример продуктовой гипотезы: Если мы добавим значок с социальным доказательством на страницу с описанием продукта, посетители узнают о популярности нашего продукта, и количество добавлений в корзину вырастет на 10%.

Разбор гипотезы: В этом случае, когда мы выявили проблему (низкий показатель добавлений в корзину, к примеру) и сформулировали гипотезу (решение: отображение значка с социальным доказательством стимулирует пользователей добавлять товар в корзину чаще) , можно приступать к тестированию на сайте.

Классический подход к A/B тестированию: как организуется эксперимент и распределяется трафик между версиями

В простом A/B тесте трафик распределяется между двумя версиями. Одна из версий — с оригинальным (текущим) контентом и дизайном — считается контрольной. Вторая версия — это вариация. Изменения могут быть разными: к примеру, можно протестировать разные варианты заголовка, кнопки call-to-action, лейаут, дизайн и т. п.

В классическом эксперименте на уровне одной страницы, нам даже не нужно делать два URL для тестирования. Большинство решений для A/B тестирования позволяют динамически менять контент, лейаут и дизайн страницы.

Однако, если вы хотите включить в тестирование 2+ набора страниц, тогда нужно проводить сплит тестирование и использовать несколько URL.

В каких случаях проводить сплит тестирование

Сплит тестирование (иногда его называют многостраничным тестированием) в целом похоже на A/B тестирование, но позволяет проводить эксперименты с использованием отдельного URL для каждой вариации. Другими словами, сплит тестирование можно провести между двумя существующими URL-адресами, что особенно полезно, если у вас динамический контент.

Допустим, у вас уже есть два страницы, и вы хотите узнать, какая из них работает лучше. К примеру, вы запускаете рассылку и у вас есть две разные версии потенциального лендинга. Проведите сплит тестирование — и поймете, какой лендинг показывает лучшие результаты в рамках этой кампании.

В A/B тест можно включить и больше двух вариаций

Если вы хотите протестировать более двух вариаций, проведите A/B/n тест. С его помощью можно сравнить эффективность трех или более вариаций, вместо того, чтобы тестировать каждую вариацию относительно одной и той же контрольной вариации (то есть проводить цепочку независимых A/B тестов) . Если на сайте высокий трафик, при помощи A/B/n тестирования можно проверять множество вариаций разом, тем самым сокращая время тестирования и получая результаты быстрее.

Однако я не рекомендую вносить слишком много изменений в вариацию. Если вы внесете только самые важные и значимые изменения, по результатам эксперимента вам будет проще понять возможные причинно-следственные связи. А если вы хотите протестировать сразу ряд изменений, проведите лучше мультивариативный тест.

Что такое мультивариативное тестирование

Мультивариативные тесты (иногда их называют мультивариантными тестами) позволяют протестировать изменения сразу в нескольких разделах одной страницы. Чтобы понять принцип, проведите мультивариативный тест на одном из своих лендингов, а потому поменяйте на нем пару элементов. В первой вариации замените главное фото на странице формой для обратной связи. Во второй вариации, добавьте на страницу видео. Теперь система сгенерирует на базе ваших изменений еще одну возможную вариацию — с видео И формой обратной связи.

Всего получится 2 x 2 = 4 вариации страницы

V1 — контрольная версия (без формы обратной связи и без видео)

V2 — вариация с формой обратной связи

V3 — вариация с видео

V4 — вариация с формой обратной связи + видео

Поскольку в ходе мультивариативного тестирования проверяются все возможные комбинации, не рекомендуется добавлять много вариантов — если только у вас не сайт с очень и очень высоким трафиком. Если проводить мультивариативное тестирование с множеством переменных на сайте с низким трафиком, есть риск получить недостаточно значимые результаты, по которым не получится сделать никакие весомые выводы. Для такого вида тестирования нужно как минимум несколько тысяч посещений в месяц.

Пример мультивариантного теста на продуктовой странице онлайн-магазина

Какой тест применить в зависимости от ситуации

A/B тест поможет найти ответы вопросы типа: “на какую из этих двух вариаций страницы посетители реагируют лучше? ”

А мультивариантные тесты помогут ответить такие вопросы:

• Посетители лучше реагируют на видео или на форму обратной связи?
• Или лучше работает только форма обратной связи, без видео?
• Или лучше оставить видео и убрать форму обратной связи?

Как оценить эффективность платформы для A/B тестирования

Чтобы оценить эффективность платформы для A/B тестирования, можно провести A/A тест. Для этого вам нужно создать две одинаковые версии страницы и запустить A/B тест. В идеале, система должна выдать ответ, что обе вариации показали примерно одинаковые результаты. Подробнее про A/A тесты читайте здесь.

Вывод и рекомендации: разбираем путь к результативным A/B тестам

Я не провалил тест, я просто нашел 100 способов выполнить его неправильно

Бенджамин Франклин

При проведении A/B тестирования очень важна четкая и адекватная методология. Только в этом случае мы можем доверять результатам теста и принимать эффективные решения на их основании.

A/B тестирование дает нам фреймворк, который позволяет сравнить реакцию посетителей сайта на различные вариации страниц (и паттерны движения к цели), и если одна из вариаций работает лучше — установить статистическую значимость результата и в какой-то мере причинно-следственную связь.

Подробное руководство по A/B-тестированию

Learn / Guides / A/B-тестирование. спать. A/B-тестирование избавляет от догадок при взаимодействии с пользователями, предоставляя реальную информацию, которая поможет вам определить и оптимизировать лучшие функции вашего веб-сайта.

Передовой опыт: маркетологи и владельцы продуктов или веб-сайтов

Последнее обновление

1 марта 2023

Когда вы регулярно проводите A/B-тестирование, вы можете сравнивать теории вашей команды с реальными данными и разрабатывать лучшие продукты для своих клиентов — беспроигрышная ситуация!

В этом руководстве рассматриваются основы A/B-тестирования на веб-сайтах и почему они важны для вас, вашего бизнеса и самых важных людей: ваших пользователей. По мере прохождения каждой главы вы сможете разрабатывать, оценивать и оптимизировать свои A/B-тесты и следить за тем, чтобы каждое изменение приводило к положительным результатам.

Получите максимальную отдачу от ваших A/B-тестов

Аналитика цифрового опыта Hotjar поможет вам понять результаты A/B-тестирования и использовать их для оптимизации взаимодействия с пользователем.

Что такое A/B-тестирование?

A/B-тестирование — это метод исследования, при котором запускаются две версии веб-сайта, приложения, продукта или функции, чтобы определить, какая из них работает лучше всего. Это компонент оптимизации коэффициента конверсии (CRO) , который вы можете использовать для сбора как качественной, так и количественной информации о пользователях.

Раздельный тест A/B или по существу представляет собой эксперимент, в котором два варианта теста демонстрируются пользователям случайным образом и используется статистический анализ, чтобы определить, какой вариант лучше работает для заданной цели конверсии.

В своей простейшей форме A/B-тест проверяет (или опровергает) идеи и гипотезы. Запуск этого типа теста позволяет вам задавать конкретные вопросы об изменениях на вашем веб-сайте, а затем собирать данные о влиянии этих изменений.

Проверяя свои предположения на реальных пользователях, вы экономите массу времени и энергии, которые в противном случае были бы потрачены на итерации и оптимизацию.

Что A/B-тестирование не покажет вам

A/B-тестирование сравнивает производительность двух элементов или вариантов друг с другом. Само по себе A/B-тестирование показывает только , какой вариант выигрывает, а не , почему .

Чтобы спланировать более эффективные эксперименты и внести эффективные изменения в веб-сайт, вам необходимо понимать более глубокие мотивы, лежащие в основе поведения пользователей, и избегать неэффективных решений, таких как догадки, случайность или мнения заинтересованных сторон.

Объединение результатов тестирования с качественной информацией, которую вы получаете с помощью тепловых карт, записей сеансов, опросов и инструментов обратной связи, — это подход «лучшее из обоих миров», который позволяет вам и вашей команде оптимизировать свой веб-сайт для удобства пользователей и . бизнес-цели.

Почему A/B-тестирование важно?

A/B-тестирование — это систематический метод, используемый для определения того, что работает (а что нет) для любого данного актива на вашем веб-сайте — целевой страницы, логотипа, выбора цвета, обновления функций, всего пользовательский интерфейс (UI) или обмен сообщениями о вашем продукте.

Независимо от того, используете ли вы сплит-тестирование в маркетинговых кампаниях и рекламе или A/B-тестирование для управления продуктами и разработки, программа структурированного тестирования сделает ваши усилия по оптимизации более эффективными, выявляя критические проблемные области, которые нуждаются в улучшении .

Благодаря этому процессу ваш веб-сайт достигает своей намеченной цели — обеспечения максимальной вовлеченности или дохода — наряду с другими ценными преимуществами:

• Улучшение взаимодействия с пользователем : выполнение A/B-тестирования выделяет функции и элементы, которые оказывают наибольшее влияние на взаимодействие с пользователем (UX). Эти знания помогают вашей команде разрабатывать идеи и принимать решения по дизайну UX, ориентированные на клиента и основанные на данных.

• Повышение удовлетворенности клиентов : понимание того, что нравится пользователям, поможет вам создать веб-сайт и продукт, которые понравятся клиентам. Какой бы ни была их цель на вашем сайте, A/B-тестирование помогает устранить болевые точки пользователей и уменьшить трение для более приятного опыта.

• Оптимизация с низким уровнем риска : A/B-тестирование позволяет направить ресурсы на максимальную отдачу с минимальными изменениями. Запуск A/B-теста может помочь вам понять, понравится ли новое изменение, которое вы предлагаете, вашей целевой аудитории, что сделает положительный результат более определенным.

• Повышение вовлеченности пользователей : A/B-тестирование устраняет догадки из CRO, напрямую вовлекая пользователей в процесс принятия решений. Это позволяет пользователям решать — они голосуют своими действиями, кликами и конверсиями.

• Меньше полагаться на догадки : A/B-тесты бросают вызов предположениям и помогают компаниям принимать решения, основанные на данных, а не на интуиции — обо всем, от тем электронных писем и информационной архитектуры веб-сайта до полного редизайна веб-сайта

• Повышение коэффициента конверсии : изучая, как и почему определенные элементы опыта влияют на поведение пользователей, A/B-тестирование позволяет максимизировать существующий трафик и помогает повысить конверсию

• Оптимизация производительности веб-сайта : A/B-тестирование позволяет вносить незначительные постепенные изменения, которые значительно влияют на производительность веб-сайта, например, тестирование API, микросервисов, кластеров и архитектуры для повышения надежности. : используйте A/B-тестирование для проверки влияния новых функций, улучшений производительности или изменений серверной части, прежде чем внедрять их для своих пользователей

Имейте в виду : A/B-тестирование начинается с идеи или гипотезы, основанной на мнениях пользователей .

Hotjar — это платформа анализа цифрового опыта, предназначенная для предоставления вам полезных пользовательских данных, чтобы вы могли выявить общие проблемы в пользовательском опыте, получить идеи по улучшению и узнать, работают ли ваши исправления (и почему, а почему нет).

Эти четыре инструмента помогут вам собрать информацию о пользователях и понять, почему победа в A/B-тестировании успешна, чтобы вы могли удвоить эффективность того, что работает:

• Тепловые карты : просмотр того, где пользователи нажимают, прокручивают и перемещают мышь на отдельных страницах

• Записи : просмотр того, как пользователи просматривают ваши страницы и взаимодействуют с ними на протяжении всего сеанса

• 9 0002 Опросы : задавать пользователям прямые вопросы об их опыте

• Обратная связь : пользователи могут отмечать, оценивать и комментировать любой элемент веб-страницы

Опросы Hotjar — это способ напрямую вовлечь пользователей в диалог

Как провести A/B-тестирование?

Запуск A/B-тестов — это больше, чем просто изменение нескольких цветов или перемещение нескольких кнопок — это процесс, который начинается с измерения того, что происходит на вашем веб-сайте, поиска вещей, которые можно улучшить и доработать, тестирования улучшений и изучения того, что сработало. для ваших клиентов .

Ознакомьтесь с нашим подробным руководством по проведению A/B-тестирования для вашего веб-сайта — все о разработке, оценке и оптимизации A/B-тестирования. А пока вот краткий фреймворк, который вы можете использовать для запуска тестов:

Разработка и настройка A/B-тестов 

От получения четкого понимания поведения пользователей до сопоставления проблем с возможностями для улучшения, процесс A/B-тестирования для веб-сайтов касается ваших пользователей .

Изучение идей

A/B-тестирование фокусируется на экспериментировании с теориями, которые возникли в результате изучения вашего рынка и ваших клиентов. Как количественные, так и качественные исследования помогут вам подготовиться к следующему этапу процесса: практическим наблюдениям и генерированию идей.

Соберите данные о производительности вашего веб-сайта — все, от количества пользователей, заходящих на сайт, и различных целей конверсии на разных страницах до показателей удовлетворенности клиентов и UX-анализа .

Используйте тепловые карты , чтобы определить, где пользователи проводят больше всего времени на ваших страницах, и проанализировать их поведение при прокрутке. Инструменты записи сеансов также помогают на этом этапе, собирая данные о поведении посетителей, что помогает выявить пробелы в пути пользователя. Это также может помочь вам обнаружить проблемные области на вашем сайте.

Пример прокрутки и клика на тепловых картах Hotjar

Определение целей и гипотез исходная версия или базовая версия.

Цели могут быть любыми: от нажатия кнопки или ссылки до покупки продукта. Настройте свой эксперимент, решив, какие переменные сравнивать и как вы будете измерять их влияние.

Как только вы определили цель, вы можете начать генерировать гипотезы, основанные на фактических данных. Они определяют, какие аспекты страницы или взаимодействия с пользователем вы хотели бы оптимизировать, и как, по вашему мнению, внесение изменений повлияет на производительность.

Выполнение теста 

Помните, вы начали процесс A/B-тестирования, выдвинув гипотезу о пользователях вашего веб-сайта.

Теперь пришло время запустить тест и собрать статистические данные, чтобы принять или отклонить это утверждение.

Создайте вариант, основанный на вашей гипотезе о том, что может работать с точки зрения UX, и протестируйте его с помощью A/B в сравнении с существующей версией. Используйте программное обеспечение для A/B-тестирования, чтобы внести желаемые изменения в элемент вашего веб-сайта. Это может быть изменение цвета кнопки CTA, изменение порядка элементов в шаблоне страницы, скрытие элементов навигации или что-то совершенно индивидуальное.

Цель состоит в том, чтобы собрать данные, показывающие, была ли ваша тестовая гипотеза правильной, неправильной или неубедительной . Для достижения удовлетворительного результата может потребоваться некоторое время, в зависимости от размера вашей выборки.

Важное примечание: игнорирование статистической значимости является распространенной ошибкой A/B-тестирования. Хорошие результаты эксперимента подскажут вам, когда результаты статистически значимы и заслуживают доверия. В противном случае было бы трудно понять, действительно ли ваше изменение оказало влияние.

Как генерировать идеи и гипотезы A/B-тестирования

• Определите, где посетители покидают ваш сайт: используйте традиционные аналитические инструменты , чтобы узнать, где люди покидают ваш веб-сайт, и дополните эту информацию инструментами воронок конверсии Hotjar

• Соберите отзывы клиентов открытый- завершен отзыв о том, что пользователи на самом деле думают о вашем веб-сайте

• Запустите тестирование удобства использования : инструменты тестирования удобства использования дают вам представление о том, как реальные люди используют ваш веб-сайт, и позволяют вам получать их прямые отзывы о проблемах, с которыми они сталкиваются, и решения, которые они хотели бы видеть

• Исследование записи сеансов : наблюдайте за отдельными пользователями, когда они просматривают ваш веб-сайт, чтобы вы могли видеть их опыт с их точки зрения и замечать, что они делают прямо перед тем, как выйти

A Hotja р запись сеанса в дикой природе

Отслеживание и оценка A/B-тестов

Когда ваш эксперимент завершен, пришло время проанализировать ваши результаты. Ваше программное обеспечение для A/B-тестирования измерит данные обеих версий и представит различия между их производительностью .0018, указывающий, насколько эффективными были изменения и есть ли статистически значимое улучшение.

Анализ метрик и интерпретация результатов 

Программы A/B-тестирования живут, совершенствуются, развиваются и добиваются успеха (или терпят неудачу) благодаря метрикам. Измеряя влияние различных версий на ваши показатели, вы можете убедиться, что каждое изменение на вашем веб-сайте дает положительные результаты для вашего бизнеса и ваших клиентов.

Чтобы измерить влияние ваших экспериментов, начните с отслеживания следующих показателей A/B-тестирования:

• Коэффициент конверсии: количество посетителей, которые совершают желаемое действие, например совершают покупку или заполняют форму. ссылка или призыв к действию (CTA), деленная на количество просмотров элемента

• Показатель отказов : процент задач на вашем веб-сайте, от которых клиент отказывается до завершения — для веб-сайта электронной коммерции это может означают, что пользователи покупают товар в своей корзине

• Коэффициент удержания : процент пользователей, которые возвращаются на ту же страницу или веб-сайт после определенного периода одна страница

• Глубина прокрутки : процент страницы, просмотренной посетителем. Например, если средняя глубина прокрутки составляет 50 %, это означает, что в среднем посетители вашего сайта прокручивают страницу достаточно далеко, чтобы увидеть половину контента на странице.

• Время на сайте : среднее количество времени, которое пользователь проводит на вашем сайте перед уходом

• Средняя стоимость заказа (AOV) : средняя сумма денег, потраченная покупателем на одну покупку

• Показатель удовлетворенности клиентов (CSAT) : насколько клиенты удовлетворены продуктами или услугами вашей компании

0049 , чтобы убедиться, что вы собрали наиболее важные данные для анализа эксперимента

Как понять «почему» результаты вашего A/B-тестирования вариант сайта или продукта. Но даже самые совершенные A/B-тесты не могут точно определить

причины, по которым один вариант превосходит другой. Например, почему одна версия CTA работает лучше, чем другая? И как вы можете повторить его успех на своем веб-сайте?

Количественные и качественные метрики A/B-тестирования должны работать в гармонии: количественные данные отвечают на что , а качественные данные говорят вам почему .

Такие инструменты, как тепловые карты, записи, опросы и отзывы Hotjar, интегрируются с традиционными инструментами A/B-тестирования, чтобы помочь вам лучше понять производительность вариантов.

Во время тестирования вы можете отслеживать поведение пользователей и собирать информацию, чтобы понять, как каждое изменение влияет на взаимодействие с пользователем на вашем веб-сайте. Затем используйте эти качественные инструменты, чтобы изучить более глубокие идеи, узнать о распространенных проблемах пользователей или узнать, какие функции продукта им наиболее интересны:

• Записи сеансов и Тепловые карты позволяют визуализировать реакцию пользователей на различные варианты конкретной страницы, функции или итерации. Что привлекает посетителей? Что их смущает?

• Опросы исключают догадки из понимания поведения пользователей во время A/B-тестирования, позволяя пользователям точно сказать вам, что им нужно от каждого варианта или что они думают о каждом варианте . Они могут оценить свой опыт работы с вариантом по шкале, предоставить контекст и подробности и даже сделать скриншот определенного элемента страницы до и после внесения вами изменений.

Инструмент обратной связи Hotjar в действии

Следующие шаги к A/B-тестированию

Как и в любом процессе CRO, вы не только ищете лучший вариант A/B-тестирования — вам нужны практические знания, которые вы можете подайте заявку на свой веб-сайт , чтобы улучшить качество обслуживания клиентов.

Если ваш вариант оказался удачным, поздравляем! 🎉 Разверните его, сделайте выводы на основе данных и превратите их в практические идеи, которые вы можете использовать для улучшения своего сайта. Посмотрите, сможете ли вы применить результаты эксперимента на других страницах вашего сайта, чтобы продолжить итерации и улучшить свои статистически значимые результаты.

Помните, что неубедительные и «неудачные» тесты дают вам четкое представление о том, что не работает для ваших пользователей. В A/B-тестировании нет потерь — только обучение.

Получите максимальную отдачу от ваших A/B-тестов

Аналитика цифрового опыта Hotjar поможет вам понять результаты A/B-тестирования и использовать их для оптимизации взаимодействия с пользователем.

Часто задаваемые вопросы об A/B-тестировании

Руководство для начинающих по A/B-тестированию в социальных сетях

A/B-тестирование в социальных сетях — это мощный инструмент для создания лучшей рекламы для вашей конкретной ситуации.

A/B-тестирование восходит к временам, когда еще не было интернета. Маркетологи прямой почтовой рассылки использовали его для проведения небольших тестов на части своих списков контактов, прежде чем брать на себя огромные расходы на печать и рассылку полной кампании.

В социальных сетях A/B-тестирование дает информацию в режиме реального времени. Когда вы делаете это регулярной частью своей кампании в социальных сетях, вы можете совершенствовать свои стратегии на лету.

Эта статья поможет вам понять, что такое A/B-тестирование и как заставить его работать на ваш бренд.

Что такое A/B-тестирование?

Зачем проводить A/B-тестирование в социальных сетях?

Что вы можете A/B-тестировать?

Как провести A/B-тестирование в социальных сетях

Рекомендации по A/B-тестированию, о которых следует помнить

Бонус: Получите бесплатный контрольный список A/B-тестирования социальной рекламы , чтобы спланировать выигрышную кампанию и получить максимальную отдачу от ваших рекламных долларов.

Что такое A/B-тестирование?

A/B-тестирование (также известное как сплит-тестирование) применяет научный метод к вашей маркетинговой стратегии. В нем вы тестируете небольшие вариации вашего контента в социальных сетях, чтобы найти контент, который лучше всего достигает вашей аудитории.

Для проведения A/B-тестирования, также известного как сплит-тестирование, вы разделяете свою аудиторию на две случайные группы. Затем каждой группе показывают разные варианты одного и того же объявления. После этого вы сравниваете ответы, чтобы определить, какой вариант вам больше подходит.

В зависимости от вашей стратегии в социальных сетях вы можете использовать различные показатели для измерения успеха наиболее подходящим для вас способом.

При проведении подобного социального тестирования обязательно измените только один элемент в двух вариантах. Вы измеряете реакцию своей аудитории на всю рекламу. Например, если вы измените изображение и заголовок, вы не будете знать, что отвечает за различия в восприятии ваших двух объявлений. Если вы хотите протестировать много элементов, вам придется провести несколько тестов.

Зачем проводить A/B-тестирование в социальных сетях?

A/B-тестирование важно, потому что оно помогает понять, что работает в вашем конкретном контексте. Существует множество исследований, в которых рассматривается, каковы наиболее эффективные маркетинговые стратегии в целом. Общие правила — отличное начало, но общие рекомендации не всегда являются лучшими в любой ситуации. Проводя собственные тесты, вы можете превратить общие идеи в конкретные результаты для вашего бренда.

Тестирование расскажет вам о конкретных симпатиях и антипатиях вашей аудитории. Он также может рассказать вам о различиях между отдельными сегментами вашей аудитории. В конце концов, люди, которые следят за вами в Твиттере, могут не иметь тех же предпочтений, что и люди, которые следят за вами в LinkedIn.

С помощью A/B-тестирования можно получить информацию о любом типе контента, а не только о рекламе. Тестирование органического контента также может предоставить ценную информацию о том, за продвижение какого контента стоит платить.

Со временем вы поймете, что лучше всего работает для вас в каждой социальной сети. Но вам следует продолжать тестировать небольшие вариации, даже если вы думаете, что у вас есть выигрышная формула. Чем больше вы будете тестировать, тем лучше будет ваше понимание.

Что вы можете A/B-тестировать?

Вы можете A/B-тестировать любой компонент вашего контента в социальных сетях, но давайте рассмотрим некоторые из наиболее распространенных элементов для тестирования.

Текст сообщения

Есть много вещей, касающихся типа и стиля языка в ваших сообщениях в социальных сетях, которые вы можете проверить. Например:

• Длина поста (количество символов)
• Стиль сообщения: цитата или ключевая статистика, например, или вопрос или утверждение
• Использование эмодзи
• Использование цифры для сообщений, ссылающихся на нумерованный список
• Использование знаков препинания
• Тон голоса: случайный или формальный, пассивный или активный и т. д.

Источник: @ИКЕА

Источник: @ИКЕА твиты, IKEA сохранила тот же видеоконтент, но изменила сопровождающий его рекламный текст.

Содержимое предварительного просмотра ссылки

Заголовок и описание в предварительном просмотре связанной статьи хорошо заметны и важны для тестирования. Имейте в виду, что вы можете редактировать заголовок в предварительном просмотре ссылки, поэтому он не обязательно должен совпадать с заголовком на вашем веб-сайте.

Призывы к действию

Ваш призыв к действию (CTA) — еще одна важная часть вашего маркетинга. Здесь вы просите читателей принять участие. Понять это правильно очень важно, поэтому обязательно отточите лучший CTA с помощью A/B-тестирования в социальных сетях.

Источник: Facebook

Всемирная лига серфинга сохранила прежнюю структуру рекламы. Но каждая версия имеет «Установить сейчас» в качестве CTA, а другая — 9.0491 Используйте приложение .

Использование изображения или видео

Хотя исследования показывают, что публикации с изображениями и видео работают лучше всего, важно проверить эту теорию на своей аудитории. Например, вы можете протестировать:

• Только текст против постов с изображением или видео
• Обычное изображение в сравнении с анимированным GIF
• Фотографии людей или продуктов в сравнении с графиками или инфографикой
• Продолжительность видео

Источник: @seattlestorm

Источник: @seattlestorm

Здесь Seattle Storm применили два разных подхода к изображениям в продвижении атакующего защитника Джуэлла Лойда. В одной версии используется одно изображение, а в другой — два внутриигровых изображения.

Формат объявления

Протестируйте различные форматы, чтобы определить, какие из них наиболее эффективны для вашего контента. Например, в вашей рекламе на Facebook карусельная реклама может лучше всего работать для объявлений о продуктах, но локальная реклама с кнопкой «Проложить маршрут» лучше всего работает, когда вы запускаете новый магазин.

A/B-тестирование форматов объявлений Facebook друг против друга может помочь вам определить, какие из них использовать для каждого типа продвижения.

Хэштеги

Хэштеги могут расширить ваш охват, но раздражают ли они вашу аудиторию или снижают вовлеченность? Вы можете узнать это с помощью A/B-тестирования в социальных сетях.

Не просто тестируйте использование хэштега или отсутствие хэштега. Вы также должны протестировать:

• Несколько хэштегов против одного хэштега
• Какие отраслевые хэштеги обеспечивают наибольшую вовлеченность
• Размещение хэштега в сообщении (в конце, начале или в середине)

Если вы используете фирменный хэштег, обязательно протестируйте его и на других отраслевых хэштегах.

Целевая аудитория

Это немного другое. Вместо того, чтобы показывать варианты вашего поста или объявления похожим группам, вы показываете одно и то же объявление разным аудиториям, чтобы увидеть, какое из них получит лучший отклик.

Например, A/B-тестирование рекламы в Facebook может показать вам, что некоторые группы хорошо реагируют на ретаргетинговую рекламу, а другие считают ее пугающей. Проверка таких теорий может точно сказать вам, как реагируют определенные сегменты аудитории.

Параметры таргетинга различаются в зависимости от социальной сети, но обычно вы можете сегментировать по полу, языку, устройству, платформе и даже по конкретным характеристикам пользователя, таким как интересы и поведение в Интернете.

Ваши результаты помогут вам разработать специализированные кампании и стратегию для каждой аудитории.

Элементы профиля

Это также работает немного по-другому. Вы не создаете две разные версии и не рассылаете их разным группам. Вместо этого вам следует следить за своим профилем в определенной социальной сети, чтобы установить базовое количество новых подписчиков в неделю. Затем попробуйте изменить один элемент, например, изображение вашего профиля или вашу биографию, и следите за тем, как меняется ваш новый рейтинг подписчиков.

Старайтесь публиковать одинаковый контент и одинаковое количество сообщений в течение нескольких недель тестирования, чтобы свести к минимуму влияние ваших сообщений и максимизировать влияние изменения профиля, которое вы тестируете.

Airbnb, например, часто обновляет изображение своего профиля в Facebook в соответствии с сезонными событиями или кампаниями. Вы можете поспорить, что они проверили, чтобы убедиться, что эта стратегия помогает, а не вредит их вовлеченности в Facebook.

Контент веб-сайта

Вы также можете использовать A/B-тестирование в социальных сетях, чтобы принять решение о содержании вашего веб-сайта.

Например, A/B-тестирование изображений в социальных сетях может дать представление о том, что лучше всего работает с конкретным ценностным предложением. Вы можете использовать эту информацию, чтобы повлиять на то, какое изображение разместить на целевой странице для соответствующей кампании.

Только не забудьте проверить, чтобы убедиться, что изображение работает так же хорошо на веб-сайте, как и в социальных сетях.

Как проводить A/B-тестирование в социальных сетях

Основной процесс A/B-тестирования остается неизменным на протяжении десятилетий: тестируйте небольшие варианты по одному, чтобы выяснить, что лучше всего работает прямо сейчас для вашей текущей аудитории. .

Хорошая новость заключается в том, что социальные сети сделали это намного проще и эффективнее, так что вы можете проводить тесты на лету, вместо того, чтобы месяцами ждать результатов по почте.

Помните: идея состоит в том, чтобы сравнить один вариант с другим, затем сравнить ответы и выбрать победителя.

Вот базовая структура A/B-тестирования в социальных сетях:

1. Выберите элемент для тестирования.
2. Изучите существующие знания, чтобы найти идеи о том, что будет работать лучше всего, но никогда не бойтесь оспаривать предположения.
3. Создайте два варианта на основе того, что подсказывает вам ваше исследование (или ваша интуиция). Помните, что между вариациями должен различаться только один элемент.
4. Покажите каждый вариант сегменту ваших подписчиков.
5. Отслеживайте и анализируйте свои результаты.
6. Выберите выигрышный вариант.
7. Поделитесь выигрышным вариантом со всем списком или протестируйте его против другого небольшого варианта, чтобы увидеть, сможете ли вы еще больше улучшить свои результаты.
8. Поделитесь тем, что вы узнали, со всей своей организацией, чтобы создать библиотеку лучших практик для вашего бренда.
9. Запустите процесс заново.

Рекомендации по A/B-тестированию, о которых следует помнить

Маркетинговые инструменты в социальных сетях упрощают сбор большого количества данных о вашей аудитории, но много данных — это не то же самое, что много информации. Эти передовые методы помогут вам

узнать, каковы ваши цели в социальных сетях

A/B-тестирование — это инструмент, а не самоцель. Когда у вас есть всеобъемлющая стратегия в социальных сетях, вы можете использовать социальное тестирование, чтобы продвигать свой бренд к целям, которые имеют отношение к вашему общему бизнес-плану.

Имейте в виду четкий вопрос

Самые эффективные A/B-тесты — те, которые отвечают на четкий вопрос. При разработке теста спросите себя: «Почему я тестирую именно этот элемент?»

Изучите основы статистики

Даже если вы не знакомы с количественными исследованиями, немного математических знаний, лежащих в основе вашего социального тестирования, будет иметь большое значение.

No related posts.