Аб тест это: что это, для чего нужны такие тесты и как их проводить

Что такое АБ-тест и как его правильно провести

A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:

• Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
• Нужно принять решение относительно дорогостоящего изменения.
• Выбирается алгоритм товарных рекомендаций среди разных сервисов.
• Страшно менять что-то сразу, «а вдруг не пойдет».

В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.

Примеры A/Б-тестов с пользой для бизнеса

Результат успешного теста — выбор варианта-победителя и улучшение конверсии. Клиенты Mindbox с помощью A/Б-тестирований добились измеримого результата в деньгах:

• Маркетолог сети винных супермаркетов «Ароматный мир» убедился, что промокоды увеличивают выручку, но размер промокода не имеет значения.
• Интернет-магазин «Первый мебельный» улучшил показатели рассылок на 25%.
• Обувной ритейлер kari сэкономил 19% бюджета на SMS-рассылках.

Ссылки на материалы дублирую в конце статьи.

Этапы проведения эксперимента

Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:

1. Определение точки роста и выбор метрик.
2. Составление гипотезы.
3. Определение размера тестовой выборки.
4. Проверка сбора данных по метрике.
5. Запуск теста и снятие результатов.

Определение точки роста и выбор метрики

Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают.

Или хочется разобраться, приносит ли деньги виджет товарных рекомендаций в карточке товара. Варианты метрик для измерения улучшения:

• Доход
• Количество заказов
• Средний чек
• Процент открытия писем
• Повторные покупки
• Количество линий чека в заказе

Составление гипотезы

Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.

Гипотеза	Варианты	Метрика
Эмодзи в теме письма увеличивают открытия на 2%	С эмодзи и без эмодзи	Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%	С блоком сопутствующих товаров в карточке и без	Выручка
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%	С попапом и без попапа	Количество заказов и выручка

Определение размера тестовой выборки

Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.

Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».

Проверка сбора данных по метрике

Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.

Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.

А/А-тест как способ проверить правильность деления на группы

А/А-тест — это разновидность эксперимента, когда варианты одинаковы. Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.

Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.

Снятие результатов

По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.

Пример из Google Optimize: завершенное тестирование на сайте со статистически значимым результатом: выручка варианта-победителя оказалась на 50% больше

Инструменты для настройки тестов

Рассмотрим инструменты для A/Б-тестирования:

Калькулятор A/Б-тестирований

Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.

Скриншот калькулятора

Google Optimize

Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.

Как настраивается A/Б-тестирование в Mindbox

В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».

Резюме

Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:

1. Определить точку роста и метрику.
2. Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
3. Определить размер выборки для тестирования.
4. Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
5. Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.

Полезные ссылки

• Калькулятор достоверности A/Б-тестирований
• Презентация «Как проводить A/Б-тестирование»
• Обучающие видео: как правильно проводить A/Б-тесты
• Не всем A/Б-тестам можно доверять: чек-лист проверки с примерами
• Кейс «Первого Мебельного»: улучшение показателей рассылок до 25% с помощью A/Б-тестов
• История «Ароматного мира»: тестирование промокодов на сегменте оттока
• Обувной ритейлер kari: сэкономили 19% бюджета и получили дополнительную выручку

А/Б тестирование — практическое руководство: что такое, в чем ценность и как провести

---

Авторы английской версии: Янив Навот, CMO, Dynamic Yield; Дэвид Стейнберг, профессор, KPA Group; Рон Кенет, профессор, KPA Group; Идан Михаэли, директор по Data Science в Hippo Insurance; Гиди Виго, старший директор по продуктам, Dynamic Yield; Джон Пилер, директор по разработке корпоративных решений в Dynamic Yield; Алекс Фитцжеральд, Со-основатель и CMO, Brave; Шана Пилевски, директор по маркетингу, Dynamic Yield

А/В-тестирование — это метод сравнения двух версий страницы или приложения, который помогает понять, какая из них работает лучше в контексте какой-то конкретной задачи. А/В-тест — один из самых популярных методов повышения результативности цифровых продуктов: сайтов, мобильных приложений, SaaS-продуктов, рассылок и других т.д.

Перед вами перевод «A/B Testing & Optimization Course» от компании Dynamic Yield. Над переводом работали Оля Жолудова и Ринат Шайхутдинов.

При поддержке koptelnya.ru.

Коптельня — команда по быстрой разработке веб-приложений и сайтов.

При помощи контролируемых экспериментов маркетологи, продакт-менеджеры, дизайнеры и разработчики могут быстро проверять свои творческие идеи на жизнеспособность и, отталкиваясь от объективных данных, быстро и гибко внедрять самые удачные из них в продукт. Короче говоря, вам больше не надо рассуждать, почему тот или иной вариант страницы (или шага в пользовательском сценарии) более удачный — эксперимент все скажет сам за себя. Этот метод идеально подходит, когда нужно поднять конверсию, увеличить выручку, нарастить базу подписчиков или привлечь побольше клиентов и лидов.

 

Содержание:

1. Что такое A/B-тестирование и как провести его правильно | Глава 1
2. A/A тестирование  — способ проверить корректность работы механизма A/B-тестирования | Глава 2
3. Что такое статистическая значимость в A/B тестах и почему она важна | Глава 3
4. Как правильно распределять трафик при A/B тестировании | Глава 4
5. Атрибуция конверсии в A/B тестировании: что такое, в чем ценность и какой уровень атрибуции использовать| Глава 5
6. Оптимизация конверсии: что такое, в чем ценность и как выбрать подходящую цель оптимизации | Глава 6
7. Частотный и байесовский подходы к A/B тестированию: подробное сравнение | Глава 7
8. Как провести байесовский A/B-тест правильно: подробное руководство | Глава 8
9. Многорукие бандиты как альтернатива A/B-тестам | Глава 9
10. A/B-тестирование и персонализация на стороне клиента и сервера: какой метод выбрать и когда| Глава 10
11. Сегментация в A/B-тестировании: в чем ценность, как сделать, подводные камни | Глава 11
12. Как A/B тесты и персонализация влияют на SEO и какие нюансы важно учесть | Глава 12
13. Как выжимать значимые результаты из любого эксперимента и почему неудачных A/B тестов не бывает | Глава 13
14. Как правильно проанализировать и оценить результаты A/B теста | Глава 14
15. Как увеличить бизнес-показатели: кейс по A/B-тестированию компании Kopari Beauty | Глава 15

Глобальные компании, такие как Google, Amazon, Fb и Netflix выстроили процессы в бизнесе так, чтобы проводить тысячи экспериментов в год и оперативно внедрять их результаты в работу.  

Интересуетесь свежими статьями по продуктовому дизайну (UX/UI)? 🚀

Подписывайтесь на канал в Telegram | ВКонтакте, Instagram, Facebook

Джефф Безос однажды сказал: «Успех Amazon зависит от того, сколько экспериментов мы сможем провести в год, в месяц, в неделю, в день». 

В технологическом блоге Netflix в апреле 2016 года прозвучала такая фраза: «Благодаря эмпирическому подходу к работе, мы точно знаем, что изменения в продукте продиктованы не вкусами и мнениями самых авторитетных сотрудников компании, а объективными данными. То есть наши зрители сами подсказывают нам, что им нравится».

И Марк Цукерберг в одном из интервью признался, что успех Fb кроется в их уникальной системе тестирования

, чем предприниматель очень гордится: «В любую секунду в мире работает не одна версия Fb, а порядка 10,000».   

Что такое A/B тест и в чем его ценность для развития цирфорового продукта?

В классическом A/B тесте, мы, первым делом, определяем, что будем тестировать и какова наша задача. Далее мы создаем одну или несколько вариаций исходного веб-элемента (еще его называют контрольной группой или точкой отсчета). Далее, мы делим трафик пополам (в случайном порядке: то есть распределяем пользователей согласно некой вероятности), и, наконец, собираем данные (метрики) о том, как работает каждая версия страницы. Спустя какое-то время, мы анализируем данные и оставляем ту версию, которая отработала лучше, а менее удачную — выключаем.

Очень важно проводить тесты грамотно: иначе вы не только не получите осмысленные и полезные результаты, но и можете выбрать ошибочный путь. В целом, контролируемые эксперименты могут помочь в решении следующих задач и дают следующую ценность: 

1. Разобраться с недочетами UX и популярными барьерами для клиентов (pain points)
2. Повысить эффективность существующего трафика (поднять конверсию (conversions)и выручку (revenue), оптимизировать затраты на привлечение клиентов (customer acquisition costs))
3. Поднять вовлеченность (снизить показатель отказов (bounce rate), повысить показатель кликабельности (click-through rate) и т. д.)

Нужно помнить, что когда мы отдаем предпочтение тому или иному варианту, мы по сути масштабируем результаты, полученные к этому моменту, на всю аудиторию потенциальных пользователей. Это настоящий прыжок веры, и каждое такое действие должно быть обосновано. Внедряя решения без веских оснований, мы обязательно сделаем хоть один неверный шаг — что негативно скажется на продукте в долгосрочной перспективе. Процесс сбора таких обоснований мы называем тестированием гипотез, а искомые обоснования —статистической значимостью. 

Вот несколько примеров A/B тестов: 

• Тестирование разных типов сортировки в меню навигации сайта (как в этом примере крупного немецкого продавца электроники)
• Тестирование и оптимизация лендингов (как в этом примере ведущей европейской компании по защите авиапассажиров)
• Тестирование маркетинговых сообщений: например, рассылок или баннеров (как в этом примере международного розничного продавца натуральной косметики)

Как рождается A/B тест: Изучаем ситуацию и формулируем гипотезу

В основе любого A/B теста лежит проблема (ситуация), которую нам надо решить (разрешить) или некое поведение пользователя, которое нам нужно изменить или, наоборот, закрепить. Выявив проблему или задачу, маркетолог формулирует гипотезу — обоснованное предположение, которое либо подтверждается, либо опровергается в результате эксперимента. 

Пример продуктовой гипотезы: Если мы добавим значок с социальным доказательством на страницу с описанием продукта, посетители узнают о популярности нашего продукта, и количество добавлений в корзину вырастет на 10%. 

Разбор гипотезы: В этом случае, когда мы выявили проблему (низкий показатель добавлений в корзину, к примеру) и сформулировали гипотезу (решение: отображение значка с социальным доказательством стимулирует пользователей добавлять товар в корзину чаще), можно приступать к тестированию на сайте. 

Классический подход к A/B тестированию: как организуется эксперимент и распределяется трафик между версиями

В простом A/B тесте трафик распределяется между двумя версиями. Одна из версий — с оригинальным (текущим) контентом и дизайном — считается контрольной. Вторая версия — это вариация. Изменения могут быть разными: к примеру, можно протестировать разные варианты заголовка, кнопки call-to-action, лейаут, дизайн и т.п.  

В классическом эксперименте на уровне одной страницы, нам даже не нужно делать два URL для тестирования. Большинство решений для A/B тестирования позволяют динамически менять контент, лейаут и дизайн страницы. 

Однако, если вы хотите включить в тестирование 2+ набора страниц, тогда нужно проводить сплит тестирование и использовать несколько URL. 

В каких случаях проводить сплит тестирование 

Сплит тестирование (иногда его называют многостраничным тестированием) в целом похоже на A/B тестирование, но позволяет проводить эксперименты с использованием отдельного URL для каждой вариации. Другими словами, сплит тестирование можно провести между двумя существующими URL-адресами, что особенно полезно, если у вас динамический контент.  

Допустим, у вас уже есть два страницы, и вы хотите узнать, какая из них работает лучше. К примеру, вы запускаете рассылку и у вас есть две разные версии потенциального лендинга. Проведите сплит тестирование — и поймете, какой лендинг показывает лучшие результаты в рамках этой кампании. 

В A/B тест можно включить и больше двух вариаций

Если вы хотите протестировать более двух вариаций, проведите A/B/n тест. С его помощью можно сравнить эффективность трех или более вариаций, вместо того, чтобы тестировать каждую вариацию относительно одной и той же контрольной вариации (то есть проводить цепочку независимых A/B тестов). Если на сайте высокий трафик, при помощи A/B/n тестирования можно проверять множество вариаций разом, тем самым сокращая время тестирования и получая результаты быстрее.

Однако я не рекомендую вносить слишком много изменений в вариацию. Если вы внесете только самые важные и значимые изменения, по результатам эксперимента вам будет проще понять возможные причинно-следственные связи. А если вы хотите протестировать сразу ряд изменений, проведите лучше мультивариативный тест. 

Что такое мультивариативное тестирование

Мультивариативные тесты (иногда их называют мультивариантными тестами) позволяют протестировать изменения сразу в нескольких разделах одной страницы. Чтобы понять принцип, проведите мультивариативный тест на одном из своих лендингов, а потому поменяйте на нем пару элементов. В первой вариации замените главное фото на странице формой для обратной связи. Во второй вариации, добавьте на страницу видео. Теперь система сгенерирует на базе ваших изменений еще одну возможную вариацию — с видео И формой обратной связи. 

Всего получится 2 x 2 = 4 вариации страницы

V1 — контрольная версия (без формы обратной связи и без видео)

V2 — вариация с формой обратной связи 

V3 — вариация с видео 

V4 — вариация с формой обратной связи + видео 

Поскольку в ходе мультивариативного тестирования проверяются все возможные комбинации, не рекомендуется добавлять много вариантов — если только у вас не сайт с очень и очень высоким трафиком. Если проводить мультивариативное тестирование с множеством переменных на сайте с низким трафиком, есть риск получить недостаточно значимые результаты, по которым не получится сделать никакие весомые выводы. Для такого вида тестирования нужно как минимум несколько тысяч посещений в месяц.

Пример мультивариантного теста на продуктовой странице онлайн-магазина

Какой тест применить в зависимости от ситуации 

A/B тест поможет найти ответы вопросы типа: “на какую из этих двух вариаций страницы посетители реагируют лучше?”

А мультивариантные тесты помогут ответить такие вопросы: 

• Посетители лучше реагируют на видео или на форму обратной связи? 
• Или лучше работает только форма обратной связи, без видео? 
• Или лучше оставить видео и убрать форму обратной связи? 

Как оценить эффективность платформы для A/B тестирования 

Чтобы оценить эффективность платформы для A/B тестирования, можно провести A/A тест. Для этого вам нужно создать две одинаковые версии страницы и запустить A/B тест. В идеале, система должна выдать ответ, что обе вариации показали примерно одинаковые результаты. Подробнее про A/A тесты читайте здесь. 

Вывод и рекомендации: разбираем путь к результативным A/B тестам 

«Я не провалил тест, я просто нашел 100 способов выполнить его неправильно». — Бенджамин Франклин

При проведении A/B тестирования очень важна четкая и адекватная методология. Только в этом случае мы можем доверять результатам теста и принимать эффективные решения на их основании.

A/B тестирование дает нам фреймворк, который позволяет сравнить реакцию посетителей сайта на различные вариации страниц (и паттерны движения к цели), и если одна из вариаций работает лучше — установить статистическую значимость результата и в какой-то мере причинно-следственную связь. 

---

Это первая глава | Продолжение (Глава 2) →

---

Что такое A/B-тестирование — Flagship.

io

Что такое A/B-тестирование?

A/B-тестирование, также известное как сплит-тестирование, включает в себя процесс тестирования и сравнения двух разных версий веб-сайта или функции, чтобы определить, какая из них работает лучше.

Версии или варианты A и B случайным образом представляются пользователям, при этом часть пользователей направляется на первую версию, а остальные — на вторую.

Собирается статистический анализ результатов каждого варианта, чтобы увидеть, какой из них работает лучше; например, какой из них получил больше всего кликов, показатели конверсии и так далее. Таким образом, вы сможете проверить свою гипотезу, построенную в начале эксперимента, где результаты вашего A/B-теста позволят вам принять или отвергнуть эту гипотезу.

A/B-тестирование может быть выполнено для двух очень похожих версий с небольшими изменениями внутри веб-сайта, но в конечном итоге может иметь огромное значение, например, с точки зрения вовлеченности пользователей и коэффициентов конверсии.

Давайте рассмотрим пример…

Представьте, что мы хотим проверить, можно ли добавить такие кнопки, как «добавить в корзину» и «выбрать размер» для облегчения навигации, как на изображении справа, известное как «эксперимент». версия» приведет к большему количеству кликов и покупок, в отличие от изображения слева — контрольной версии.

Это предположение, сделанное перед запуском вариантов, называется «гипотезой». Создаваемый вами вариант будет основан на этой гипотезе, чтобы проверить ее в сравнении с контролем.

Таким образом, будут собраны данные, чтобы подтвердить или опровергнуть эту гипотезу и сделать вывод, какая из них улучшит ваши бизнес-показатели. Другими словами, вы сможете измерить, какая группа пользователей имела более высокий коэффициент конверсии со статистической значимостью в зависимости от страницы, на которую они были перенаправлены.

Подробнее: Примеры A/B-тестирования, чтобы вдохновить вас на A/B-тестирование вашего собственного веб-сайта.

Типы A/B-тестов

Существуют различные типы A/B-тестов, которые выбираются в зависимости от ваших конкретных потребностей и целей:

• Классический A/B-тест — этот тест использует два варианта ваших страниц по одному и тому же URL для сравнения нескольких вариантов одного и того же элемента.
• Сплит-тест — иногда A/B и сплит-тесты используются взаимозаменяемо, но есть одно существенное отличие: в сплит-тесте измененный вариант находится на другом URL-адресе, поэтому трафик направляется между элементом управления исходного URL-адреса и варианты другого URL-адреса (этот новый URL-адрес скрыт от пользователей).
• Многовариантный тест (MVT) — этот тест измеряет влияние нескольких изменений на одну и ту же веб-страницу, чтобы определить, какая комбинация переменных работает лучше всех возможных комбинаций. Этот тест, как правило, более сложен в выполнении, чем другие, и требует значительного объема трафика.

Статистика A/B-тестирования

A/B-тестирование основано на статистических методах. Таким образом, важно понимать, какой статистический подход следует использовать для проведения A/B-тестирования, и делать правильные выводы, которые помогут вам соответствовать вашим бизнес-метрикам.

Какую статистическую модель выбрать?

Когда дело доходит до статистической значимости, специалисты по A/B-тестированию обычно используют два основных подхода: частотный и байесовский тесты.

Фреквентистский подход основан на наблюдении за данными в данный момент. Анализ результатов может происходить только в конце теста, в то время как байесовский подход является дедуктивным и использует в большей степени подход к прогнозированию, поэтому он позволяет анализировать результаты до окончания теста.

В этом смысле, в подходе Frequentist, когда вы разрабатываете A/B-тест, вы выбираете выигрышный вариант, основываясь исключительно на результатах того единственного эксперимента, который вы провели. Принимая во внимание, что байесовский подход берет информацию, собранную из предыдущих экспериментов, и объединяет ее с текущими данными, полученными из нового теста, который вы провели, и делает соответствующий вывод.

Для более глубокого понимания и получения дополнительной информации о различиях между этими двумя подходами ознакомьтесь со статьей Frequentist vs Bayesian.

Для анализа результатов с достаточной степенью статистической достоверности обычно принимается пороговое значение 95% (соответствующее p-значению 0,05). Цель состоит в том, чтобы убедиться, что вы собрали достаточно данных, чтобы иметь возможность уверенно делать прогнозы на основе результатов. Другими словами, убедитесь, что веб-страницы, которые вы тестируете, имеют достаточно высокий трафик.

Статистическая значимость указывает на то, что маловероятно, что результат возник случайно, и вместо этого он связан с определенной причиной или тенденцией. Это уровень уверенности (Р), что разница между контролем и вариацией не случайна.

Этот уровень достоверности получается из набора наблюдений и представляет процент того, что один и тот же результат будет получен с другими данными в аналогичном будущем эксперименте.

Подробнее: Демистификация статистики A/B-тестирования

Выпускайте только лучшие функции с помощью A/B-тестирования

A/B-тестирование — отличная форма экспериментов. A/B-тестирование с функциональными флагами еще лучше.

Флаги функций — это инструмент разработки программного обеспечения, который можно использовать для включения или отключения функций без развертывания кода. У них много применений, которые мы уже подробно рассмотрели. Одним из таких вариантов использования является проведение экспериментов с A/B-тестами.

Хотя A/B-тестирование обычно используется для внешнего интерфейса вашего веб-сайта или приложения, A/B-тестирование может быть более глубоким, позволяя вам также тестировать функции вашего продукта. Таким образом, A/B-тесты достаточно хороши для тестирования «косметических» изменений на вашем веб-сайте, но что происходит, когда вы хотите протестировать внутреннюю функциональность и новые функции?

Введите тесты A/B, управляемые флагами функций. Это означает, что вы можете протестировать свои функциональные возможности, а затем настроить таргетинг на пользователей, разделив их на различные сегменты. Мы подробно расскажем о тестировании на стороне сервера в следующем разделе.

В этом случае вы определите варианты и назначите проценты для каждого из вариантов. В этом случае делаются вариации с использованием комбинации разных значений флага. Таким образом, вы можете использовать все доступные флаги в вашей системе и комбинировать их, чтобы проверить эти различные комбинации и то, как ваши пользователи реагируют на них.

Предоставляя различные одновременные версии вашей функции заранее определенным частям трафика, вы можете наблюдать и использовать извлеченные данные, чтобы определить, какая версия лучше.

Флаги функций или переключатели, используемые таким образом, также называются экспериментальными переключателями. Они очень динамичны и, вероятно, останутся в коде на несколько дней или недель, достаточно долго, чтобы получить статистически значимые результаты, необходимые для A/B-тестов.

A/B-тесты на стороне сервера и на стороне клиента

Кроме того, мы должны провести одно важное различие между тестированием на стороне клиента и на стороне сервера.

В то время как тестирование на стороне клиента происходит только на уровне веб-браузера, поэтому вы ограничены тестированием визуальных или структурных вариантов вашего веб-сайта, тестирование на стороне сервера выполняется еще до того, как HTML-страницы будут отображены в браузере пользователя.

Работа на стороне сервера означает, что вы можете запускать кампании по оптимизации серверной архитектуры непосредственно из кода. Это имеет довольно серьезные последствия.

Держать в уме

Тестирование на стороне клиента размещает в вашем браузере файл cookie, чтобы идентифицировать вас, поэтому, когда вы возвращаетесь на сайт, он запоминает, кто вы, и показывает вам ту же версию сайта, которую вы видели в первый раз. В мире, где тенденция состоит в том, чтобы потреблять меньше печенья, это может быть сложной задачей.

Производительность — это другой вопрос.

Тестирование на стороне клиента основано на фрагментах javascript, которые необходимо получить от стороннего поставщика и выполнить для применения изменений. Это может привести к мерцанию, также называемому FOOC (Flash of Original Content), и может повредить пользовательскому опыту и достоверности эксперимента. Узнайте все о том, как избежать эффекта мерцания.

Тестирование на стороне сервера, с другой стороны, отслеживает всех пользователей на основе уникальных идентификаторов пользователей, которыми вы управляете на серверной части так, как вы предпочитаете (например, пользовательская база данных для зарегистрированных пользователей, идентификатор сеанса посещений или куки в крайнем случае).

Продолжайте читать: Эксперименты на стороне клиента и на стороне сервера [инфографика]

Информация

Руководство для начинающих по A/B-тестированию в социальных сетях

A/B-тестирование в социальных сетях — это мощный инструмент для создания лучшей рекламы для вашей конкретной ситуации.

A/B-тестирование восходит к временам, когда еще не было Интернета. Маркетологи прямой почтовой рассылки использовали его для проведения небольших тестов на части своих списков контактов, прежде чем брать на себя огромные расходы на печать и рассылку полной кампании.

В социальных сетях A/B-тестирование дает информацию в режиме реального времени. Когда вы делаете это регулярной частью своей кампании в социальных сетях, вы можете совершенствовать свои стратегии на лету.

Эта статья поможет вам понять, что такое A/B-тестирование и как заставить его работать на ваш бренд.

Что такое A/B-тестирование?

Зачем проводить A/B-тестирование в социальных сетях?

Что вы можете A/B-тестировать?

Как провести A/B-тестирование в социальных сетях

Рекомендации по A/B-тестированию, о которых следует помнить

Бонус: получите бесплатный контрольный список A/B-тестирования социальной рекламы , чтобы спланировать выигрышную кампанию и получить максимальную отдачу от ваших рекламных долларов.

Что такое A/B-тестирование?

A/B-тестирование (также известное как сплит-тестирование) применяет научный метод к вашей маркетинговой стратегии. В нем вы тестируете небольшие вариации вашего контента в социальных сетях, чтобы найти контент, который лучше всего достигает вашей аудитории.

Для проведения A/B-тестирования, также известного как сплит-тестирование, вы разделяете свою аудиторию на две случайные группы. Затем каждой группе показывают разные варианты одного и того же объявления. После этого вы сравниваете ответы, чтобы определить, какой вариант вам больше подходит.

В зависимости от вашей стратегии в социальных сетях вы можете использовать различные показатели для измерения успеха наиболее подходящим для вас способом.

При проведении подобного социального тестирования обязательно измените только один элемент в двух вариантах. Вы измеряете реакцию своей аудитории на всю рекламу. Например, если вы измените изображение и заголовок, вы не будете знать, что отвечает за различия в восприятии ваших двух объявлений. Если вы хотите протестировать много элементов, вам придется провести несколько тестов.

Зачем проводить A/B-тестирование в социальных сетях?

A/B-тестирование важно, потому что оно помогает понять, что работает в вашем конкретном контексте. Существует множество исследований, в которых рассматривается, каковы наиболее эффективные маркетинговые стратегии в целом. Общие правила — отличное место для начала, но общие рекомендации не всегда являются лучшими в любой ситуации. Проводя собственные тесты, вы можете превратить общие идеи в конкретные результаты для вашего бренда.

Тестирование расскажет вам о конкретных симпатиях и антипатиях вашей аудитории. Он также может рассказать вам о различиях между отдельными сегментами вашей аудитории. В конце концов, люди, которые следят за вами в Твиттере, могут не иметь тех же предпочтений, что и люди, которые следят за вами в LinkedIn.

С помощью A/B-тестирования вы можете получить информацию о любом типе контента, а не только о рекламе. Тестирование органического контента также может предоставить ценную информацию о том, за продвижение какого контента стоит платить.

Со временем вы поймете, что лучше всего работает для вас в каждой социальной сети. Но вам следует продолжать тестировать небольшие вариации, даже если вы думаете, что у вас есть выигрышная формула. Чем больше вы будете тестировать, тем лучше будет ваше понимание.

Что можно A/B тестировать?

Вы можете A/B-тестировать любой компонент вашего контента в социальных сетях, но давайте рассмотрим некоторые из наиболее распространенных элементов для тестирования.

Текст сообщения

Есть много вещей, касающихся типа и стиля языка в ваших сообщениях в социальных сетях, которые вы можете проверить. Например:

• Длина сообщения (количество символов)
• Стиль сообщения: цитата или ключевая статистика, например, или вопрос или утверждение
• Использование эмодзи
• Использование цифры для сообщений, ссылающихся на нумерованный список
• Использование пунктуации
• Тон голоса: случайный или формальный, пассивный или активный и т. д.

Источник: @ikea

Источник: @ikea

В этих двух твитах IKEA сохраняет тот же видео -содержащий, но варьировала копию объявления, которая соответствует ей.

Содержимое предварительного просмотра ссылки

Заголовок и описание в предварительном просмотре связанной статьи хорошо заметны и важны для тестирования. Имейте в виду, что вы можете редактировать заголовок в предварительном просмотре ссылки, поэтому он не обязательно должен совпадать с заголовком на вашем веб-сайте.

Призывы к действию

Ваш призыв к действию (CTA) — еще одна важная часть вашего маркетинга. Здесь вы просите читателей принять участие. Понять это правильно очень важно, поэтому обязательно отточите лучший CTA с помощью A/B-тестирования в социальных сетях.

Источник: Facebook

Всемирная лига серфинга сохранила прежнюю структуру рекламы. Но каждая версия имеет «Установить сейчас » в качестве CTA, а другая — 9.0028 Используйте приложение .

Использование изображения или видео

Хотя исследования показывают, что публикации с изображениями и видео работают лучше всего, важно проверить эту теорию на своей аудитории. Например, вы можете протестировать:

• Только текст против постов с изображением или видео
• Сравнение обычного изображения с анимированным GIF
• Фотографии людей или продуктов в сравнении с графиками или инфографикой
• Длина видео

Источник: @seattlestorm

Источник: @seattlestorm

Здесь Seattle Storm использовали два разных подхода к изображениям в продвижении атакующего защитника Джуэлла Лойда. В одной версии используется одно изображение, а в другой — два внутриигровых изображения.

Формат объявления

Протестируйте различные форматы, чтобы определить, какие из них наиболее эффективны для вашего контента. Например, в вашей рекламе на Facebook карусельная реклама может лучше всего работать для объявлений о продуктах, но локальная реклама с кнопкой «Проложить маршрут» лучше всего работает, когда вы запускаете новый магазин.

A/B-тестирование форматов объявлений Facebook друг против друга может помочь вам определить, какие из них использовать для каждого типа продвижения.

Хэштеги

Хэштеги могут расширить ваш охват, но раздражают ли они вашу аудиторию или снижают вовлеченность? Вы можете узнать это с помощью A/B-тестирования в социальных сетях.

Не просто тестируйте с использованием хэштега или без хэштега. Вы также должны протестировать:

• Несколько хэштегов против одного хэштега
• Какие отраслевые хэштеги обеспечивают наибольшую вовлеченность
• Размещение хэштега в сообщении (в конце, начале или в середине)

Если вы используете фирменный хэштег, обязательно протестируйте его и на других отраслевых хэштегах.

Целевая аудитория

Это немного другое. Вместо того, чтобы показывать варианты вашего поста или объявления похожим группам, вы показываете одно и то же объявление разным аудиториям, чтобы увидеть, какое из них получит лучший отклик.

Например, A/B-тестирование рекламы в Facebook может показать вам, что некоторые группы хорошо реагируют на ретаргетинговую рекламу, а другие считают ее пугающей. Проверка таких теорий может точно сказать вам, как реагируют определенные сегменты аудитории.

Параметры таргетинга различаются в зависимости от социальной сети, но обычно вы можете сегментировать по полу, языку, устройству, платформе и даже по конкретным характеристикам пользователя, таким как интересы и поведение в Интернете.

Ваши результаты помогут вам разработать специализированные кампании и стратегию для каждой аудитории.

Элементы профиля

Это также работает немного по-другому. Вы не создаете две разные версии и не рассылаете их разным группам. Вместо этого вам следует следить за своим профилем в определенной социальной сети, чтобы установить базовое количество новых подписчиков в неделю. Затем попробуйте изменить один элемент, например, изображение вашего профиля или вашу биографию, и следите за тем, как меняется ваш новый рейтинг подписчиков.

Старайтесь публиковать одинаковый контент и одинаковое количество сообщений в течение нескольких недель тестирования, чтобы свести к минимуму влияние ваших сообщений и максимизировать влияние тестируемого изменения профиля.

Airbnb, например, часто обновляет изображение своего профиля в Facebook, чтобы соответствовать сезонным событиям или кампаниям. Вы можете поспорить, что они проверили, чтобы убедиться, что эта стратегия помогает, а не вредит их вовлеченности в Facebook.

Контент веб-сайта

Вы также можете использовать A/B-тестирование в социальных сетях, чтобы принять решение о содержании вашего веб-сайта.

Например, A/B-тестирование изображений в социальных сетях может дать представление о том, что лучше всего работает с конкретным ценностным предложением. Вы можете использовать эту информацию, чтобы повлиять на то, какое изображение разместить на целевой странице для соответствующей кампании.

Только не забудьте проверить, чтобы убедиться, что изображение работает так же хорошо на веб-сайте, как и в социальных сетях.

Как проводить A/B-тестирование в социальных сетях

Основной процесс A/B-тестирования оставался неизменным на протяжении десятилетий: тестируйте небольшие варианты по одному, чтобы выяснить, что лучше всего работает прямо сейчас для вашей текущей аудитории. .

Хорошая новость заключается в том, что социальные сети сделали это намного проще и эффективнее, так что вы можете проводить тесты на лету, а не ждать месяцы, пока результаты придут по почте.

Помните: идея состоит в том, чтобы сравнить один вариант с другим, затем сравнить ответы и выбрать победителя.

Вот базовая структура A/B-тестирования в социальных сетях:

1. Выберите элемент для тестирования.
2. Изучите существующие знания, чтобы найти идеи о том, что будет работать лучше всего, но никогда не бойтесь оспаривать предположения.
3. Создайте два варианта на основе того, что подсказывает вам ваше исследование (или ваша интуиция). Помните, что между вариациями должен различаться только один элемент.
4. Покажите каждый вариант сегменту ваших подписчиков.
5. Отслеживайте и анализируйте свои результаты.
6. Выберите выигрышный вариант.
7. Поделитесь выигрышным вариантом со всем списком или протестируйте его с другим небольшим вариантом, чтобы увидеть, сможете ли вы еще улучшить свои результаты.
8. Поделитесь тем, что вы узнали, со всей своей организацией, чтобы создать библиотеку лучших практик для вашего бренда.
9. Запустите процесс заново.

Необходимо помнить о лучших методах A/B-тестирования

Маркетинговые инструменты в социальных сетях упрощают сбор большого количества данных о вашей аудитории, но много данных — это не то же самое, что много информации.