Что такое а б тестирование: что это, для чего нужны такие тесты и как их проводить

Что такое А/Б-тест и как правильно провести тестирование

A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:

• Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
• Нужно принять решение относительно дорогостоящего изменения.
• Выбирается алгоритм товарных рекомендаций среди разных сервисов.
• Страшно менять что-то сразу, «а вдруг не пойдет».

В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.

Примеры A/Б-тестов с пользой для бизнеса

Результат успешного теста — выбор варианта-победителя и улучшение конверсии. Клиенты Mindbox с помощью A/Б-тестирований добились измеримого результата в деньгах:

• Маркетолог сети винных супермаркетов «Ароматный мир» убедился, что промокоды увеличивают выручку, но размер промокода не имеет значения.
• Интернет-магазин «Первый мебельный» улучшил показатели рассылок на 25%.
• Обувной ритейлер kari сэкономил 19% бюджета на SMS-рассылках.

Ссылки на материалы дублирую в конце статьи.

Этапы проведения эксперимента

Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:

1. Определение точки роста и выбор метрик.
2. Составление гипотезы.
3. Определение размера тестовой выборки.
4. Проверка сбора данных по метрике.
5. Запуск теста и снятие результатов.

Определение точки роста и выбор метрики

Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают.

Или хочется разобраться, приносит ли деньги виджет товарных рекомендаций в карточке товара. Варианты метрик для измерения улучшения:

• Доход
• Количество заказов
• Средний чек
• Процент открытия писем
• Повторные покупки
• Количество линий чека в заказе

Составление гипотезы

Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.

Гипотеза	Варианты	Метрика
Эмодзи в теме письма увеличивают открытия на 2%	С эмодзи и без эмодзи	Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%	С блоком сопутствующих товаров в карточке и без	Выручка
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%	С попапом и без попапа	Количество заказов и выручка

Определение размера тестовой выборки

Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.

Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».

Проверка сбора данных по метрике

Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.

Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.

А/А-тест как способ проверить правильность деления на группы

А/А-тест — это разновидность эксперимента, когда варианты одинаковы. Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.

Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.

Снятие результатов

По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.

Пример из Google Optimize: завершенное тестирование на сайте со статистически значимым результатом: выручка варианта-победителя оказалась на 50% больше

Инструменты для настройки тестов

Рассмотрим инструменты для A/Б-тестирования:

Калькулятор A/Б-тестирований

Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.

Скриншот калькулятора

Google Optimize

Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.

Как настраивается A/Б-тестирование в Mindbox

В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».

Резюме

Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:

1. Определить точку роста и метрику.
2. Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
3. Определить размер выборки для тестирования.
4. Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
5. Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.

Полезные ссылки

• Калькулятор достоверности A/Б-тестирований
• Презентация «Как проводить A/Б-тестирование»
• Обучающие видео: как правильно проводить A/Б-тесты
• Не всем A/Б-тестам можно доверять: чек-лист проверки с примерами
• Кейс «Первого Мебельного»: улучшение показателей рассылок до 25% с помощью A/Б-тестов
• История «Ароматного мира»: тестирование промокодов на сегменте оттока
• Обувной ритейлер kari: сэкономили 19% бюджета и получили дополнительную выручку

что это такое и зачем нужно, какие виды существуют, как его провести и оценить результаты

Возможно, вы сталкивались с дилеммой: появилась хорошая идея — и кажется, что она принесет пользу, но в голове мысль: «Что, если этой доработкой мы всё только усложним?» В таких случаях помогут A/B-тесты.

В статье разберемся: как понять предпочтения пользователей, не опираясь на свои идеи и догадки, и как и когда использовать A/B-тесты, чтобы не разочароваться в результате.

Что такое A/B-тестирование и зачем нужно

Пример A/B-теста с изменением цвета элемента

Например, мы делаем лендинг мероприятия и хотим улучшить конверсию. Приходит дизайнер и говорит: «А давайте сделаем кнопку регистрации более яркой». Идея неплохая, но хочется ее проверить так, чтобы не потерять текущих потенциальных посетителей.

A/B-тестирование — инструмент, который помогает выбрать правильный путь развития продукта, при этом не сильно рискуя усложнить жизнь пользователям.

Как это работает? Вернемся к примеру с лендингом. Мы хотим поменять цвет кнопки на более яркий, но боимся сделать хуже. Тогда мы берем небольшой процент потенциальных посетителей, например 15%, и делаем им ярко-красную кнопку. А для остальных 85% всё оставляем как есть. Дальше наблюдаем за 15% пользователей с красной кнопкой и сравниваем количество их регистраций с пользователями со старой кнопкой.

Так мы видим, работает наша теория или нет. Например, можно сделать вывод: у лендинга с красной кнопкой хуже конверсия, потому что дизайнер нарисовал красный фон, который сливается с кнопкой. Или наоборот: видно, что пользователи стали чаще замечать кнопку — и на мероприятие зарегистрировалось намного больше людей.

Кому необходимо

A/B-тесты полезны компаниям с уже устоявшейся аудиторией. В таких проектах важно менять продукт максимально деликатно, чтобы не шокировать текущих пользователей масштабными изменениями.

Если вы только начинаете новый проект или запускаете стартап, важно развиваться быстро. Пока нет четко устоявшейся аудитории, у вас есть возможность динамично запускать свои идеи. Не стоит тратить время на A/B-тесты: развивайтесь смело, не боясь допустить критичных ошибок.

Основные виды

Помимо классического A/B-тестирования, когда меняют какой-то небольшой элемент на одной странице, есть еще несколько смежных видов.

Сплит-тестирование (Split Testing).

Их иногда путают, но разница — в подходе.

Сплит-тестирование подразумевает запуск отдельной веб-страницы или экрана мобильного приложения с другим наполнением или структурой. Другими словами, проводят тест достаточно масштабных изменений: например, редизайн лендинга.

A/B-тестирование, наоборот, проводят небольшими итерациями, постепенно что-то меняя или добавляя. Например, сначала меняем цвет кнопки, оцениваем результат — и только потом меняем другие элементы.

Мультивариативное тестирование (Multivariate Testing, MVT). В этом виде тестов комбинируют разные небольшие доработки — и на каждый уникальный набор изменений направляют небольшую часть аудитории.

В примере с кнопкой регистрации на лендинге можно поменять не только цвет, но и расположение кнопки. Нужно составить список со всеми возможными вариациями и направить на каждую часть аудитории:

• вариант «Базовый» — оставляем цвет кнопки, оставляем ее расположение;
• вариант А — меняем цвет кнопки на красный, оставляем ее расположение;
• вариант Б — оставляем цвет кнопки, ставим ее в левый угол;
• вариант В — меняем цвет кнопки на красный, ставим ее в левый угол.

На каждый из этих четырех вариантов мы можем направить 25% аудитории и через время посмотреть, где было больше регистраций.

Пример MVT-теста, где тестируют комбинацию изменений (цвет/расположение)

Что такое Big Data

Мультистраничное тестирование (Multipage Testing). Элемент меняют не на одной странице, а на всех, где он встречается. Например, вы можете поменять цвет кнопки на красный на всём сайте.

Чтобы интерпретировать результаты, потребуется больше времени: нужно будет проверить показатели всех действий, которые выполняет новая кнопка на всех страницах сайта или приложения.

Пример мультистраничного теста, где мы должны проверить конверсию на каждой затронутой странице

Инструменты

На рынке множество инструментов, которые позволяют проводить A/B-тесты.

Google Analytics — самый популярный сервис для аналитики, с его помощью можно создавать A/B-тесты на сайте и управлять ими. Для каждого теста можно настроить ключевые конверсии, чтобы потом наглядно их отслеживать.

Сервис не умеет проводить подобные тесты в мобильных приложениях — зато функционал A/B-тестирования бесплатный.

Результаты A/B-тестирования в Google Analytics

Firebase — сервис нацелен на продуктовые решения: мобильные или веб-приложения. Как и в Google Analytics, для каждого варианта можно настроить ключевые метрики и аудиторию, на которую будет распространяться тест.

Сервис работает с мобильными приложениями, но для информационных сайтов вряд ли подойдет. Функционал A/B-тестирования тоже бесплатный.

Результаты тестирования в Firebase Analytics

Amplitude Experiments — удобный и многофункциональный сервис, который работает в связке с Amplitude Analytics. Больше ориентирован на продуктовую разработку — если у вас информационный сайт или портал, сервис может не подойти. Из минусов: платный.

Результаты тестирования в Amplitude Experiments

Если не уверены, какой инструмент лучше использовать, или еще не работали в сфере аналитики, то в Skypro есть обучение на аналитика данных.

А/B тестирование и анализ данных в Python // Урок 6 от Skypro

Что нужно тестировать

Часто в A/B-тестировании нужно проверять, как изменение того или иного элемента повлияет на целевые действия аудитории. Например, как добавление кнопки со справочной информацией при авторизации в приложении может повысить конверсию.

Не стоит им злоупотреблять. Если проводить подобные тесты при каждом изменении на сайте или в приложении, можно сильно замедлить развитие продукта. Сразу выкатывайте новое решение, если уверены, что оно будет полезно аудитории (например, клиенты уже несколько месяцев просят добавить новый функционал) и знаете, что оно не усложнит использование продукта. Если что-то пойдет не так — всегда можно исправить или откатить назад.

Как провести A/B-тестирование

Любое проведение A/B-тестов стоит начинать с построения гипотезы. Гипотеза — ваша идея о том, как можно улучшить сайт или приложение. Если она слишком большая, попробуйте разбить ее на более мелкие.

После того как определились с гипотезой, подключите метрики, которые помогут отслеживать целевые показатели. Например, если цель гипотезы — увеличить количество переходов на форму регистрации, добавьте отслеживание переходов на эту форму.

Используйте внешние сервисы — например те, что мы рассмотрели выше, чтобы создать новый A/B-тест. Укажите параметры аудитории, которая должна попасть под него.

Обычно при создании A/B-теста указывают базовое состояние: когда у пользователя ничего не меняется и остается как есть. И дальше вы добавляете сколько угодно вариантов. В классическом A/B-тесте есть только два варианта: базовый и с измененным состоянием. Например, «Базовый» и «Красная кнопка регистрации». Если проводите MVT-тест, можете добавить и другие — например «Синяя кнопка», «Желтая кнопка» и так далее.

Для каждого варианта, кроме базового, можно настроить свои параметры аудитории. Например, указать, что нужно поменять цвет кнопки регистрации не более чем у 10% пользователей, которые:

• еще не зарегистрированы;
• проживают на территории США;
• подходят под любые другие критерии.

После того как запустили тестирование, нужно подождать необходимых результатов. Время проведения теста зависит от объема аудитории. Если у вас мало пользователей, то, чтобы выборка была репрезентативной, потребуется больше времени для сбора достаточного объема данных.

Как только собрали данные — осталось посмотреть на показатели метрик, которые вы добавили раньше в разрезе каждого варианта. Если видите, что выше показатели у варианта с изменениями, — можно считать теорию подтвержденной.

Вебинары

Как оценить результаты

Может быть так, что у базового варианта показатели выше, чем у варианта с изменениями. Прежде чем отметать гипотезу и считать ее неудачной, посмотрите на выборку пользователей, которые попали под тест. Возможно, вы выставили слишком небольшой процент. Тогда надо или ослабить критерии отбора, или увеличить процент пользователей.

В процессе теста может оказаться, что показатели не слишком сильно поменялись. Тогда попробуйте копнуть глубже и найти новые гипотезы, которые будут дополнять текущую, чтобы провести дополнительные тесты.

Частые ошибки

Самая частая ошибка при проведении A/B-тестов — их чрезмерное использование. Тестирование — полезный инструмент, но не всегда в нём есть необходимость: можно замедлить развитие продукта.

Используйте A/B-тесты в тех разделах, где критически важна конверсия, например при регистрации или покупке. Или когда вы не уверены, полезна идея или она усложняет использование сервиса.

Другая частая ошибка — в недостаточности метрик, через которые отслеживают результаты тестирования. Например, вы видите, что конверсия в результате теста упала. Если вы не добавили метрики на промежуточных шагах, нельзя точно сказать, из-за чего конверсия хуже.

Пример A/B-теста

Представим, что мы делаем мобильное приложение и возникает идея: «Давайте автоматически заполнять логин/пароль пользователя, подтягивая данные из браузера». Идея кажется хорошей: пользователям не нужно будет сидеть и вспоминать свои данные для входа в приложение. Но потом мы задумываемся: что, если у пользователя несколько аккаунтов? Не запутаем ли мы его

Выдвигаем гипотезу: «Если автоматически заполнять логин с паролем, то пользователям будет проще попасть в мобильное приложение. Следовательно, конверсия в авторизацию вырастет».

Чтобы отслеживать показатели этой конверсии, надо добавить следующие метрики:

• Событие успешной авторизации. Мы ожидаем, что данный показатель должен вырасти.
• Событие авторизации с ошибкой вида «Неправильный логин/пароль». Метрика нужна, чтобы отследить, уменьшится ли ввод неправильных логина/пароля. Мы ожидаем, что показатель должен уменьшиться.
• Событие выхода из аккаунта. Мы допускаем, что у пользователя может быть несколько аккаунтов. Если он автоматически войдет не в тот аккаунт, то будет сразу из него выходить. Мы ожидаем, что показатель не будет увеличиваться.

После того как мы добавили необходимые метрики, создаем новый A/B-тест в используемой системе аналитики. Прописываем наш вариант: «Автоматическое заполнение логина и пароля» и указываем созданные события в качестве метрик. Еще указываем процент аудитории и его критерии, например 50%.

Спустя время смотрим на результат. Если все показатели изменились так, как мы ожидали, то считаем тест пройденным: можно добавить автоматическое заполнение логина/пароля для всех пользователей. Если какие-то метрики отличаются от наших ожиданий, то нужно доработать гипотезу.

Главное

• A/B-тестирование хорошо подходит для компаний с уже устоявшейся аудиторией.
• Тестирование может пригодиться, когда критически важна конверсия или когда есть сомнения в полезности идеи.
• Важно четко формулировать гипотезу и ожидаемые результаты.
• Не забывайте максимально полно покрывать проект метриками: в местах, где проводите тестирование, или в разделах, которые могут быть задеты изменениями.

Что вам нужно знать об A/B-тестировании приложений

Введение

В условиях более высокой конкуренции на рынке приложений крайне важно научиться оптимизировать свое приложение и свои маркетинговые кампании. Даже небольшое изменение в пользовательском опыте вашего приложения может оказать существенное влияние на показатели конверсии, поэтому важно проверить, что работает. Компания электронной коммерции WallMonkeys доказала это, увеличив коэффициент конверсии на 550 % просто с помощью A/B-тестирования.

A/B-тестирование — важный инструмент для маркетологов по привлечению пользователей, позволяющий понять, как можно оптимизировать ваше приложение и его маркетинговые кампании. В этом руководстве мы покажем вам все, что вам нужно знать об A/B-тестировании мобильных устройств, включая рекомендации по достижению оптимальных результатов.

Что такое A/B-тестирование для мобильных устройств?

A/B-тестирование мобильных приложений — это тестирование нескольких версий определенной переменной, например креатива или текста. Эта форма тестирования работает путем сегментирования аудитории на две или более групп, подвергая каждый сегмент воздействию другой версии переменной и анализируя, как переменная влияет на поведение пользователя.

Допустим, вы хотите увеличить количество установок своей мобильной игры. В рамках вашей стратегии UA вы стратегически ориентируетесь на мужчин в возрасте 18–24 лет, проживающих в США, с помощью видеорекламы. Вместо того, чтобы тратить деньги на рекламу, эффективность которой не доказана, для начала разумнее показать свою рекламу небольшой группе или этой аудитории — и еще разумнее провести A/B-тестирование вашей видеорекламы. Тест A/B показывает, что видео B, в котором было больше текста, чем в видео A, имело на 20 % более высокий коэффициент конверсии. С такими результатами имеет смысл показывать видео с большим текстом более широкой аудитории.

Каковы преимущества A/B-тестирования?

A/B-тестирование мобильных приложений исторически считалось сложным из-за технических проблем и необходимости тестирования в средах Android и iOS. Тем не менее, это имеет решающее значение для маркетинга приложений. Результаты A/B-тестов помогают маркетологам определить рецепт наилучшего взаимодействия с пользователем, что, в свою очередь, улучшает взаимодействие с приложением и обеспечивает наилучшие результаты кампании.

A/B-тестирование позволяет разработчикам приложений и маркетологам:

• Оптимизация взаимодействий в приложении
• Узнайте, что работает для разных групп аудитории
• Обратите внимание на влияние новой функции
• Получите лучшее понимание поведения пользователей
• Улучшение ключевых показателей эффективности (KPI)

В конечном счете, знания, полученные в результате A/B-тестирования, исключают догадки, позволяя маркетологам приложений полагаться на выводы, основанные на данных. Это то, чего вы не можете позволить себе избежать, и чем раньше вы начнете A/B-тестирование, тем скорее вы сможете убедиться, что ваше приложение (и ваша реклама) находятся в наилучшей возможной итерации.

Давайте рассмотрим реальный пример. Польский провайдер электронной коммерции Grene провел тест на своей странице мини-корзины, чтобы выяснить, какие элементы страницы должны быть более или менее заметными. Результаты привели к:

• Увеличение числа посещений страницы в корзине
• Общее увеличение коэффициента конверсии электронной коммерции с 1,83% до 1,96%
• 2-кратное увеличение общего закупаемого количества

Различные типы A/B-тестирования мобильных приложений

Существует два типа A/B-тестирования, актуальных для маркетологов и разработчиков приложений. Оба они работают по одному и тому же принципу (сравнение одной переменной среди разделенной аудитории), но имеют разные функции.

A/B-тестирование в приложении

Так разработчики проверяют, как изменения в UX и UI приложения влияют на такие показатели, как время сеанса, вовлеченность, уровень удержания, прилипчивость и пожизненная ценность (LTV). Также будут определенные показатели, влияние которых разработчики будут измерять в зависимости от конкретной функции приложения.

A/B-тестирование маркетинговых кампаний

Для маркетологов приложений A/B-тестирование — это способ максимизировать эффективность маркетинговых кампаний. Тестирование может выявить, какое рекламное объявление лучше всего подходит для кампаний UA, какой рекламный канал наиболее эффективен или какие сообщения чаще всего возвращают ушедших пользователей. Кампании A/B-тестирования могут помочь оптимизировать показатели конверсии, повысить количество установок и успешно перенаправить пользователей.

Как правильно проводить A/B-тестирование

A/B-тестирование — это циклический процесс, который вы можете использовать для постоянной оптимизации своего приложения и кампаний. Прежде чем начать, спросите себя:

• Что вы хотите протестировать?
• Кто ваша целевая аудитория?
• Каким, по вашему мнению, будет результат испытания?
• Что вы будете делать, если ваша гипотеза будет доказана/опровергнута?

Имея это в виду, вот полный контрольный список A/B-тестирования:

1. Разработайте гипотезу и определите свою переменную

   Разработка гипотезы перед проведением каких-либо тестов может помочь компаниям получить наиболее действенную информацию, которая поможет им достичь своих целей. Если вы изо всех сил пытаетесь определить, что вы хотите протестировать, начните с описания проблемы, которую вы хотите решить. Это даст вам хорошую отправную точку, с помощью которой вы сможете определить, что следует отслеживать для решения этой проблемы. Просмотрите все данные, которые у вас есть в настоящее время, чтобы помочь определить одну переменную для тестирования. Если вы тестируете несколько переменных одновременно, будет намного сложнее определить, что повлияло на эффективность вашей кампании. Выполняйте по одному тесту за раз, каждый с другой переменной.

   Например, ваша гипотеза может заключаться в том, что меньшее количество товаров, демонстрируемых при открытии приложения электронной коммерции, увеличивает время сеанса. Эту гипотезу, которая должна основываться на предыдущих исследованиях, можно затем использовать для определения вашей переменной (количества продуктов на вашей домашней странице).

2. Сегментируйте свою аудиторию

   С вашей гипотезой и переменной вы готовы протестировать варианты на своей аудитории. Используйте платформу A/B-тестирования*, чтобы разделить группы аудитории на тестовые группы, которые будут подвергаться воздействию различных версий переменной. Помните, что вам нужен статистически значимый размер выборки. Если ваша аудитория слишком мала, вы рискуете неправильно определить оптимизации для своего приложения, которые не окажут желаемого влияния на более крупные группы аудитории.

3. Анализ результатов

   Теперь вы можете определить, какой вариант дает наилучшие результаты. Не забудьте посмотреть на каждую важную метрику, на которую, возможно, повлияли, потому что это позволяет вам узнать гораздо больше из одного теста. Например, даже если вы стремитесь увеличить количество конверсий, это могло неожиданно повлиять на вовлеченность или время сеанса.

4. Внедрить оптимизацию

   Если вы нашли положительный результат, вы можете уверенно представить успешный вариант более широкой аудитории. Если ваш тест был неубедительным, это все еще полезные данные, которые следует использовать при обновлении вашей гипотезы.

5. Адаптируйте свою гипотезу и повторите

   A/B-тестирование позволяет вам постоянно развивать свою гипотезу с течением времени. Вы всегда должны тестировать, чтобы изучать новые способы повышения конверсии, потому что всегда будут способы улучшить. Продолжайте строить свою гипотезу на свежих данных и внедряйте новые тесты, чтобы оставаться впереди конкурентов.

*Какие платформы A/B-тестирования можно использовать?

Поскольку A/B-тестирование мобильных приложений очень важно для разработки любого приложения, маркетологам приложений доступно множество инструментов. Audience Builder от Adjust — это инструмент сегментации, который, как доказано, стимулирует рост с помощью A/B-тестирования и ретаргетинга. Немедленно с легкостью определите подробные сегменты аудитории, что сэкономит вам и вашей команде значительное время и энергию. С группами аудитории, определенными для A/B-тестирования, отправьте своим рекламным партнерам динамический URL-адрес, содержащий всю информацию, необходимую для охвата этих пользователей.

5 передовых методов A/B-тестирования

1. Определите, что вы хотите протестировать

   Это может показаться простым шагом, но знание того, почему вы внедряете эти тесты, гарантирует, что вы не потратите время и деньги на тест, который не даст полезных сведений. Не начинайте тестирование, пока у вас не будет четкой гипотезы и вы не будете знать, как вы будете действовать, основываясь на различных результатах.

2. Будьте открыты для сюрпризов в своем анализе
   Поведение пользователей всегда будет сложным, а это означает, что ваши A/B-тесты иногда дают неожиданные результаты. Важно быть непредубежденным и следовать этим знаниям. В противном случае вы рискуете оставить деньги на столе, не сумев извлечь уроки из собственных данных.

3. Не прерывайте свои тесты, даже если вы не видите результатов
   A/B-тесты полезны, даже если ваша гипотеза оказывается ложной или когда результат кажется неубедительным в самом начале периода тестирования . Очень важно придерживаться своих тестов достаточно долго, чтобы у вас был высокий уровень уверенности в результате.

4. Не прерывайте тесты дополнительными изменениями
   Крайне важно не вносить какие-либо изменения в процессе тестирования. Это снижает вашу уверенность в своих выводах, потому что вы больше не будете знать, какие переменные привели к результату. Помните, вы пытаетесь найти причину и следствие, основываясь на убедительных результатах.

5. Сезонное тестирование
   Независимо от направления, ваши результаты будут зависеть от периода времени, в течение которого вы тестировали. Таким образом, вы можете тестировать одни и те же переменные в разные сезоны и получать разные результаты. Например, может случиться так, что конкретное объявление, которое не очень хорошо работало летом, покажет впечатляющие результаты зимой.

6. Учитесь на собственных тестах, а не только на примерах
   В своей статье о примерах A/B-тестирования Янив Навот, вице-президент по маркетингу омниканальной платформы персонализации Designer Yield, утверждает, что «обобщение результатов любого A/B-тестирования на основе только в одном случае будет считаться ложным предположением. Поступая так, вы игнорируете конкретное вертикальное пространство, целевую аудиторию и атрибуты бренда». Он добавляет: «Некоторые идеи могут сработать для вашего сайта и аудитории, но большинство из них не так легко воспроизвести». С таким количеством A/B-тестов, доступных маркетологам, помните, что их результаты не обязательно будут работать для вашей аудитории. Вместо этого разработка и проверка вашей собственной гипотезы должна указывать на то, что дает результаты.

A/B-тестирование, безусловно, является важным инструментом, который помогает маркетологам постоянно улучшать свои кампании. Если вы хотите узнать больше о способах улучшения своих кампаний, ознакомьтесь с нашим исчерпывающим руководством по масштабированию вашего приложения до миллиона пользователей.

Введение в A/B-тестирование

Поиск по метаданным для правительства, политики и защиты интересов Поиск

Главная страница

Передовой опыт

Государственная организацияМестное самоуправлениеВыборное Официальный совет по туризмуПолитическая организацияКандидат на должностьАдвокационная группаАгентствоНекоммерческие организацииМежправительственные организации

Правительственная организацияМестное самоуправлениеВыборное должностное лицоСовет по туризмуПолитическая организацияКандидат, баллотирующийся на должностьГруппа защиты интересовАгентствоНекоммерческие организацииМежправительственные организации 002 Создайте свою страницу

Оптимизируйте свою страницу

Управляйте своей страницей

Публикация Контент

Приемное сообщество

Бизнес-менеджер

Настройка кампании

Управление рекламой

Финансы и платежи

Измерение эффективности

COVID-19Основы

Помогите защитить свою учетную запись

Создайте свою страницу

Op timize Your Page

Управляйте своей страницей

Свяжитесь с вашим Аудитория

Публикация контента

Фостер-сообщество

Честность на выборахРеклама

Бизнес-менеджер

Настройка кампании

Управление рекламой

Финансы и платежи

Измерение эффективности

Инструменты

Блог

Вдохновение

Творческая галереяКейсы

Творческая галереяКейсы

Видеотека 90 003

Оставайтесь в курсе

Справка

Передовой опыт

Государственная организацияМестное самоуправлениеВыборный Официальный Совет по туризмуПолитическая организацияКандидат на должностьАдвокационная группаАгентствоНекоммерческие организацииМежправительственные организации

Ресурсы

COVID-19ОсновыОбщение со своей аудиториейЧестность выборовРеклама

Основы

Помощь в защите вашей учетной записиСоздайте свою страницуОптимизируйте свою страницуУправляйте своей страницей

Свяжитесь со своей аудиторией

Размещение контентаFoster Community

Реклама

Business ManagerНастройка кампанииУправление Ваша рекламаФинансы и платежиИзмерение эффективности

Вдохновение

Творческая галереяИстория успеха

ГлавнаяЛучшие практикиРесурсыИнструментыБлогВдохновениеВидеотекаБудьте в курсеСправка для государственных, политических и правозащитных организаций

A/B-тестирование проводится, когда несколько версий объявления похожи во всех во всех отношениях, кроме одного, проводится оценка того, что работает лучше. A/B-тестирование — это простой и легкий способ для государственных, политических и правозащитных организаций (GPA) узнать, какие рекламные тактики наиболее эффективны. Затем полученные знания можно применить к будущим медиа.

Как работает A/B-тестирование?

A/B-тестирование — это мощный экспериментальный метод, основанный на способности Facebook рандомизировать пользователей, а затем разделить их на взаимоисключающие группы. Этим группам показываются разные наборы объявлений, которые идентичны, за исключением одного отличия. Затем производительность каждой группы объявлений сравнивается на основе цели кампании (например, цена за привлеченного лида), и побеждает самая эффективная группа объявлений. Организации просто нужно просмотреть результаты в Ads Manager, а затем оптимизировать будущие кампании. Тест работает во всем семействе приложений Facebook.

Чтобы получить информацию о методологии тестирования золотого стандарта Facebook, загрузите этот обзор.

Почему A/B-тестирование полезно организациям GPA?

A/B-тестирование — это подход, основанный на данных, который может повысить эффективность использования средств массовой информации и снизить затраты. Он хорошо подходит для организаций с любым опытом измерений. Это связано с тем, что тесты легко настраиваются в Ads Manager и не требуют пикселя Facebook. Кроме того, он доступен для всех типов организаций GPA, независимо от того, проводят ли они небольшие или крупные кампании в СМИ. Минимум тестов очень низок, и его можно запускать на медиапотоках продолжительностью от 3 до 30 дней. Кроме того, организации не нужно учитывать периоды ретроспективного анализа цифрового отслеживания.

Для чего можно использовать A/B-тестирование?

Существует четыре варианта использования A/B-тестирования: тестирование творческих ресурсов, аудиторий, оптимизация доставки и места размещения. Например, если правительство хочет проверить, какие призывы к действию, изображения или заголовки в их творческом движении ведут с наименьшими затратами, A/B-тестирование — отличный выбор. Обратите внимание, что одновременно можно тестировать не более пяти версий объявлений.

Отличаются ли A/B-тесты от тестов лифта или аукциона Facebook?

A/B-тесты предлагают другую ценность, чем аукцион Facebook или тесты подъема. Тесты Lift измеряют, приводят ли объявления к конверсиям или изменяют показатели бренда. Они делают это, сравнивая ответы тех, кто видел рекламу (тестовая группа), с теми, кто не видел (контрольная группа). A/B-тесты не используют контрольную группу, но все же позволяют организации определить выигрышную тактику путем сравнения каждого объявления на основе многочисленных показателей.

Аукцион играет другую роль. Как только реклама появится в эфире, аукцион оптимизирует расходы на более эффективные объявления в зависимости от цели кампании. Этот процесс улучшает доставку, но не заменяет рандомизированные испытания. Использование рандомизации и непересекающихся групп делает результаты A/B-тестирования статистически точными. Аукцион выполняет свою роль исключительно хорошо, но не является инструментом измерения.