А б тестирование: A/B тестирование — цены на проведение А/Б тестирования сайта, примеры правильного проведения сплит-теста

Что такое А/Б тестирование и зачем нужно бизнесу

Нет единой формулы продающего сайта. В одной нише лучше работает оранжевая кнопка на синем фоне, в другой — красная на белом. Никогда не угадаешь, что лучше продаст: игра слов в слогане или фотография с котятами.

Подключить А/Б тестирование

При этом каждая мелочь на сайте может повлиять на действия пользователей. Редизайн небольшого элемента способен поднять конверсию в разы. Behave.org слегка изменили призыв к действию на сайте Oxfam и подняли заполняемость формы на 23%. 

А/Б тестирование двух версий страницы сайта Oxfam

Слева вариант «Я хочу делать пожертвования ежемесячно (можно выбрать другой вариант) в размере £4 (можно выбрать другой вариант)». Справа: «Ваше пожертвование может изменить жизни». Рядом с обоими вариантами кнопка «Пожертвовать сейчас». Как думаете, какой призыв к действию сработал лучше?

Правильный ответ: слева. Пользователи видели ориентир (£4) и не мучились вопросом: «Сколько я готов вообще отдать?».

Принять решение о пожертвовании стало проще, и конверсия увеличилась.

Чтобы узнать, будет ли изменение сайта полезным, проведите А/Б тестирование. Именно оно помогло Behave.org увидеть, что новый призыв к действию работает лучше старого.

Что такое А/Б тестирование

Это сравнение двух вариантов одной веб-страницы для определения наиболее эффективной версии. А/Б тестирование и сплит-тестирование — одно и то же. Если вы ищете материал о сплит-тестировании, смело читайте эту статью.

В ходе тестирования сравнивают два варианта одной страницы. Варианты отличаются друг от друга лишь одним элементом. Тот, который принесёт больше заявок и продаж, будут использовать на сайте компании.

Зачем нужно А/Б тестирование

А/Б тестирование помогает оценить, стоит ли внести конкретное изменение на сайт. 

Однажды маркетинговая компания из Америки провела А/Б тестирование двух шрифтов: Times New Roman(А) и Arial (Б). Со вторым вариантом конверсия выросла на 30%. Его стали использовать на сайте компании.

Изменение шрифта помогло увеличить конверсию

Другая компания тоже обратилась к маркетологам, чтобы проверить эффективность меню сайта. Они решили, что симпатичные иконки упростят навигацию и увеличат время пребывания пользователя на сайте. Как следствие, должен был вырасти доход.

Маркетологи протестировали два варианта меню:

Первая версия — без иконокВторая версия — с иконками

Вариант без иконок принёс на 21% больше прибыли, чем вариант с ними. Значки сделали сайт визуально более приятным, но перегрузили интерфейс. Это отпугнуло пользователей и заставило покупать меньше. Компания отказалась от иконок в меню.

Рассказали в блоге, как бизнес перестанет терять клиентов, если улучшить интерфейс и повысить юзабилити.

Что можно тестировать

1. Кнопки с СТА — внешний вид, форму, расположение, текст.
2. Заголовки и описания — в статье, на лендинге, в постах, в рассылках, в пушах, в УТП.
3. Формы обратной связи — размеры, расположение, внешний вид.
4. Внешний вид страницы — макет и дизайн, расположение элементов, стиль, цвета.
5. Изменение цены продукта.
6. Изменение изображений продукта и других иллюстраций.
7. Количество и качество текста на странице.

Как провести А/Б тестирование

А/Б тестирование состоит из трёх этапов.

Этап 1

Внесите одно изменение на страницу. Например, перепишите текст заголовка в шапке, придумайте новое УТП, измените текст на кнопке с СТА.

Важно: меняйте только один элемент — изменив несколько, вы не узнаете, что именно повлияло на результат.

Пример: компания WorkZone разрабатывает ПО и хочет улучшить свою репутацию. Для этого компания создала форму для сбора отзывов клиентов. В WorkZone начали замечать, что конверсия со страницы с отзывами минимальная. В компании предположили, что яркие логотипы клиентов на этой странице отвлекают внимание пользователей от отзывов. WorkZone выдвинула гипотезу — вырастет ли конверсия, если сделать логотипы клиентов чёрно-белыми. Компания провела А/Б тестирование одного элемента.

Этап 2

Настройте рекламу так, чтобы с каждого канала половина трафика шла на первый вариант страницы, а другая половина — на второй. 

Для исследования не обязательно тестировать изменения на всю аудиторию. Сегментируйте её, использовав характеристики портрета целевой аудитории, и сделайте случайную выборку. Узнать необходимый объём выборки можно с помощью калькулятора А/Б тестов.

Популярные калькуляторы:

Пример: если хотите привлечь новых клиентов на сайт, не нужно тестировать изменения элементов на тех, кто покупает у вас давно. Они уже привыкли к интерфейсу сайта. Даже если на сайте сложно искать нужную информацию, постоянные клиенты её найдут — они уже знают, как искать. А вам нужно узнать оценку тех пользователей, которые нечасто к вам заходят или ещё не были на вашем сайте.

Учитывайте это, когда будете формировать выборку под А/Б тестирование.

Этап 3

Соберите статистику. Метрики покажут, какой из вариантов страницы сработал лучше: принёс больше конверсий и продаж.

Пример: на вашем сайте действует 20% скидка на все товары. При этом доставка товаров очень дорогая. Вы решили узнать, что для клиентов важнее: бесплатная доставка или скидка на товар.

Вы поменяли предложение со «Спешите! С ноября по январь скидка 20% на всё» на «Бесплатная доставка любого товара. Только с ноября по январь».

Дальше вы создали дубли своих рекламных компаний и указали в настройках новую посадочную страницу. Старые кампании вели трафик на основной вариант страницы, кампании-дубли — на новый. Бюджет между кампаниями вы разделили поровну.

Через месяц вы собрали данные аналитики. Предложение бесплатной доставки помогло продать на четверть больше товара, чем вариант с 20% скидкой. Вы стали использовать вариант с бесплатной доставкой.

По каким метрикам оценить результаты А/Б тестирования

Для тестов выбирают один показатель. Он поможет точно оценить результат исследования и определить, какой из вариантов использовать в дальнейшем.

Метрики для оценки:

• конверсия в заявку или в продажу;
• количество регистраций;
• количество загрузок;
• CTR;
• количество посетителей;
• число отказов;
• выручка.

Кейс: как скидка на сайте увеличила клиенту Roistat конверсию на 30%

Иногда предприниматели упираются в «стеклянный потолок» дохода. Уже потратили массу денег на А/Б тестирование, нащупали самую высокую конверсию, а прибыль стоит на месте или уменьшается.

В такую ситуацию попал один из клиентов сервиса Roistat. Вариант страницы с наибольшей конверсией приносил мало прибыли.

Результаты проведения А/Б тестирования в Roistat

Эффективность версии страницы можно оценить только по прибыли, которую она приносит. В случае нашего клиента предложение скидки в 30% приносило лучшую конверсию в заявки.

Но продавать товар без скидки оказалось в три раза выгоднее.

Чтобы узнать, какой вариант страницы приносит больше чистой прибыли, используйте систему сквозной аналитики.

Как сквозная аналитика помогает увеличить прибыль с рекламы — рассказали в блоге.

Сравнение сервисов для А/Б-тестирования

У Roistat есть сервис «А/Б тесты». С его помощью можно сравнить эффективность разных вариантов страницы сайта:

• отследить, сколько заявок и продаж было получено на каждом варианте страницы;
• узнать, сколько выручки и прибыли получила компания;
• проанализировать пользу каждого варианта тестирования.

Сервис	Платный или бесплатный	Знание HTML	Настройка тестов	Что ещё умеет	Язык
Optimizely	Платный	Не нужно	Удобный интерфейс — просто настраивать	Можно подключить интеграцию с системами веб-аналитики и CRM	Английский
Google Optimize	Бесплатный	Необходимо	Минималистичный дизайн — есть базовые настройки для тестов	Можно ставить цели и быстро проводить тесты	Русский
Roistat	Платный, есть бесплатный тестовый период на 14 дней	Не нужно	Лёгкая настройка в редакторе — можно в 1 клик менять цвет кнопки на всех страницах или протестировать варианты меню	Можно сегментировать аудиторию для теста по устройствам или по рекламному каналу. Сервис покажет статистику тестируемых вариантов по показателям прибыли, а не конверсии	Русский
Visual Website Optimizer	Платный	Необходимо	Сложный интерфейс с множеством функций — умеет собирать статистику по тестам	Есть встроенный редактор, где можно настраивать изменения элементов	Английский

Преимущества А/Б-тестирования Roistat

1. Изучайте подробные отчёты по разным метрикам. Анализируйте результаты по показателям прибыли и выбирайте варианты страниц, которые приносят компании больше продаж.

Пример А/Б тестирования в Roistat

2. Настраивайте тесты без программистов. В редакторе можно менять любые элементы сайта — кнопки, заголовки, картинки, СТА и другие.

Настройка А/Б тестирования в Roistat

3. Правильно распределяйте трафик. Сервис поможет сегментировать аудиторию и сформировать верную выборку для тестов.

Как настроить тестирование в сервисе «А/Б тесты» Roistat

Шпаргалка

1. Перед тем, как внести изменения на сайте, проведите А/Б тестирование.
2. Во время тестирования не забудьте разделить напополам трафик каждого рекламного канала.
3. Сравнивайте результаты разных версий сайта по чистой прибыли, а не по конверсиям.
4. Облегчите процесс тестирования сервиса «А/Б тесты» Roistat.

Подключить А/Б тестирование

На нашем Telegram-канале делимся полезными материалами по маркетингу и аналитике, кейсами клиентов, собираем познавательные дайджесты и анонсируем бесплатные обучающие вебинары. Подписывайтесь, чтобы ничего не пропустить!

Что такое A/B-тестирование, как проводить A/B тесты

Выясняем, как и зачем тестировать разные варианты страниц и почему это критически важно для повышения конверсии и прибыльности сайта.  

Что такое A/B-тестирование?

По названию можно предположить, что идет тестирование каких-то двух объектов. В нашем случае речь будет идти про веб-сайты, но описываемую методику можно применить к интерфейсам приложений, почтовым рассылкам, лендингам и т.п.

Это не просто тестирование, а сравнение эффективности двух вариантов страницы. Но не принципиально разных вариантов, а одной и той же страницы с небольшими изменениями, которые, по мнению вебмастера или дизайнера, могут увеличить доходность ресурса. 

Допустим, у нас есть лендинг А с определенным дизайном кнопок. Владелец сайта считает, что кнопки другого цвета могут сделать ресурс более привлекательным для клиентов. Тогда он создает лендинг Б с другими кнопками и разделяет трафик между вариантами А и Б. Таким образом, удается проверить появившуюся теорию и выяснить, действительно ли кнопки другого цвета могут повысить продажи.  

В общем, A/B-тестирование – это эффективный способ проверить полезность вносимых на сайте или в приложении изменений до их окончательного внедрения в финальный продукт. 

Отличия между A/B-тестированием и сплит-тестированием

Некоторые пользователи путают эти понятия или считают, что они взаимозаменяемы. Это не совсем так. A/B-тестирование подразумевает движение от одной точке ко второй, то есть прогрессирующее развитие страницы или интерфейса, шаг за шагом ведущее к идеальному варианту, приносящему ожидаемую прибыль.

Сплит-тестирование в своем изначальном виде предполагает некое сравнение двух совсем разных страниц. То есть не лендинга с красной кнопкой и идентичного лендинга с зеленой кнопкой, а два кардинально отличающихся друг от друга лендинга. 

Но в русском языке за обоими терминами закрепилось одно понятие. Все дело в невысокой популярности настоящего сплит-тестирования и размытых границ между «слегка измененный лендинг» и «две принципиально отличающиеся страницы».

Зачем нужно подобное тестирование?

Ответ прост: чтобы повысить доходность сайта. Ведь мало просто разработать ресурс и определенный дизайн, важно сделать и то, и другое эффективным, приносящим деньги. Желательно максимально возможное количество денег. 

A/B-тестирование помогает выяснить, какое из принятых решений приносит больше денег. Причем позволяет делать это не вслепую, а ориентируясь на конкретные результаты. В итоге удается по крупицам выжать из первоначального дизайна максимальный доход (естественно, по ходу дела всячески меняя его и дополняя).

Если еще задаетесь вопросом, нужно ли вам A/B-тестирование, то спросите себя, должен ли ваш сайт приносить больше прибыли. Если ответ положительный, то и ответ на этот вопрос будет положительным.

Что нужно тестировать?

A/B-тестирование помогает оценить пользу буквально от любой части сайта – от цвета кнопок и наличия отдельных фраз до огромных кусков медиаконтента или количества материалов на сайте в целом.  

Обычно в список тестируемых элементов входят:

• заголовки и подзаголовки,
• кнопки и формы для заполнения,
• картинки, видео и аудио,
• объем текста,
• наличие скидок и пробных периодов использования,
• отзывы, цитаты, ссылки.

Далее разберем каждый пункт более подробно. 

Важно отметить, что все элементы в равной степени важны. Пример с заменой одного цвета кнопки на другой не утрирован и не придуман из головы. Это реальные эксперименты, когда количество нажатий на кнопку регистрации/покупки увеличивалось на 10-30% при смене дизайна на более броский. Так что любая крошечная деталь может вывести ресурс на более высокую прибыль.

Заголовки и тело статьи

Заголовок статьи – первое, что видит пользователь, решивший посетить ваш сайт. Если заголовок изначально не привлекает внимание приходящей аудитории и не способен заставить человека прочитать статью, то вы уже потеряли часть прибыли.  

Старайтесь делать заголовки в меру цепляющими. До желтой прессы и совсем уж очевидного кликбейта скатываться, конечно, не стоит, но небольшая интрига, недосказанность или метафора не помешает. Экспериментируйте с разными заголовками. 

Есть и другие аспекты текста, способные повлиять на количество посещений страницы. Как правило, это касается SEO-аспектов. Пробуйте разное количество вхождений ключевых слов и проверяйте, какая из стратегий написаний текстов работает лучше.

Конверсионные элементы

Это к вопросу о тех же кнопках и формах. Под конверсионными элементами (CTA) имеются в виду все части сайта, действия над которыми приводят к какого-либо рода выгоде. Это может быть форма регистрации, в которой посетитель указывает адрес электронной почты или номер телефона, или же кнопка оформления заявки на оказание услуги. 

На эффективность конверсионных элементов влияет все – от их расположения до цветового оформления. В ходе тестирования можно попробовать сократить количество личных данных, которые нужно вводить для покупки услуги/товара, или сделать сам элемент более заметным при первом заходе на сайт (можно закрепить его на виду с помощью свойства sticky). 

Важно не менять сразу несколько свойств, создавая вариант Б. Хотите протестировать пользу от смены цвета? Меняйте только цвет и наблюдайте. Хотите проверить еще и пользу от смены размера? Создавайте другой вариант Б и тестируйте его в сравнении с А отдельно.

Медиаконтент

Невозможно затронуть каждый сегмент своей целевой аудитории, используя исключительно SEO-тексты. Важно использовать дополнительные форматы. Это может быть подкаст, видеоролик, какая-то наглядная инфографика и т.п.

При наличии подобных материалов есть два пути для тестирования.

• Можно создать страницу А, в которой информация подается в текстовом виде, и страницу Б, где та же информация подается в каком-то ином формате. Например, в форме видеоролика с тем же текстом или инфографики с укороченной версией данных.
• Таким же способом можно тестировать несколько вариантов медиаконтента. То есть и на странице А, и на странице Б могут быть ролики, но они будут отличаться друг от друга по длине, описанию, превью-картинке и прочим вводным.

Медиаконтент – отличный способ привлечь внимание пользователя. Если нет своего медиаконтента, используйте тот, что есть в открытых источниках. 

Темы писем (в email-маркетинге)

При наличии отдельного сегмента целевой аудитории, с которым вы взаимодействуете через почтовую рассылку, стоит особое внимание уделить темам (subject) письма. Это важный аспект, который зачастую является решающим в вопросе, откроют ли ваше письмо.

Тут ситуация почти такая же, как в случае с заголовками для статей. Это первое, что видит потенциальный клиент, когда открывает свой почтовый ящик. Уже в теме должно быть четко изложена суть сообщения. Краткость и емкость – залог клика.

Поделите список доступных email-адресов на два и создайте несколько вариантов тем для одной и той же рассылки. Более удачный вариант можно выделить в отдельную группу, а потом тестировать какие-либо дополнения на более эффективной рассылке.

Степень погружения в тему статьи

Некоторые пользователи предпочитают краткость и легкое изложения материалов, а другие, наоборот, любят лонгриды с дотошным разбором каждого элемента темы до основания. Вы знаете, к какой категории относится ваша целевая аудитория?

A/B-тестирование поможет выяснить этот факт и протестировать разные степени глубины погружения в обсуждаемую тему. 

Принцип тот же: 

• Создаем два варианта одной и той же статьи. В первой расписываем вкратце основную суть. Делаем легкопоглощаемый материал без лишних претензий на экспертность, разбавляем картинками и выпускаем в тираж. Во второй – раскрываем тот же вопрос, но уже с точки зрения профессионала. Так, чтобы у читателя не осталось вопросов после прочтения статьи.
• Размещаем эти варианты и оцениваем количество конверсий с каждого.

Многие вебмастера думают, что более краткий вариант сработает лучше по умолчанию, но это не так. О некоторых предложениях и товарах клиенты хотят получать больше информации. Такой подход помогает им сделать более обдуманный выбор, ведь краткой справки по услуге не всегда достаточно, особенно когда речь идет о технике или узкоспециализированном приложении.

Описание продукта/статьи

В отличие от самого материала, его описание должно быть по-настоящему кратким и информативным. При его составлении нужно руководствоваться теми же принципами, что движут копирайтером при написании заголовка. Пишем как можно более емко при наименьшем количестве знаков. 

Сыграть важную роль в повышении конверсии за счет описания может не только контент, но и его оформление. Возьмем в качестве примера стандартное описание товара на Aliexpress. Зачастую оно исковеркано и идет полотном текста. А на условной Ламоде описание товаров оформлено в виде списка с использованием двух разных стилей (для характеристики и ее описания). 

Такая, казалось бы, мелочь может заставить клиента задержаться и поближе ознакомиться с продуктом (поэтому даже на пресловутом Aliexpress многие продавцы стараются оформлять описание более лаконично и структурированно).

Наличие отзывов

Некоторые пользователи, посещая сайт, ориентируются на мнение других людей. Никто не верит в красивые слова от производителя товара или владельца сайта. Существует ненулевая вероятность, что именно ваша целевая аудитория содержит безмерное количество скептиков, которые верят лишь народу, а капиталистов-обманщиков на дух не переносят. 

Для таких как раз и нужен блок с отзывами на сайте. Желательно от настоящих людей. Это создает контакт между существующими клиентами, уже оценившими качество оказываемых услуг, и потенциальными клиентами, еще раздумывающими по поводу приобретения товара. Повышается уровень доверия, а вместе с тем и шанс на конверсию. 

Добавьте на главную страницу сайта небольшую карусель с отзывами настоящих покупателей и проверьте, как ее появление повлияет на количество посетителей, превратившихся в реальный доход.

Авторитетное мнение

Это изменение на странице похоже на предыдущее, но вместо реальных покупателей используются медиаканалы и медийные личности. Выше мы обсуждали людей, которые не верят бизнесу, а верят только людям. Есть еще категория людей, которая доверяет только известным личностям или брендам. Только они могут завоевать их внимание.

Поэтому хостинг-провайдеры сообщают на своих сайтах о крупных партнерах, а разработчики приложений хвалятся тем, что их продукт используют в условной Apple или в другой популярной корпорации. 

Упоминание может пойти на пользу и увеличить конверсию ресурса. Так что если вашим продуктом пользуется кто-то с громким именем или вас похвалило крупное издание, то не забудьте рассказать об этом потенциальным клиентам. 

Выгодные условия и «триалы»

Если аудитория не растет, а замена кнопок не помогает, то стоит задуматься об изменении условий пользования. Один из трюков, которые применяют маркетологи, – триал, то есть пробный период. Они дают пользователям возможность подольше протестировать продукт. Это заметно повышает конверсию, особенно если речь идет о ПО.

Алгоритм проведения A/B-тестирования

Несмотря на прямолинейное и понятное описание в начале статьи, A/B-тестирование – это все же сложный процесс, состоящий из множества повторяющихся этапов, но перед их реализацией необходимо разработать стратегию тестирования.

Для начала нужно придумать гипотезу. Она может звучать так: «Думаю, если заменить цвет кнопки на зеленый, то больше людей ее заметит и захочет кликнуть. В связи с этим вырастет количество зарегистрировавшихся клиентов». 

То есть надо решить, какое изменение будет тестироваться и по какой причине. А для этого сначала надо собрать статистику о текущем состоянии страницы, от чего отталкиваться и к чему стремиться. Ведь при создания страницы Б нужно решить, какого именно результата мы хотим достичь. Это не абстрактные хотелки, а реальные задачи, требующие анализа. 

Выбираем страницу и элемент для тестирования

Начать стоит с выбора элемента, который надо протестировать. Выбрать не трудно. Смотрим, какую выгоду должен принести сайт. Анализируем все компоненты сайта, влияющие на получение этой выгоды.

Это может быть какая-то кнопка или форма для регистрации, картинка в статье, видеоролик в боковой панели, который идет фоном, или же вовсе количество символов в статье. Решите, с чего нужно начать, чтобы не распыляться и не проводить тестирование на большом количестве элементов. Внесете слишком много коррективов и незаметно для себя начнете сравнивать две принципиально разные страницы. В итоге так и не поймете, какое изменение позитивно (или негативно) повлияло на трафик и конверсию.

Ставим задачу

Определились с элементом? Теперь ставим себе четкую цель. Ключевое слово тут – «четкую». Никаких абстрактных «увеличить продажи» или «остановить падение количества регистраций». Смотрите на показатели страницы и думаете, в какую сторону их нужно менять.

Например, «увеличить количество переходов по ссылке на 6%». Понятно, к чему нужно стремиться, и не приходится отвлекаться на другие показатели. 

Создаем B-вариант

Определившись с задачей и элементом, над которым будет проводиться эксперимент, переходим к разработке этого элемента. 

• Меняйте цвет кнопок.
• Увеличивайте количество текста.
• Вставляйте новые изображения в статью.
• Создайте более выгодные условия для клиентов.

Предпринимайте любые меры, которые могут оказаться эффективными при повышении количества переходов на 6%.

Настраиваем утилиту для тестирования и запускаем ее

Никто вручную тестированием страниц не занимается. Для этого есть специальное программное обеспечение. Оно хорошо тем, что изначально заточено именно под сравнение эффективности отдельных элементов страницы. 

С помощью популярного сервиса Google Optimize можно запустить параллельное тестирование таких частей сайта, как заголовки статей, шрифты, конверсионные кнопки и регистрационные формы, отдельные изображения и т.п.

Ваша задача указать эти страницы в одной из программ для A/B-тестирования, выбрать элемент сайта и запустить проверку. Утилита все остальное сделает за вас: сама поделит трафик и соберет необходимую статистику.

Какие инструменты для A/B-тестирования стоит использовать?

Есть 4 популярных программы, которые чаще остальных используют для проведения подобных тестов.

1. Optimizely – удобное приложение, пользующееся большим спросом на западе. Многие владельцы сайтов используют именно его. Возможно, причиной тому служит возможность проводить тесты, используя визуальный интерфейс. Стоимость на сайте не указана, о ней сообщают непосредственно при оформлении покупки в отделе продаж.
2. Visual Website Optimizer – приложение, объединяющее в себе систему для тестирования страниц и панель сбора статистических данных. В отличие от Optimizely, этот инструмент требует знаний HTML-разметки. Стоимость варьируется – от 99 до 999 долларов. Все зависит от поставленных задач, частоты использования и сравниваемых элементов.
3. Unbounce – аналогичное приложение, ориентированное на сравнение и оптимизацию одностраничных лендингов. Unbounce популярен, потому что включает в себя множество утилит, помогающих создавать лендинг с нуля. Можно собрать его, опубликовать, протестировать и оптимизировать в одном интерфейсе. Стоимость от 399 долларов в месяц.
4. Google Optimize – бесплатный веб-сервис, помогающий тысячам разработчиков оптимизировать страницы и быстро достигать поставленных целей. Здесь есть все необходимое и за это необходимое не приходится платить.

Как провести A/B-тестирование с помощью сервиса Google Optimize?

Это наиболее популярное приложение для проведения подобных тестов, поэтому разберем процесс именно на его примере. Взглянем на интерфейс утилиты, настроим A/B-тестирование и подключим к Google Optimize какой-нибудь сайт.

• Открываем сайте Google Optimize и входим под своей учетной записью Google.

• Создаем проект оптимизации, даем ему имя, прописываем адрес страницы для сравнения и указываем тип «Эксперимент А/Б».

• Указываем настройки таргетинга, подключаем аналитику (это нужно для настройки целей).
• Создаем дополнительные варианты страниц и устанавливаем цели, которых нужно достичь. Чтобы вносить изменения прямо в интерфейсе оптимизации, надо скачать Google Chrome и соответствующее расширение для него. Либо можно добавить вторую страницу, нажав на кнопку «Добавить страницу».

• Указываем адреса страниц, на которых пользователи увидят изменения.
• Указываем целевую аудиторию, которая увидит внесенные в страницу изменения.
• В настройках сайта указываем процент аудитории, который будет участвовать в эксперименте.

• Затем создаем код эксперимента и вставляем его в HTML-файл своего сайта.

После этого на сайте Google Optimize появится кнопка ОК, запускающая эксперимент. Уже через несколько суток там появится статистика. Она поможет сделать первые выводы о вносимых изменениях и их эффективности. 

Как долго нужно проводить тестирование?

Сроки зависят от того, как идет тестирование. Если вы уже полгода экспериментируете с двумя кнопками, а на сайт зашли 5 с половиной человек, то говорить о какой-то репрезентативности бессмысленно. А если из результатов тестирования не удается сделать выводы, то оно автоматически становится бесполезным. Продолжать смысла, очевидно, нет.

Вообще, остановить эксперимент можно в тот момент, когда становится понятно, что в результатах тестирования не наблюдается конвергенции. Наличие конвергенции тоже может стать причиной закончить эксперимент. В случае с первым вариантом нужно запускать новую итерацию теста и добиваться еще более высоких результатов, в другом случае нужно завершать тест и пробовать иной вариант страницы Б. 

Есть ли альтернатива A/B-тестированию?

Некоторые пользователи создают лендинг с помощью сервисов наподобие Unbounce. В такие сервисы часто встраивают функцию под названием Smart Traffic («Умный трафик»).

Это тоже своего рода тестирование, но более масштабное и продвинутое. Вы можете создать несколько вариантов страницы (больше двух). Искусственный интеллект автоматически подберет аудиторию под каждый тип страницы, причем он будет делать это на постоянной основе. 

Вместо заключения

Как видите, A/B-тестирование – необходимый элемент для развития веб-сайтов и приложений. Без постоянных экспериментов и проверок ваш сайт перестанет расти, а в стагнации невозможно наращивать и прибыль. Так что не забывайте регулярно проверять предположительно эффективные гипотезы и модифицировать ресурс, используя A/B-тестирование.

А/B-тестирование НЕ для новичков — как это делают профессионалы ⚡

A/B-тестирование — мощный инструмент. С его помощью можно улучшать различные маркетинговые показатели, начиная от конверсии отдельно взятого рекламного объявления и заканчивая экономическими показателями бизнеса в целом. О том, как добиваться реально крутых результатов, мы спросили профессионалов в области экспериментов Виталия Черемисинова, Валерия Бабушкина и Виктора Рындина.

Читайте в этом материале:

• что важно учесть, чтобы сплит-тест был корректным;
• как генерировать гипотезы для экспериментов;
• какие инструменты и статистические методы лучше использовать;
• какие есть лайфхаки для более эффективной проверки гипотез.

Виктор Рындин, генеральный директор агентства комплексного digital-маркетинга WeMakeFab

— Что нужно знать, чтобы А/B-тестирование прошло как надо?

1. Чем меньше у вас трафика во время тестирования, тем больше вероятность выявить статистическую погрешность, а не сделать далеко идущие выводы об эффективности того или иного приема. В тестировании гипотезы должно принять участие не менее 3000 уникальных пользователей.

2. Не торопитесь с выводами. Две недели — это минимальный срок для проведения А/B-тестирования, по истечении которого вы можете рассчитывать на статистически достоверные данные.

3. Самая распространенная ошибка — это когда тестирование проводится на разных аудиториях, с разными креативами и с разными посадочными страницами. Неизвестная должна быть только одна! Хотите протестировать разный вид блоков на посадочной странице? Создайте абсолютно одинаковые условия в остальном: используйте одинаковые креативы в рекламных объявлениях, которые видит схожая аудитория, приходящая из одного рекламного источника.

4. Тестируйте несколько гипотез одновременно. Все привыкли тестировать только 2 варианта посадочной страницы, хотя в рамках одного тестирования вы можете добавить и 3, и 4 варианта, существенно сэкономив время. Главное, убедитесь, что минимального количества посетителей хватит для каждого из вариантов.

5. Проводите тестирование на всей длине воронки. Что толку, если посадочная страница приносит конверсию в 3 раза больше обычной, но до продаж эти лиды не доходят?

— Покажите на конкретном кейсе, какие выводы можно делать, исходя из сплит-тестов.

Гипотеза: клиенты, интересующиеся бухгалтерскими услугами, обращают внимание только на цену. Можно отказаться от лонгрида с информацией о компании в пользу простой посадочной страницы с калькулятором стоимости услуг.

	А	B
Посетителей	1464	1543
Процент отказа	38,8	31,3
Время на сайте	0:41	0:34
Целевое действие	19	7
Конверсия	1,30 %	0,45 %

Гипотеза подтвердилась: на короткой версии посадочной страницы пользователи меньше терялись и чаще оставляли заявку.

Особенно важно проводить сравнительные тестирования после обновления дизайна сайта. Даже если вам кажется, что новая версия очевидно лучше, чем старая. Например, из-за редизайна сайта полностью изменился внешний вид заявочной формы с предложением скидки. Визуально новая версия получилась более привлекательной, однако на деле конверсия в ее заполнение упала с 1,51 (вариант B) до 0,51 % (вариант A)!

Бабушкин Валерий, директор департамента моделирования и анализа данных Х5 Retail Group

— Какие инструменты вы сейчас используете для проведения тестирований?

Если разговор идет об А/B-тестировании или просто об оценке эффективности каких-то мероприятий — у нас самописная платформа, мы используем различные методы, начиная от базовых статистик и bootstrap. Дальше — метод бакетов и линеаризации, методы снижения дисперсии, CUPED, методы вычитания предсказаний и прочая статистическая машинерия.

— Как эффективно организовать процесс генерации гипотез для тестов?

Сложно сказать, вообще исследование — это непросто. Для начала нужно собрать команду, обсудить, какая у нас есть задача и чего мы хотим достичь. Дальше команда начинает генерировать гипотезы, мы получаем какое-то их значительное количество (потому что сгенерировать предположение не очень сложно). Следующий шаг — правильно ранжировать эти гипотезы в порядке возможного выигрыша и таким образом расставить приоритеты. Затем начинаем проверку.

— Какие есть фишки или лайфхаки, позволяющие сделать процесс проверки гипотез более эффективным?

Основной инструмент — приоритизация. Гипотезы надо приоритизировать, и, кроме того, здесь важен опыт: надо смотреть, что раньше «взлетало» или «не взлетало», и в зависимости от этого не принимать участия в тестировании тех гипотез, которые точно никаких результатов не дадут. Это вряд ли можно назвать каким-то мегалайфхаком или фишкой, но тем не менее это здóрово помогает и экономит время.

— Нужны ли A/B-тесты, если ты не Яндекс или Ozon, а обычный региональный бизнес с 10 тысячами визитов и 100 лидами в месяц?

Конечно, нужны. Вопрос в том, что если бизнес никаких изменений не делает и ничего не пробует, никуда не движется и не улучшается, тогда изменения, безусловно, не нужны, потому что тестировать нечего. В противном случае это даже не вопрос: необходимость изменений и улучшений — это данность.

Черемисинов Виталий, Head of data в AIC, сo-founder в Experiment Fest

— Какие инструменты вы сейчас используете для проведения тестирований?

В нашей команде мы стараемся использовать инструменты, которые сами и разработали. Например, сегментатор трафика для проведения A/B-тестирования. Поддержание таких инструментов может обходиться дороже, чем готовое решение, но зато оно полностью подконтрольно команде и его можно дорабатывать и развивать. В нашем случае это оправданно. Если вы купили подписку на сервис для A/B-тестирования, а у вас A/A-тест показывает статистически значимое отличие — вы окажетесь в тупиковой ситуации.

— Как правильно проверять статистическую значимость тестов, более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека?

Часто даже с бинарными данными допускают очень большие грубые ошибки.

При работе с данными, у которых достаточно большая размерность (выручка, например), одной из самых значимых проблем является большая дисперсия. Это первое, про что стоит помнить. Просто так убрать наблюдения, которые больше всего на эту дисперсию влияют, мы не можем: это покупатели, и далеко не факт, что они случайны (хотя и такое бывает). Следовательно, нам нужно уметь эту дисперсию сокращать малой кровью, и один из таких способов — стратификация и децильный анализ (подробнее можно почитать в моем блоге:
https://medium.com/statistics-experiments.

Если говорить именно про методы проверки статистических гипотез, то я бы хотел начать с того, что лучше не использовать. Я бы рекомендовал не использовать ранговые критерии (Манна —Уитни, например). Работает критерий следующим образом:

1. Объедините все данные в единый ряд, пометив те из них, которые принадлежат разным выборкам.
2. Проранжируйте значения, приписывая меньшему значению меньший ранг.
3. Подсчитайте сумму рангов отдельно для каждой выборки.
4. Определите большую из двух ранговых сумм.
5. Определите значение U по формуле:

Мы пытаемся проверить, различаются ли медианы ранговых распределений. И если стоит вопрос о среднем чеке — ответ критерия будет не очень релевантным.

Мы для решения таких задач используем либо bootstrap, либо бакетный метод.
Бакетирование подходит тогда, когда необходимо:
а) сохранить информацию о дисперсии и среднем в выборке до трансформации;
б) привести к нормальному распределению.

Мы формируем бакеты n-размера, внутри каждого бакета считаем среднее, далее берем новый бакет, но без возвращения.

Далее мы можем использовать для оценки параметрический критерий.

— Какие есть фишки, лайфхаки, приемы, позволяющие сделать процесс проверки гипотез более эффективным?

Главным источником фишек является учебник по математической статистике.😁

А вообще, основная фишка и лайфхак одновременно — уметь при помощи теоретической базы (математическая статистика, комбинаторика и т. п.) решать конкретные задачи бизнеса.

---

А/B-тестирование — это не просто проверка, что лучше работает: синяя или красная кнопка на сайте. Это сложная работа, в результате которой решаются конкретные маркетинговые задачи, например увеличение среднего чека. Изучайте математическую статистику (кстати, здесь крутая подборка книг по аналитике) и экспериментируйте! Как сказал Валерий Бабушкин, необходимость изменений и улучшений — это не вопрос. Это данность.

Оптимизируйте маркетинг и увеличивайте продажи

Сквозная аналитика CoMagic

• до 70% экономии на рекламе
• рост продаж в 2-4 раза без увеличения рекламного бюджета
• окупаемость после первого месяца

Подробнее Поделитесь с друзьями

Совершенствуем сайт с помощью A/B-тестирования — Джино • Журнал

11 сентября 2019 г.

Время чтения: 3 минуты

Как вы определяете, что сайт выглядит и функционирует именно так, как нужно вам и как удобно для вашей целевой аудитории? Если для этого вы используете метод A/B-тестирования (оно же — сплит-тестирование), то вы поступаете верно. Проведение такого рода тестов позволяет получить реальную обратную связь от аудитории веб-проекта по поводу его дизайна, наполнения, юзабилити и функциональности. Его суть заключается в сравнении реакции аудитории на два варианта страницы сайта, которые различаются только одним каким-либо нюансом. Таким образом, все предполагаемые изменения на сайте сразу проверяются в «боевых» условиях.

Для чего нужно и для кого подходит

Главная цель A/B-тестирования — поиск наиболее эффективных решений для повышения конверсии, то есть увеличения количества людей, выполняющих основные целевые действия на сайте. Каждый интернет-проект предполагает выполнение пользователями одного или нескольких целевых действий: чтение публикации, скачивание файла, оформление заказа, совершение покупки, репост материала на странице в соцсети, просмотр видео и не только. Но дефекты в оформлении и работе сайта могут помешать аудитории это сделать. Поэтому необходимо своевременно выявлять и исправлять такого рода недочёты, чтобы повысить конверсию.

Однако имейте в виду, что такой метод тестирования подходит не всем и не во всех случаях. Для новых и развивающихся сайтов, посещаемость которых невелика и где нет постоянного потока прочтений, заказов и скачиваний, A/B-тест не будет показательным. Также без налаженной системы веб-аналитики получить пользу от сплит-тестирования тоже вряд ли получится. Нерационально будет проводить такие тесты и в том случае, если нет точно сформулированной гипотезы об эффективности того или иного подхода к реализации функции или графического элемента сайта.

Помешать успешному проведению A/B-тестирования может и неоднородность аудитории конкретного сайта. Чтобы проверить, имеет ли место быть такая особенность в вашем случае, необходимо провести A/A-тест, в рамках которого следует показывать один и тот же вариант страницы разным потокам посетителей. Если показатели конверсии по первому и по второму потоку будут сильно различаться, то аудитория считается неоднородной, а значит, прибегать к сплит-тестированию бессмысленно.

Как проводить

Алгоритм проведения A/B-тестирования состоит из следующих этапов.

1. Сформулируйте гипотезу по решении проблемы либо по совершенствованию элемента или функции на сайте. Например, можно предположить, что выделение кнопки «Купить» красным цветом вместо зелёного увеличит количество нажатий на неё. Помните, что тестировать необходимо только одну конкретную деталь.

2. Обозначьте критерий, по которому вы будете оценивать результаты исследований. В случае с кнопкой «Купить» можно посчитать количество кликов на кнопку или же количество самих продаж.

3. Определите минимальное количество людей, которые должны составить выборку исследования. Имеется в виду то количество посетителей страницы, которое поможет получить максимально точные данные о влиянии на конверсию каждого из двух сравниваемых объектов. Этот показатель зависит от ряда факторов, но чем больше пользователей примет участие в тестировании, тем объективнее будут результаты теста.

4. Решите, будете ли вы проводить тестирование среди всей аудитории сайта или только среди части посетителей. Безусловно, для более быстрого набора необходимой выборки эффективнее привлекать к участию в исследовании всех гостей сайта, но при ошибочной гипотезе по отношению к важному элементу сайта вероятна потеря аудитории. Чаще всего для A/B-теста выбирается часть посетителей, к примеру, только новые гости сайта.

5. Ограничьте время проведения тестирования. Обычно такое исследование длится одну-две недели, чтобы можно было оценить результаты и в будние дни, и в выходные. Не останавливайте тест, если уже в первый день набралась необходимая выборка или выявлен явно лидирующий вариант.

6. Запустите сплит-тест, удостоверившись в том, что все кнопки и ссылки на обеих страницах работают.

7. Дождитесь окончания тестирования и подведите итоги. Для подтверждения полученных результатов рекомендуется повторно проводить A/B-тестирование с теми же условиями, даже если в первом тесте все правила были соблюдены.

Перед проведением сплит-теста выберите удобный вам сервис для проведения A/B-исследований. Для этого используют популярную платформу веб-аналитики Google Analytics или же такие сервисы, как Visual Website Optimizer, RealROI, AB Tasty, Convert, Optimizely и другие. Среди них есть платные и бесплатные, поддерживающие русский язык или работающие только на английском, имеющие те или иные возможности — оптимальный вариант найти будет несложно.

Не останавливайтесь на достигнутом, развивайте свой интернет-проект, ищите всё более и более удачные решения для сайта. И A/B-тестирование может серьёзно помочь вам в этом.

A/B-тестирование электронной почты (Dynamics 365 Marketing)

• 11/02/2021
• Чтение занимает 11 мин

Были ли сведения на этой странице полезными?

Please rate your experience

Да Нет

Хотите оставить дополнительный отзыв?

Отзывы будут отправляться в корпорацию Майкрософт. Нажав кнопку «Отправить», вы разрешаете использовать свой отзыв для улучшения продуктов и служб Майкрософт. Политика конфиденциальности.

Отправить

В этой статье

Используйте A/B-тестирование электронной почты, чтобы узнать, какой из двух похожих вариантов дизайна будет более успешным, а затем отправлять выигравший вариант оставшейся аудитории автоматически. Вы начинаете с создания дизайна элемента управления (версии «А»), а затем используете его в качестве основы для создания версии дизайна «B», в которой вы изменили небольшую его часть (например, тему или изображение). Наконец, запустите тест в рамках цикла взаимодействия с клиентом.

В рамках цикла взаимодействия весь текст выполняется автоматически. Он начинается с отправки версии А небольшой части вашего сегмента (например, 10% контактов, выбранных случайным образом), а также отправки версии B другой части сегмента (обычно также 10%). После этого он ждет в течение определенного периода времени, который вы выбираете (например, 24 часа), а затем анализирует результаты взаимодействия и выбирает победителя на основе выбранных критериев (например, по наибольшему числу открытых сообщений). После этого цикл рассылает выигравший вариант дизайна остальной части сегмента (остальные 80%) автоматически.

Создание маркетингового сообщения электронной почты для A/B-тестирования

Чтобы настроить тест A/B, начните с создания дизайна элемента управления (это будет версия A), затем создайте версию B, где изменилась лишь небольшая часть дизайна. Каждый A/B-тест допускает только один тип изменения (например, заголовок, текст или все содержимое).

Примечание

Можно определить только один новый A/B-тест для одного и того же дизайна. Перед созданием нового теста необходимо подождать, пока не будет выполнен A/B-тест.

Чтобы настроить дизайн A и B для сообщения:

1. Создайте свой первоначальный дизайн (элемента управления), как обычно, как описано в разделе Создание нового сообщения электронной почты и разработка его содержимого. Как можно в большей степени доработайте дизайн и не забудьте проверить его на наличие ошибок, чтобы убедиться, что он может быть введен в действие.

2. Когда дизайн A будет закончен, сделайте одно из следующих действий:

   • Нажмите кнопку A/B-теста в правом верхнем углу редактора электронной почты, чтобы открыть панель A/B-тестов.
   • Если вы еще не определили никакой тест для этого сообщения электронной почты, выберите кнопку Добавить A/B-тест на панели A/B-теста.
   • Если тест уже определен, можно изменить версии A и B, переключаясь между версиями.

3. Отобразятся параметры нового теста. Выполните следующие действия.

   • Задайте одно из следующих значений Тип теста: — Заголовок (тема, отправитель электронного сообщения): позволяет выбрать другую тему или другое имя «От» для версии B вашего дизайна. Получатели будут видеть имя «От» как имя отправителя сообщения. Это не изменит фактический адрес «От», который останется неизменным для обеих версий. — Текст: позволяет выбрать один или несколько элементов дизайна в тексте сообщения электронной почты, а затем изменить настройки этих элементов, содержание или внешний вид в версии B дизайна. — Полное содержимое: позволяет выбрать другую тему, имя «От» и один или несколько элементов дизайна в тексте сообщения электронной почты, а затем изменить настройки этих элементов, содержание или внешний вид в версии B дизайна.
   • Введите Заголовок теста для идентификации теста. Этот заголовок отображается на панели A/B-тест и на плитке электронной почты цикла взаимодействия с клиентом, когда вы выбираете, какой тест запустить для этого цикла взаимодействия.

   Важно!

   Можно определить только один новый A/B-тест для одного сообщения в момент времени. Добавить новый тест можно только после выполнения предыдущего теста.

   Примечание

   Вы можете запустить каждый тест только один раз, на одной плитке электронной почты в одном цикле взаимодействия. Как только вы настроите цикл взаимодействия для запуска теста, вы не сможете выбрать этот тест для любой другой плитки электронной почты или цикла взаимодействия. Если вы хотите выполнить несколько тестов для одного дизайна, добавьте новый тест на панель A/B-тестов после выполнения предыдущего. Чтобы удалить A/B-тест из сообщения, нажмите кнопку корзины.

4. Новый тест выбранного типа теперь добавлен в раздел Создать на панель A/B-тест. Обратите внимание на следующее.

   • В любой момент времени можно запустить только один новый тест.
   • В разделе Активный панели A/B-тест отображаются как выполняемые в данный момент A/B-тесты, так и все прошлые A/B-тесты для сообщения.
   • Выберите тест на панели A/B-тест для работы с этим тестом. Когда тест выбран, он раскрывается, чтобы показать кнопки Версия А и Версия B для работы с этим тестом.
   • Можно изменить тип или название теста. Название теста отображается на плитки электронной почты цикла взаимодействия с клиентом, когда вы выбираете, какой тест запустить для этого цикла взаимодействия.
   • Для тестов заголовка и параметров, контролируемых выбранным тестом (тема и имя «От»), отображается либо значок A , либо значок B , чтобы было понятно, что вы тестируете и какая версия отображается (и доступна для редактирования). Значок изменяется в соответствии с выбранной вами кнопкой версии (Версия A или Версия B).
   • Для тестов текста каждый тестируемый элемент выделен цветной рамкой (если выбрать его), которая по цвету соответствует кнопке версии (синяя для версии A и розовая для версии B). Смотрите следующий шаг для получения подробной информации о том, как настроить это.

5. Выберите тест на панели A/B-тест, затем выберите кнопку Версия B. Выполните одно из следующих действий в зависимости от типа теста:

   • Для тестов заголовка в полях Тема и Имя «От» теперь должен отображаться значок B . Введите новую тему здесь или имя «От» здесь.
   • Для тестов текста добавьте элемент в тест, выбрав его на холсте, чтобы выделить его, а затем нажмите кнопку A/B на вкладке вверху выделенного фрейма. Это кнопка-переключатель, так что вы можете нажать ее снова, чтобы удалить элемент из теста — она имеет белый фон для тестируемых элементов и темно-синий фон для элементов, которые одинаковы для каждой версии. Для проверенных элементов цвет рамки указывает на версию: светло-голубой для версии А и темно-розовый для версии B. Вы можете добавить в тест столько элементов, сколько захотите проверить, но обычно лучше всего тестировать только несколько элементов (или один элемент) одновременно.

6. Теперь измените дизайн элементов, выбранных для тестирования. Для тестов заголовка измените текст соответствующих полей; для тестов текста измените содержимое текстовых элементов или настройки на вкладке Свойства для других типов элементов дизайна. Вы можете переключаться между версиями, используя кнопки Версия А и Версия B и продолжать изменять каждую версию, когда она отображается.

   Примечание

   Даже после включения A/B-тестирования вы все равно можете изменять части сообщения, которые не являются частью тестов. При этом изменения коснутся всех версий (версии A и всех версий B), независимо от того, какой тест и кнопка версии в настоящее время выбраны. Но если вы редактируете настройки, включенные для тестирования, то вы редактируете только выбранную версию (кнопка Версия A или Версия B). Помните, что версия A одинакова для всех тестов, а версия B уникальна для каждого теста.

   Будьте осторожны при добавлении новых элементов дизайна к сообщению, для которого уже настроен тест текста. После этого всегда проверяйте, что ваши новые элементы полностью определены и имеют правильное содержимое и настройки для каждой версии каждого теста.

7. Когда вы закончите настройку дизайнов и нового A/B-теста, выберите Ввести в действие, чтобы сделать ваше сообщение доступным для использования с циклом взаимодействия с клиентом.

Подготовка к выполнению тест из цикла взаимодействия с клиентом

Когда сообщение электронной почты готово к тестированию, используйте цикл взаимодействия с клиентом для его отправки. Вы можете включить сообщения электронной почты A/B-теста в любой цикл взаимодействия, независимо от сложности, и включить циклы взаимодействия, которые вы используете в производственной кампании. Стратегия состоит в том, чтобы отправить каждый дизайн небольшой части полного целевого сегмента цикла взаимодействия, подождать, чтобы увидеть, как эти получатели реагируют на каждую версию сообщения, затем отправить наиболее эффективное сообщение остальной части сегмента. Вы можете выбрать условия выигрыша (больше переходов или больше открытых сообщений), а также длительность работы теста.

Важно!

Чтобы получить надежные результаты тестирования, вы всегда должны отправить каждую версию (A и B) как минимум 100 получателям, прежде чем позволить системе выбрать победителя. Типичная рекомендуемая настройка предполагает сегмент из 1000 членов (или больше), с отправкой версии А до 10% сегмента, версия B еще 10%, и оправкой выигравшего дизайна оставшимся 80%.

Можно запустить A/B-тест лишь с одним или несколькими получателями для каждой версии, но это часто может привести к неравномерному или неслучайному распределению версий и ненадежным результатам. Мы рекомендуем вам делать это только во время экспериментов с функцией.

Чтобы добавить A/B-тест в цикл взаимодействия:

1. Настройте свой цикл взаимодействия как обычно, и не забудьте включить одну или несколько плиток электронной почты, где вы можете разместить сообщения электронной почты для A/B-тестирования.

2. Выберите плитку электронной почты, которая включена в конвейер цикла взаимодействия, и откройте вкладку Свойства на боковой панели, чтобы начать настройку плитки.

3. В поле Текст маркетингового сообщения электронной почты на панели Свойства выберите сообщение электронной почты, настроенное для A/B-тестирования. Обратите внимание, что при сообщении, предназначенном для A/B-теста, на плитке в углу отображаются значки A и B. Пока они отображаются серым цветом, потому что вы еще не настроили тест для этой плитки (они станут синими после включения теста).

4. Прокрутите вниз в панели Свойства, пока не увидите переключатель A/B-тестирование, затем выберите его для включения теста. Это открывает настройки A/B-теста.

   Примечание

   Если вы выберете сообщение электронной почты, которое имеет дизайн A и B, но не включите A/B-тестирование для плитки, то версия А будет отправлена всем получателям.

5. Сделайте следующие настройки для настройки теста:

   • Выберите A/B-тест: выбранный дизайн сообщения электронной почты должен иметь по крайней мере один настроенный тест, которые еще не использовался, но их может быть и больше. Выберите имя теста, который требуется запустить для этой плитки. Вы можете выполнить не более одного теста за один раз.
   • A/B-распределение: выберите ползунок, чтобы выбрать, какое количество контактов (в процентах от общего числа контактов в целевом сегменте) вы хотели бы включить в тест. Половина от тестовой аудитории получит версию А, а другая половина — версию B. Все тестовые контакты и версии, которые они получают, выбираются случайным образом.
   • Победивший показатель: выберите, следует ли определять выигрышный дизайн на основе коэффициента переходов (как часто получатель нажал на ссылку в сообщении) или на основе коэффициента открытия (как часто получатели открывали сообщение). В каждом случае победителем является версия с наибольшим количеством переходов или открытых сообщений в пропорции от общего количества раз, когда была отправлена данная версия.
   • Длительность теста: используйте эти настройки, чтобы установить, как долго должен выполняться тест. Для достижения наилучших результатов мы рекомендуем выполнять каждый тест в течение не менее 24 часов или дольше, если это возможно, — особенно если вы ориентируетесь на всемирную аудитория (для компенсации часовых поясов). В конце этого времени система проанализирует результаты и отправит выигрышный дизайн оставшимся контактам в сегменте. Контактам, получившим «проигрышный» дизайн, не будет повторно отправлен выигрышный дизайн.
   • Если результаты неубедительны, отправьте: выберите, что делать, если тест не выявил явного победителя. В этом случае вы можете отправить версию A, версию B или случайным образом обе версии в пропорции 50/50 всем оставшимся контактам.

   Примечание

   Победитель выбирается с использованием нулевой гипотезы. Для больших наборов с не менее чем 1000 контактами доверительный уровень для выигрышного варианта должен составлять не менее 95%. В меньших наборах доверительный уровень может составлять всего 80%. Если варианты отличаются относительно небольшим количеством контактов, результаты теста, скорее всего, будут считаться неубедительными.

   Другими словами, победителем A/B-теста автоматически не является вариант с большим количеством контактов. Вместо этого победителем становится вариант, который показывает статистически значимый результат.

6. Закончите настройку вашего цикла взаимодействия, как обычно, и введите его в действие.

Мониторинг жизненного цикла A/B-тестов

Каждый тест, определенный для заданного сообщения электронной почты, может быть запущен только один раз. Как только тест начинает обрабатываться циклом взаимодействия с клиентом, вы не сможете использовать его снова с любым другим циклом взаимодействия с клиентом. В результате иногда вы можете попробовать настроить A/B-тест для плитки электронной почты в цикле взаимодействия с клиентом и обнаружить, что вы не можете выбрать тест, который хотите запустить. В этом случае можно просто добавить еще один тест.

Чтобы просмотреть состояние выполнения каждого A/B-теста, определенного в сообщении электронной почты, откройте сообщение и разверните панель A/B-тест. Каждый тест, доступный для сообщения, находится в одном из следующих заголовков. Каждый заголовок включает в себя кнопку раскрытия/сворачивания для отображения или скрытия тестов в каждой категории.

• Черновик: это тесты, которые еще не были запущены, так что вы можете изменить их параметры и выбрать их при настройке плитки электронной почты для цикла взаимодействия с клиентом.
• Запланировано: это тесты, которые уже настроены для выполнения циклом взаимодействия с клиентом, но этот цикл еще не начался. Их настройки заблокированы, и вы не можете запустить их в любом другом цикле взаимодействия с клиентом.
• Выполняется: это тесты, которые в настоящее время выполняются. Их настройки заблокированы, и вы не можете запустить их в любом другом цикле взаимодействия с клиентом.
• Завершено: это тесты, которые являются завершенными и не могут быть использованы снова. Чтобы посмотреть результаты, перейдите в цикл взаимодействия с клиентом, где вы запускали этот тест.

Проверка результатов тестирования

Вы можете проверить ход и результаты ваших A/B-тестов в любое время, изучив плитки электронной почты вашего цикла взаимодействия с клиентами. Для этого:

1. Откройте цикл взаимодействия с клиентами.

2. Выберите плитку электронной почты, где выполняется A/B-тест.

3. Прокрутите вниз к нижней части панели Данные для выбранной плитки электронной почты. Здесь вы увидите индикацию, которая показывает название текста, процент контактов, которым вы отправили каждую версию (включая выигрышную версию), сколько времени осталось в тесте и какой дизайн был объявлен победителем (при условии, что тест закончился).

4. Выберите здесь ссылку Просмотр сведений, чтобы получить еще больше информации о результатах тестирования. Это открывает диалоговое окно с показателями КПЭ для каждого дизайна из теста. Дополнительные сведения о различных показателях КПЭ сообщений электронной почты и их интерпретации см. в глоссарии Insights.

Вы также можете увидеть результаты A/B-теста, открыв само сообщение. Отсюда откройте панель A/B-тест, разверните категорию Завершено тестов и выберите кнопку Аналитика тестов для теста, который вы хотите увидеть.

Замена версии A версией B после завершения теста

Независимо от результатов A/B-теста, версия А останется стандартной версией сообщения. Будущий тест будет продолжать тестировать в отношении версии А, и все циклы взаимодействия, которые не запускают A/B-тест, отправят версию А всем. Поэтому, и особенно если версия B выигрывает тест, вы можете рассмотреть возможность сделать эту версию B новой версией A в будущем.

Внимание!

При замене версии А версией B версия А постоянно удаляется и заменяется версией B из выбранного теста. Отменить это нельзя.

Чтобы заменить версию А версией B из выбранного теста:

1. Откройте сообщение там, где закончился A/B-тест.

2. Разверните панель A/B-тест, чтобы увидеть список тестов.

3. Разверните категорию Завершено тестов на панели A/B-тест.

4. Выберите тест, в котором версия B является той, которую вы хотите сделать новой версией A, и выберите кнопку Замена на версию B.

5. Будет предложено подтвердить действие. Если вы уверены, что хотите продолжить, то подтвердите, а затем сохраните свое сообщение.

См. также

Разработка своего цифрового содержимого
Справка по элементам дизайна
Обзор маркетинга по электронной почте
Создание автоматизированных кампаний с помощью циклов взаимодействия с клиентом
Справочник по плиткам цикла взаимодействия с клиентом

Проведение A/B-тестирования: пошаговый разбор | DOU

В каждое изменение в игре команда вкладывает много труда, сил и ресурсов: иногда разработка новой функциональности или уровня занимает несколько месяцев. Задача аналитика — минимизировать риски от внедрения подобных изменений и помочь команде принять верное решение о дальнейшем развитии проекта.

При анализе решений важно руководствоваться статистически значимыми данными, которые соответствуют предпочтениям аудитории, а не интуитивным предположениям. Получить такие данные и оценить их помогает А/В-тестирование. В этой статье поделюсь личными наработками: опишу каждый шаг A/B, освещу сложности и ловушки, с которыми можно столкнуться, и расскажу об опыте их решения.

6 «простых» шагов A/B-тестирования

По поисковому запросу «А/В-тестирование» или «сплит-тестирование» большинство источников предлагает несколько «простых» шагов для успешного проведения теста. В моей стратегии таких шагов шесть.

На первый взгляд всё просто:

• есть группа А, контрольная, без изменений в игре;
• есть группа В, тестовая, с изменениями. Например, добавлена новая функциональность, повышена сложность уровней, изменен туториал;
• запускаем тест и смотрим, у какого варианта показатели лучше.

На практике сложнее. Чтобы команда внедрила лучшее решение, мне как аналитику нужно ответить, насколько я уверена в результатах теста. Разберемся со сложностями пошагово.

Шаг 1. Определяем цель

C одной стороны, мы можем протестировать всё, что приходит в голову каждому члену команды, — от цвета кнопки до уровней сложности игры. Техническая возможность проводить сплит-тесты закладывается в наши продукты еще на этапе проектирования.

С другой — все предложения по улучшению игры важно приоритизировать по уровню эффекта, оказываемого на целевую метрику. Поэтому сначала составляем план запуска сплит-тестирования от наиболее приоритетной гипотезы до наименее.

Мы стараемся не проводить несколько А/В-тестов параллельно, чтобы точно понимать, какая из новых функциональностей повлияла на целевую метрику. Кажется, что при такой стратегии потребуется больше времени на проверку всех гипотез. Но приоритизация помогает отсечь неперспективные гипотезы еще на этапе планирования. Мы получаем данные, максимально отражающие эффект от конкретных изменений, и не тратим время на постановку тестов с сомнительным эффектом.

План запуска обязательно обсуждаем с командой, поскольку на разных этапах жизненного цикла продукта акцент интереса смещается. В начале проекта это обычно Retention D1 — доля игроков, которые вернулись в игру на следующий день после ее установки. На более поздних этапах это могут быть метрики удержания или монетизации: Conversion, ARPU и другие.

Пример. После выхода проекта в софтлонч особого внимания требуют метрики удержания. На этом этапе выделим одну из возможных проблем: Retention D1 не выходит на уровень бенчмарок компании для конкретного жанра игры. Необходимо проанализировать воронку прохождения первых уровней. Допустим, вы заметили большой дроп игроков между стартом и комплитом 3-го уровня — низкий Completion Rate 3-го уровня.

Цель планируемого А/В-теста: повысить Retention D1 за счет увеличения доли игроков, которые успешно завершили 3-й уровень.

Шаг 2. Определяем метрики

До запуска А/В-теста определяем отслеживаемый параметр — выбираем метрику, изменения которой покажут, является ли новая функциональность игры более успешной, чем изначальная.

Метрики бывают двух типов:

• количественные — средняя продолжительность сессии, величина среднего чека, время прохождения уровня, количество опыта и так далее;
• качественные — Retention, Conversion Rate и прочие.

Тип метрики влияет на выбор метода и инструментов оценки значимости результатов.

Вероятно, тестируемая функциональность повлияет не на одну целевую, а на ряд метрик. Поэтому мы смотрим на изменения в целом, но не пытаемся найти «хоть что-то», когда статистической значимости при оценке целевой метрики нет.

Согласно цели из первого шага, для предстоящего А/В-теста будем оценивать Completion Rate 3-го уровня — качественную метрику.

Шаг 3. Формулируем гипотезу

Каждый А/В-тест проверяет одну общую гипотезу, которая формулируется перед запуском. Отвечаем на вопрос: какие изменения ожидаем в тестовой группе? Формулировка обычно выглядит так:

«Ожидаем, что (воздействие) вызовет (изменение)»

Статистические методы работают от обратного — мы не можем с их помощью доказать, что гипотеза верна. Поэтому после формулирования общей гипотезы определяют две статистические. Они помогают понять: наблюдаемая разница между контрольной группой A и тестовой группой B — это случайность или результат изменений.

В нашем примере:

• Нулевая гипотеза (H0): снижение сложности 3-го уровня не повлияет на долю пользователей, успешно завершивших 3-й уровень. Completion Rate 3-го уровня для групп А и В на самом деле не отличаются, и наблюдаемые различия случайны.
• Альтернативная гипотеза (h2): снижение сложности 3-го уровня увеличит долю пользователей, успешно завершивших 3-й уровень. Completion Rate 3-го уровня в группе B выше, чем в группе A, и эти различия — результат изменений.

На этом этапе, кроме формулирования гипотезы, необходимо оценить ожидаемый эффект.

Гипотеза: «Ожидаем, что уменьшение сложности 3-го уровня вызовет рост Completion Rate 3-го уровня с 85% до 95%, то есть более чем на 11%».

(95%-85%)/85% = 0,117 => 11,7%

В этом примере при определении ожидаемого Completion Rate 3-го уровня мы стремимся приблизить его к среднему значению Completion Rate начальных уровней.

Шаг 4. Настраиваем эксперимент

1. Определяем параметры для А/В-групп перед запуском эксперимента: на какую аудиторию запускаем тест, на какую долю игроков, какие настройки устанавливаем в каждой группе.

2. Проверяем репрезентативность выборки в целом и однородность выборок в группах. Можно предварительно запустить А/А-тест для оценки этих параметров — тест, в котором тестовая и контрольная группы имеют одинаковую функциональность. А/А-тест помогает убедиться, что в обеих группах целевые метрики не имеют статистически значимого различия. Если же различия есть, А/В-тест с такими настройками — объемом выборки и уровнем доверия — запускать нельзя.

Выборка не будет идеально репрезентативной, но мы всегда обращаем внимание на структуру пользователей в разрезе их характеристик — новый/старый пользователь, уровень в игре, страна. Всё привязано к цели А/В-теста и оговаривается заранее. Важно, чтобы структура пользователей в каждой группе была условно одинаковая.

Тут потенциально опасны две ловушки:

• Высокие показатели метрик в группах во время эксперимента могут быть следствием привлечения хорошего трафика. Трафик хороший, если показатели вовлеченности высокие. Плохой трафик — самая частая причина падения метрик.
• Неоднородность выборки. Допустим, проект из нашего примера разрабатывается для англоговорящей аудитории. Значит, нам нужно избежать ситуации, когда в одну из групп попадет больше пользователей из стран, где английский язык — не преобладающий.

3. Рассчитываем объем выборки и длительность проведения эксперимента.

Казалось бы, момент прозрачный, принимая во внимание огромный набор онлайн-калькуляторов.

Однако их использование предполагает ввод специфичной начальной информации. Чтобы выбрать соответствующий вариант онлайн-калькулятора, вспомните про типы данных и разберитесь со следующими терминами.

• Генеральная совокупность — все пользователи, на которых в дальнейшем будут распространены выводы А/В-теста.
• Выборка — пользователи, которые фактически попадают в тестирование. По результатам анализа выборки делаются выводы о поведении всей генеральной совокупности.
• Базовый уровень конверсии, который ожидаем увидеть в контрольной группе. Для оценки этого показателя берем исторические данные — усредненный показатель за последний месяц, но учитываем не только среднее значение, а и динамику показателя, тренд и так далее.
• Размер эффекта, который ожидаем увидеть в тестовой группе. Этот показатель определяем самостоятельно и обязательно оговариваем перед запуском эксперимента.
• Уровень статистической значимости (𝛼) — вероятность совершить ошибку первого рода, то есть отвергнуть нулевую гипотезу (Н0), когда она на самом деле верна.
• Уровень доверия (1-𝛼) — процент уверенности в том, что результаты теста верны, если он показал разницу.
• Мощность критерия (1-𝜷) — процент уверенности в том, что результаты теста верны, если он не показал разницу.

Совокупность этих параметров позволяет рассчитать необходимый объем выборки в каждой группе и длительность теста.

В онлайн-калькуляторе можно «побаловаться» с входными данными, чтобы понять природу их взаимосвязей.

Пример. С помощью калькулятора Optimizely рассчитаем объем выборки для коэффициента конверсии 1%. Учтем, что предполагаемый размер эффекта составит 5% при 95% уровне доверия (показатель рассчитывается как 1-𝛼). Обратите внимание: в интерфейсе этого калькулятора термин Statistical significance используется в значении «Уровень доверия» при уровне значимости 5%.

Optimizely утверждает, что в каждую группу должны попасть 870 000 пользователей.

Переводим размер выборки в приблизительную длительность теста — два простых вычисления.

Расчет № 1. Размер выборки × количество групп в эксперименте = общее количество необходимых пользователей

Расчет № 2. Общее количество необходимых пользователей ÷ среднее количество пользователей в день = примерное количество дней эксперимента

Если в первую группу требуется 870 000 пользователей, то для теста двух вариантов общее количество пользователей составит 1 740 000. С учетом трафика 1000 игроков в день, тест должен длиться 1740 дней. Такая длительность не оправдана. На этом этапе мы обычно пересматриваем гипотезу, исходные данные и целесообразность проведения теста.

В нашем примере с улучшением 3-го уровня конверсия — это доля тех, кто успешно завершил 3-й уровень. То есть коэффициент конверсии составляет 85%, мы хотим увеличить этот показатель минимум на 11%. При уровне доверия 95% получаем 130 пользователей на группу.

При том же объеме трафика в 1000 пользователей тест, грубо говоря, можно закончить менее чем за день. Этот вывод в корне неправильный, так как не учитывает недельную сезонность. Поведение пользователей отличается в разные дни недели, например, может изменяться по праздникам. И в одних проектах это влияние очень сильное, в других едва заметное. Не во всех проектах и не для всех тестов это необходимое условие, но на проектах, с которыми мне доводилось работать, недельная сезонность в КPI наблюдалась всегда.

Поэтому длительность теста мы округляем до недель, чтобы учесть сезонность. Чаще наш цикл тестирования составляет одну-две недели в зависимости от типа А/В-теста.

Шаг 5. Проводим эксперимент

После запуска А/В-теста сразу возникает желание посмотреть на результаты, но большинство источников строго-настрого запрещает это делать, чтобы исключить проблему «подглядывания» (peeking problem). Объяснить суть проблемы простыми словами, на мой взгляд, пока ни у кого не получилось. Авторы подобных статей основывают доказательства на оценке вероятностей, различных результатах математического моделирования, которые уводят читателей в зону «сложных математических формул». Основной их вывод — практически неоспоримый факт: не смотрите на данные до того, как наберется требуемая выборка и пройдет требуемое количество дней после запуска теста. В результате проблему «подглядывания» многие интерпретируют неправильно и следуют рекомендациям буквально.

Мы настроили процессы так, чтобы ежедневно видеть актуальные данные для мониторинга KPI проектов. В заранее подготовленных дашбордах следим за ходом эксперимента с самого запуска: проверяем, равномерно ли набираются группы, нет ли критичных проблем после запуска теста, которые могут повлиять на результаты, и так далее.

Главное правило — не делать преждевременных выводов. Все выводы формулируются в соответствии с заложенным дизайном А/В-теста и сводятся в детализированном отчете. Мы мониторим изменения показателя с момента запуска А/В-теста.

Пример, как в А/В-тесте по дням может меняться Completion Rate. В первые два дня после запуска побеждал вариант игры без изменений (группа А), но это оказалось просто случайностью. Уже после второго дня показатель в группе В приобретает стабильно лучшие результаты. Для завершения тесту нужна не просто статистическая значимость, но и стабильность, поэтому ждем окончания теста.

Пример, когда стоит преждевременно завершить А/В-тест. Если после запуска одна из групп дает критично низкие показатели, мы сразу ищем причины такого падения. Самые частые — ошибки в конфигурации и настройках игрового уровня. В таком случае текущий тест отключается преждевременно и запускается новый, с исправлениями.

Шаг 6. Анализируем результаты

Расчет ключевых метрик не представляет особой сложности, а вот оценка значимости полученных результатов — отдельная проблема.

Для проверки статистической значимости результатов при оценивании качественных метрик, таких как Retention и Сonvertion, можно использовать онлайн-калькуляторы.

Мой топ-3 онлайн-калькуляторов для таких задач:

• Evan’s Awesome A/B Tools — один из самых популярных. В нем реализовано несколько методов оценки значимости теста. При использовании нужно четко понимать сущность каждого введенного параметра, самостоятельно интерпретировать результаты и формулировать выводы.
• Если к ответу нужны математические обоснования, используйте A/B Testguide. Калькулятор будет полезен тем, кто хочет разобраться в сути самого метода оценки значимости. Большой плюс — графическая визуализация результатов в виде двух распределений, построенных на основе исходных данных.
• Для быстрой оценки тестов с количеством групп две и более используйте A/B Testing Calculator от Neilpatel. Он прост в использовании и не только указывает на вариант-победитель, но и самостоятельно формулирует вывод.

Пример. Для анализа подобных А/В-тестов у нас есть дашборд, который отображает всю информацию, необходимую для построения выводов, и автоматически подсвечивает результат со значимым изменением целевого показателя.

Давайте посмотрим, как с помощью калькуляторов построить выводы по данному А/В-тесту.

Исходные данные:

• В группе А из 3870 пользователей, начавших 3-й уровень, всего 3252 пользователя успешно его прошли — это 84%.
• В группе В из 3968 пользователей 3730 успешно прошли уровень — это 94%.

Калькулятор Evan’s Awesome A/B Tools рассчитал для каждого варианта доверительный интервал с учетом объема выборки и выбранного уровня значимости.

Самостоятельные выводы:

• Коэффициент конверсии в группе A — 84,00%, доверительный интервал 82,8%—85,1%. Коэффициент конверсии в группе B — 94,00%, доверительный интервал 93,2%—94,7%. (94%-84%)/84% = 0,119 => 12%
• Коэффициент конверсии в группе В на 12% выше, чем коэффициент конверсии в группе A. Этот результат — следствие внесенных изменений, а не случайность. Уровень доверия 95%.
• Рекомендуем применить настройки группы В для всех пользователей.

Схожие результаты получим и с калькулятором A/B Testguide. Но здесь уже можно поиграться с настройками, получить графический результат и сформулированные выводы.

Если пугает такое количество настроек, нет желания или потребности разбираться с разнообразием рассчитанных калькулятором данных, можно использовать A/B Testing Calculator от Neilpatel.

В каждом онлайн-калькуляторе заложены свои критерии и алгоритмы, которые могут не учитывать всех особенностей эксперимента. В результате возникают вопросы и сомнения в интерпретации результатов. Кроме того, если целевая метрика количественная — средний чек или средняя длина первой сессии — перечисленные онлайн-калькуляторы уже не применимы и требуются более продвинутые методы оценки.

Я оформляю детальный отчет по каждому А/В-тесту, поэтому подобрала и реализовала подходящие под мои задачи методы и критерии для оценки статистической значимости результатов.

Заключение

А/В-тест — инструмент, который не дает однозначного ответа на вопрос «Какой вариант лучше?», а лишь позволяет снизить неопределенность на пути к поиску оптимальных решений. При его проведении детали важны на всех этапах подготовки, каждая неточность стоит ресурсов и может негативно повлиять на достоверность результатов. Надеюсь, эта статья была полезной для вас и поможет избежать ошибок при А/В-тестировании.

В следующей статье расскажу, как мы анализируем результаты А/В-тестирования количественных метрик: какие критерии для оценки значимости применяем, какими инструментами пользуемся и как принимаем решения на основе полученных выводов.

Підписуйтеся на Telegram-канал редакції DOU, щоб не пропустити найважливіші статті.

Шемсединов, Федоров і декрет в ІТ. Подкаст DOU #22

Сплит-тестирование или A/B-тестирование в интернет-рекламе: руководство к действию

Сплит-тестирование или A/B-тестирование в интернет-рекламе — это инструмент повышения эффективности объявлений. Он помогает проанализировать реакцию пользователей на разные вариации параметров рекламы. Например, на изменение текстов, заголовков, креативов, сниппетов, форматов. С помощью сплит-теста можно оптимизировать рекламную кампанию — увеличить показатель конверсий и снизить стоимость лидов.

Основные принципы проведения сплит-тестов

1. Придумываем гипотезу, согласно которой конверсия объявления должна увеличиться.

   Продукты MANGO OFFICE для маркетолога и не только

2. Добавляем в РК копию (B) исходной версии (A) с изменениями, которые должны повлиять на эффективность рекламной кампании.

3. Делим аудиторию на две группы: первой демонстрируем исходную версию, второй — альтернативную.

4. Собираем информацию о количестве просмотров, кликов и конверсий.

5. Судя по статистике, определяем более эффективную версию, и продолжаем ее использовать.

Предположим, вы хотите сделать сравнение двух форматов объявления в социальной сети Вконтакте. В исходной версии вы используете запись без кнопки, а в экспериментальной — с кнопкой.

Чтобы провести эксперимент, вам нужно создать два объявления с одинаковым текстом, креативом и аудиторией, но разным наполнением сниппета. Затем необходимо подождать, пока объявления открутятся достаточное количество раз, чтобы вы могли оценить эффективность каждого из них. То, которое работает хуже — удаляете, а более результативное используете дальше.

Что можно тестировать

Большинство популярных рекламных платформ предлагают встроенную функцию сплит-тестов. С ее помощью можно экспериментировать с любыми элементами: тексты и заголовки, целевые аудитории и подходы, креативы, форматы объявлений, стоимость показов или кликов.

Тексты и заголовки

Тексты и заголовки — основные элементы объявлений. Их задача заключается в привлечении внимания, а также в ознакомлении пользователя с вашим коммерческим предложением. Чем лучше вы объясните, что получит потенциальный клиент после перехода по рекламной ссылке, тем больше представителей целевой аудитории заинтересуются вашим предложением. Тестировать можно содержание, количество слов и размер шрифта, расположение ссылки и другие параметры, которые можно настроить в кабинете рекламной платформы.

Попробуйте поэкспериментировать со следующими формулировками:

• Разные призы к действию.

• Информация об акции и бонусах.

• Стоимость товара или услуги.

• Наличие ключевых слов в тексте или заголовке объявления.

• Информация о географии и стоимости доставки.

• Одна или две отображаемые ссылки.

• Добавление сроков окончания акции.

• Цвет кнопки и картинка в баннере.

Также важно использовать УТП (уникальное торговое предложение) — выдающуюся характеристику продукта/бренда/услуг, которая отличает вас от конкурентов. Зачем заказывать пиццу в Pizza Hut, если есть Papa John’s? Зачем использовать Uber, если есть Яндекс.Такси? Правильно составленное УТП отвечает на эти вопросы.

Креативы в таргетированной рекламе

Если в контекстной рекламе наиболее важными параметрами являются тексты и заголовки, то в таргетированной — креативы. Изображение или видеоролик первыми привлекают внимание пользователя, поэтому они должны быть максимально конверсионными. Вы можете тестировать два разных креатива, а также отдельные составляющие: разные кнопки и стрелки, надписи, картинки и т. д.

Целевые аудитории

Тестирование целевой аудитории можно проводить в таргетированной рекламе. У вас есть возможность выбрать возраст, пол, семейное положение, интересы и другие параметры. Это позволяет придумывать подходы к разным слоям вашей целевой аудитории. Например, сместить акцент на выгоде от использования продукта, применить разные триггеры и т. д. Студентам можно показать одни объявления, а работающим людям — другие. Все это возможно благодаря таргетам, которые предоставляют социальные сети.

Стоимость кликов или показов

Снижение стоимости показов или кликов не всегда приводит к увеличению количества продаж. Рекламные платформы откручивают объявления по принципу аукциона — в начале показываются самые дорогие, затем более дешевые. Если установить недостаточную цену целевого действия, вам может попросту не хватить аудитории. Чаще всего такая ситуация встречается в нишах с большой конкуренцией — интернет-магазины, автомобили, недвижимость.

A/B-тестирование в интернет-рекламе

Сплит-тестирование можно проводить практически на всех рекламных площадках, где есть гибкая настройка параметров объявлений. Это могут быть поисковые системы (продающие контекстную рекламу), социальные сети, мобильные площадки (Mobfox, Startapp, InMobi) и т. д. В большинстве платформ присутствует встроенная функция A/B-тестирования, которая позволяет проводить валидные проверки.

Пример настройки сплит-теста на примере Google Adwords

Для проведения A/B-теста в Google Adwords есть функция «Эксперимент». Она позволяет разделить трафик 50/50 между двумя группами объявлений. При создании нескольких рекламных кампаний без использования этой функции объявления будут конкурировать между собой, снижать качество аккаунта и сплит-теста. На экспериментальную группу объявлений можно выделить любое количество трафика от общего объема — от 10% до 90%.

Для создания сплит-теста выберите рекламную кампанию в кабинете Google Adwords, перейдите в настройки и в самом низу экрана выберите расширенную настройку «Эксперимент» > «Настроить эксперимент».

Задайте название эксперимента. Выберите количество трафика, которое будет перенаправляться на экспериментальную группу. Стандартная настройка — 50/50. Это значит, что половина кликов будут идти на тестируемые объявления. Также укажите дату начала и конца проведения эксперимента (минимум 30 дней).

Эксперимент подключен к выбранной кампании. Теперь нужно выбрать группы, которые будут в нем участвовать.

После выбора параметра «Эксперимент» в контекстном меню объявления появятся дополнительные пункты:

• Контроль и эксперимент.

• Только эксперимент.

• Только контроль.

• Приостановлено.

• Удалено.

Изначально на всех объявления установлен параметр «Контроль и эксперимент». Это значит, что на него приходит 100% трафика. Если выбрать «Только контроль», то на объявление будет поступать выбранное вами количество трафика.

Чтобы объявления не конкурировали между собой, задайте статус «Только эксперимент» тестируемой группе. На основную группу установите «Только контроль». Не смотря на то, что в этих группах одинаковые ключевые слова, трафик по ним будет распределяется поровну. После окончания периода проведения теста вы увидите, какое качество трафика было в экспериментальной и основной группах. Таким образом вы сможете понять, стоит ли вносить изменения в остальные объявления.

Ручное или автоматическое A/B-тестирование 

Если в рекламной сети отсутствует функционал сплит-тестирования, вам придется создавать разные группы объявлений вручную. Недостаток такого подхода в том, что реклама будет крутиться в общем пуле объявлений. Это значит, что две разных рекламных кампании будут конкурировать между собой, влияя на стоимость показов или кликов.

Это происходит в РК, которые ранжируют объявления по стоимости. Первой показывается реклама с наибольшей стоимость целевого действия, а затем — более дешевая. Чтобы нивелировать этот недостаток, выставьте цену показов или кликов выше рекомендуемой. В таком случае ваши объявления будут показываться первыми. Валидность теста повысится, но вы потратите больше денег.

Валидация сплит-тестирования объявлений

При проведении A/B-тестирований важно знать, какой объем трафика, показов и кликов можно считать валидным (статистически достоверным). Если вы открутите слишком мало объявлений, тест не будет объективным. В одном случае вы можете получить несколько конверсий при небольшом количестве показов, а в другом — ноль кликов с аналогичным объемом трафика.

Можно ориентироваться на рекомендации эксперта по контекстной рекламе Брэда Геддеса. В своей книге «Google Adwords. Исчерпывающее руководство» он приводит минимальное количество данных, которые можно считать валидными:

Объем трафика (к-во показов)	Показы	Клики	Конверсии
До 2000 кликов	350	300	7
До 5000 кликов	750	500	13
От 5000 кликов	1000	1000	20
Брендовый трафик	10-100 тыс.	1-10 тыс.	100-1000

Если вы соберете больше данных, валидность сплит-тестирования увеличится. Максимальный объем данных — десятикратный от приведенных значений. Одну группу объявлений рекомендуется проверять не более трех месяцев. За это время совокупность факторов, которые влияют на РК, могут существенно снизить валидность теста.

Правила A/B-тестирования

1. Дни недели и время показа объявлений должны быть одинаковыми. Реклама не бывает статичной. В разное время вы будете получать разное количество кликов и конверсий. Чтобы это не влияло на достоверность тестов, время их проведения должно быть одинаковым.

2. Тестируйте рекламу в равных рыночных условиях. Сезонный бизнес будет получать больше лидов в период наибольшей покупательской активности независимо от того, насколько эффективные объявления ранжируются в РК.

3. Тестируйте один параметр объявления за раз. Например, изображение, заголовок, текст, формат. Замена более одного элемента рекламы усложняет понимание того, что конкретно сработало лучше.

4. Статистика в РК быстро теряется, поэтому старайтесь записывать информацию о тестах в отдельном месте. Так будет проще проанализировать, какие изменения параметров сработали лучше, а какие хуже.

5. Проводите тестирование системно. Не останавливайте показ объявлений, пока объем трафика по рекламной кампании не достигнет валидных значений (см. таблицу выше).

Наиболее распространенное заблуждение — одно слово может существенно повлиять на результативность рекламной кампании. Эта теория почти никогда не работает. Тестировать нужно разные концепции, а не формулировку одного и того же заголовка или объявления. Например, в первом случае вы предлагаете скидку 40%, а во втором — экономию более 50$ при заказе товара. У этих объявлений разная концепция. Цель такого теста заключается в проверке того, увеличит ли эффективность объявления смещение акцента на денежный эквивалент.

Сплит-тестирование страниц сайта

A/B-тестирование применимо не только в интернет-рекламе. Сплит-тестами можно проверять эффективность страниц, лендингов, отдельных структурных элементов сайта (кнопки целевого действия, блоков с текстом, дизайна). Это поможет повысить конверсию трафика, который приходит из рекламы, социальных сетей, поисковых систем.

Для проведения тестов создаются две одинаковые страницы. На одну из них вносится одно или больше изменений. Например, текст кнопки и количество текстовых полей в форме заказа. После этого на эти страницы направляется трафик. Важно, чтобы они ранжировались по очереди, и получали примерно равное количество посетителей.

Через время данные сравниваются. Страница, которая сгенерировала больше всего лидов, продолжает использоваться на сайте. Замер количества конверсий можно проводить с помощью коллтрекинга Mango Office. Виджет, добавленный на сайт, подменяет номер телефона для разных посетителей и фиксирует количество звонков.

Преимущества Mango Office перед системами веб-аналитики:

• Фиксация количества звонков, которые не учитываются системами веб-аналитики.

• Анализ разных источников трафика — вы сможете отследить конверсию страницы для пользователей, которые пришли из поиска, социальных сетей, контекстной рекламы, таргетинговой рекламы и т. д.

• Возможность интеграции с CRM-системами, рекламными сетями, системами аналитики, различными сервисами. Например, Яндекс.Директ, Google Adwords, amoCRM, Битрикс24, Jivosite и т. д.

• Возможность отслеживать разные типы бизнес-показателей — стоимость сделки, сделки в работе, закрытые сделки, стоимость закрытия сделки, прибыль, ROMI.

О том, как подключить свой сайт к сервису, можете прочитать на этой странице.

Вывод

A/B-тестирование — важный инструмент интернет-маркетинга, который позволяет снизить расходы на рекламу и увеличить количество продаж. Кроме оптимизации рекламных кампаний, внимание стоит уделить повышению эффективности посадочных страниц. Для оценки конверсии сайта и проведения сплит-тестов можно использовать системы веб-аналитики, а также сервис коллтрекинга Mango Office.

Что такое A / B-тестирование? | Оракул

На протяжении всего жизненного цикла любого A / B-теста аналитика лежит в основе планирования, выполнения и рекомендаций по производительности.

Разработка тестовой гипотезы требует прочной аналитической основы. Вам необходимо понимать текущую производительность и уровни трафика. Что касается веб-аналитики (например), есть некоторые ключевые точки данных, которые ваша аналитическая система предоставит в процессе планирования, в том числе:

• Трафик (просмотры страниц, уникальные посетители) страницы, компонента или другого элемента, проверяемого для тестовых сценариев
• Вовлеченность (затраченное время, страниц за посещение, показатель отказов)
• Конверсии (клики, регистрации, выпадение)
• Динамика динамики результатов

Без этого аналитического опыта любой сценарий тестирования или оценка производительности, скорее всего, будут основаны на личных предпочтениях или впечатлениях.Тестирование часто доказывает, что эти предположения неверны.

После запуска A / B-теста аналитика также играет центральную роль. Панель мониторинга используется для мониторинга показателей производительности в режиме реального времени, для проверки правильности работы теста и для реагирования на любые аномалии или неожиданные результаты. Это может включать остановку теста, внесение корректировок и перезапуск, а также обеспечение того, чтобы данные о производительности отражали любые изменения, а также время этих изменений. Панель управления производительностью помогает определить, как долго будет выполняться тест, и обеспечить достижение статистической значимости.

После завершения теста аналитика является основой для определения следующих шагов. Например, их можно использовать, чтобы решить, станет ли победитель теста стандартной презентацией на странице веб-сайта, которая была протестирована, и станет ли она постоянным стандартом. Маркетологи должны разработать шаблон аналитики многократного использования для передачи результатов тестирования и адаптировать этот шаблон для отражения конкретных элементов данного теста.

Firebase A / B-тестирование | Документация Firebase

На основе Google Optimize, Firebase A / B Testing поможет вам оптимизировать работу с приложением за счет упрощение проведения, анализа и масштабирования продуктовых и маркетинговых экспериментов.Это дает вам возможность тестировать изменения в пользовательском интерфейсе, функциях или взаимодействии вашего приложения. кампании, чтобы узнать, действительно ли они двигают стрелку к вашим ключевым показателям (например, доход и удержание), прежде чем развернуть их широко.

A / B Testing работает с FCM, поэтому вы можете тестировать различные маркетинговые сообщений и с помощью Remote Config, чтобы вы могли тестировать изменения в своем приложении.

Создавайте эксперименты с удаленной конфигурацией Создавайте эксперименты с обменом сообщениями

Основные возможности

Тестируйте и улучшайте свой продукт	Создайте эксперименты с Remote Config, чтобы внести изменения в поведение и внешний вид вашего приложения во всех вариантах эксперимента, и проверьте, какой опыт работы с продуктом наиболее эффективен для достижения результатов, которые вы больше всего заботит.
Найдите способы повторно привлечь пользователей с помощью композитора уведомлений	Использовать A / B-тестирование чтобы помочь вам найти наиболее эффективные настройки формулировок и сообщений для привлечение пользователей в ваше приложение.
Безопасное развертывание новых функций	Не запускайте новую функцию, не убедившись, что она соответствует вашим целям с помощью сначала меньшее количество пользователей. Как только вы обретете уверенность в своем Результаты A / B-тестирования, разверните эту функцию для всех своих пользователей.
Целевые «прогнозируемые» группы пользователей	С помощью Firebase Predictions вы можете запускать A / B-тесты для пользователей, которые предсказано совершить определенное действие, например, потратить деньги (или нет), отказаться от вашего приложения или выполнить любое другое событие конверсии вы определили с помощью Analytics.

Как это работает?

Когда вы создаете эксперимент, вы тестируете один или несколько вариантов тестируемого действие и измерить, как хорошо, что варианты работают для достижения цели, которую вы хотите достичь (например, увеличение покупок в приложении).Ваша цель группа пользователей может быть определена несколькими критериями, объединенными логикой «И»; для Например, вы можете ограничить группу пользователями определенной версии приложения. которые принадлежат как к аналитике аудитория, такая как «сбойные пользователи» и созданная группа автоматически с помощью прогнозов Firebase на основе вероятности оттока.

С помощью Remote Config вы можете экспериментировать с изменением нескольких параметров. в нескольких вариантах, чтобы изменить поведение и внешний вид вашего приложения в разнообразие способов в каждой группе вариантов.Вы можете использовать это для тонкие изменения, такие как настройка лучшей цветовой схемы и позиционирования меню варианты или для значительных изменений, таких как тестирование совершенно новой функции или пользовательского интерфейса дизайн. С помощью композитора уведомлений вы можете поэкспериментировать, чтобы найти правильную формулировку для уведомления.

Независимо от того, использует ли ваш эксперимент Remote Config или композитор уведомлений, вы можете наблюдайте за своим экспериментом, пока не получите верный набор результатов, а затем определите лидер , вариант, который лучше всего подходит для вашей цели.Вы можете начать экспериментируйте с небольшим процентом вашей пользовательской базы, а затем увеличьте этот процент с течением времени. Если ваш первый эксперимент не выявил варианта который достигает вашей цели лучше, чем ваше приложение в настоящее время, вы можете запустить новый раунд экспериментов, чтобы найти лучший способ улучшить ваше приложение.

Можно также отслеживать другие показатели (сбои приложений, удержание и вовлеченность) вместе с ваша цель, чтобы вы могли лучше понять результат экспериментируйте и как это влияет на опыт использования вашего приложения.

Способ реализации

	Добавьте Remote Config или Firebase Cloud Messaging в свое приложение	Если ваше приложение уже использует Remote Config или Cloud Messaging (или оба), вы можете перейти к следующему шагу.
	Определите варианты, которые вы хотите оценить с помощью A / B-теста.	Независимо от того, является ли ваше изменение незаметным или добавлением нового пользовательского интерфейса или функции, если вы вы можете контролировать это изменение с помощью Remote Config, вы можете протестировать несколько варианты этого изменения с A / B-тестированием. Вы также можете использовать A / B-тестирование с композитором уведомлений для тестирования нескольких вариантов. о вашей кампании повторного вовлечения, прежде чем развернуть ее для всех пользователей.
	Определите, как вы будете измерять успех	В эксперименте, в котором используется композитор уведомлений, вы можете использовать Analytics , чтобы определить цель эксперимента и сравнить варианты эксперимента. В эксперименте с удаленной конфигурацией вы можете использовать либо аналитическую событие или последовательность конверсии, чтобы определить цель вашего эксперимента.
	Наблюдайте за своим экспериментом, чтобы найти вариант-победитель	Вы можете начать эксперимент с несколькими пользователями, а затем развернуть его на больше пользователей, если первые результаты выглядят хорошо. Наблюдая за своим экспериментом, вы будет видеть, вызывают ли некоторые варианты больше сбоев приложения или другие воздействия на опыт работы с приложением, и вы также можете увидеть, какой вариант дает больше всего продвигайтесь к своей цели.

Следующие шаги

A / B-тестирование | Руководство для новичков по сплит-тестированию рекламы в Facebook в 2017 г.

Evergreen Руководство по оптимизации рекламы в Facebook

A / B-тестирование на Facebook используется для экспериментов с различными элементами кампании, чтобы выяснить, что работает лучше всего.
К сожалению, в реальном мире нет волшебного способа узнать, какой рекламный дизайн, предложение или целевая аудитория наиболее эффективны. И тогда в игру вступает A / B-тестирование рекламы Facebook.
Вместо того, чтобы один член команды сказал: «Мы должны использовать красный дизайн рекламы», и на этом обсуждение подошло к концу, маркетологи могут настроить тесты с несколькими переменными, чтобы увидеть, какие варианты рекламы действительно работают.
В AdEspresso мы большие поклонники экспериментов с рекламой в Facebook и каждый месяц тестируем новые идеи.Вы тоже можете начать сплит-тестирование рекламы в Facebook и настроить свои первые A / B-тесты!
В главе 2 нашего Руководства по оптимизации рекламы в Facebook мы найдем ответы на ваши самые популярные вопросы A / B-тестирования, в том числе:

• Что такое A / B-тестирование?
• Как настроить A / B-тестирование в Facebook?
• Каковы лучшие практики проведения A / B-тестов Facebook?
• Как настроить A / B-тест в AdEspresso?
• Что такое AdEspresso Grid Composer?
• Какие элементы рекламы в Facebook следует тестировать A / B?

Готовы получить еще лучшие результаты рекламы в Facebook? Давайте начнем!

Что такое A / B-тестирование?

A / B-тестирование, также называемое сплит-тестированием, — это тактика, с помощью которой вы выясняете, какие заголовки объявлений, основной текст, изображения, призывы к действию или их комбинация лучше всего подходят для вашей целевой аудитории.Кроме того, вы можете поэкспериментировать с несколькими аудиториями Facebook и местами размещения рекламы, чтобы узнать, кто ваша идеальная аудитория и с помощью каких мест размещения они могут быть доступны.

Обычно A / B-тесты публикуются в течение пары недель, пока рекламодатели ждут новых результатов. После завершения эксперимента будет сделан вывод о том, превзошел ли один вариант другой (-ые). Вы можете убедиться, что ваши результаты статистически значимы, используя калькулятор статистической значимости.

Если вы еще не создали множество рекламных кампаний для своего продукта в Facebook, вам будет довольно сложно предсказать, какой вид рекламы подойдет вам лучше или какая демографическая аудитория с большей вероятностью купит ваш продукт. Здесь пригодится A / B-тестирование: вы можете быстро протестировать несколько рекламных конструкций и целевых аудиторий, чтобы выявить наиболее эффективные.
Давайте рассмотрим пример, предполагая, что мы хотим протестировать два разных дизайна для лидогенерации наших электронных книг:

ТЕСТ 1	ТЕСТ 2
10000 оттиск	10000 оттиск
237 кликов (CTR: 2.37%)	187 кликов (CTR: 1,87%)
28 Продажи (Коэффициент конверсии: 11,81%)	16 Продажи (Коэффициент конверсии: 8,55%)
Израсходовано: 150 $	Потрачено: 150 $
Стоимость продажи: $ 5,35	Стоимость продажи: $ 9,37 ( + 75,14% )

Как видно из результатов объявлений, Объявление 1 было значительно лучше, чем объявление 2 , что дало 77 баллов.На 14% выше рентабельность инвестиций.
Для сравнения: если бы вы опубликовали только кампанию с объявлением №2 и позволили ей работать в более крупном масштабе с бюджетом в 2000 долларов, вы потратили бы 858 долларов на 213 продаж по сравнению с 373 продажами, которые вы бы получили. иметь в кармане с помощью Ad n. 1!

A / B-тестирование поможет вам найти наиболее эффективные решения и оптимально использовать рекламные бюджеты.

Как настроить A / B-тестирование в Facebook

Когда вы начнете работать с рекламой в Facebook, вы поймете, что есть так много вещей, которые вы хотели бы протестировать: рекламные изображения, копии, целевые аудитории, методы ставок, цели кампании и т. Д. и т.п.
Ошибка новичка, которую вы, вероятно, совершите на этом этапе, — это создание A / B-теста со слишком большим количеством изменяющихся переменных.

Допустим, вы хотите протестировать 3 рекламных изображения, 3 заголовка и 3 основные копии. Таким образом получается 3x3x3 = 27 различных рекламных объявлений Facebook. На завершение этого теста уйдут недели. Тест может быстро стать огромным! Предположим, вы хотите протестировать пять изображений, четыре заголовка объявлений и пять точных настроек таргетинга по интересам. Это означает, что вам нужно будет создать объявления 4 * 5 * 5, чтобы протестировать все возможные комбинации — всего 100 объявлений!

Настройка 100 или даже 20 различных рекламных объявлений на Facebook займет часы… И, конечно же, вы умнее этого!
Это оставляет вам два варианта: либо создать небольшие эксперименты с четырьмя или пятью вариантами, либо использовать внешний инструмент управления рекламой Facebook, специально разработанный для A / B-тестирования (бесстыдный плагин: AdEspresso может быть хорошим решением — и мы предлагаем бесплатные 14- дневная проба!).

В целом, как только вы начнете иметь дело с бюджетом, превышающим 2000 долларов в месяц, мы предлагаем начать использовать внешний инструмент управления рекламой Facebook, который упростит вашу жизнь, сэкономив время и деньги.

Настройка A / B-тестирования Facebook в AdEspresso

Самый простой способ настроить A / B-тестирование на Facebook с несколькими вариантами — использовать AdEspresso. Серьезно — это одна из основных причин, по которой маркетологи во всем мире любят использовать инструмент менеджера рекламы AdEspresso.

Чтобы настроить новую кампанию A / B-тестирования, войдите в свою учетную запись AdEspresso и нажмите «Новая кампания» в верхнем меню.

AdEspresso предлагает два разных способа создания сплит-теста в ваших кампаниях на Facebook. Мы рассмотрим, как это сделать.

Если ваша цель — привлечь людей на свой веб-сайт, выберите вариант продвижения «Внешний веб-сайт».

Вы можете выбрать для создания «Стандартной» кампании в AdEspresso , где все различные комбинации объявлений будут генерироваться для вас автоматически на основе элементов, которые вы тестируете сплит-тестом .

Другой вариант — создать «Агрегированную» кампанию, в которой вы тестируете предварительно заданные комбинации объявлений на основе элементов, которые вы добавили в электронную таблицу, которую вы загружаете в AdEspresso .

На следующем этапе стандартной настройки кампании вы можете ввести несколько вариантов рекламных копий, заголовков, различных рекламных изображений / видео и т. Д., И AdEspresso создаст для вас все возможные комбинации объявлений на основе элементов, которые вы выбрали для тестирования.

Например, вы можете провести сплит-тест двух разных рекламных копий и четырех рекламных изображений Facebook, в результате чего получится восемь различных вариантов рекламы Facebook.

После того, как вы закончите добавлять новые элементы и варианты объявления, нажмите кнопку «Продолжить». На третьем этапе процесса настройки A / B-теста вы можете выбрать одну или несколько аудиторий Facebook, на которые хотите настроить таргетинг.

Вы также можете разделить тест на несколько аудиторий Facebook.

И как раз тогда, когда вы подумали, что лучше уже не будет… Прежде чем вы перейдете к настройке ставок и расписания показа объявлений, AdEspresso предложит вам дополнительные варианты для A / B-тестирования !

После того, как вы настроили все элементы своей рекламной кампании в Facebook, пора нажать кнопку «Опубликовать в Facebook» и начать ждать результатов.

Если вы хотите узнать больше об отслеживании, измерении и оценке рекламы в Facebook, прочтите главу 8 нашего руководства, вы углубитесь в отчеты и оптимизацию рекламы в Facebook.

Grid Composer, A / B-тестирование на стероидах

Давайте создадим нашу кампанию, используя Grid Composer, — совершенно новую функцию, которую мы выпустили в 2018 году, чтобы предложить еще большую гибкость для создания ваших A / B-тестов для рекламы Facebook.

На шаге 1 создания кампании вместо работы со «Стандартной» кампанией можно выбрать «Агрегировать».

С помощью grid composer мы можем создать кампанию на внешнем веб-сайте или повысить осведомленность местного населения. После выбора вы сможете выбрать электронную таблицу, которую хотите использовать в кампании.

AdEspresso предлагает загружаемый шаблон, который можно использовать для добавления в электронную таблицу собственной информации.

После того, как вы закончите свою электронную таблицу и загрузите ее в AdEspresso, поля, которые у вас есть в электронной таблице, будут выделены серым цветом при создании кампании.Если вы оставили какие-либо элементы в таблице пустыми, вы сможете выбрать их при создании кампании. Это обеспечивает простой способ сопоставления определенных заголовков, рекламных текстов, изображений, видео и любых других элементов вашего объявления или таргетинга с кампанией без создания каких-либо нежелательных комбинаций.

AdEspresso также предлагает еще один эффективный способ создания определенных комбинаций объявлений без необходимости заполнять электронную таблицу. Он называется шаблонами объявлений, и их можно создавать в вашем Asset Manager.

Менеджер активов доступен из окна «Инструменты», и оттуда вы можете нажать «создать новый актив» в правом верхнем углу.

Вы увидите всплывающее окно, которое позволяет вам создать определенный тип шаблона объявления, вы можете выбрать рекламное объявление со ссылкой, объявление для потенциальных клиентов, мобильное объявление или объявление после продвижения.

Мы собираемся создать шаблон объявления со ссылкой.

После выбора типа шаблона объявления у вас появится всплывающее окно, в котором будут отображаться креативные элементы шаблона.Вы можете выбрать формат объявления, заголовок, текст объявления, креатив и т. Д. В шаблоне объявления. Просто создайте шаблон объявления, сохраните его, и у вас будет шаблон объявления со всеми креативными элементами, которые вам понадобятся для использования в любых кампаниях в дальнейшем!

Теперь, когда мы создаем нашу новую кампанию и переходим к шагу 2, у нас есть возможность выбрать «Тестировать шаблоны объявлений», и отсюда мы сможем использовать наши шаблоны объявлений в новой кампании. Это позволяет нам тестировать видео, статическое изображение и карусель в рамках одной кампании!

5 правил A / B-тестирования Facebook Ads

Если вы хотите, чтобы результаты вашего A / B-теста Facebook были статистически релевантными и применимыми к нескольким кампаниям, есть несколько правил, которым вы должны следовать.В противном случае вы можете слишком увлечься всеми идеями тестирования и забыть о профессиональной настройке кампании и методах измерения.

Facebook Правило A / B-тестирования # 1:

Тестируйте одну переменную за раз

Хотя может возникнуть соблазн начать тестирование ВСЕГО сразу, подумайте об этом:

Чем меньше у вас рекламных переменных, тем быстрее вы получите релевантные результаты тестирования.

Более того, тестирование одной рекламной переменной в эксперименте упростит отслеживание и оценку результата.

Правило A / B-тестирования Facebook № 2:

Используйте правильную структуру кампании Facebook

При тестировании нескольких рекламных дизайнов Facebook или других рекламных элементов у вас есть два варианта структурирования кампаний A / B-тестирования:

• 1. Единый рекламный набор — все варианты объявлений находятся в одном рекламном наборе

• 2. Несколько наборов объявлений с одним вариантом — каждый вариант объявления помещается в отдельный набор объявлений

Когда вы разместите все протестированные варианты рекламы Facebook в одном наборе объявлений, Facebook начнет автоматическую оптимизацию вашей рекламы, и вы не получите релевантных результатов тестирования.

Вам следует выбрать вторую структуру кампании, при которой все варианты вашей рекламы помещаются в отдельные рекламные наборы .

Facebook Правило A / B-тестирования № 3:

Убедитесь, что ваши результаты A / B-теста действительны

Как узнать, когда лучше всего проанализировать результаты сплит-теста и завершить эксперимент?

Чтобы убедиться, что ваши A / B-тесты действительны, вам необходимо иметь достаточное количество результатов, на основании которых можно сделать вывод.

Если вы хотите, чтобы ваши тесты Facebook давали ценную информацию, проведите их через тест значимости A / B, чтобы определить, верны ли ваши результаты.

Facebook Правило A / B-тестирования № 4:

Установите достаточный бюджет для A / B-тестирования

Чем больше вариантов объявлений вы тестируете, тем больше показов и конверсий вам потребуется для получения статистически значимых результатов.

Итак, сколько будет стоить успешный тест рекламы в Facebook?

Чтобы получить достоверные результаты A / B-теста, вам потребуется не менее 100 конверсий для каждого варианта объявления. Если ваша цена за конверсию составляет 2 доллара США.50, и вы хотите протестировать 4 различных варианта объявлений, ваш бюджет на тестирование должен составлять около 2,5 долларов США x 4 x 100 = 1000 долларов США.

Совет. Когда один из ваших вариантов сплит-теста на милю превосходит другие, вы можете завершить эксперимент немного раньше. (Тем не менее, вы все равно должны собрать не менее 50 конверсий для каждого варианта.)

В целом, рекомендуется не переусердствовать. Бессмысленно проводить сотни экспериментов внутри одной кампании, если у вас нет тысяч и тысяч долларов в бюджете.Начните с микроэкспериментов, протестируйте всего несколько элементов и дайте им разумный бюджет.

Правило A / B-тестирования Facebook № 5:

Расставьте приоритеты для тестов рекламы в Facebook

При поиске идей для A / B-тестирования Facebook подумайте, какой рекламный элемент может иметь наибольшее влияние на CTR и коэффициент конверсии. В конце концов, ваши возможности тестирования будут ограничены как временем, так и ресурсами. Вы даже можете настроить таблицу приоритетов, чтобы решить, какие рекламные элементы вы собираетесь тестировать в первую очередь.

Какие рекламные элементы Facebook следует тестировать A / B?

В AdEspresso мы изучили данные экспериментов с рекламой в Facebook на сумму более 3 миллионов долларов и перечислили элементы кампании с наивысшей рентабельностью инвестиций при сплит-тестировании:

• Страны
• Точные интересы
• Рекламные цели Facebook
• Мобильная ОС
• Возрастные группы
• Пол
• Рекламных дизайнов
• Заголовки
• Семейное положение
• Целевая страница

Однако лучшие варианты A / B-тестирования действительно зависят от ваших целей.

Далее вы найдете 12 идей для A / B-тестирования Facebook.

1. A / B тестируйте свою аудиторию в Facebook

2. A / B-тестирование типов рекламы в Facebook

3. Сплит-тест ваших рекламных изображений в Facebook

4. Сплит-тест стоковые фотографии и пользовательские иллюстрации

5. Разделение тестовых изображений и видео

6. A / B-тестирование ценностного предложения вашей рекламы в Facebook

7. A / B проверьте заголовок объявления в Facebook

8. A / B тестируйте свою рекламу в Facebook копия

9. Поэкспериментируйте с разными методами ставок

10. Сплит-тест целевых страниц объявлений в Facebook

11. Сплит-тест различных целей кампании

12. Сплит-тест размещения рекламы в Facebook

Как вы понимаете, возможности для тестирования практически безграничны.К тому времени, когда вы завершите первый раунд тестов, пора начать заново с другого, чтобы получить свежие идеи.

Эффективное A / B-тестирование электронной торговли в 2021 году [Пошаговое руководство]

Начнем с хороших новостей.

У вас довольно успешный сайт электронной торговли. Вы получаете приличный доход, и дела идут хорошо.

Но это еще не все жевательная резинка и розы.

Честно говоря, у вас проблемы.

• Коэффициент конверсии электронной торговли вашего магазина — и, следовательно, ваша последовательность конверсии — не так уж и велика.
• Тележки бросают чаще, чем вам хотелось бы.
• И ваша рентабельность инвестиций в рекламу только средняя.

Вы знаете, что все может быть лучше, но не знаете, какие шаги предпринять.

У нас есть для вас хорошие новости, и они называются A / B-тестированием.

Вы, наверное, знакомы с этим термином.

Вы слышали о простейших примерах A / B-тестирования, таких как изменение цвета кнопок и призывы к действию.Но большинство предприятий электронной коммерции не знают, как это сделать эффективно.

Это прискорбно, учитывая, что при правильном выполнении A / B-тестирование — или сплит-тестирование — является одним из самых эффективных способов улучшить некоторые из наиболее важных показателей в вашем бизнесе.

Вот о чем эта статья.

Мы собираемся подробно рассказать вам об A / B-тестировании, о том, почему вы должны его проводить, о некоторых примерах, о том, как это работает, о том, что вы можете с его помощью протестировать, когда использовать и многом другом.

Это ваш подробный план проведения A / B-тестирования.

Пейдж Гербер, директор по работе с контентом, UberFlip

Всегда. Быть. Тестирование. Я не могу не подчеркнуть, насколько важно проверять ваши сообщения.

A / B-тестирование — единственный способ узнать, что хотят видеть ваши клиенты, прежде чем они совершат покупку.

Как только вы отточите текст, изображения и призыв к действию, которые приводят к конверсии, вы быстро увидите прямую взаимосвязь между пониманием того, чего хотят ваши клиенты, и окупаемостью затрат на рекламу.

Что такое A / B-тестирование?

Давайте начнем с того, что убедимся, что все мы на одной странице.

Большинство людей думают об A / B-тестировании только с точки зрения небольших настроек цвета кнопок, призывов к действию или заголовков, но это гораздо глубже.

Так что же такое A / B-тестирование? Проще говоря…

Это метод определения того, какой дизайн, контент или функциональность более нравятся посетителям вашего сайта. Это позволяет вам протестировать вариант вашей страницы (или элемента на странице), который может повлиять на поведение ваших потребителей.

Например, это может включать:

• Тестирование двух разных макетов контента для одного и того же продукта, чтобы увидеть, какой макет приносит больше продаж.
• Или различные классификации продуктов для вашего сайта, чтобы узнать, какая из них позволяет клиентам проще покупать у вас.
• Или перемещайте элементы навигации, чтобы увидеть, что приводит к увеличению продаж.

Но вот в чем дело…

A / B-тестирование — это не разовая сделка. Это не одно и то же, как если бы баскетболист из колледжа стал профессионалом.

Эффективное A / B-тестирование в идеале предполагает многократное тестирование улучшений, пока вы не получите наилучшую возможную версию.

Это итеративный процесс, в котором каждый тест основан на результатах предыдущих тестов.

Как и физическая подготовка, когда A / B-тестирование проводится последовательно и целенаправленно, оно позволяет постепенно улучшать общий дизайн вашего веб-сайта, чтобы он лучше согласовывался с вашим поведением потребителей и бизнес-целями.

Когда вы начнете, вы можете не увидеть значительных успехов; однако, когда вы оглянетесь через несколько месяцев, вы будете поражены общими улучшениями.

Почему вам следует проводить A / B-тестирование?

Как владелец интернет-магазина, у вас есть десятки задач.

• Листинг продуктов.
• Оптимизация продуктов для SEO.
• Отвечая на запросы клиентов.
• И еще тысяча.

Зачем вам проводить A / B-тестирование?

Неужели это так эффективно?

Да, действительно так.

A / B-тестирование позволяет значительно улучшить покупательский опыт ваших клиентов.

Довольные клиенты означают более высокий рейтинг кликов, больше конверсий, больше доходов, большую лояльность, меньше жалоб и многое, многое другое.

Не уверены? Взгляните на Amazon.

Как Amazon удалось превратиться из сайта, на котором продавались только книги, в крупнейший в мире розничный продавец электронной коммерции?

Во многом это произошло из-за того, что генеральный директор Джефф Безос настаивает на постоянном тестировании, экспериментах и ​​внедрении инноваций.

Как он отметил в журнале Fortune:

«Эксперименты являются ключом к инновациям, потому что они редко оказываются такими, как вы ожидаете, и вы так много учитесь … Если вы можете увеличить количество экспериментов, которые вы проводите, с сотни до тысячи, вы резко увеличите количество производимых вами инноваций.”

Безос понимает, что, по сути, успех заключается в том, чтобы сделать ваших клиентов максимально счастливыми — сделать их покупки удобными и безболезненными.

Но чтобы определить, что делает их счастливыми, нужно постоянно выдвигать гипотезы, тестировать, экспериментировать и повторять.

Рассмотрим все способы, которыми Amazon сделал покупки в Интернете приятными.

• Заказ в один клик.
• Кнопки тире, которые позволяют изменять порядок товаров простым нажатием кнопки.
• Двухдневная доставка.
• Чрезвычайно мощный механизм рекомендаций.

Список можно продолжать и продолжать.

Эти инновации произошли не случайно в результате какой-то разновидности дарвинизма в электронной коммерции.

Скорее, они были результатом тщательного тестирования, а затем принятия мер, основанных на этом научно-обоснованном подходе.

И не только Amazon стремится добиться выдающихся результатов за счет оптимизации конверсии.

Самые инновационные компании в мире постоянно внедряют его, и вы регулярно подвергаетесь многомерному тестированию, знаете вы об этом или нет.

Вы когда-нибудь замечали, как Netflix регулярно меняет изображения обложек телешоу и фильмов?

На это есть причина. Официальный блог Netflix Tech Blog отмечает:

Фактически, каждое изменение продукта, которое рассматривает Netflix, проходит тщательный процесс A / B-тестирования, прежде чем стать стандартным для пользователей.

Основные изменения дизайна… значительно улучшают наши услуги, позволяя участникам быстрее находить контент, который они хотят смотреть.

Однако их развертывание без обширного A / B-тестирования слишком рискованно, что позволяет нам доказать, что новый опыт предпочтительнее старого.

И если вы когда-нибудь задумывались, действительно ли мы собираемся протестировать все возможное, учтите, что даже изображения, связанные со многими заголовками, проходят A / B-тестирование, что иногда приводит к увеличению количества просмотров этого заголовка на 20–30%!

Благодаря удивительному количеству вариантов, доступных практически во всех отраслях, Amazon и Netflix понимают, что повышение лояльности клиентов имеет решающее значение.

Они хотят дать людям повод возвращаться снова и снова.

A / B-тестирование открывает путь к этой лояльности.

Джейми Тернер, автор, спикер, генеральный директор Jamie Turner Live

Первый секрет успеха электронной коммерции — это испытать свой путь туда. Это всегда главный приоритет.

Второй — потратить 10% своего времени / бюджета на тестирование новых методов и технологий.

И третье — обязательно внутренне делиться со всеми своими успехами и неудачами. Таким образом, вы можете быть уверены, что у вас есть персонал с базой знаний.

Как работает A / B-тестирование?

Теперь, когда у вас есть общее представление о том, что и почему проводится A / B-тестирование, давайте перейдем к деталям.

Существует два основных типа A / B-тестирования: на стороне клиента и на стороне сервера, причем чаще всего используется клиентская сторона.

1. Клиентское тестирование включает отправку одной и той же версии страницы каждому посетителю, а затем использование Javascript для внесения изменений и настроек в браузере посетителя до того, как посетителю будет показана конечная страница.
2. Серверное тестирование — это когда ваш веб-сервер показывает посетителям различные варианты страниц, изменяя их на сервере перед отправкой в ​​браузер посетителя.В браузере не происходит никаких изменений на странице.

Независимо от того, какой тип используется, общая методология остается неизменной.

Используя инструменты аналитики, такие как Google Analytics и HotJar, вы оцениваете эффективность каждого варианта страницы.

Например, вы можете направить 50% вашего трафика на вариант A и 50% вашего трафика на вариант B.

Затем вы анализируете данные, чтобы определить, является ли вариант A или вариант B более эффективным в соответствии с установленной целью (конверсией), будь то продажи, подписка на рассылку по электронной почте, рейтинг кликов и т. Д.

Что касается Netflix, они могут протестировать фильм «Криминальное чтиво» с двумя разными обложками, чтобы увидеть, какая из них набирает больше всего просмотров. Amazon может проверить количество полей в процессе оформления заказа. Вы уловили суть.

Однако есть нюанс.

A / B-тестирование зависит от так называемой статистической значимости.

Чтобы быть уверенным, что результаты теста точны и не являются результатом аномалии, необходимо привлечь определенное количество посетителей (размер выборки).

Если этот порог не достигнут, A / B-тесты могут быть неточными, что приведет к внесению изменений, которые могут нанести вред вашему сайту.

Подразумевается?

Если ваш сайт не получает достаточно трафика, вы можете сначала инвестировать в платную рекламу или поисковую оптимизацию, чтобы увеличить общий объем трафика.

Когда вы достигнете необходимого уровня трафика, вы можете в любой момент внедрить A / B-тестирование и увидеть значительную отдачу от своих инвестиций.

Если вам нужна помощь в определении того, в какой момент вы увидите рентабельность инвестиций, вот калькулятор, который вы можете использовать, чтобы определить, как A / B-тестирование может повлиять на ваш сайт.

Упрощение принятия решений

Быстро масштабируемые компании используют метрические информационные панели для руководства своими встречами и принятием решений, отделяя внутреннее предпочтение от процесса в пользу результатов, основанных на данных.

Используйте эту панель управления, чтобы увидеть те же результаты для своего бренда.

Получите бесплатный шаблон прямо сейчас.

Где вы используете A / B-тестирование?

A / B-тестирование направлено на устранение болевых точек потребителей. Всякий раз, когда вы можете убрать трение из процесса покупок, это значительно увеличивает шансы на конверсию. Опять же, именно здесь Amazon выделяется.

Они сделали все возможное, чтобы избавиться от типичных проблем с покупками в Интернете, таких как:

• Фильтрация для поиска конкретного продукта, который соответствует вашим потребностям.
• Сравнение похожих продуктов или продуктов, купленных вместе с просматриваемым в данный момент продуктом.
• Определение общего качества продукта (реализуют обзоры, вопросы, фото и т. Д.).
• Неоднократное заполнение биллинговой информации.
• Ожидание доставки посылки в течение недели.
• И многое другое.

В контексте вашего собственного магазина электронной коммерции вы можете использовать A / B-тестирование при сравнении:

• Различные макеты страниц.
• Организация навигации (где ваше меню и т. Д.).
• Эффективность заголовка.
• Основная копия.
• CTA копия и дизайн.
• Фотографии веб-сайтов и изображения продуктов.
• Новый визуальный стиль для страницы.
• Новая ценовая стратегия.
• Различные акции / предложения.
• И многое другое.

Прелесть A / B-тестирования заключается в том, что вы можете систематически прорабатывать каждую из этих областей, постепенно и последовательно улучшая каждую для увеличения конверсии.

Стивен Слейтер, старший менеджер по SEO и цифровой рекламе, TopRank Marketing

То, что он запущен, не означает, что он готов.Всегда тестируйте что-то новое.

Если вы не тестируете и не развиваете с первого дня, вы проиграете.

Продолжайте тестирование. Продолжай поправляться.

Столько брендов запускают и ожидают, что все сразу заработает. Так бывает редко.

Испытай и поправляйся. Тогда сделай это еще раз.

Существует так много инструментов для A / B-тестирования. Выберите один и знайте это. Google Optimize, Unbounce, Optimizely… Выберите одно и все протестируйте.

Примеры испытаний A / B

A / B-тесты могут быть разных форм и размеров.

Вот несколько макетов, выделяющих типы A / B-тестов, которые вы можете увидеть как часть программы оптимизации.

A / B-тест навигации

В этом тестовом примере мы стремимся увидеть, могут ли потребители лучше перемещаться по сайту и выходить на кассу, открывая меню на верхнем уровне, а не через раскрывающееся меню.

Страница сведений о продукте A / B Test

В этом тестовом примере мы стремимся увидеть, повлияет ли размещение дополнительной образовательной информации о продукте выше на странице на скорость добавления в корзину.

Тест по форме A / B

В этом тестовом примере мы стремимся увидеть, будут ли потребители более склонны заполнять форму с меньшим количеством полей и более простым текстом-заполнителем внутри полей.

Когда следует использовать A / B-тестирование?

Случайное A / B-тестирование — всегда плохая идея.

Это приводит к тому, что вы тратите чрезмерное количество времени на тестирование областей, которые имеют очень мало значения, игнорируя при этом основные факторы роста.

А поскольку вы тестируете случайные переменные, трудно определить, какие изменения оказали наибольшее влияние.

Прежде чем приступить к тестированию, вам понадобится дорожная карта.

Эта дорожная карта подробно расскажет, что тестировать и в каком порядке.

Как вы составляете такую ​​дорожную карту?

Путем тщательного исследования ваших клиентов и их поведения на вашем сайте.

Некоторые из инструментов исследования включают:

• Analytics — Определите ваши самые популярные страницы, CTR, источники трафика, страницы с высоким показателем отказов, пути через ваш сайт и т. Д.
• Тепловые карты — Узнайте, где и как люди перемещаются по вашему сайту. Посмотрите, где они щелкают, где останавливаются, где сбиваются с толку и т. Д.
• Пользовательские тесты — лично наблюдайте, как пользователи перемещаются по вашему сайту, чтобы обнаружить, где возникают точки трения. Правильное пользовательское тестирование также будет включать в себя испытуемые, говорящие вслух о том, что они испытывают при выполнении задач на вашем сайте.
• Опросы — Спросите своих клиентов напрямую об их впечатлениях от покупок.Сталкивались ли они с какими-либо проблемами? Что бы они хотели улучшить?

После тщательного анализа поведения ваших клиентов вы можете приступить к разработке гипотез о вашем текущем веб-сайте и о том, как вы могли бы улучшить качество обслуживания клиентов в целом.

Эти гипотезы затем составляют основу вашей дорожной карты A / B-тестирования.

Каждый из них будет систематически проверяться. Те, которые подтверждены статистически, будут реализованы, а те, которые не подтвердились, будут отброшены.

Каковы преимущества A / B-тестирования?

A / B-тестирование работает так хорошо, потому что оно полностью основано на цифрах.

Нельзя полагаться на интуицию или инстинкт. Вспышки «вдохновения» принимаются только в том случае, если цифры подтверждают их.

Изменения реализованы только в том случае, если они подтверждены данными.

Кроме того, A / B-тестирование значительно снижает риски, обычно связанные с редизайном вашего веб-сайта.

Вместо того, чтобы делать ставку на редизайн всего сайта, что в конечном итоге может привести к падению конверсий, вы делаете небольшие постепенные улучшения.

Каждое из этих улучшений направлено на улучшение качества обслуживания клиентов.

Наконец, A / B-тестирование помогает выявить мнения тех, кто платит больше всего.

Ваша должность или зарплата не определяют, какие изменения вносятся. Только данные делают.

Каковы проблемы A / B-тестирования?

Мы бы солгали, если бы сказали, что A / B-тестирование — это волшебная палочка, и что одно испытание все исправит и приведет к резкому росту вашего дохода.

На самом деле это непрерывный, постепенный, итеративный процесс.

Это как в спортзал. Одна тренировка мало что поможет вашему телосложению. Случайные тренировки тоже не сильно помогут.

Если вы хотите результатов, вам нужен план, который вы последовательно реализуете.

То же самое и с A / B-тестированием.

После того, как вы разработали свою дорожную карту, вам нужно внимательно ей следовать.

Области улучшения будут систематически проверяться, и каждое испытание будет основываться на результатах предыдущего испытания.

Это не сексуально и не так быстро, как просто внести изменения, как в модной диете.Это тренировка. И это доказало свою эффективность.

И есть определенные проблемы:

1. Для того, чтобы действовать эффективно, требуется изрядное количество опыта.

Существует ряд специальных инструментов, используемых в A / B-тестировании, и некоторые из этих инструментов требуют сложного обучения.

Кроме того, необходимо фундаментальное понимание веб-дизайна, статистического анализа и других предметных знаний.

2. Это процесс.

Вопреки тому, во что можно поверить во многих статьях, A / B-тестирование — не панацея.

Один тест, вероятно, мало повлияет на ваш доход.

Как упоминалось выше, речь идет о разработке долгосрочного плана и последующем его следовании. Речь идет о нацеливании на конкретные цели и улучшениях с течением времени.

3. Требуется трафик.

Мы уже коснулись этого выше, но стоит повторить. Хотя количество посетителей сайта будет варьироваться в зависимости от теста и целей, вам понадобится как минимум изрядный объем трафика, чтобы ваши тесты были статистически достоверными.

Если у вашего сайта низкий объем трафика, вам, вероятно, придется поработать над его увеличением, прежде чем вы сможете начать A / B-тестирование.

Стоит ли A / B-тестирование с учетом проблем?

Итак, учитывая проблемы и трудности, перечисленные выше, стоит ли того A / B-тестирование?

Хотя мы, безусловно, понимаем эту нерешительность, мы снова и снова видели, насколько мощным может быть A / B-тестирование.

Если все сделано правильно, это может оказать огромное влияние на некоторые из ваших наиболее важных ключевых показателей эффективности (KPI):

1.Повышенная рентабельность инвестиций в рекламу (ROAS).

Чем больше трений вы устраняете со своего веб-сайта, тем больше платного трафика превращается в продажи, эффективно увеличивая рентабельность инвестиций в рекламу.

2. Снижение затрат на привлечение клиентов.

Подобно тому, как тестирование помогает повысить рентабельность инвестиций в рекламу, деньги, которые вы тратите на другие методы привлечения клиентов, выиграют от уменьшения трений и уменьшат ваши затраты на привлечение клиентов (CAC).

3. Увеличение пожизненной ценности клиента (LTV).

Тестирование делает ваш веб-сайт более привлекательным и интересным, что способствует увеличению прибыли от бизнеса. Другими словами, чем проще вы сделаете процесс покупки, тем больше клиентов захотят возвращаться снова и снова.

Это увеличивает пожизненную ценность вашего клиента.

4. Повышенный коэффициент конверсии подписок по электронной почте.

Ваш список адресов электронной почты может быть огромным источником дохода.

Тестирование различных способов приглашения новых подписчиков поможет вам увеличить количество подписок на рассылку, что увеличит количество людей, которым вы можете продвигать свои продукты или услуги.

5. Повышенная средняя стоимость заказа (AOV).

Расширенное тестирование может помочь вам выяснить, какие пакеты продуктов или возможности дополнительных продаж могут работать лучше всего, увеличивая среднюю стоимость вашего заказа.

В масштабе это напрямую влияет на вашу чистую прибыль.

6. Уменьшен процент отказа от корзины.

Каждый раз, когда человек бросает свою тележку, из вашей цифровой двери уходят деньги.

Использование A / B-тестирования для оптимизации процесса оформления заказа может устранить трение, путаницу и недоверие, а также снизить процент отказа от корзины.

7. Повышенный коэффициент конверсии электронной торговли (CR).

Устранение любых препятствий на пути к покупке с помощью A / B-тестирования — самый эффективный способ повысить коэффициент конверсии.

Как видите, несмотря на трудности, A / B-тестирование может существенно повлиять на рост и общий доход вашего бизнеса в сфере электронной коммерции.

Как найти подходящее решение для A / B-тестирования?

Когда дело доходит до A / B-тестирования, опыт и навыки не менее, если не более важны, чем сами инструменты.

Во-первых, вам необходимо определить, хотите ли вы проводить тестирование внутри компании или нанять стороннее агентство для проведения тестирования.

Оценка наборов навыков

Независимо от вашего выбора, вот некоторые из ключевых навыков, на которые следует обратить внимание при тестировании и оптимизации:

• Исследование данных.
• Статистический анализ.
• UX-дизайн.
• Поведенческая психология.
• Управление проектами.
• Убедительное письмо.
• Конверсионная стратегия для оптимизации конверсии.
• Исследование пользователей.
• Информационная архитектура.
• HTML и CSS.
• jQuery и JavaScript.
• И многое другое.

CRO — это надежный процесс, требующий разнообразных навыков.

Каждый из этих навыков уникальным образом способствует процессу CRO, и отсутствие любого из них может привести к неэффективному A / B-тестированию.

Использование правильных инструментов для A / B-тестирования

Существует также ряд специальных инструментов, необходимых для проведения A / B-тестирования.

Два наиболее часто используемых инструмента — это Optimizely и VWO.

Оба предлагают полный набор инструментов A / B-тестирования, включая возможность легко развертывать тесты, анализировать результаты, оценивать тепловые карты веб-сайтов и многое другое.

Примеры инструментов, которые можно использовать для A / B-тестирования:

The Good использует эти типы инструментов.

Несколько замечаний по поводу Optimizely:

Optimizely — это многофункциональный инструмент для A / B-тестирования корпоративного уровня с соответствующей ценой.Он широко считается лидером отрасли для крупных сайтов.

Тем не менее, для многих малых и средних предприятий это может быть похоже на использование полуприцепа, когда подойдет пикап. Перед тем, как выбрать этот инструмент, мы рекомендуем подумать о том, будете ли вы реально использовать его полный набор функций.

Несколько замечаний о VWO:

Visual Website Optimizely (или VWO) — эффективный инструмент A / B-тестирования для малого и среднего бизнеса.

Он предоставляет надежный набор функций, которые будут выполнять все основные задачи, которые должен выполнять профессиональный инструмент A / B-тестирования.Хотя он не предлагает столько дополнительных функций, сколько Optimizely, он часто является более рентабельной альтернативой для многих растущих предприятий.

Google также недавно выпустил бесплатный инструмент под названием Google Optimize, который может быть полезен для новичков, но не предоставляет надежного набора инструментов, необходимого для эффективного проведения A / B-тестирования.

Какой бы инструмент вы ни выбрали, потратьте время на изучение возможностей, цен и общего уровня поддержки для каждого из них.

Кроме того, если вы планируете проводить тестирование собственными силами, убедитесь, что вы чувствуете некоторый комфорт с выбранным программным обеспечением.

Использование поставщиков услуг по оптимизации коэффициента конверсии для A / B-тестирования

В дополнение к быстрому распространению приложений SaaS, предназначенных для помощи в реализации A / B-тестирования, ряд сервисных компаний предоставляют A / B-тестирование и оптимизацию коэффициента конверсии в качестве «готовой для вас» услуги.

Однако будьте осторожны: для многих маркетинговых агентств стало модно добавлять CRO или A / B-тестирование в свой общий список услуг, но при этом они имеют немного больше, чем знания новичков.

Существует упрощенный способ проведения A / B-тестирования и более методичный и профессиональный способ его проведения. Убедитесь, что вы получаете последнее.

В сервисах A / B-тестирования стоит обратить внимание на:

• Предлагают ли они CRO в качестве дополнения к другим маркетинговым услугам или сосредоточены исключительно на CRO.
• Примеры из практики, демонстрирующие предыдущие успехи CRO. Эти тематические исследования должны прояснить конкретные процессы, которые они использовали для достижения своих результатов.
• Управляются ли они данными.CRO всегда должен основываться на данных. Любая методология, основанная на интуиции, проблесках «озарения» или догадках, не является CRO. Это случайное предположение, которое чаще всего оказывается неверным.
• Если у них есть определенный процесс CRO. Настоящая CRO-фирма должна иметь конкретный, определенный процесс CRO, которому они следуют снова и снова. Если они этого не делают, это признак того, что они, вероятно, не знают, что делают.
• Они фокусируются на краткосрочной или долгосрочной перспективе. Оптимизация — это долгая игра.Стремление к быстрым результатам предполагает использование ярлыков или ожидание достаточного количества результатов теста, чтобы дать правильную рекомендацию, что почти всегда нарушает процесс и дает неточные результаты. Лучшие CRO-фирмы сосредоточены на реализации надежного долгосрочного плана.

Итог: Не думайте, что если цифровое агентство говорит, что занимается CRO, оно на самом деле занимается CRO. Проведите свое исследование. Задайте правильные вопросы. Исследования — это время потраченное не зря.

Чтобы получить подробное руководство по оценке CRO-агентства, прочтите этот технический документ.

Заключение: не пренебрегайте A / B-тестированием

A / B-тестирование — один из самых мощных и эффективных способов стимулировать рост электронной коммерции.

Некоторые из крупнейших и наиболее прибыльных компаний в мире достигли своего огромного успеха во многом благодаря A / B-тестированию.

Вообще говоря, если Amazon что-то делает, другие сайты электронной коммерции должны обратить на это внимание.

A / B-тестирование сработало для Amazon.

Это сработает для вас.

A / B-тестирование email-кампаний: что нужно знать

Используя инструменты электронного маркетинга, вы можете протестировать практически любой аспект своих маркетинговых кампаний по электронной почте, чтобы улучшить результаты.Вот несколько идей, которые помогут вам начать работу:

Строки темы

Тема письма — один из наиболее заметных элементов вашей кампании при просмотре во входящих. На большинстве устройств строка темы отформатирована более темным и тяжелым текстом, чтобы выделить ее среди других деталей электронного письма.

Учитывая его значимость в почтовых ящиках и его влияние на открываемость, это должно стать основным направлением вашего A / B-тестирования.

Итак, какие тесты вы можете запустить в своих строках темы, чтобы попытаться увеличить количество открытий? Вот несколько идей:

Длина

Идеальная длина строки темы электронного письма — горячо обсуждаемая тема в электронном маркетинге, и недавнее исследование Return Path показывает, что оптимальная длина составляет около 61-70 символов.

Однако ваши подписчики уникальны и могут реагировать иначе, чем те, которые включены в это исследование. Возможно, они чаще читают электронные письма на мобильных устройствах или используют старые почтовые клиенты, в которых в строке темы отображается меньше символов.

Рассмотрите возможность настройки вашей следующей кампании как A / B-теста, чтобы увидеть, какая длина строки темы лучше всего подходит для вашей аудитории.

Порядок слов

Порядок, в котором вы размещаете слова в строке темы электронного письма, может повлиять на то, как люди их читают и интерпретируют, и может потенциально повлиять на показатель открываемости вашего электронного письма.

Рассмотрим эти два примера строк темы для одного и того же электронного письма:

• Используйте этот код скидки, чтобы получить скидку 25% на следующую покупку
• Получите скидку 25% на следующую покупку, используя этот код скидки

Во втором варианте преимущество открытия электронного письма (получение скидки 25% на следующую покупку) помещается в начало строки темы. Учитывая, что англоговорящие подписчики читают слева направо, это делает упор на выгоду, которую читатели получат от открытия электронной почты, и потенциально может повысить открываемость.

В следующий раз, когда вы будете писать тему своей кампании по электронной почте, попробуйте проверить порядок слов, чтобы увидеть, поможет ли предварительная загрузка преимуществ улучшить ваши открываемость.

Контент

Если ваше электронное письмо содержит несколько фрагментов контента (например, информационный бюллетень), то тестирование разных фрагментов контента в качестве темы может быть отличным способом улучшить показатели открытия электронной почты и узнать, какой контент находит отклик у вашей аудитории.

BuzzFeed отлично справляется с этим в своих информационных бюллетенях.

Каждый информационный бюллетень, рассылаемый BuzzFeed, содержит несколько фрагментов контента, и они проводят A / B-тестирование с использованием разных фрагментов контента в строке темы, чтобы определить, какой из них привлекает больше всего просмотров.

В следующий раз, когда вы будете писать тему своего информационного бюллетеня по электронной почте, рассмотрите возможность тестирования различных фрагментов содержания в строке темы, чтобы увеличить количество открытий, которые получает ваша кампания.

Персонализация

Согласно нашему собственному исследованию Power Words в строках темы электронной почты, имя подписчика — это самое эффектное слово, которое вы можете добавить в строку темы, увеличивая количество открытий более чем на 14%.

Converse очень эффективно использует имя подписчика в своих кампаниях по электронной почте.

Используя теги персонализации для динамической вставки имени подписчика в поле темы, они помогают своей кампании выделяться в почтовом ящике и увеличивают количество открытий, переходов по ссылкам и продаж для своего бренда.

Узнайте, сработает ли эта же стратегия для вашего собственного бренда и базы подписчиков, путем A / B-тестирования ее в одной из ваших предстоящих кампаний. Если у вас есть имя подписчика, сохраненное в вашем списке рассылки, подумайте о том, чтобы добавить его в тему вашей следующей кампании, чтобы увидеть, приведет ли оно к увеличению числа открытий и кликов для вашего бизнеса.

Изображения

Исследования показывают, что человеческий мозг обрабатывает визуальные эффекты в 60 000 раз быстрее, чем текст, а это означает, что использование изображений в ваших email-кампаниях может быть мощным способом донести ваше сообщение.

Bank of Tennessee хорошо это знает и эффективно использует изображения в своих кампаниях для клиентов.

Наряду с копией, информирующей подписчиков о новых функциях мобильного депозита, они включают красиво оформленные визуальные эффекты, демонстрирующие эту функцию в действии и позволяющие подписчикам понять, на что способно новое мобильное приложение.

Следует ли включать визуальные элементы в свои рассылки по электронной почте? И какие визуальные эффекты подойдут лучше всего?

Выясняется A / B-тестированием. Вы можете протестировать ряд вещей, поэтому, чтобы помочь вам начать работу, мы собрали несколько идей:

Изображений или нет изображений

Хотя изображения явно оказывают положительное влияние на электронное письмо Банка Теннесси, указанное выше, это может не обязательно относиться к вашим электронным письмам, в зависимости от выбранного дизайна и изображений.

Когда SitePoint протестировал изображения в своем информационном бюллетене, они фактически увидели очень небольшое снижение конверсии, поскольку они обнаружили, что изображения отвлекают людей от контента.

Хотя использование изображений может работать для одних писем, оно может отвлекать от других, поэтому узнайте, работают ли они на вас, с помощью A / B-тестирования, включая их в свои кампании.

Стиль

Есть много различных типов визуальных элементов, которые вы можете включить в свои рассылки по электронной почте.

В качестве иллюстрации рассмотрим следующие два примера, оба из которых используют электронную почту для объявления о новых функциях в своих продуктах.

Freshbooks предпочитает использовать стиль рисования в своих кампаниях, который близко имитирует визуальный стиль, представленный на их веб-сайте, в то время как SmugMug предпочитает показывать снимок экрана с интерфейсом, отображаемым внутри ноутбука Mac.

Что работает лучше всего? Это полностью зависит от вашего бренда, аудитории и макета вашей кампании.

Итак, в следующий раз, когда вы будете создавать рекламную кампанию, подумайте о A / B-тестировании стиля изображений, которые вы включаете, чтобы увидеть, какой из них лучше всего подходит для вашего бизнеса.

Копия

Согласно исследованию Microsoft, смартфоны оставили людям такую ​​короткую продолжительность концентрации внимания, что даже золотая рыбка может удерживать мысли в течение более длительных периодов времени.

Согласно исследованию, средняя продолжительность внимания человека упала с 12 секунд в 2000 году — примерно в то время, когда началась мобильная революция — до восьми секунд сегодня.

По оценкам, продолжительность концентрации внимания у золотой рыбки составляет 9 секунд.

Это сокращение объема внимания значительно повысило важность хорошего письма в ваших электронных письмах. Если вы не можете быстро и легко объяснить свой продукт или предложение, вам будет сложно заставить подписчиков переходить по ссылкам в ваших кампаниях.

Вы можете узнать, как выглядит отличная копия для вашей аудитории, путем A / B-тестирования различных копий в ваших кампаниях по электронной почте.

В вашем экземпляре есть ряд функций, которые вы можете протестировать, поэтому мы собрали несколько идей, которые помогут вам начать работу:

Длина

С мобильной революцией, которая привела к сокращению объема внимания, в дизайне электронной почты наблюдается тенденция к использованию более коротких текстов.

Это письмо от La Mer является хорошим примером. Он имеет минимальное количество копий и, вместо этого, позволяет красивым изображениям от края до края действительно передать сообщение.

Подойдет ли это вашему бренду? Или вам лучше включить копию в более длинной форме, в которой подробно объясняются преимущества и особенности вашего продукта?

Ответ во многом будет зависеть от дизайна вашего электронного письма, вашей аудитории и сложности продукта, который вы продаете. В следующий раз, когда вы будете создавать кампанию по анонсу нового продукта, подумайте о том, чтобы проверить, будет ли короткая или длинная копия привлечь больше ваших подписчиков к переходу по ссылкам и совершению покупки.

Персонализация

Согласно исследованиям, включение персонализации в ваши почтовые кампании может повысить CTR более чем на 14%.

Команда Dropbox понимает это и использует это в своих интересах, включая название компании подписчика в электронном письме, чтобы сделать приглашение более актуальным для подписчика и повысить вероятность того, что он посетит мероприятие.

Если у вас есть дополнительные сведения о подписчиках, хранящиеся в вашем списке рассылки (например, название их компании, местоположение или другие атрибуты), рассмотрите возможность тестирования персонализации основной копии вашей следующей кампании, чтобы увидеть, приводит ли повышенная релевантность к увеличению результатов.

Тон

Тон, который вы используете в основной копии своих почтовых кампаний, может иметь большое влияние на количество получаемых вами переходов.

Исследования показывают, что, когда вы включаете позитив в свой текст, вы задействуете мозг своего читателя гораздо более мощным образом, позволяя им легко понимать ваши ключевые сообщения и повышая их мотивацию для перехода по ссылкам и покупки вашего продукта.

Мы проверили это сами и обнаружили, что использование положительного языка увеличивает коэффициент конверсии электронной почты на 22%.

В следующий раз, когда вы будете писать текст для своих маркетинговых кампаний по электронной почте, подумайте о тоне, которым вы пишете, и подумайте о том, чтобы проверить, может ли положительный тон превзойти отрицательный с точки зрения увеличения количества переходов по ссылкам и покупок.

Призывы к действию

Ваши призывы к действию — одна из самых важных частей ваших маркетинговых кампаний по электронной почте.

Они помогают увеличить CTR вашей электронной почты, давая читателям понять, что именно делать дальше.

Sephora хорошо использует их в своих кампаниях по электронной почте, включая заметный призыв к действию, благодаря которому читатели точно знают, что им нужно делать дальше.

Учитывая важность призывов к действию для увеличения количества переходов по ссылкам, рекомендуется провести A / B-тестирование, чтобы убедиться, что вы получаете наилучшие результаты.

Вот несколько идей относительно того, что вы можете протестировать:

Кнопка и текст

Обычно есть два варианта создания призывов к действию в ваших почтовых кампаниях: добавление кнопок или использование простых гипертекстовых ссылок.

В ходе собственного тестирования мы обнаружили, что использование кнопок — лучший подход, и нам удалось увеличить количество переходов по ссылкам на 27%, используя кнопку вместо текстовой ссылки.

Однако это не обязательно применимо ко всем кампаниям. Например, информационный бюллетень SitePoint получает потрясающую CTR за счет использования простых текстовых ссылок.

Вы можете узнать, какой подход лучше всего подходит для ваших кампаний, с помощью A / B-тестирования. Такие инструменты, как наш собственный конструктор электронной почты, позволяют добавлять как текстовые ссылки, так и кнопки в ваши почтовые кампании и позволяют легко проверить, какая из них лучше всего подходит для ваших уникальных кампаний и аудитории.

Пуговица копия

Независимо от того, используете ли вы кнопки или простые текстовые ссылки, вы также должны внимательно рассмотреть копию, которую вы используете для этих кнопок и / или текстовых ссылок, так как это может повлиять на количество людей, переходящих по ссылкам ваши кампании.

В ходе нашего собственного тестирования мы обнаружили, что использование конкретной, ориентированной на действия копии, такой как «Получить формулы», было лучше, чем использование общей копии, такой как «Подробнее», что повысило рейтинг кликов по электронной почте более чем на 10%.

Хотя конкретный, ориентированный на действия текст мог хорошо сработать для нас в тесте, это не обязательно означает, что он окажет такое же влияние на ваши кампании.

Для вашей следующей кампании рассмотрите возможность тестирования общей копии кнопки с конкретной, ориентированной на действия копией, чтобы увидеть, какая из них лучше всего подходит для вашей аудитории.

Преимущества и способы их эффективного использования

Я думаю, можно с уверенностью сказать, что примерно к 2010 году электронный маркетинг стал полноценной маркетинговой тактикой.Если ваш бизнес не использовал его для взаимодействия с потребителями, возможно, вы упускали важные новые возможности для привлечения потенциальных клиентов. Сегодня я считаю, что золотое яйцо — это A / B-тестирование. Если вы не проводите A / B-тестирование, возможно, вы уже отстаете от своих прямых конкурентов.

A / B-тестирование, также известное как сплит-тестирование, — это маркетинговый эксперимент, при котором на вашей аудитории тестируются две разные версии кампании или фрагмента контента, чтобы определить, какая из них работает лучше. Другими словами, версия A показана одной аудитории, а версия B — другим.

Что нам больше всего нравится в A / B-тестировании как маркетинговой тактике, так это то, что оно не дискриминирует — оно может работать для любого бизнеса. Неважно, в какой отрасли работает ваш бизнес. Также не имеет значения, относится ли ваш бизнес к B2C или B2B, или предлагаете ли вы продукты или услуги — вы можете использовать A / B-тестирование, чтобы узнать больше о своей аудитории и внести необходимые изменения. что вы достигаете их наиболее эффективным способом.

Когда использовать A / B-тестирование

Когда лучше всего проводить A / B-тест? Короткий ответ — всегда.Более реалистичный ответ — всякий раз, когда вы можете.

В условиях хаоса, который царит в управлении бизнесом и имеет дело с множеством движущихся частей, может быть нереалистично проводить A / B-тестирование всего, что вы публикуете. Хотя идеальным вариантом является непрерывное A / B-тестирование, важно ставить перед собой цели и тщательно подходить к тестированию.

Вот фрагменты контента, которые я определенно рекомендую A / B-тестирование:

• Электронная почта

• Веб-страницы

• Реклама в Facebook

• Сообщения в социальных сетях

• Заголовки блогов

• Призывы к действию

Вы также можете провести A / B-тестирование, чтобы определить оптимальную длину контента и лучшее время для его публикации.

По сути, вы можете проводить сплит-тестирование всего, что ваша целевая аудитория видит в вашем бизнесе, и чем больше вы это сделаете, тем лучше вы будете понимать, что больше всего привлекает вашу аудиторию.

Основные преимущества A / B-тестирования

1. Улучшенное взаимодействие с контентом

Каждый раз, когда вы проводите A / B-тестирование, а затем используете эти результаты для принятия решения, которое вы принимаете в отношении будущего контента и кампаний, вы вносите разумные улучшения в свой контент, которые, как доказано, привлекают больше внимания.

Например, наша команда A / B протестировала графику для рекламы в Facebook для одного из клиентов нашего многоквартирного жилого комплекса. Результаты показали, какой стиль и цвет изображения наиболее эффективны для нашей аудитории. Версия B рекламного изображения собрала более 2000 кликов и привлекла на 20% больше взаимодействия. С тех пор мы изменили стиль изображений, чтобы они были похожи на версию B, и наблюдали неуклонный рост взаимодействия с нашей рекламой в Facebook.

2. Сниженный показатель отказов

Если вы заметили, что посетители уходят или «подпрыгивают» сразу после того, как зашли на ваш веб-сайт, вы можете использовать A / B-тестирование копии, заголовков сообщений в блогах, изображений и т. Д., Чтобы увидеть, что больше всего привлекает внимание ваших посетителей. .В конечном итоге это может помочь вам дольше удерживать посетителей на вашем сайте и снизить показатель отказов.

3. Повышенный коэффициент конверсии

С помощью A / B-тестирования вы можете выяснить, какой контент превращает больше посетителей веб-сайта в покупателей. С помощью этой маркетинговой тактики очень легко увидеть, что работает с вашей аудиторией, а что нет.

Как проводить эффективное A / B-тестирование

Шаг 1. Выберите одну переменную для проверки.

Мы обнаружили, что A / B-тестирование работает лучше всего, если для каждой версии отличается только один элемент.Вы можете использовать другое изображение для сообщения в социальной сети, но сохранить заголовок и URL-адрес одинаковыми, или использовать другой заголовок для сообщения в блоге, но сохранить изображение и основной текст одинаковыми.

Шаг 2. Разделите аудиторию поровну и случайным образом, когда это возможно.

Вы не всегда можете контролировать аудиторию, которая просматривает ваш контент A / B-тестирования, но с таким контентом, как электронные письма, вы можете контролировать и равномерно разделять аудиторию. Наша команда использует программное обеспечение для автоматизации маркетинга, которое автоматически распределяет трафик между различными версиями для нашего A / B-тестирования.

Шаг 3: одновременно протестируйте версии.

Вы не сможете полностью доверять результатам, если протестируете две разные версии в разные моменты времени. Если переменная, которую вы тестируете, не является временем публикации, сохраняйте тестовые версии в том же расписании.

Шаг 4. Дайте тестам время для запуска.

Дайте вашим тестам поработать достаточно времени для получения полезных результатов. Например, независимо от того, какой контент мы проводим A / B-тестирование, минимальное время, в течение которого мы проводим тест, составляет месяц.

Шаг 5. Оцените свои результаты.

Существует множество показателей, которые вы можете использовать для оценки эффективности вашего контента, например, показатель отказов, показатель открытий, показатель выхода, вовлеченность и количество конверсий. Выберите один или два, которые лучше всего соответствуют вашей основной цели, и посмотрите, какая версия работает лучше. По нашему опыту, когда дело доходит до строк темы электронной почты A / B-тестирования, показатель открытий является полезным показателем. С помощью копии веб-сайта мы обнаружили, что измерение показателя отказов и показателя выхода говорит нам, заинтересована ли наша целевая аудитория.

Далее определите, являются ли результаты статистически значимыми (т. Е. Достаточно большими, чтобы требовать изменения).

Шаг 6: Действуйте на основе результатов.

Используйте то, что вы узнали, даже если исходный контент работает лучше, чем любая из других протестированных версий. Кроме того, не делайте только одно изменение; применяйте полученные знания к различным аспектам вашего контента.

В мире маркетинга и рекламы не так много бесплатного, но мы обнаружили, что A / B-тестирование является одним из наиболее экономически эффективных решений.Понимание и знания, которые вы можете получить о предпочтениях вашей аудитории, бесценны, и вы можете использовать их на всех уровнях создаваемого вами контента.

Обращайте внимание на свои результаты и вплетите A / B-тестирование в основу вашего бизнеса.

Все аспекты A / B-тестирования

Проще говоря, A / B-тестирование

— это практика тестирования двух версий чего-либо, чтобы выбрать победителя на основе данных. В мире Интернета и цифрового маркетинга такими вещами могут быть ваш призыв к действию (CTA), цвет вашей кнопки CTA, тема вашего электронного письма и все остальное, что может повлиять на реакцию вашей потенциальной аудитории.Мы используем A / B-тестирование, чтобы помочь нашим клиентам повысить коэффициент конверсии и улучшить пользовательский интерфейс для посетителей их веб-сайтов.

Хотя в теории A / B-тестирование кажется простым, мы обнаружили, что в нем есть более тонкие нюансы, которые вам нужно исправить, чтобы извлечь из него пользу.

Стоит ли вам делать A / B-тестирование?

Хотя A / B-тестирование для оптимизации конверсии, безусловно, имеет свои достоинства, A / B-тестирование может быть не лучшим вариантом для всех.Если у вас нет веб-сайта, который привлекает значительный трафик, вы, вероятно, можете пропустить A / B-тестирование и изучить другие методы оптимизации конверсии.

На сколько трафика хватит? Размер выборки для достижения желаемой цели — ответ на этот вопрос. Вычислить размер выборки для A / B-теста довольно сложно, и его лучше оставить на усмотрение статистика. Однако есть несколько онлайн-калькуляторов размера выборки, которые могут вам помочь.

Эти калькуляторы позволяют оценить размер выборки, необходимый для каждого варианта.Например, скажем, у меня базовый коэффициент конверсии 2% и минимальный обнаруживаемый эффект 20% (относительный). Минимально обнаруживаемый эффект представляет собой относительное минимальное улучшение по сравнению с исходным уровнем, которое вы готовы обнаружить в эксперименте, с определенной степенью статистической значимости. Я установил статистическую значимость 95%. Инструмент, который я использовал, показал, что мне нужно примерно 33 000 пользователей для каждого варианта. Таким образом, это 33 000 для варианта A и еще 33 000 для варианта B. Затем вы можете использовать аналитику своего веб-сайта, чтобы определить объем трафика, который ваш сайт получает в месяц.Поскольку мы хотим уменьшить внешние факторы, мы хотим попытаться пройти тест как можно быстрее. Если ваш сайт получает только 10 000 посетителей в месяц, вы не сможете эффективно протестировать этот минимально заметный эффект.

Как долго нужно проводить A / B-тест?

Выполняйте A / B-тест, пока не будет достигнут рекомендуемый размер выборки. Обычно это занимает от двух до четырех недель. Все, что короче или длиннее, может не дать вам точного представления.

Для чего нужен A / B-тест?

Изучите свои аналитические отчеты, чтобы выявить тенденции, которые могут помочь вам сформировать гипотезу, которая послужит основой для вашей стратегии A / B-тестирования. Например, предположим, что ваш веб-сайт испытывает высокие темпы отказа от корзины. Основываясь на этой тенденции, вы можете выдвинуть любую из следующих гипотез:

• Форма оформления заказа слишком длинная / сложная.

• Посетители не уверены в безопасности своей платежной информации.

• На странице оформления заказа указаны непредвиденные расходы, например стоимость доставки.

Для каждой из приведенных выше гипотез вы можете запустить A / B-тест, чтобы убедиться, что ваша гипотеза верна.

Что делать, если ваша гипотеза неверна?

Всегда есть шанс, что ваша гипотеза окажется неверной. A / B-тестирование — это не просто определение победителя, а сбор аналитических данных, которые затем можно применить к другим аспектам вашего маркетинга и присутствия в Интернете.

Допустим, вы проводите A / B-тест для определения цвета кнопки CTA на целевой странице, поскольку у вас низкий коэффициент конверсии. Однако результаты тестов показывают, что проблема не в цвете кнопки. Теперь, хотя важно запускать A / B-тесты для других элементов вашей целевой страницы, вы не должны отбирать результаты этого. Сегментируйте данные из ваших A / B-тестов, чтобы получить более глубокое понимание. Например, новые посетители могли лучше реагировать на новую кнопку с призывом к действию, или посетители компьютера могли иметь более высокий коэффициент конверсии, чем посетители с мобильных устройств.

Важные советы при A / B-тестировании

Внешние факторы могут повлиять на результаты вашего A / B-теста. Обязательно учитывайте упоминания в прессе (положительные или отрицательные), оплачиваемые кампании, сезонные изменения или другие внешние факторы, такие как сезон праздников. Предположим, розничный продавец электронной коммерции начинает тестирование в ноябре, и его выборка будет достигнута к середине декабря. Декабрь — разгар курортного сезона, а это значит, что люди делают больше покупок в Интернете. Таким образом, A / B-тест не даст точной картины, поскольку внешние факторы будут влиять на решения клиентов.Частое проведение A / B-тестов — один из способов смягчить воздействие внешних факторов.

Избегайте многовариантного тестирования, если вы не получите большой объем трафика на свою целевую страницу. Многовариантное тестирование разделяет аудиторию между несколькими версиями одной и той же страницы, в отличие от A / B-тестов, которые разделяются между двумя вариантами. Чтобы многовариантное тестирование дало статистически значимые результаты, вы должны массово привлекать людей на свой веб-сайт за короткий промежуток времени.

Выбор инструмента для A / B-тестирования

Инструмент или программное обеспечение для A / B-тестирования могут помочь вам эффективно настроить и выполнить ваши тесты.При выборе инструмента для тестирования ключевым моментом является интуитивно понятный пользовательский интерфейс. Навигация по инструменту и получение ключевых отчетов должны быть простыми. Также проверьте используемую статистическую модель. Некоторые инструменты A / B-тестирования используют байесовскую модель, которую, как мы обнаружили, легче понять.