A/Б тесты — что это такое и как проводить? — ProductStar на vc.ru
Расспросили CEO & Founder ProductStar Михаила Карпова о том, как проводить А/Б-тесты без ошибок
4320 просмотров
Михаил Карпов
CEO & Founder ProductStar
А/Б тест — эксперимент, который проводят продакты (и не только) для проверки гипотез. Чтобы понять, принесет ли пользу конкретное изменение, нужно на практике сравнить первоначальный вариант с модифицированным и проанализировать результаты.
Почему все любят А/Б тесты?
Представим, что вы продакт компании, которая занимается разработкой приложения сервиса стриминга музыки. У вас большая команда и вы каждый день ищите пути улучшения вашего сервиса. Улучшать что-то без достаточных оснований — глупо, мы же помним, что продукт должен решать определенную проблему .
Любые изменения вносятся в продукт с конкретной целью, она либо помогает пользователю, либо решает бизнес задачи (супер, если все сразу).
Продакты не любят неопределенность
Во время генерации гипотез мы делаем предположения, которые требуют доказательств. Гипотезы могут основываться на нашем личном опыте, статистических данных или исследовании наших пользователей. Иногда кажется, что из 10 гипотез к успеху могут привести все. Что делать? Скрестить пальцы и запустить А/Б тест!
Решения из воздуха
Соблазн сразу выдать готовое решение всегда мешает продакту. Представим, что в нашем кейсе мы предположили, что поиск по текстам песен с большой вероятностью повысит количество пользователей. Реализовать такую фичу — трудоемкая работа целой команды, но что, если мы ошиблись? Новых пользователей не привлекли, а драгоценное время потрачено. Чтобы такого не случалось, сперва MVP новой фичи следует прогнать через А/Б тест, на основе которого можно будет принимать решение: делать ли фичу и насколько много ресурсов команды на такую задачку выделять.
Как самому провести первый А/Б тест?
1. Сначала прицеливаемся
Прежде чем проводит А/Б тест, задайте себе простой вопрос: “Зачем?” Физики ставят эксперименты, чтобы больше узнать о явлениях природы, а продакты — чтобы решить задачу или достичь определенной цели, например, обеспечить компании высокие темпы роста.
Например, в Видеосервисе ВК одна из ключевых метрик — «число просмотров». Чтобы её увеличить предлагается ряд гипотез, одной из которых будет «добавить опцию автоматического переключения на следующее видео». Это большое изменение и его стоит проверить в A/B-тесте (чтобы точно понимать что мы улучшим, а не ухудшим нашу метрику).
2. Метрики всему голова
А/Б тесты — количественное исследование, оно отражает изменение того, что можно измерить. Поэтому нужно понять, какие показатели будем считать или, говоря языком продактов, — определить метрики. Лучше всего выбрать 1-3 метрики, изменения которых будем отслеживать.
Допустим, для нашего примера с Видеосервисом можно выделить следующие метрики: число просмотров, средняя длительность просмотра, количество лайков на видеозаписях. Важно следить за всеми ключевыми метриками сервиса, так как в результате внедрения изменений бывает, что одна метрика вырастет, а несколько других наоборот снизятся. И тут уже продакту необходимо принимать бизнес решение: оставлять внедрение или откатывать к первоначальному варианту.
3. Мыслим гипотетически
Нашли цель, двигаемся к гипотезе, именно ее мы будем проверять. Лучше всего представить ее по формуле: “если произойдет событие А, то с метрикой произойдет событие Б”.
Для нашего примера это выглядит следующий образом: «если человек досмотрит видео до конца и мы покажем 10-секундный таймер обратного отчёта, а после него включим следующее видео, то на 10% увеличится общее число просмотров видео»
Мы имеем здесь два возможных развития событий:
— Нулевая гипотеза: изменения нет, событие А происходит, а метрика не изменяется
— Альтернативная гипотеза: подтверждение нашей гипотезы, метрика меняется, когда происходит событие А.
4. Находим испытуемых
У эксперимента всегда есть пользователи, на которых он проводится. Наша задача — определить, кто нам подходит: из какой страны, все пользователи или только новые, иными словами — выделить группу испытуемых. Затем нам стоит понять, сколько пользователей мы должны протестировать.
А/Б тесты тесно связаны со статистикой, и часто случается, что малое количество пользователей не даст вам определить, есть ли зависимость изменения метрики от ваших нововведений. Проще всего это сделать с помощью специальных сервисов-калькуляторов, например Driveback или Optimizely.
Когда мы проводим эксперимент, мы также должны не попасть в ловушку статистики и предусмотреть все случайные совпадения. Когда мы тестируем большое количество пользователей, простые совпадения не редкость, по-умному это называется “определение уровня статистической значимости”. Обычно берется значение в 5%.
Последнее – устанавливаем дедлайн. Мы же не можем проводить эксперимент бесконечно, чаще всего для проверки гипотезы достаточно одной или двух недель.
Например, сейчас конверсия в оплату 10%, мы вносим изменение и хотим чтобы конверсия увеличилась на 2%, для этого нам нужно чтобы через эксперимент прошло 3500 пользователей, на нашем трафике это займёт 10 дней.
5. Проводим А/А тест
Прежде чем проводить А/Б тест, необходимо проверить сами группы испытуемых на идентичность. Эти группы должны показать одинаковый результат на А/А тесте (т.е. обеим группам показываем версию продукта без изменений). Если этого не сделать, изменения на А/Б тесте можно списать на то, что пользователи у нас изначально отличались. А/А тест ликвидирует такую вероятность.
6. Запускаем и не торопимся
Настал самый сложный для продакта этап – не торопиться. После запуска эксперимента важно проверить, все ли работает (особенно если изменения метрик уж слишком неожиданные). Еще раз проверить корректность настроек, после чего следует дать тесту “доработать”.
Частая ошибка — сделать вывод раньше времени, когда видна победа альтернативной гипотезы (т.
е. положительное изменение метрики на варианте Б). К концу эксперимента результаты могут изменится на противоположные, поэтому всегда доводите эксперимент до конца.
7. Анализируем результаты
Когда эксперимент закончен, нужно обработать полученные данные. Возможно два исхода:
- Победила нулевая гипотеза, т.е.изменений нет. В этом случае полезно будет понять, почему гипотеза не сработала.
Например, мы добавили автовключение видео, но метрика изменилась только на 0,02%, что по информации от команды аналитиков является статистически незначимым в нашем случае. Значит, наше изменение нам не помогло и важно изучить из-за чего такое произошло. Это может быть ошибка в дизайне, может мы что-то не поняли в поведении пользователей и стоит провести качественное исследование и пообщаться с ними вживую.
Например, мы добавили автовключение видео и метрика «число просмотров» изменилась на 2%, что по информации от команды аналитиков является статистически значимым в нашем случае.
Для проверки результатов важно запустить повторное тестирование, либо распространяют тест на всех пользователей, после чего уже делать решение о внедрении полноценной версии фичи.
Какие ошибки чаще всего проводятся при проведении А/Б-тестов?
- Неоднородная аудитория. Если мы тестируем гипотезу на разных пользователях, то делать выводы о ее работе не можем. Чтобы не экспериментировать впустую, всегда проверяйте пользователей на А/А тестах.
- Игнорирование незначительных результатов. Во время А/Б теста обнаруживается рост отслеживаемой метрики, но ниже ожидаемого. К примеру мы ожидали роста в 7-10%, а метрика выросла на 2-3%. Мы получили ценную информацию, которая может вывести нас на новую гипотезу или проблему, игнорировать ее – значит упустить возможность.
- Игнорирование других показателей. Вполне может быть, что эксперимент действительно показывает рост нужной нам метрики, но другие показатели снижаются.
Ошибка I рода. Так в статистике называется ситуация, когда складывается иллюзия результата. К примеру, наша гипотеза работает, хотя на самом деле эффекта нет.
Ошибка II рода. Обратная ситуация, когда мы не видим реальных изменений. Часто бывает, что метрика просто реагирует на изменения недостатка данных (т.е. мало пользователей для анализа).
Как избежать этих ошибок?
Для этого и проводятся повторные тестирования, тестирования на всех пользователях, качественные исследования. Как врач никогда не спешит ставить поспешный диагноз, так и вы не должны делать поспешных выводов. Сомнения — ключ к поиску работающих гипотез.
Вместо заключения
- А/Б тесты — незаменимый инструмент в арсенале продакта, он помогает быстро проверять верность наших идей
- Продакт не выживет без А/Б тестирования. Скорость релизов все растет, конкуренция повышается, а ресурсы команды не безграничны. Время, когда продукт делали “просто так” давно ушло, сейчас индустрия работает на экспериментах и быстрой проверке гипотез.
Скорость релизов все растет, конкуренция повышается, а ресурсы команды не безграничны. Время, когда продукт делали “просто так” давно ушло, сейчас индустрия работает на экспериментах и быстрой проверке гипотез.- А/Б тест подойдет не только продактам, но и маркетологам, дизайнерам, таргетологам, всем, кто хочет генерировать идеи и проверять их эффективность.
- Не бывает плохих А/Б тестов. Если вы на всю жизнь запомните из этой статьи одну мысль, то пусть это будет она: любой эксперимент дает нам ценные знания, которые мы можем использовать в улучшении продукта. Даже если тест провалился, не печальтесь! Вы получили много инсайтов для размышления, а если и они не помогли, то помните, что вы избежали лишних затрат на разработку бесполезной фичи.
В общем, A/Б-тесты — инструмент необходимый, почти в каждом описании вакансии продакта будут требовать уметь его применять.
Этому и многим другим важным продуктовым скиллам можно обучиться на нашем курсе «Профессия: продакт-менеджер».
Занятия записаны заранее, а значит курс вполне реально пройти за несколько месяцев, не дожидаясь остальной группы. Из уникальных фич курса — индивидуальное менторство, гарантии трудоустройства (средний срок поиска работы карьерным центром — 2,5 месяца с момента старта учебы), поддержка до 6 месяцев на испытательном сроке, собственная образовательная платформа, доступ к огромному коммьюнити топовых специалистов, курс по маркетингу в подарок.
Ну а если вы хотите изучить какие-то конкретные темы, например, углубиться в hard скиллы продакта, Unit-экономику, менеджмент мобильных приложений, инструменты CJM, то оставляйте заявку нашим менеджерам по любой из ссылок, они подробно расскажут о всех мини-курсах и профессиях!
Успехов 🙂
A/B-тестирование: что это и кому нужно
Анализ данных • 03 марта 2023 • 5 мин чтения
A/B-тестирование — инструмент, который помогает точно определить, как изменения продукта повлияют на его качество. Разберём, как проводят такие тесты и что нужно для этого знать.
- Что такое A/B-тестирование и кому оно нужно
- Какие задачи можно решить с помощью А/В-тестирования
- Примеры
- Инструменты для анализа и проведения A/B-тестов
- Совет эксперта
Что такое A/B‑тестирование и кому оно нужно
А/В-тест — это всегда сравнение двух вариантов продукта. Например, двух дизайнов интерфейса или стилей рекламного баннера. Когда проводят А/В-тест, аудиторию делят на две группы. Первой показывают старый вариант продукта, второй — новый. После эксперимента берут данные о поведении обеих групп и сравнивают их. Сравнение можно провести на глаз, но лучше использовать специальные статистические тесты. Они помогут удостовериться, что разница между поведением пользователей в двух группах — не результат случайного стечения обстоятельств, а объективная реальность.
Чаще всего А/В-тесты используют в маркетинге — там их провести проще всего.
Одной части аудитории показывают основной вариант креатива, а другой — альтернативный. В продуктовом менеджменте А/В-тесты используются реже, потому что требуют дорогостоящих доработок продукта.
Суть А/В-тестирования на примере редизайна сайта: сформулировать гипотезу, создать альтернативный вариант дизайна и проверить его на части целевой аудитории
Формат A/B-тестирования не новый. Так можно назвать любой контролируемый эксперимент, для которого собирают данные, например клинические исследования лекарств. Одной группе людей дают лекарство, а другой — плацебо и наблюдают различие в эффекте. Особенность медицинских исследований в том, что у них небольшое количество участников и выборки получаются маленькие. Поэтому медики устанавливают очень высокие требования к статистическим параметрам таких тестов.
В 2008 году этот инструмент использовали во время предвыборной кампании Барака Обамы. Портрет кандидата в президенты разместили на виртуальных билбордах в одной из игр для приставок Xbox.
Рекламу показывали не всем геймерам, а только в 10 штатах, где в 2004 году большинство жителей проголосовали за Джорджа Буша
Через некоторое время Xbox на своём сайте предложил геймерам проголосовать, кого из кандидатов они бы выбрали в президенты. Обама выиграл — из 100 000 респондентов 43% выбрали его. Остальные 57% голосов распределились между другими кандидатами.
Трудно подобрать пример из повседневной жизни, который повторял бы А/В-тест. Для такого исследования нужно множество наблюдений минимум из двух групп и 20–30 событий в каждой. Для бизнеса провести А/В-тест проще — у любого продукта есть целевая аудитория, из которой можно набрать две группы и сравнить их поведение. На курсе «Аналитик данных» студенты практикуются в А/В-тестировании на реальных данных бизнеса.
Повышайте прибыль компании с помощью данных
Научитесь анализировать большие данные, строить гипотезы и соберите 13 проектов в портфолио за 6 месяцев, а не 1,5 года. Сделайте первый шаг к новой профессии в бесплатной вводной части курса «Аналитик данных».
Какие задачи можно решить с помощью
А/В‑тестирования
1. Протестировать новую функцию.
Например, алгоритм рекомендаций ресторанов в приложениях по доставке еды. Допустим, старый алгоритм не учитывает историю заказов пользователя, а новый — учитывает. Продуктовая команда показывает группе А рекомендации старого алгоритма, а группе В — рекомендации нового и смотрит, в какой чаще заказывали еду. Дизайн продукта при этом одинаковый, меняются только предложения.
2. Выбрать эффективный креатив.
К примеру, разные дизайны баннеров или видеорекламы. А/В-тест с креативами можно настроить и отследить в рекламном кабинете или системе аналитики. Для этого нужно запустить две кампании со старым и новым баннером и посмотреть статистику.
В приложении для доставки еды можно протестировать дизайн рекомендаций ресторанов. Например, разработать разные варианты плашек с рекламой, разместить их в интерфейсе и посмотреть, какой дизайн больше привлёк пользователя.
A и B варианты для тестирования карточки товара в приложении: конверсия увеличилась там, где показывали не только блузку, но и то, как человек в ней выглядит
3. Собрать мнения пользователей.
А/В-тест продукта — дорогой проект. На разработку функции, которую нужно тестировать, может уйти целый месяц. Такие расходы оправданы не для каждой задачи.
Чтобы собрать мнение пользователей, можно выбрать более бюджетный вариант исследования. Например, школа иностранных языков хочет внедрить новую функцию на своей онлайн-платформе. Чтобы понять, нравится ли она пользователям, можно задать вопрос в чате учеников. Другой вариант исследования — UX-тестирование. Для пользователей составляют опросники по продукту и собирают от них обратную связь.
Если одинаковая функция есть у всех конкурентов, значит, они уже убедились в том, что она эффективна. Здесь поздно тестировать — нужно изучать, как это работает, и внедрять.
Примеры
Разберём один A/B-тест и три его возможных результата.
Задача — добавить в приложение новую функцию
В приложении-агрегаторе можно узнать информацию о рейсах — сколько лететь, где пересадки, какая погода в городе прибытия. Продуктовые менеджеры решили добавить новые функции и проводят A/B-тест.
На этапе подготовки теста обычно генерируют много разных идей и пытаются заранее оценить, какая из них самая удачная, готова ли команда потратить месяц на разработку и нужно ли вообще проводить тест.
Продуктовые менеджеры решают добавить в приложение онлайн-регистрацию на рейс. Инструмент выглядит многообещающе: пользователю не понадобятся другие сервисы, чтобы планировать перелёты.
Спланировать A/B-тест
A/B-тестирование продукта или отдельной его функции — это всегда задача для команды. Один аналитик здесь не справится. Чтобы протестировать функцию, нужно сначала её разработать:
● подготовить техническое задание;
● отрисовать интерфейс;
● запрограммировать;
● выложить в магазин приложений для пользователей и дождаться одобрения модераторов.
Для разработки и тестирования функции в приложении с перелётами нужен продуктовый менеджер, несколько разработчиков, дизайнер и аналитик. Сначала продуктовый менеджер ставит задачу разработчикам — продумать функциональность и алгоритм, по которому её будут тестировать. Алгоритм будет каждого нового пользователя отправлять в группы А или В в случайном порядке (50/50).
После того как проект согласовали с руководством, задача переходит к аналитику. Он уточняет у продуктовой команды, какой эффект ожидают от новой функции. Например, пользователи будут проводить в приложении на 10% больше времени, чем до внедрения регистрации на рейс. На основе этих данных аналитик считает продолжительность теста и его параметры и вместе с продуктовой командой выбирает время запуска.
Провести A/B-тестирование
После запуска аналитик должен убедиться, что тест идёт корректно — пользователи распределяются по группам, как планировалось. В тесте могут быть ошибки.
Например, один пользователь попадает сразу в две группы. В этом случае аналитик останавливает тест, чтобы разобраться в проблеме. Изучает данные по действиям каждого пользователя в двух вариантах приложения и смотрит, где алгоритм мог неверно их обработать. Обсуждает с разработчиками, как исправить ошибку и запуститься снова.
Если данных набралось достаточно, тест тоже могут остановить раньше запланированной даты и перейти к анализу результатов.
Проанализировать результаты
1. Пользователи стали чаще проводить время в приложении.
Обычно продуктовый менеджер формулирует гипотезу, опираясь на свой опыт. Если тестирование прошло успешно, значит, команда тщательно изучила рынок и конкурентов, проанализировала прошлые проекты и придумала действительно полезную функцию.
2. Ничего не изменилось.
В этом случае функцию просто добавляют в приложение. Она не улучшила его, но и хуже не стало. Такой результат получается по итогам большинства А/В-тестов.
3. Снизилась продолжительность сессий, возросло количество отказов.
Не все A/B-тесты заканчиваются удачно. С таким результатом пользователям возвращают старую версию приложения и анализируют, в чём может быть проблема. Например, функция негативно влияет на производительность продукта — замедляет время загрузки страницы на 1 секунду. Даже такая небольшая задержка может снизить важные показатели на 10–15%.
Все А/В-тесты проходят по одной схеме. Если результат покажет, что изменения того стоят, — их внедряют
Инструменты для анализа и проведения A/B‑тестов
Удобнее всего анализировать А/В-тест с помощью языка программирования. Чаще используют Python или R. Если аналитик хорошо понимает, как работают статистические тесты — z-тест, t-тест и тест Манна-Уитни, то он может проанализировать результаты А/В-теста даже с помощью простых инструментов, например статистических онлайн-калькуляторов вроде Mindbox или Excel.
Аналитический инструмент Amplitude позволяет не только проводить A/B-тесты, но и собирать детальную информацию о поведении каждого пользователя на сайте или в приложении
Чтобы провести A/B-тест продукта или его части, нужны инструменты посложнее.
Многие компании разрабатывают аналитические системы для A/B-тестов. Такие решения можно настраивать как угодно в зависимости от задачи.
Функции A/B-тестирования есть и в готовых аналитических системах. Они универсальны и подходят в основном для маркетингового анализа и типовых A/B-тестов. Рассмотрим каждую подробнее.
Провести A/B-тест без участия человека не получится. Возможно, в будущем в этом помогут нейросети. Пока что можно попробовать автоматизировать часть теста в маркетинговых задачах. Например, генерировать рекламные слоганы с помощью Chat GPT и проверить, как на них отреагируют пользователи.
Совет эксперта
Вячеслав Зотов
Прежде чем приступать к проведению А/В-тестов, лучше изучить, как работают популярные статистические тесты. Если разобраться, что у них под капотом, то для анализа результатов A/B-тестов можно использовать любые инструменты. Это поможет избежать ошибок при тестировании. Начать можно, например, с z-теста для пропорций — его используют и в продуктовом анализе, и в маркетинге.
Тренироваться лучше на больших массивах данных. Например, использовать наборы данных из Kaggle — открытого репозитория, популярного среди аналитиков и специалистов по Data Science.
Статью подготовили:
Поделиться
Читать также:
Чем занимается аналитик данных, почему он всем так нужен и как освоить эту профессию
Читать статью
Топ-9 библиотек в Python для профессионального анализа данных
Читать статью
Что такое A/B-тестирование? Как это сделать: 5 простых способов
«Вы не сможете расти, пока не изменитесь».
Это утверждение часто повторяется в мире маркетинга, и это правильно. Учитывая, что многие бренды изо всех сил пытаются постоянно расти, этот небольшой совет предлагает идеальное решение.
Рост влечет за собой перемены. Если ваш бренд не адаптируется к потребностям аудитории, этого достаточно, чтобы они ушли к вашим конкурентам.
Но как сделать правильные изменения?
Любое решение, которое вы принимаете, существенно влияет на вашу цифровую собственность.
Поскольку эти свойства, по сути, являются лицом вашего бренда, любые изменения, которые вы вносите, должны быть положительными и устойчивыми.
Чтобы повысить узнаваемость своего бренда, вы можете либо вносить случайные изменения и надеяться, что все сработает в вашу пользу, либо применить более стратегический и логичный подход с помощью A/B-тестирования.
Что такое A/B-тестирование?
A/B-тестирование — это экспериментальный процесс, в ходе которого группам посетителей показываются разные версии веб-страницы или кампании, чтобы определить, какая из них более эффективна с точки зрения взаимодействия, пользовательского опыта и других конкретных целей.
Проще говоря, A/B-тестирование заключается в поиске наилучшего возможного варианта с помощью данных и статистического анализа.
Здесь у вас есть «контроль», исходная версия страницы, и «вариация», представляющая собой обновленную версию. A/B-тестирование помогает отображать эти версии одновременно для случайно выбранных посетителей в течение определенного времени.
В конце теста результаты анализируются, чтобы определить, какая версия лучше работает с точки зрения ранее определенных целей.
Источник: UNSW DataSoc
Общие цели конверсии для A/B-тестирования включают увеличение количества покупок, добавление товаров в корзину, отправку форм, подписку на бесплатную пробную версию и т. д.
С помощью платформы A/B-тестирования вы можете случайным образом назначать посетителей для контроля и вариации. Версия, которая работает лучше, объявляется победителем A/B-теста.
Поскольку это делается путем анализа результатов в конце теста, A/B-тестирование предлагает статистически значимый способ измерения влияния изменений, внесенных вами в вариант.
Кроме того, как только вы определите победителя, эту новую версию можно будет использовать в качестве «контрольного» варианта. Затем вы можете продолжить процесс A/B-тестирования или напрямую внести изменения на страницу.
Таким образом, вместо того, чтобы полагаться на догадки и интуицию, вы используете данные для оптимизации своего веб-сайта и управления ключевыми бизнес-метриками.
Кроме того, A/B-тестирование является неотъемлемой частью оптимизации коэффициента конверсии (CRO) — процесса, при котором поведение посетителей анализируется для оптимизации общего взаимодействия со страницей и повышения коэффициента конверсии. Конверсия происходит, когда посетитель совершает желаемое действие на вашем сайте или в приложении.
Конечная цель A/B-тестирования — улучшить конверсию, т. е. убедить все больше и больше посетителей совершать действия, которые вы от них хотите. Это может быть что угодно: от нажатия кнопки призыва к действию (CTA), добавления товаров в корзину и прокрутки за пределы 50% точки обзора страницы до просмотра видео.
Различные методы A/B-тестирования
Вы можете испытать преимущества A/B-тестирования разными способами. Давайте рассмотрим различные методы проведения A/B-тестов.
1. Тестирование разделенного URL-адреса
Это эксперимент, в котором тестируются две версии одной и той же веб-страницы.
В сценариях, где вы хотите протестировать значительные изменения на существующей странице, например, редизайн домашней страницы, вам следует выбрать тестирование с разделенным URL-адресом.
2. Многофакторное тестирование (МВТ)
Идея состоит в том, чтобы изменить несколько переменных на одной странице и одновременно протестировать все возможные комбинации, чтобы увидеть, какая из них работает лучше всего. Например, с помощью этого метода вы можете создать несколько вариантов формы, в которых изменения заголовка, количества полей и цвета кнопки CTA проверяются одновременно.
3. Многостраничное тестирование
При многостраничном тестировании вы изменяете определенные элементы на нескольких страницах и определяете, какая страница работает лучше, основываясь на том, как ваши посетители взаимодействуют с ними.
Допустим, ваша воронка продаж включает домашнюю страницу, страницу продукта и страницу оформления заказа. С помощью многостраничного тестирования вы можете создавать новые версии каждой страницы и тестировать этот новый набор страниц в сравнении с исходной воронкой продаж.
Кроме того, вы можете использовать этот метод, чтобы проверить, как изменения повторяющихся элементов на этих страницах влияют на конверсии всей воронки.
Независимо от метода четко определенная структура A/B-тестирования позволяет вам принимать решения на основе данных, повышать производительность веб-сайта и оптимизировать общее впечатление от вашей целевой аудитории.
Почему A/B-тестирование важно?
Ключом к развитию успешного бизнеса является определение того, что работает, а что нет. И это именно то, что предлагает A/B-тестирование, наряду с лучшим пониманием поведения пользователей, болевых точек аудитории и производительности веб-сайта.
A/B-тест также позволяет тестировать изменения на небольшой группе в контролируемой среде, сводя к минимуму риск выпуска чего-то, что не находит отклика у вашей целевой аудитории. Это рентабельная и экономящая время стратегия.
В идеале A/B-тестирование должно быть неотъемлемой частью ваших маркетинговых кампаний, так как оно помогает оптимизировать наиболее эффективные элементы и понять, что нужно изменить или улучшить.
Источник: Финансы онлайн
Зачем нужно A/B-тестирование?
Решая распространенные проблемы с конверсией, такие как брошенная корзина и выпадающие страницы, компании часто упускают из виду основную проблему — плохое взаимодействие с пользователем. Обычно это происходит, когда посетители сталкиваются с проблемами, мешающими им достичь определенной цели на вашем сайте.
Регулярное A/B-тестирование помогает выявить эти болевые точки, а также позволяет вносить рассчитанные изменения для улучшения пользовательского опыта. Кроме того, он определяет факторы, которые больше всего влияют на взаимодействие с пользователем, поэтому вы можете дополнительно оптимизировать ключевые элементы и улучшить свои основные показатели конверсии.
Каковы преимущества A/B-тестирования? Примеры и тематические исследования
A/B-тестирование помогает улучшить взаимодействие с пользователем и обнаружить неиспользованные возможности для повышения производительности веб-сайта.
Это дает вам правильную информацию для принятия решений на основе данных для дальнейшего улучшения маркетинговых стратегий.
Повышение вовлеченности пользователей
Каждое A/B-тестирование позволяет лучше понять, как аудитория взаимодействует с вашим сайтом. Это помогает вам визуализировать пути пользователей и определить препятствия, которые мешают им предпринять определенные действия.
Возьмем, к примеру, WorkZone, американскую компанию-разработчика программного обеспечения, предлагающую организациям надежные решения для управления проектами. У них была страница генерации лидов, где посетителей просили заполнить форму запроса на демонстрацию.
Источник: VWO
Чтобы завоевать доверие и репутацию, WorkZone добавила раздел «Что говорят клиенты» рядом с формой. Однако с помощью A/B-тестирования они обнаружили, что логотипы брендов, добавленные в этот раздел, отвлекают посетителей от заполнения формы.
Итак, они решили провести быстрое A/B-тестирование с другим вариантом, в котором цвет всех логотипов бренда был изменен на черно-белый.
Источник: VWO
Это простое изменение в новой версии привело к увеличению количества отправленных форм для WorkZone на 34%. Точно так же, основываясь на результатах ваших тестов, вы также можете принимать разумные, обоснованные решения, которые повышают вовлеченность аудитории и улучшают коэффициент конверсии.
Более высокие коэффициенты конверсии
A/B-тестированиепоможет вам лучше понять цели, намерения, предпочтения и другие важные аспекты, связанные с вашей целевой аудиторией. Благодаря правильному пониманию легко настроить определенные элементы и протестировать различные гипотезы, основанные на данных, которые решают болевые точки клиентов и побуждают их к желаемым действиям.
Например, Northmill — популярный финтех-бренд из Швеции, который хотел оптимизировать страницу заявки на получение кредита. В оригинальной версии сбоку была форма заявки, где посетители могли заполнить свои данные и подать заявку на получение кредита.
Источник: VWO
Команда Northmill предположила, что замена боковой формы одной кнопкой CTA поможет посетителям лучше понять предложения компании, что приведет к большему количеству людей, обращающихся за кредитом.
Итак, в новой версии форму заменили на зеленую кнопку «Применить» в правом верхнем углу страницы.
Источник: VWO
После почти пятимесячного тестирования новая версия дала на 7 % больше конверсий.
Более низкие показатели отказов
Помимо повышения вовлеченности пользователей, данные, собранные с помощью A/B-тестирования, также показывают, почему пользователи быстро покидают ваш веб-сайт или покидают его.
Например, Inside Buzz UK (теперь известная как Target Jobs) заметила, что многие посетители покидают свою домашнюю страницу, не предприняв никаких действий.
Источник: VWO
Они решили обновить всю страницу и провести A/B-тестирование, чтобы выяснить, какая версия лучше работает с точки зрения взаимодействия.
Новая версия имела простой дизайн с одной кнопкой CTA и включала только те элементы, которые посетители считали необходимыми.
Источник: VWO
Результаты тестирования показали, что новый вариант имеет более низкий показатель отказов и увеличение вовлеченности пользователей на 17,8%.
Повышение производительности веб-сайта
Каждый элемент воронки конверсии должен быть оптимизирован для вашей целевой аудитории. Сюда входят изображения, заголовки, кнопки CTA, дизайн страницы и т. д.
Когда Hubstaff, ведущий бренд, предлагающий решения для управления персоналом, захотел оптимизировать свою целевую страницу, он обратился к A/B-тестированию.
Источник: VWO
В результате непрерывных экспериментов команда определила элементы целевой страницы, которые не работали должным образом. На основе этих данных они изменили дизайн всей страницы и провели тест «Разделить URL», чтобы сравнить обе версии.
Источник: VWO
В конце теста новая версия показала увеличение конверсии посетителей в пробную версию на 49% и увеличение числа людей, которые делятся своими электронными письмами, на 34%.
Таким образом, A/B-тестирование не только положительно влияет на коэффициент конверсии, но и повышает общую производительность вашего веб-сайта.
Теперь, когда вы увидели потенциальные преимущества, вы можете приступить к проведению успешных A/B-тестов на своем веб-сайте, верно?
Ну, не совсем так.
Прежде чем запускать A/B-тестирование, учтите несколько важных факторов.
Как проводить A/B-тестирование
Хотя это кажется простой идеей, которую можно реализовать сразу же, A/B-тестирование требует много размышлений, исследований и анализа.
Во-первых, вы должны понимать, что A/B-тестирование — это не одноразовая концепция. Это непрерывный процесс, который требует надлежащего планирования, последовательности и структуры.
Более того, вы не можете просто вносить случайные изменения в определенные страницы и ожидать положительных результатов. A/B-тестирование больше связано с созданием высокооптимизированных страниц, которые могут конвертировать посетителей и повысить эффективность процессов CRO.
Чтобы эффективно управлять этими элементами, вам нужна хорошая платформа для A/B-тестирования, позволяющая проводить непрерывные тесты с действенной информацией о клиентах, трафике, производительности и других важных факторах.
Итак, вот как вы можете начать свое путешествие по A/B-тестированию:
Источник: VWO
1. Изучите свой сайт
Чтобы создать успешную стратегию A/B-тестирования, вы должны сначала изучить и проанализировать свой веб-сайт. Начните с понимания его текущего состояния, хорошо работающих страниц, типа конверсии посетителей и объема трафика, поступающего через различные кампании.
Отслеживание производительности позволяет определить страницы с наибольшим трафиком или элементы с хорошим потенциалом для конверсии посетителей. Это надежная отправная точка для вашего плана A/B-тестирования. Затем вы можете составить список этих страниц и сначала определить возможности для оптимизации или повышения их производительности.
2. Анализ данных о посетителях
Когда вы закончите работу со страницами, которые хотите оптимизировать, выполните подробный анализ трафика, проходящего через эти страницы. Инструменты A/B-тестирования предлагают полный обзор данных о посетителях с помощью таких функций, как опросы на странице, тепловые карты и записи сеансов.
Помимо сбора обычных данных, таких как возраст, регион и демографические данные, эти инструменты собирают важную информацию, такую как время, проведенное на странице, поведение при прокрутке и т. д. Информация о посетителях поможет вам определить общие болевые точки на их пути и работать над поиском оптимальные решения.
3. Сформулируйте свою гипотезу
Теперь, когда вы проанализировали веб-сайт и определили проблемы, с которыми сталкиваются посетители, изучите и разработайте основанные на данных гипотезы для этих проблем.
Например, вы можете заметить, что большое количество посетителей уходит, не отправив форму. Вы предполагаете, что уменьшение количества обязательных полей приведет к тому, что больше людей отправит форму. Точно так же вы можете разработать другие гипотезы, основанные на данных, для решения этой проблемы.
Вы можете проверить одну или все эти гипотезы на существующей версии формы (контрольной). Это подводит вас к самой важной части A/B-тестирования.
4. Запустите A/B-тест
Во-первых, вам нужно выбрать метод проверки ваших гипотез. После этого определите конкретные цели для A/B-теста на основе коэффициента конверсии, количества посетителей, продолжительности теста и так далее.
Это поможет вам проанализировать результаты и определить более производительную версию.
Убедитесь, что каждая тестовая версия работает одновременно и в течение одинакового времени. Кроме того, убедитесь, что трафик всех версий распределяется поровну (и случайным образом), когда это возможно.
Не забывайте активно отслеживать производительность всех версий и запускать тесты в течение определенного времени, чтобы получить статистически точные результаты.
5. Внесите изменения
После завершения теста оцените результаты.
Это, несомненно, один из самых важных шагов любого A/B-тестирования, так как вы, наконец, получаете возможность проанализировать результаты на основе ранее определенных целей.
Если ваша гипотеза подтвердится, вы можете внести изменения и заменить существующую версию выигрышным вариантом. Однако, если результаты не позволяют определить победителя, соберите соответствующую информацию и продолжите тестирование других факторов, которые могут привести к положительным результатам.
A/B-тестирование — это непрерывный процесс, требующий углубленного исследования и анализа, который дает вам возможность повысить коэффициент конверсии и улучшить общую производительность сайта.
Затем начните определять элементы страницы или сайта с наибольшим потенциалом увеличения дохода.
Идеи A/B-тестирования
Создание сильной гипотезы A/B-тестирования может быть довольно сложной задачей. Вот несколько идей A/B-тестирования для экспериментов и анализа.
Содержание
- Создавайте разные версии контента и проверяйте, как ваша аудитория реагирует на каждый тип контента.
- Добавьте раздел с рекомендациями по контенту, чтобы проверить, хотят ли пользователи получать больше информации по схожим темам.
- Проверьте, предпочитает ли ваша аудитория развернутый контент, например подробные руководства, или краткий контент, например инфографику или слайд-шоу.
- Проверьте, предпочитают ли ваши посетители раздел оглавления (TOC), чтобы упростить навигацию по блогу.
Заголовок
- Ваши посетители предпочитают более короткие заголовки или более длинные и подробные заголовки? Протестируйте каждый из этих вариантов.
- Проверьте расположение заголовков.
- Как ваша аудитория реагирует на прямые заголовки по сравнению с креативными? Внесите необходимые изменения и протестируйте обе версии.
- Выделите важные слова или попробуйте по-другому сформулировать заголовок.
Призыв к действию (CTA)
- Проверьте изменения размера или цвета кнопки CTA.
- Является ли ваша кнопка CTA достаточно убедительной, чтобы пользователь мог совершить действие? Измените текст и протестируйте разные версии кнопки.
- Переместите кнопку CTA в другое место на странице.
- Тестовые страницы с несколькими кнопками CTA по сравнению с одной.
Дизайн
- На вашем сайте есть изображения или видео? Протестируйте обе версии, чтобы увидеть, что больше нравится вашей аудитории.
- Проверьте изменения темы или цвета вашего веб-сайта.
- Как работают карусельные изображения по сравнению с фиксированным изображением или видео?
- Могут ли пользователи легко находить важные разделы на ваших страницах? Протестируйте различные варианты с изменением типа шрифта, цвета и т. д.
Бонусные идеи A/B-тестирования
- Как ваша аудитория реагирует на специальные предложения или региональные акции? Тестируйте различные типы предложений и рекламных акций.
- Добавьте раздел для сравнения ваших цен с ценами конкурентов. Протестируйте этот вариант, чтобы увидеть, помогает ли он завоевать доверие и прозрачность с посетителями.
- Создайте персонализированный опыт для постоянных посетителей, используя доступные данные для настройки их сообщений. Тест, чтобы увидеть влияние того же самого.
- Добавьте бесплатную пробную версию, чтобы узнать, захотят ли посетители попробовать ваш продукт, прежде чем принять окончательное решение, и протестируйте, чтобы оценить влияние подписок.
Эти идеи помогут вам начать A/B-тестирование и вывести кампании по оптимизации конверсии на новый уровень.
Проблемы A/B-тестирования
Несмотря на то, что надежная структура A/B-тестирования может повысить эффективность ваших маркетинговых кампаний, в процессе вы можете столкнуться с рядом проблем.
1. Выдвижение эффективных гипотез
Большинство организаций испытывают трудности с процессом A/B-тестирования при формулировании гипотез, особенно если у них нет надежных данных. Чтобы выдвинуть эффективные гипотезы, проведите тщательное исследование и определите проблемные области на своем сайте.
2. Правильный выбор размера выборки
Размер выборки тестовой группы существенно влияет на результаты A/B-тестирования. Каждый A/B-тест должен иметь большой размер выборки, чтобы получить точные и статистически значимые результаты тестирования. Если размер выборки слишком мал, результаты вашего A/B-теста могут быть ненадежными.
3. Интерпретация результатов теста
Другой ключевой задачей является правильный анализ результатов и принятие обоснованных решений. Неправильное толкование часто приводит к неправильным решениям, которые могут препятствовать развитию вашего бизнеса. Итак, внимательно проанализируйте результаты теста и устраните любую погрешность из-за внешних факторов, которые вы не учли.
4. Внедрение изменений
Не всегда легко вносить изменения, основываясь исключительно на A/B-тестировании. Чаще всего этому мешают различные факторы, такие как проблемы с пропускной способностью и ограничения ресурсов. Чтобы успешно внедрить изменения, создайте четкую дорожную карту для своей программы A/B-тестирования и подготовьтесь заранее.
5. Соблюдение требований A/B-тестирования
То, что несколько ваших A/B-тестов провалились, не означает, что вы сдаетесь. A/B-тестирование требует постоянного анализа и планирования. Определение того, почему ваш A/B-тест не удался, поможет вам выявить проблемные области и лучше понять аудиторию.
Развитие культуры A/B-тестирования, органично сочетающейся с вашей общей маркетинговой стратегией, имеет решающее значение для долгосрочного роста и улучшения вашего веб-сайта. Хотя эти проблемы являются общими для любой программы A/B-тестирования, вы можете постепенно преодолеть их с помощью некоторых передовых методов.
Передовой опыт A/B-тестирования
A/B-тестирование — это исследование, статистика и анализ. Но, что более важно, она требует последовательности.
Вот несколько советов и общих рекомендаций, которые следует учитывать и управлять успешной и эффективной программой A/B-тестирования.
1. Имейте четкую дорожную карту
Перед внедрением A/B-тестирования на своем веб-сайте определите свои цели, ожидания, понимание, возможности и другие важные аспекты вашей структуры A/B-тестирования. Это также включает в себя формулирование гипотез на основе надежных данных и практических идей.
2. Сосредоточьтесь на своих данных
То, что у Amazon есть яркая оранжевая кнопка CTA, которая хорошо работает для них, не означает, что вы вносите аналогичные изменения в свою кнопку CTA.
Одна из самых распространенных ошибок A/B-тестирования — копирование успешных результатов тестирования других веб-сайтов на ваших страницах. Вместо этого вы должны принимать взвешенные решения, основанные на целях вашего веб-сайта, аудитории и трафике, чтобы достичь точных результатов.
3. Выберите правильные элементы
Решить, что тестировать на вашем веб-сайте, может быть сложно. На основе исследований и анализа вам необходимо выбрать элементы, которые существенно влияют на трафик и конверсию. Например, начните с просмотра страниц с наибольшим трафиком и определите ключевые элементы для оптимизации и повышения конверсии.
4. Проводите ограниченные тесты одновременно
Одновременный запуск нескольких тестов на одной странице не рекомендуется. Возможно, вы не сможете определить среди тестов элементы, повлиявшие на ваши результаты. Когда вы меняете только одну переменную за раз, вы даете себе больше шансов понять результаты, избегая искажения данных.
5. Установите правильную продолжительность
Какова наилучшая продолжительность A/B-тестирования?
Хотя фиксированного числа нет, вы можете определить продолжительность теста на основе трафика, целей и других важных аспектов вашего веб-сайта. Вы можете использовать бесплатные калькуляторы длительности A/B-тестов, чтобы лучше понять идеальную продолжительность вашего теста. Запуск ваших A/B-тестов в течение достаточного времени имеет решающее значение для обеспечения надежных и точных результатов.
Предположим, что ваш веб-сайт обычно испытывает всплеск трафика в выходные дни. Выполнение теста в течение нескольких выходных может помочь учесть это увеличение и избежать неправильной интерпретации результатов теста.
6. Проанализируйте результаты
Как только тест завершится, вы должны внимательно изучить результаты. Помимо определения «победителя», эти результаты также дадут вам полезную информацию, которую вы можете использовать для улучшения будущих тестов и кампаний.
С помощью этих передовых методов вы можете увеличить шансы вашей программы A/B-тестирования на получение надежных и эффективных результатов для вашего веб-сайта.
Показатели A/B-тестирования
Когда вы экспериментируете и пробуете различные изменения на своем веб-сайте, убедитесь, что ваша платформа A/B-тестирования отслеживает важные показатели и предоставляет полезную информацию для каждого теста.
Вот общие цели, отслеживаемые во время A/B-тестирования, на которых следует сосредоточиться при мониторинге различных тестов на вашем веб-сайте.
- Количество привлеченных потенциальных клиентов: Отправка форм, регистрация демо-запросов, бронирование бесплатных пробных версий, загрузка электронных книг и т. д. — различные способы привлечения потенциальных клиентов.
- Рейтинг кликов (CTR): Отслеживание рейтинга кликов каждого варианта показывает, какая версия вызвала наибольшее количество кликов и привлекла наибольшее количество трафика.
- Время, проведенное на странице: Этот показатель показывает, сколько времени пользователи проводят на разных страницах. Вы можете настроить макет или внести некоторые изменения в содержание этих страниц, чтобы сократить время, затрачиваемое на них.
- Показатели отказов: Высокий показатель отказов означает, что посетители покидают веб-сайт, не предприняв никаких действий. Используйте его для тестирования различных версий страниц с высоким показателем отказов и разработки уникальных идей для привлечения посетителей.
Заключительные мысли
A/B-тестирование — это мощная концепция, которая может помочь оптимизировать ваши маркетинговые усилия и управлять ключевыми бизнес-метриками. Хотя существует довольно много факторов, которые необходимо учитывать при проведении различных тестов, основная идея A/B-тестирования заключается в улучшении пользовательского опыта за счет оптимизации ключевых показателей конверсии.
Хотите создать наилучшую версию своего веб-сайта? Узнайте, как это сделать, оценивая реакцию потребителей на несколько переменных и отслеживая вовлеченность с помощью многовариантного тестирования.
А или Б? Позвольте программному обеспечению сделать расчеты за васТестируйте различные версии ваших веб-страниц и цифровых возможностей; повысить коэффициент конверсии и привлечь посетителей с помощью программного обеспечения для A/B-тестирования.
Узнать больше
Эшли Балерао
Эшли Балерао — контент-маркетолог в VWO. Ему нравится создавать привлекательный контент по темам, которые могут помочь организациям развивать свой бизнес и увеличивать прибыль. Помимо писательства, он также любит танцевать, смотреть фильмы и пробовать различные виды вкусной уличной еды.
Что такое A/B-тестирование? (Основное руководство 2021 года с примерами)
A/B-тестирование — это одновременный эксперимент между двумя или более вариантами страницы , чтобы определить, какой из них работает лучше всего .
Представьте, например, что вы хотите проверить свою гипотезу о том, что один заголовок привлечет больше потенциальных клиентов, чем другой. Конечно, вы могли бы просто внести изменения и скрестить пальцы. Но что, если вы ошибаетесь? Ошибки могут дорого обойтись.
Отправляя половину своего трафика на одну версию страницы и половину на другую, вы можете сначала соберите доказательства того, какой из них работает лучше всего , прежде чем вносить изменения.
По сути, A/B-тестирование позволяет вам играть роль ученого и принимать данные о том, как на самом деле ведут себя люди, когда заходят на вашу страницу.
Терминология A/B-тестирования
Вариант
Вариант — это термин для любых новых версий целевой страницы, которые вы включаете в свой A/B-тест. Хотя у вас будет по крайней мере два варианта в вашем A/B тесте, вы можете проводить эти эксперименты с любым количеством страниц.
Champion
А/Б-тестирование можно сравнить с гладиаторским боем.
Заходит два (или больше) варианта, а уходит только одна страница. Этот победитель (как правило, страница с наилучшей конверсией) увенчивается вариантом чемпиона .
Challenger
При запуске теста вы создаете новые версии (варианты), чтобы бросить вызов существующей странице чемпиона. Их называют претендентами . Если претендент превосходит все остальные варианты, он становится новым чемпионом.
Присвоение веса трафика в тесте A/B
В типичном тесте A/B трафик случайным образом назначается каждому варианту страницы на основе заранее определенного веса. Например, если вы проводите тест с двумя вариантами страниц, вы можете разделить трафик 50/50 или 60/40. Чтобы сохранить целостность теста, посетители всегда будут видеть один и тот же вариант, даже если они вернутся позже.
Основным фактором, определяющим, какое значение вы придадите вариантам своей страницы во время теста, является время: начинаете ли вы тест с несколькими вариантами одновременно или тестируете новые идеи на уже существующей странице.
НАКОНЕЧНИК PRO. Имейте в виду, что вам необходимо провести определенный объем трафика через тестовые страницы, прежде чем результаты станут статистически значимыми. Вы можете найти онлайн-калькуляторы (например, этот от VWO) или использовать такие инструменты, как конструктор целевых страниц Unbounce, которые помогут вам проводить тесты.
Начиная с нуля
Если вы начинаете новую кампанию и у вас есть несколько идей о том, в каком направлении двигаться, вы можете создать вариант для каждой идеи.
В этом сценарии вы, скорее всего, присвоите одинаковый вес каждой версии целевой страницы. Для двух вариантов это будет 50/50. Для троих это будет 33/33/34. И так далее. Вы хотите относиться к ним одинаково и выбрать чемпиона как можно скорее. Поскольку у вас нет данных о конверсиях ни на одной из страниц, начните свой эксперимент с позиции равенства.
Тестирование существующих целевых страниц
Если у вас уже есть страница, на которой вы хотите опробовать некоторые новые идеи, обычно лучше дать вашим новым вариантам меньший процент трафика, чем у существующего лидера, чтобы снизить риск, присущий с внедрением новых идей.
Это будет медленнее. Однако не рекомендуется пытаться ускорить A/B-тестирование, отдавая предпочтение новым вариантам, поскольку они не гарантируют хорошую работу. (Помните, что A/B-тестирование направлено на снижение риска. Тестируйте с умом!)
Что я должен протестировать на своих целевых страницах?
Большинство отделов маркетинга полагаются на опыт, интуицию и личное мнение, когда дело доходит до принятия решения о том, что будет лучше для их клиентов. Иногда получается, но часто нет. Когда вы начинаете A/B-тестирование, вы должны быть готовы отбросить все предположения зала заседаний: данные (во всяком случае, правильно интерпретированные) не лгут. Стоит сказать об этом своему начальнику.
Существует определенное количество элементов целевой страницы, на которых вы можете сосредоточиться при тестировании. Различные варианты и контент, которые будут участвовать в тестировании, зависят от вас, но какой из них работает лучше всего (нравится вам это или нет) зависит от клиентов.
Некоторые из элементов, которые вы должны учитывать при разделенном тестировании:
Заголовки
Ваш основной заголовок обычно является кратким изложением вашего основного ценностного предложения. Другими словами, это резюмирует, почему кому-то может понадобиться ваш продукт или услуга. Есть много подходов, которые вы можете попробовать при тестировании заголовка:
- Попробуйте удлинить или укоротить заголовок
- Выразить отрицательные или положительные эмоции
- Задать вопрос в заголовке
- Сделать рекомендательную часть заголовка
- Попробуйте разные уникальные торговые точки
Призыв к действию (CTA)
Призыв к действию — это кнопка, которая представляет цель конверсии вашей страницы. Вы можете протестировать копию CTA, дизайн кнопки и ее цвет, чтобы увидеть, что работает лучше всего. Например, попробуйте увеличить кнопку или сделать ее зеленой для перехода, синей для цвета ссылки, оранжевой или красной для эмоциональной реакции.
Главный снимок
Главный снимок — это основная фотография или изображение, которое появляется в верхней части страницы. В идеале он показывает, как ваш продукт или услуга используется в контексте реальной жизни, но как узнать, какой главный кадр будет скрыт для какой целевой страницы? Вы идете с улыбающейся парой? Или, может быть, крупный план самого продукта? Поэкспериментируйте и узнайте.
НАКОНЕЧНИК PRO. Так же, как ваш заголовок и сопроводительный текст, главный кадр должен соответствовать сообщению. Если в вашем объявлении упоминаются матрасы, но на главном снимке вашей целевой страницы изображено кресло-качалка, то, скорее всего, у вас несоответствие.
Формы
В зависимости от вашего бизнеса вам может понадобиться больше, чем просто имя и адрес электронной почты. Если у вас есть особенно сильная потребность в данных, попробуйте запустить тест со многими вариантами вашей формы разной длины. Таким образом, вы можете принять взвешенное решение о том, какой уровень отказов является приемлемым в сравнении с полученными дополнительными данными.
Копия
Часто самым важным фактором является сравнение длинной копии с короткой. Чем короче, тем лучше, но для определенных продуктов и рынков в процессе принятия решений важны детали. Вы также можете попробовать изменить порядок функций и преимуществ или сделать свой язык более или менее буквальным.
Есть много мнений о том, что работает, а что нет, но почему бы не протестировать и не убедиться в этом самим?
Макет
Будет ли CTA слева лучше, чем справа? И будет ли это видео-отзыв лучше, если вы поместите его внизу страницы или вверху? Хороший вопрос. Иногда изменение макета страницы может сильно повлиять на ваши конверсии.
НАКОНЕЧНИК PRO. Если вы хотите поэкспериментировать с макетом, перемещайте по одному элементу за раз, оставляя все остальные элементы на странице одинаковыми. В противном случае будет сложно выделить те изменения, которые работают.
Стоит ли проводить A/B-тесты? Несколько препятствий, которые следует учитывать
A/B-тестирование ваших целевых страниц может стать мощным способом выжать больше конверсий (иногда на больше конверсий) из ваших существующих кампаний, увеличивая общую рентабельность инвестиций .
Можно сделать ошибки, если вы не будете осторожны при настройке — чаще всего, изменяя более одного элемента страницы за раз, — но немного почитав, вы можете настроить себя на успех.
Тем не менее, особенно для небольших команд и предприятий, есть несколько препятствий, которые могут усложнить A/B-тестирование ваших страниц:
1. Вам нужно дождаться статистической значимости
Представьте, что вы подбрасываете монету в воздух. . Выходит головы . Переворачиваешь второй раз. Heads снова побеждает. Странно, думаете вы, подбрасывая монету в последний раз. Выпадает хедз-ап еще раз.
Готовы ли вы после трех подбрасываний сделать вывод, что любая подброшенная монета со 100% вероятностью выпадет решкой вверх? (Последние новости: Местный маркетолог объявляет законы вероятности обманом .)
Вероятно, нет. Представьте, что вы направляетесь в Вегас, думая, что при подбрасывании монеты всегда выпадает орел.
То же самое происходит, когда вы проводите A/B-тестирование целевой страницы.
Пока тебе не проверил ваши варианты с достаточным количеством посетителей, чтобы достичь статистической значимости , вам действительно не следует применять свои знания. Вместо этого вам нужно устранить как можно больше неопределенности, прежде чем вы выберете вариант чемпиона. Количество посетителей, которое вам нужно, может варьироваться в зависимости от ваших целей, но обычно это большое число.
2. Вам нужно достаточно трафика
Потребность в статистической значимости создает еще одну проблему для небольших команд. Если вы не получаете достаточно трафика, чтобы быть уверенными в своих результатах, вы не можете (или не должны) завершать A/B-тест . Для малого бизнеса целевые страницы могут занять месяца для достижения необходимых результатов, чтобы сделать один вывод. И иногда этот вывод будет заключаться в том, что сделанное вами изменение (например, замена кнопки с красной на зеленую) вообще не повлияло на ваши коэффициенты конверсии!
Если вы проводите своевременную маркетинговую кампанию или просто хотите быстро увидеть результаты, A/B-тестирование без большого трафика может быть слишком медленным, чтобы быть полезным.
Годовое ожидание увеличения конверсии на 5% на одной целевой странице вряд ли будет привлекательным и трудным для защиты. Учитывая, что при его настройке также возникают ручные проблемы, это не будет стоить вашего времени.
3. Это универсальный подход к оптимизации
Эта проблема является одним из недостатков, заложенных в A/B-тестировании: когда вы выбираете лучший вариант, вы выбираете версию своей страницы с номером . скорее всего, конвертирует большинство ваших посетителей . Это не означает, что не было других типов посетителей, которые с большей вероятностью конвертировались бы в проигрышный вариант. (Возможно даже, что эти забытые посетители более ценны для вашего бизнеса, чем люди, для которых вы оптимизировали.)
По своей сути A/B-тестирование использует грубый, универсальный подход к оптимизации, который, вероятно, никому не подходит. Конечно, это может резко повысить коэффициент конверсии. Но иногда ему не хватает нюансов, на которые могли бы рассчитывать ориентированные на рост маркетологи, одержимые сегментацией, персонализацией и таргетингом.
Альтернативы A/B-тестированию: использование интеллектуального трафика
Допустим, вам нравится идея оптимизации целевых страниц для увеличения количества конверсий, но вы не можете преодолеть одно из препятствий, которые мы только что обсуждали. Как вы поступите?
Машинное обучение, к счастью, может помочь вам улучшить показатели конверсии без высокой планки для входа в A/B-тестирование. Например, использование такого инструмента, как Smart Traffic от Unbounce, позволяет небольшим командам оптимизировать свои целевые страницы автоматически (или, как любят говорить компьютерщики, автоматически), заставляя искусственный интеллект выполнять ту работу, которую маркетолог-человек не может.
Запустив контекстное бандитское тестирование вместо A/B-тестирования, Smart Traffic позволяет вам начать видеть приводит всего к 50 посетителям, а средний рост конверсии составляет около 30% . Никогда не нужно короновать чемпиона, потому что ИИ направляет каждого посетителя к варианту целевой страницы, который с наибольшей вероятностью приведет их к конверсии — в зависимости от их собственного уникального контекста.
Больше никаких «универсальных решений».
Как это работает:
- Вы создаете один или несколько вариантов, изменяя все, что хотите. В отличие от A/B-тестирования, вы не ограничены только одним изменением за раз, а добавление более одного варианта существенно не замедляет оптимизацию. (Вот ресурс о создании вариантов целевой страницы для Smart Traffic, чтобы начать работу.)
- Установите цель конверсии и включите ее. Вы решаете, что считать конверсией, в конструкторе Unbounce, а затем включаете Smart Traffic в качестве предпочтительного метода оптимизации. Сразу начинает работать.
- Smart Traffic оптимизируется автоматически. Преимущество этого подхода в том, что он практически не требует вмешательства. После включения Smart Traffic он продолжает учиться и оптимизироваться на протяжении всей жизни вашей кампании.
Из-за простоты оптимизации инструменты на основе ИИ должны стать большей частью вашего маркетингового стека.
