A b тестирование что это: Что такое A/B-тестирование и как его проводить

Что такое АБ-тест и как его правильно провести

A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:

• Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
• Нужно принять решение относительно дорогостоящего изменения.
• Выбирается алгоритм товарных рекомендаций среди разных сервисов.
• Страшно менять что-то сразу, «а вдруг не пойдет».

В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.

Примеры A/Б-тестов с пользой для бизнеса

Результат успешного теста — выбор варианта-победителя и улучшение конверсии.

Клиенты Mindbox с помощью A/Б-тестирований добились измеримого результата в деньгах:

• Маркетолог сети винных супермаркетов «Ароматный мир» убедился, что промокоды увеличивают выручку, но размер промокода не имеет значения.
• Интернет-магазин «Первый мебельный» улучшил показатели рассылок на 25%.
• Обувной ритейлер kari сэкономил 19% бюджета на SMS-рассылках.

Ссылки на материалы дублирую в конце статьи.

Этапы проведения эксперимента

Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:

1. Определение точки роста и выбор метрик.
2. Составление гипотезы.
3. Определение размера тестовой выборки.
4. Проверка сбора данных по метрике.
5. Запуск теста и снятие результатов.

Определение точки роста и выбор метрики

Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают. Или хочется разобраться, приносит ли деньги виджет товарных рекомендаций в карточке товара. Варианты метрик для измерения улучшения:

• Доход
• Количество заказов
• Средний чек
• Процент открытия писем
• Повторные покупки
• Количество линий чека в заказе

Составление гипотезы

Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.

Гипотеза	Варианты	Метрика
Эмодзи в теме письма увеличивают открытия на 2%	С эмодзи и без эмодзи	Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%	С блоком сопутствующих товаров в карточке и без	Выручка
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%	С попапом и без попапа	Количество заказов и выручка

Определение размера тестовой выборки

Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.

Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».

Проверка сбора данных по метрике

Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.

Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.

А/А-тест как способ проверить правильность деления на группы

А/А-тест — это разновидность эксперимента, когда варианты одинаковы.

Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.

Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.

Снятие результатов

По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.

Пример из Google Optimize: завершенное тестирование на сайте со статистически значимым результатом: выручка варианта-победителя оказалась на 50% больше

Инструменты для настройки тестов

Рассмотрим инструменты для A/Б-тестирования:

Калькулятор A/Б-тестирований

Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.

Скриншот калькулятора

Google Optimize

Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.

Как настраивается A/Б-тестирование в Mindbox

В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».

Резюме

Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:

1. Определить точку роста и метрику.
2. Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
3. Определить размер выборки для тестирования.
4. Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
5. Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.

Полезные ссылки

что это такое, и как его проводить

В профессиональной жизни маркетолога есть всего два состояния:

• что-то работает, но не приносит результат — нужно сделать лучше;
• что-то работает, приносит результат, но все равно хочется сделать лучше.

И в том, и в другом специалист должен понимать, что же стоит усовершенствовать, и не окажется ли новая версия хуже предыдущей. Чтобы проверить свои теории, маркетологи используют сплит-тестирование или его частный случай — A/B-тестирование.

Что такое A/B-тестирование?

A/B-тестирование — это маркетинговый метод, который позволяет проверить эффективность гипотез, сравнить два элемента (если сравнивают больше двух, уже говорят о сплит-тестировании) и выбрать наиболее эффективный из них. Суть теста в том, что пользователи будут видеть разные варианты страниц, писем, объявлений и, соответственно, по разному на них реагировать. Побеждает в итоге вариант, который покажет лучшие результаты.

Тестировать и улучшать в маркетинге можно, пожалуй, что угодно.

На посадочной странице:

• разные варианты призыва к действию,
• формы сбора данных,
• иллюстрации,
• структуру страницы,
• контент.

В email-рассылках:

• темы письма и прехедер,
• время отправки письма,
• дизайн письма,
• разные форматы текстов,
• ссылки внутри письма,
• письма с разной степенью персонализации.

В поисковых объявлениях:

• заголовок и расширенный заголовок,
• текст объявления,
• название быстрых ссылок,
• уточнения,
• текст отображаемой ссылки,
• цены.

В рекламе в соцсетях:

• типы объявлений,
• тексты объявлений,
• призывы к действию,
• изображения.

Если варианты тестируемого можно перебирать бесконечно, то цель у сплит-тестов всегда одна — рост показателей: чаще всего конверсии (в идеале — больше продаж), но ещё кликабельности, открываемости и вовлечённости аудитории. Чтобы добиться любой из них, нужно правильно проводить A/B-тестирование.

Правила A/B-тестирования

1. Возьмите только одну переменную

Иногда так много всего хочется улучшить, что у маркетолога глаза разбегаются. Но совершенствовать всё сразу нельзя — так вы не поймёте, какое улучшение принесло результат. Поэтому для теста выбирайте только одну переменнцую и не начинайте следующий, пока не найдёте оптимальное решение по итогам первого.

Не забывайте, что переменная — это не всегда конкретный элемент: кнопка на сайте или баннер в письме. Тестировать можно и формат в целом. Например, мой коллега Павел Сербулов пробовал отправлять садоводам письма со стильным дизайном и письма в духе привычного садоводческого журнала. Нововведение не зашло, а вот стандартный формат принёс неплохие результаты, на нём и остановились.

2. Определитесь с показателем и способом оценки эксперимента

К сожалению, не все изменения напрямую влияют на рост продаж. Поэтому при выборе переменной точно определите, какой параметр вам нужно улучшить. Вряд ли для роста продаж вы начнёте менять размер шрифта в письме.

Если вы тестируете изменения на сайте, смотрите на показатели счётчиков веб-аналитики — изменение конверсии, улучшение поведенческих факторов.

Если сплит-тест касается рекламы, то результаты отслеживайте в отчётах рекламных систем (Яндекс.Директ, Google Ads). В первую очередь смотрим на CTR.

Результаты тестов в рассылках ищите в отчётах платформы, с которой работаете. Главные показатели — кликабельность и открываемость.

Сплит-тесты для рекламы в соцсетях можно отслеживать как из рекламного кабинета, так и с помощью сервисов аналитики на сайте. В рекламных кабинетах эта задача максимально облегчена — соцсети сами выставляют оценки рекламным объявлениям и определённые выводы можно сделать даже на их основе. Но для более глубокой аналитики, конечно, не обойтись без Яндекс.Метрики и Google Analytics.

Не запускайте сразу несколько A/B-тестов на один и тот же показатель. Правильно устраивать за раз только один тест с одной переменной.

3. Выберите инструмент

С технической точки зрения провести A/B-тестирование довольно просто: большинство систем заточены под такие эксперименты.

Например, для сравнения поисковых объявлений в Яндекс.Директе вам достаточно задать необходимые параметры, а система выберет, кому показать объявления. В Google Ads для этого есть специальный инструмент «Проекты и эксперименты».

Похожим образом обстоят дела в соцсетях: Фейсбук сам показывает разные варианты объявлений без наложения аудиторий друг на друга, а во ВКонтакте или Одноклассниках вам лишь нужно создать разные варианты объявлений и ограничить количество показов на одного человека.

Немного иначе это работает в емейл-платформах. Там вы также готовите разные варианты писем, но ещё и определяете объём аудитории, которая их получит. Это можно сделать вручную или автоматически. Чаще всего письма отправляют в два этапа: например, аудиторию делят на 25%, 25% и 50%, первым двум сегментам отправляют разные варианты писем, а оставшимся 50% отправляют письмо-победитель.

Сложнее всего проводить A/B-тестирование на сайте. Хотя и здесь есть вспомогательные инструменты. Например, сервис «Оптимизация» от Google. С его помощью можно тестировать разные элементы страниц, конверсионные кнопки, шрифты и формат заголовков, изображения и формы — для небольших сплит-тестов такого набора вполне достаточно, к тому же проверить результаты можно прямо в Google Analytics. Сервис бесплатный.

4. Выделите время

Сервисы зачастую сами ограничивают время эксперимента. Например, Фейсбук даёт на сплит-тестирование от 3 до 30 дней. Рекомендуемое количество — от 4 до 14. Тестирование дольше двух недель соцсеть считает сливом нерациональным использованием бюджета. «Google Оптимизация» не рекомендует тратить на сплит-тест меньше двух недель и больше трёх месяцев.

Но вообще, длительность A/B-теста стоит измерять не в днях, неделях или месяцах, а в пользователях. Даже есть мнение, что начинать эксперименты на сайте стоит только после достижения 1000 конверсий в месяц. Но с такими показателями многие их вообще никогда не начнут, поэтому мы советуем ориентироваться на показатель статистической значимости.

После того, как тест будет закончен, нужно проверить значимость результатов.

Статистическую значимость можно рассчитать по сложным формулам или просто воспользоваться калькулятором достоверности A/B-тестирования. Если спустя пару недель эксперимента вы вводите данные в калькулятор и видите сообщение: «Этот результат можно считать статистически значимым, A/B тест проведён успешно», — можете завершать эксперимент.

5. Не забывайте про победителя

Получать удовольствие от процесса это, конечно, хорошо, но в случае со сплит-тестами главное всё-таки результат. Так что после завершения эксперимента не забудьте внедрить на сайт, в письма или рекламу победившую гипотезу. И только после этого приступайте к следующему эксперименту.

Плакат с идеями уже в пути. Если её нет слишком долго, проверьте, пожалуйста, папку «Спам»

А как вы проводите сплит-тестирования? Есть ли у вас какие-то хитрости, которыми вы хотите поделиться? Пишите в комментариях

А/B-тестирование НЕ для новичков — как это делают профессионалы ⚡

A/B-тестирование — мощный инструмент. С его помощью можно улучшать различные маркетинговые показатели, начиная от конверсии отдельно взятого рекламного объявления и заканчивая экономическими показателями бизнеса в целом. О том, как добиваться реально крутых результатов, мы спросили профессионалов в области экспериментов Виталия Черемисинова, Валерия Бабушкина и Виктора Рындина.

Читайте в этом материале:

• что важно учесть, чтобы сплит-тест был корректным;
• как генерировать гипотезы для экспериментов;
• какие инструменты и статистические методы лучше использовать;
• какие есть лайфхаки для более эффективной проверки гипотез.

Виктор Рындин, генеральный директор агентства комплексного digital-маркетинга WeMakeFab

— Что нужно знать, чтобы А/B-тестирование прошло как надо?

1. Чем меньше у вас трафика во время тестирования, тем больше вероятность выявить статистическую погрешность, а не сделать далеко идущие выводы об эффективности того или иного приема. В тестировании гипотезы должно принять участие не менее 3000 уникальных пользователей.

2. Не торопитесь с выводами. Две недели — это минимальный срок для проведения А/B-тестирования, по истечении которого вы можете рассчитывать на статистически достоверные данные.

3. Самая распространенная ошибка — это когда тестирование проводится на разных аудиториях, с разными креативами и с разными посадочными страницами. Неизвестная должна быть только одна! Хотите протестировать разный вид блоков на посадочной странице? Создайте абсолютно одинаковые условия в остальном: используйте одинаковые креативы в рекламных объявлениях, которые видит схожая аудитория, приходящая из одного рекламного источника.

4. Тестируйте несколько гипотез одновременно. Все привыкли тестировать только 2 варианта посадочной страницы, хотя в рамках одного тестирования вы можете добавить и 3, и 4 варианта, существенно сэкономив время. Главное, убедитесь, что минимального количества посетителей хватит для каждого из вариантов.

5. Проводите тестирование на всей длине воронки. Что толку, если посадочная страница приносит конверсию в 3 раза больше обычной, но до продаж эти лиды не доходят?

— Покажите на конкретном кейсе, какие выводы можно делать, исходя из сплит-тестов.

Гипотеза: клиенты, интересующиеся бухгалтерскими услугами, обращают внимание только на цену. Можно отказаться от лонгрида с информацией о компании в пользу простой посадочной страницы с калькулятором стоимости услуг.

	А	B
Посетителей	1464	1543
Процент отказа	38,8	31,3
Время на сайте	0:41	0:34
Целевое действие	19	7
Конверсия	1,30 %	0,45 %

Гипотеза подтвердилась: на короткой версии посадочной страницы пользователи меньше терялись и чаще оставляли заявку.

Особенно важно проводить сравнительные тестирования после обновления дизайна сайта. Даже если вам кажется, что новая версия очевидно лучше, чем старая. Например, из-за редизайна сайта полностью изменился внешний вид заявочной формы с предложением скидки. Визуально новая версия получилась более привлекательной, однако на деле конверсия в ее заполнение упала с 1,51 (вариант B) до 0,51 % (вариант A)!

Бабушкин Валерий, директор департамента моделирования и анализа данных Х5 Retail Group

— Какие инструменты вы сейчас используете для проведения тестирований?

Если разговор идет об А/B-тестировании или просто об оценке эффективности каких-то мероприятий — у нас самописная платформа, мы используем различные методы, начиная от базовых статистик и bootstrap. Дальше — метод бакетов и линеаризации, методы снижения дисперсии, CUPED, методы вычитания предсказаний и прочая статистическая машинерия.

— Как эффективно организовать процесс генерации гипотез для тестов?

Сложно сказать, вообще исследование — это непросто. Для начала нужно собрать команду, обсудить, какая у нас есть задача и чего мы хотим достичь. Дальше команда начинает генерировать гипотезы, мы получаем какое-то их значительное количество (потому что сгенерировать предположение не очень сложно). Следующий шаг — правильно ранжировать эти гипотезы в порядке возможного выигрыша и таким образом расставить приоритеты. Затем начинаем проверку.

— Какие есть фишки или лайфхаки, позволяющие сделать процесс проверки гипотез более эффективным?

Основной инструмент — приоритизация. Гипотезы надо приоритизировать, и, кроме того, здесь важен опыт: надо смотреть, что раньше «взлетало» или «не взлетало», и в зависимости от этого не принимать участия в тестировании тех гипотез, которые точно никаких результатов не дадут. Это вряд ли можно назвать каким-то мегалайфхаком или фишкой, но тем не менее это здóрово помогает и экономит время.

— Нужны ли A/B-тесты, если ты не Яндекс или Ozon, а обычный региональный бизнес с 10 тысячами визитов и 100 лидами в месяц?

Конечно, нужны. Вопрос в том, что если бизнес никаких изменений не делает и ничего не пробует, никуда не движется и не улучшается, тогда изменения, безусловно, не нужны, потому что тестировать нечего. В противном случае это даже не вопрос: необходимость изменений и улучшений — это данность.

Черемисинов Виталий, Head of data в AIC, сo-founder в Experiment Fest

— Какие инструменты вы сейчас используете для проведения тестирований?

В нашей команде мы стараемся использовать инструменты, которые сами и разработали. Например, сегментатор трафика для проведения A/B-тестирования. Поддержание таких инструментов может обходиться дороже, чем готовое решение, но зато оно полностью подконтрольно команде и его можно дорабатывать и развивать. В нашем случае это оправданно. Если вы купили подписку на сервис для A/B-тестирования, а у вас A/A-тест показывает статистически значимое отличие — вы окажетесь в тупиковой ситуации.

— Как правильно проверять статистическую значимость тестов, более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека?

Часто даже с бинарными данными допускают очень большие грубые ошибки.

При работе с данными, у которых достаточно большая размерность (выручка, например), одной из самых значимых проблем является большая дисперсия. Это первое, про что стоит помнить. Просто так убрать наблюдения, которые больше всего на эту дисперсию влияют, мы не можем: это покупатели, и далеко не факт, что они случайны (хотя и такое бывает). Следовательно, нам нужно уметь эту дисперсию сокращать малой кровью, и один из таких способов — стратификация и децильный анализ (подробнее можно почитать в моем блоге:
https://medium.com/statistics-experiments.

Если говорить именно про методы проверки статистических гипотез, то я бы хотел начать с того, что лучше не использовать. Я бы рекомендовал не использовать ранговые критерии (Манна —Уитни, например). Работает критерий следующим образом:

1. Объедините все данные в единый ряд, пометив те из них, которые принадлежат разным выборкам.
2. Проранжируйте значения, приписывая меньшему значению меньший ранг.
3. Подсчитайте сумму рангов отдельно для каждой выборки.
4. Определите большую из двух ранговых сумм.
5. Определите значение U по формуле:

Мы пытаемся проверить, различаются ли медианы ранговых распределений. И если стоит вопрос о среднем чеке — ответ критерия будет не очень релевантным.

Мы для решения таких задач используем либо bootstrap, либо бакетный метод.
Бакетирование подходит тогда, когда необходимо:
а) сохранить информацию о дисперсии и среднем в выборке до трансформации;
б) привести к нормальному распределению.

Мы формируем бакеты n-размера, внутри каждого бакета считаем среднее, далее берем новый бакет, но без возвращения.

Далее мы можем использовать для оценки параметрический критерий.

— Какие есть фишки, лайфхаки, приемы, позволяющие сделать процесс проверки гипотез более эффективным?

Главным источником фишек является учебник по математической статистике.😁

А вообще, основная фишка и лайфхак одновременно — уметь при помощи теоретической базы (математическая статистика, комбинаторика и т. п.) решать конкретные задачи бизнеса.

---

А/B-тестирование — это не просто проверка, что лучше работает: синяя или красная кнопка на сайте. Это сложная работа, в результате которой решаются конкретные маркетинговые задачи, например увеличение среднего чека. Изучайте математическую статистику (кстати, здесь крутая подборка книг по аналитике) и экспериментируйте! Как сказал Валерий Бабушкин, необходимость изменений и улучшений — это не вопрос. Это данность.

Оптимизируйте маркетинг и увеличивайте продажи

Сквозная аналитика CoMagic

• до 70% экономии на рекламе
• рост продаж в 2-4 раза без увеличения рекламного бюджета
• окупаемость после первого месяца

Подробнее Поделитесь с друзьями

A/B-тестирование: Всё, Что Нужно Знать

Sait

access_time

26 октября, 2020

hourglass_empty

8мин. чтения

Маркетинг – вещь непростая. Чтобы опередить конкурентов нужна действительно рабочая стратегия. Вот когда в игру вступает A/B-тестирование. A/B- или сплит-тестирование позволяет проверить разные маркетинговые подходы и выбрать наиболее эффективный. В этой статье вы узнаете всё, что вам нужно знать об этом методе маркетингового исследования.

Что Такое A/B-тестирование?

Суть A/B-тестирования заключается в тестировании двух разных стратегий на целевой группе.

Для примера, скажем, у вас есть кнопка подписки на новостную рассылку – она называется control (существующий элемент).

Вы хотите узнать, можно ли что-то улучшить, как-то изменить рассылку, чтобы получить больше подписчиков.

Для этого вы создаёте ещё одну рассылку с другой кнопкой для подписки – с другим местоположением, другого цвета, формы, другим призывом к действию и т.д. Этот новый элемент называется вариантом (variant).

Затем вы делаете рассылку этих двух писем, разделив аудиторию 50/50. 

Таким образом, вы соберёте аналитические данные как из контрольного письма, так и из письма-варианта, которые и станут решающим фактором. Какой из вариантов может заинтересовать новых подписчиков?

Скорее всего вы выберете то письмо, которое набрало наибольшее количество взаимодействий. 

Это лишь верхушка айсберга! Вы можете использовать A/B-тестирование для различных маркетинговых платформ, таких как социальные сети, визуального маркетинга и многого другого.

Более того, вы можете тестировать больше, чем два варианта. Чем больше данных для сравнения, тем точнее ваши прогнозы и эффективней кампании.

Например, вы можете протестировать третью кнопку подписки на рассылку как дополнительный вариант. Но вам понадобится больше трафика, так как вы разделите аудиторию на три, а не две части. 

Но если вы планируете проверить больше трёх элементов, рекомендуем ознакомиться с мультивариантными тестами (англ).

Почему A/B-тестирование – это важно?

Если вы хотите решить проблему или оптимизировать существующие хорошо функционирующие элементы (рекламные объявления, призывы к действию, размещение кнопок и т.д.), вам необходимо испробовать и другие варианты, чтобы увидеть, могут ли они дать лучшие результаты.

Короче говоря, A/B-тестирование – это методом решения проблем на основе статистических данных. Таким образом, компании смогут принимать более обоснованные решения относительно своих маркетинговых стратегий, сайтов, приложений и так далее.

Компании и маркетологи могут улучшить много аспектов путём проведения A/B-тестирования. Обратите внимание, что вам нужно подобрать правильный элемент, который оказал наибольшее влияние на каждую характеристику. Под этими аспектами следует понимать:

• Коэффициент конверсии – с помощью A/B-тестирования можно выяснить какой метод, оригинальный или альтернативный,  эффективнее в превращении посетителей в покупателей.  
• Показатель отказов – вы можете протестировать такие изменения, как навигация по страницам, чтобы увидеть, заставляют ли они ваших посетителей задержаться на сайте дольше.
• Рейтинг кликов – после внесения определённых изменений в ваш сайт, вы можете определить, на какие ссылки ваши посетители нажимаю чаще всего. 

Более того, отрасли, которые только выиграют от внедрения A/B-тестирования в рабочий процесс можно перечислять бесконечно. От электронной коммерции (англ) до туризма, от крупных компаний и малого бизнеса – сплит-тестирование отлычный подход к решению проблем и оптимизации существующего функционала. Вот несколько примеров того, как разные отрасли успешно используют A/B-тестирование.

1. Ecommerce

Каждый владелец интернет-магазина стремится получить как можно больше продаж. Если вас не устраивает ваш доход, вы можете провести A/B-тестирование, чтобы увидеть, что можно улучшить.

• Низкая конверсия – обычно не все посетители сразу покупают ваши продукты. Итак, как улучшить коэффициент конверсии? Сначала определите вашу текущую стратегию. Например, если в вашем интернет-магазине платная доставка, вы можете попробовать делать наценку на товар и за счёт этого предлагать бесплатную доставку.  
• Покинутая корзина – ваши покупатели часто оставляют товары в корзине, так и не совершив покупку? Постарайтесь найти причину. У вас настроена рассылка писем-напоминаний о товарах в корзине? Качественен ли текст этого письма? Есть ли там чёткий призыв к действию? Подходит ли манера общения вашей команды поддержки вашей аудитории? Проверьте каждый из этих аспектов, чтобы определить и устранить проблему. 
• Навигация по странице товаров – это может показаться неважным, но понимание поведения ваших посетителей и того, как они переходят от одного продукта к другому, может значительно увеличить продажи. Например, если сейчас как альтернативу вы показываете разные бренды зубной пасты, то имеет смысл попробовать предлагать сопутствующие товары, например зубные щётки, полотенца и т.д. 

В результате с помощью A/B-тестирования владельцы интернет-магазинов могут выбрать стратегию, которая лучше всего подходит для увеличения продаж.

2. СМИ и Издательства

В медиа и издательской индустрии также существует много аспектов, которые можно улучшить с помощью A/B-тестирования. Задача сплит-тестирования в этой сфере заключается в том, чтобы привлечь внимание потенциальных читателей и максимально увеличить вероятность того, что они купят печатную продукцию или даже платную подписку на сайте.

Итак, что это за аспекты, которые можно улучшить?

• Обложки – хорошая обложка должна очаровывать читателей с первого взгляда на неё. Например, можно поиграть с заголовками, шрифтом (тип, цвет и размер) и фоном – разные модели могут принести разные результаты.
• Вёрстка – плохое размещение абзацев и элементов может неприятно резать глаза ваших читателей. Вы можете много с чем поэкспериментировать – выравнивание, размер, иллюстрации, цвет и т.д.
• Колонки – скорее всего, ваш сайт или печатная продукция говорят не только об одной теме. Итак, вы должны проверить, нравится ли вашим читателям меньше, но широких тем или много рубрик с более конкретными темами. Кроме того, попробуйте добавить или удалить какую-то колонку и посмотрите, как это повлияет на продажи и читателей. 
• Маркетинговая сеть – традиционные или цифровые, попробуйте улучшить некоторые методы продвижения вашего журнала или газеты: исследуйте различные подходы, такие как новое место расположения киосков, новый тон и манера общения для вашей кампании в социальных сетях и т. д.
• Призовая викторина – такова природа человека, мы любим получать что-то бесплатно. Вот почему хорошая призовая викторина – один из методов, которым должна воспользоваться каждая медиа-компания. С помощью сплит-тестирования, вы можете определить оптимальный уровень сложности, количество вопросов или действий, которые необходимо выполнить, стимул и т.д.

Получив все необходимые данные для анализа, вы можете предпринять шаги, которые могут существенно улучшить общий опыт ваших читателей.

3. Технологии B2B (Бизнес для Бизнеса)

Не зависимо от того предлагаете вы услуги цифрового маркетинга, систему безопасности или систему управления для других компаний, вам необходимо позаботиться о каждом аспекте, который влияет на продажи и коэффициент конверсии.

Убедитесь, что вы предприняли все необходимые шаги, чтобы завоевать доверие своей аудитории. Итак, давайте посмотрим, как мы можем применить A/B-тестирование для достижения.

• Структура целевой страницы (лендинга) – существует множество вариантов построения целевых страниц, и нет более точного способа определить, какой вариант сработает лучше всего, чем A/B-тестирование. Протестируйте разные цвета, размещение информации, кнопки и многое другое.
• Форма регистрации – это один из самых важных элементов вашей страницы. Если формы слишком загромождены, это может привести к потере потенциальных клиентов. Главная задача дизайна – сделать её аккуратной, привлекательной и лаконичной. Попробуйте разные кнопки и призывы к действию, чтобы определить, какой вариант имеет наилучший коэффициент конверсии.
• Персонаж-талисман (маскот) бренда тесно связан и даже определяется тоном вашего сообщения. Разная аудитория по-разному реагирует на подобные вещи, поэтому стоит попробовать, какой маскот больше всего понравится вашей аудитории и уместен ли он вообще. 

Приведённые выше примеры – это только начало, есть много других аспектов, которые вы можете проверить, например, стоит ли подчёркивать слово “БЕСПЛАТНО!”, если вы предлагаете бесплатную консультацию. Также вы можете протестировать разные места размещения PPC-объявлений, вёрстку, навигацию на сайте и многое другое.

4. Туризм

Если ваши услуги туроператора не приносят достаточно прибыли, вы можете положиться на A/B-тестирование, чтобы выяснить в чём ваша проблема и устранить её. 

Причин может быть много: неудобный процесс покупки, непривлекательная страница с ценами и многое другое. Вот несколько способов, как можно улучшить сайт в сфере туризма с помощью A/B-тестирования.

• Предупреждения о некорректной информации – ваши клиенты могут по ошибке пропустить столбец или указать неправильный код страны в номере телефона. Если вы сообщите о допущенной ошибке только после того, как клиент заполнит всю форму и нажмёт кнопку “Отправить”, это может вызвать негативную реакцию или даже стать причиной отказа от оформления заказа. Поэкспериментируйте с формой: добавьте моментальные сообщения об ошибке, разбейте столбцы на разделы и т.д. 
• Эффект приманки – если вы предлагаете разные туристические пакеты, вы можете отображать их рядом, чтобы вызвать у клиентов определённое восприятие. Например, существует большая вероятность, что если вы будете показывать три пакета с разной ценой, клиент выберет тот, что посередине, особенно если вы добавите к нему тег “лучшее предложение”.
• Страх потери – дополнительная мотивация – всегда хорошая идея. Организуйте своего рода соревнование, чтобы стимулировать желание остановиться именно в вашем отеле, указав на сайте: “Осталось всего Х номеров”. Посмотрите, как это повлияет на продажи. Также протестируйте место, где лучше указать эту деталь – либо на странице обзора продуктов, либо в карточке товара. 

Другими словами, поэкспериментируйте с элементами, которые можно добавить или улучшить на вашем сайте, и определите изменения в поведении ваших клиентов.

Как Проводить A/B-Тестирование?

Каждое новое A/B-тестирование может отличаться от предыдущего в зависимости от вашей текущей ситуации и проблем, с которыми вы столкнулись. Тем не менее, существуют общие шаги, характерны каждому  A/B-тестированию.

Шаг 1: Сбор исходных данных

Прежде чем что-то делать, вы должны оценить состояние вашего сайта или мобильного приложения. Google Analytics – один из самых надёжных инструментов, которые вы можете использовать для сбора всех необходимых данных.

Затем определите ряд проблем, которые нужно устранить и аспектов, требующих оптимизации, например, высокий показатель отказов, низкие продажи и т. д.

Шаг 2: Формулировка целей

Цели важны для того, чтобы вы могли сопоставить имеющиеся у вас проблемы с соответствующими аспектами.

Например, если вы хотите протестировать разные страницы с ценниками, то метрики, которые вы должны отслеживать – это показатели конверсии.

Кроме того, конкретно сформулированные цели помогут вам не отвлекаться во время тестирования.

Допустим, вам нужно увеличить трафик, протестировав различные заголовки. Однако, возможно, что один из них также увеличивает показатель отказов – не берите во внимание этот показатель, принимая решение. 

Шаг 3: Формулировка гипотезы

Если у вас есть чётко сформулированная цель и переменные для тестирования, то наверняка у вас есть и определённые предположения касательно результатов.

Допустим, вы меняете цвет кнопки, чтобы увеличить количество переходов. Соответственно вы можете предсказать, что определённый цвет сработает лучше, поскольку он лучше резонирует с вашей аудиторией и вызывает определённые чувства (например, синий – чувство доверия и уверенности).

Шаг 4. Создание вариантов

Чтобы провести A/B-тестирование, вам нужны версия A (существующая) и версия B (альтернатива).

Убедитесь, что обе версии идентичны во всех остальных аспектах, за исключением одного различия, которое вы хотите проверить. В основе альтернативного варианта должна быть ваша гипотеза.

Например, сравните эффективность двух сайтов: один с синей кнопкой призыва к действию (variant) и один с красной кнопкой (control).

Шаг 5: Запуск теста

При запуске A/B-тестирования необходимо учитывать некоторые факторы, чтобы сделать его максимально эффективным.

Протестируйте обе версии одновременно – помните, вы проверяете разные аспекты продукта, а не время. Если вы тестируете версию A в январе и версию B в феврале, можно ли сделать объективные выводы?

Разделите свою аудиторию поровну – чтобы определить победителя, вы должны организовать справедливое соревнование. Разделите аудиторию 50/50 случайным образом, чтобы получить объективные результаты.

Фактор продолжительности – продолжительность тестирования имеет огромное значение. Убедитесь, что вы выделили достаточно времени, в противном случае полученных результатов может быть недостаточно для принятия объективного решения. 

Продолжительность тестирования зависит от количества трафика. 

Шаг 6: Анализ результатов

Получив результаты, вы можете определить победителя. Однако на этом процесс не заканчивается. Вам нужно убедиться, что результаты действительно соответствуют реальности. В этом вам поможет калькулятор A/B-тестирования (англ).

Калькулятор поможет определить, принесёт ли версия-победитель желаемые результаты в реальной ситуации. Если уровень достоверности высокий, вы можете выбрать версию с лучшими результатами или запустить другой тест с другим вариантом.

Чего Следует Избегать

Нередко при A/B-тестировании возникают ошибки. Вот список распространённых ошибок, которые веб-мастера по всему миру должны стараться избегать.

1. Спешка на этапе сбора начальных данных – учтите, что возможно вы не достаточно подождали или пропустили шаг 6 – оценку результатов, отнеситесь к полученным результатам с долей скептицизма. 
2. Не слишком полагайтесь на чувства – A/B-тестирование проводится по причине, его задача – получить данные, для обоснованного решения. Итак, не забудьте проверить статистическую значимость ваших данных, отслеживайте правильные показатели. 
3. Запуск нескольких тестов – не рекомендуется тестировать два или более элементов одновременно. Если вы хотите протестировать кнопки, чтобы определить, какая из них имеет наивысший коэффициент конверсии, не стоит тестировать ещё какой-то элемент, с такой же целью, например, письмо-напоминание о покинутой корзине. Когда коэффициент конверсии становится выше, трудно определить, какой элемент повлиял на это.
4. Неправильный тайминг – убедитесь, что понимаете природу тестируемого объекта. Результаты могут быть необъективными, если вы выберете слишком долгий или короткий промежуток времени. 
5. Отсутствие последующих действий – не останавливайтесь, если тестирование было неудачным. Отнеситесь к этому как к части процесса. Учтите предыдущие результаты теста и повторите попытку.
6. Неправильные инструменты – есть много инструментов A/B-тестирования, но доверять можно лишь немногим. Постарайтесь использовать проверенные инструменты, такие как OptinMonster или MonsterInsight.

Выводы

Ну что ж, мы разобрались с тем, что такое  A/B-тестирование, зачем оно нужно и как его провести. 

Подводя итог, давайте ещё раз кратко пробежимся по том, как провести A/B-тестирование.

1. Соберите исходные данные – используйте Google Analytics для сбора информации о платформе, которую вы тестируете.
2. Сформулируйте цель – это поможет вам не отвлекаться, не стоит принимать внезапные решения использовать вариант с меньшим показателем отказов, если ваша цель – увеличить количество конверсий. 
3. Сформулируйте гипотезу – сделайте прогноз того, как определённый элемент может работать лучше.
4. Создайте вариант – следуя вашей гипотезе, создайте вариант для сравнения с существующим элементом.
5. Запустите тест – не забудьте учесть продолжительность, инструменты и т. д. Убедитесь, что тестировали обе версии (контрольную и вариант) одновременно, чтобы сохранить достоверность результатов.
6. Проанализируйте результат – поместите данные в калькулятор А/B-тестирования, чтобы убедиться в достоверности результатов. Затем выберите ту версию, которая работает лучше.

Если вы специалист по маркетингу, который ищет метод повышения качества лидов и развития бизнеса, сплит-тестирование – именно то, что вам нужно. Да, этот процесс требует времени и самоотдачи, но результат стоит того.

А/Б Тестирование 📊 — Как Делать Сплит-тестирование

Научный подход к изменениям

В современном мире полагаться на предыдущий опыт и интуицию — недостаточно. Кроме того, в некоторых случаях (например — вывод нового продукта на рынок) это невозможно.

В такой ситуации на помощь приходит экспериментальный и научных подход к принятию решений.

Сплит–тестирование — один из лучших конкретных способов реализации этого подхода.

Для того, чтобы принимать решения, вам необходимо опираться на данные. Эти данные не получить иначе, как через тесты. Вы должны понимать, действительно ли ваши нововведения ведут к улучшению показателей — конверсии и продаж.

Выжать максимум из того, что есть

Многие предприниматели гонятся за трафиком. Это и понятно — формулу «больше посетителей = больше денег» никто не отменял.

Однако, не только количество посетителей влияет на прибыль. И с какого–то момента вы все равно начнете упираться в потолок, и наращивать трафик будет значительно сложнее и дороже.

Это значит, что в какой–то момент вам придется перейти с вопроса «Как получить больше посетителей» на вопрос «Как сделать так, чтобы эти посетители были довольны и стали клиентами». Чем больше у вас трафика, тем более вероятно, что вы начнете склоняться ко второму вопросу.

А/Б тестирование как раз помогает решить этот последний вопрос. Оно поможет вам изменить то, как ваш сайт «обходится» с имеющимся трафиком. Оно поможет начать работать над конверсией и поведением тех людей, которые уже обращают на вас внимание.

Снятие рисков при внедрении изменений

Вы улучшаете бизнес, улучшаете дизайн и содержание сайта. К сожалению, всегда есть риск, что такие изменения будут негативными. Вам нужна уверенность в том, что внедряемые изменения не скажутся негативно на прибыли.

Разумеется, проведение А/Б тестов в такой ситуации — лучший вариант.

Вы можете сравнить, какие результаты показывает новый вариант по сравнению с текущим. Причем это можно сделать безопасно — на небольшой аудитории.

Такая стратегия поможет вам предотвратить ситуации, когда вводимые изменения разрушают сложившиеся бизнес процессы.

Культура экспериментов и совершенствования

В целом, ценность сплит–тестирования можно сравнить с ценностью тестирования и экспериментов в целом. И ответ будет один — непрерывное совершенствование.

В современном мире очень хорошо, если у вас в компании и в команде внедрена культура экспериментов и непрерывного совершенствования. Что вы мыслите не в стиле «все работает вот так, я это знаю, все будет как я сказал», а в стиле «здесь большая неопределенность, но мы можем кое–что сделать, чтобы посмотреть как все работает».

Изучение, исследование, сбор данных — должны стать не просто рутинными задачами и неизбежным злом, а ценностями.

Суть непрерывного совершенствования хорошо отражена в цикле Деминга (или цикле PDCA):

• Планируем
• Делаем
• Проверяем (или измеряем)
• Изменяем

Если вы хотите внедрить такой подход к работе в вашем бизнесе, то первым хорошим шагом будет внедрение А/Б тестирования.

Потому что это метод основанный на данных, а не на фантазиях (здесь есть, что измерять). А также здесь относительно легко провести эксперимент, принять решение о том, что лучше для бизнеса, и внедрить изменения.

Рост бизнеса и закрепление позиций

У вас может быть бизнес с любыми метриками, с любым уровнем продаж, он может быть в любой нише. Но цель всегда — это развитие.

Тот, кто не развивается — проиграет. Сегодня конкуренты возникают очень быстро. И растут они тоже очень быстро. Если ваши конкуренты будут регулярно внедрять улучшения на основе анализа данных, а вы этого делать не будете, то рано или поздно вы начнете терять позиции.

Но, конечно, этот метод существует не только для защиты. Оно также для развития и роста.

А/Б тесты можно делать очень часто и много, если у вас достаточное количество трафика. Представьте, что вы будете через тесты каждую неделю расти хотя бы на 1%. Сколько вы выиграете? И сколько вы потенциально проиграете, если не будете так расти?

Понятно, что все познается в сравнении. Однако в случае с тестами вы на самом деле не можете знать, какой будет результат. И очень возможно, что он будет более значимый, чем тот, который вы ожидаете.

Например, вы можете думать, что тесты в лучшем случае поднимут вам конверсию на 5-10%, а по–факту может выясниться, что наблюдается рост в два раза. Увы, пока не сделаешь — не узнаешь. В этом суть экспериментов и тестов. Из–за этого может быть сложно оценить значимость таких активностей наряду с другими.

Однако, мы говорим про рост. И значимость этого процесса невозможно переоценить. Значит, вам нужно будет делать тесты в любом случае. Вопрос лишь в том, как часто и как много.

19 самых часто задаваемых вопросов об A/B тестировании — CMS Magazine

A/B тестирование, также известное под названием «сплит-тестирование», является одним из наиболее эффективных способов измерить и оптимизировать (при этом научным образом) эффективность вашего присутствия в Интернете. Данное тестирование берет две версии определенного материала, например, это может быть целевая страница, затем одновременно запускает их перед одинаковыми по размеру аудиториями и сравнивает, какая из версия функционирует успешней. A/B тестирование настолько популярно и вызывает доверие у маркетологов благодаря тому, что при его выполнении должным образом, вы получаете точную информацию о том, какие изменения нужно внести, чтобы ваша компания стала успешней, а не просто предположения, основанные на догадках.

Вопросы о том, как провести A/B тестирование должным образом можно в изобилии обнаружить в Сети. Поэтому, чтобы помочь вам и всем тем, кто пытается запустить свое A/B тестирование, я поискал самые часто задаваемые вопросы и теперь готов выложить их, снабдив ответами. Итак, ЧАВО по A/B тестированию… Поехали!

Когда нужно использовать A/B тестирование?

Чаще всего A/B тестирование проваливается из-за нечеткости поставленных целей, так что вы и не знаете, что собираетесь тестировать. Вы можете использовать A/B тестирование для проверки, к примеру, теории, приведет ли к увеличению посещаемости целевой страницы добавление изображения на нее? Люди больше расположены нажимать на синюю кнопку или красную? Что произойдет, если изменить заголовок, чтобы подчеркнуть временный характер предложения? Все вышеперечисленные изменения легко описать количественно. У людей возникают проблемы с A/B тестированием в том случае, когда поставленная ими цель слишком расплывчата: например, если они хотят сравнить два совершенно разных дизайна с различными вариантами. Хотя это и можно сделать, но если явного победителя не выявится, то можно ошибиться или неверно истолковать причину повышения числа переходов.

Какое оптимальное количество вариантов должно быть в A/B тестировании?

Предположим, у вашей команды маркетологов прошел мозговой штурм, в ходе которого были придуманы четыре классных идеи дизайна целевой страницы. Можно попытаться запустить тестирование всех четырех, чтобы определить победителя, но мы столкнемся с той же ситуацией, что была описана выше – если присутствует больше двух вариантов, то это нельзя назвать настоящим A/B тестированием. Ряд особенностей каждого дизайна может повлиять на чистоту тестирования. Мутить воду, так сказать. Красота A/B тестирования заключается в том, что его результаты просты и конкретны. Я бы рекомендовал запускать не больше двух версий, потом вторую пару, а после сравнить победителей. Представьте, что тест – это игра на выбывание.

Что такое нулевая гипотеза?

Нулевая гипотеза гласит, что любое расхождение в результатах является результатом ошибки выборки или стандартной вариации. Подумаем об этом на примере монетки. Хотя в теории шанс выпадения орла или решки равняется 50\50, но на практике иногда вероятность составляет 51\49 или нечто другое в зависимости от шанса. Однако, чем больше раз вы подкинете монету, тем ближе вы подойдете к вероятности 50\50. В статистике, способ с помощью которого вы пытаетесь доказать верность или неверность теории называется оспариванием нулевой гипотезы. Оно заключается в том, что эксперимент проводится достаточно долго для того, чтобы исключить случайный результат. Эта концепция также носит название достижения статистической значимости.

Сколько нужно просмотров страницы, чтобы результат A/B тестирования был достоверен?

Перед тем, как вы сможете обработать результаты A/B тестирования, следует убедиться, что тестирование достигло статистической значимости. Эта точка, при которой вы получите процент уверенности в результате 95 или выше.
Хорошей новостью для вас будет то, что у многих тестировочных инструментов показатели статистической значимости уже встроены, так что вам сразу же сообщат, когда тестирование будет готово для интерпретации. Если же встроенная функция отсутствует – не расстраивайтесь, есть множество бесплатных калькуляторов и программ, рассчитывающих статистическую значимость. Вот тут есть ссылка на HubSpot , а также вы можете просмотреть блог «Бритва Оккама» для получения более подробного шаблона из Excel.

Что такое мультивариантное тестирование и каковы его отличия от A/B тестирования?

А/B тестирование обычно используется при редизайне для того, чтобы проверить эффективность конкретного изменения или теории на соответствие поставленной цели (например, привлечение количества операций). Мультивариантное тестирование рассчитано на то, что его будут использовать для проверки малых изменений на протяжение долгого периода времени. Оно работает с несколькими элементами вашего сайта и тестирует все возможные комбинации этих элементов с целью своевременной оптимизации. А/B тестирование – отличный метод, когда значимый результат необходим вам быстро. Благодаря тому, что отличия между страницами настолько ярки, становится гораздо проще сказать, какая из них будет эффективней. Этот метод также будет хорош, если через ваш сайт не проходят гигабайты трафика. Из-за того, что несколько вариантов тестируются с помощью мультивариантного тестирования, то чтобы получить значимые результаты, вам нужен сайт с большим трафиком.

Если у вас достаточно трафика для того, чтобы успешно провести мультивариантное тестирование, (хотя вы можете провести и A/B тестирование, если хотите проверить абсолютно новый дизайн или макет) то можете смело его использовать, если планируете внести минимальные изменения в страницу и понять, как определенные элементы взаимодействуют один с другим и какое воздействие они оказывают на уже существующий дизайн.

Больше не нужно искать и обзванивать каждое диджитал-агентство
Создайте конкурс на workspace.ru – получите предложения от участников CMS Magazine по цене и срокам. Это бесплатно и займет 5 минут. В каталоге 15 617 диджитал-агентств, готовых вам помочь – выберите и сэкономьте до 30%.
Создать конкурс →

Существует ли негативное влияние A/B тестирования на SEO?

Существует миф о том, что A/B тестирование негативно влияет на рейтинг в поисковых системах, поскольку его проведение может быть классифицировано как дублированный контент, чего поисковые системы очень не любят. Однако этот миф не имеет под собой никаких оснований. На самом деле, даже Мэтт Катт из Google советует проводить A/B тестирование для того, чтобы увеличить функциональность вашего сайта. На сайте Website Optimizer вы можете найти статью , посвященную этому мифу с доказательствами того, что он неверен. Если же вы все еще беспокоитесь, то можете добавить тег «no index» в изменениях страницы. Подробные инструкции о том, как использовать тег можно найти здесь .

Как и когда я могу интерпретировать результаты сплит-тестирования?

Тестирование начинается. Начинают накапливаться первые результаты. И вы уже рветесь проверить, какой же из вариантов эффективнее. Но ранние этапы тестирования – не самое лучшее время для того, чтобы начинать интерпретировать результаты. Подождите того момента, когда тестирование достигнет статистической значимости (смотрите вопрос №4) и затем вернитесь к исходной гипотезе. Тест окончательно подтвердил ее или опроверг? Если да, то можете начинать делать выводы. При анализе теста, старайтесь остаться беспристрастны, соотнося полученные результаты с конкретными изменениями. Убедитесь, что существуют четкие связи между внесенными изменениями и результатом, а также, что на него не повлияли никакие сторонние силы.

Сколько элементов мне стоит тестировать?

Хотите, чтобы ваше A/B тестирование было убедительным? Тратьте на него время, чтобы получить четкий и действенный ответ! Проблема с тестированием нескольких изменяющихся элементов заключается в том, что вы не в состоянии определить, какой из них вызвал изменения. Таким образом, хотя вы и можете увидеть, что одна страница функционирует лучше, чем другая, но при наличии трех или четырех изменившихся элементов вы не можете быть уверены, не наносит ли один из них ущерб странице, а также не можете воспроизвести удачные элементы на других страницах. Каков мой совет? Проведите серию тестов с каждым элементом по методу перебора и сможете узнать, какой из них окажется наиболее эффективным.

Что мне тестировать?

Что вы захотите протестировать – зависит только от вас, но я бы порекомендовал начать с нескольких «краеугольных камней» вашей страницы.

• Призывы к действию: даже при наличии одного элемента призыва к действию, все равно можно найти много того, что стоит протестировать. Вам всего лишь следует убедиться в том, что вы четко представляете, какой аспект призыва к действию вы тестируете. Можете проверить текст – это тот аспект призыва, который заставляет действовать читателя. Можете проверить расположение на странице, можете – форму и стиль внешнего вида. В приведенном ниже примере, была проверена форма и стиль призыва к действию, с целью выяснить, какой из них будет функционировать лучше. Вариант в форме кнопки (справа) работает значительно лучше чем включенное в изображение, благодаря чему количество операций увеличилось на 13%.
  
• Заголовок: обычно заголовок – первая вещь, которую посетитель видит на вашем сайте, поэтому силу его потенциального воздействия нельзя недооценивать. Попробуйте использовать различные варианты заголовков в A/B тестировании. Убедитесь в том, что разница в позиционировании заголовка велика и заключается не только в игре словами. Сделайте это, чтобы вы уверились в том, что же вызвало изменения.
• Изображения: Что эффективней? Изображение человека, использующего ваш продукт или изображение самого продукта? Протестируйте различные версии страниц с альтернативными изображениями, чтобы увидеть, есть ли разница в действиях пользователей.
• Длина текста: Привело ли сокращение текста на странице к созданию ясного месседжа или вам все еще нужны дополнительные послания, чтобы объяснить суть вашего предложения? Проба различных вариантов основного текста поможет определить, какое количество пояснений требуется читателю для совершения действия. Чтобы тестирование прошло корректно, сохраняйте текст и варьируйте только его объем.

Можно ли проводить A/B тестирование чего-либо кроме веб-страниц?

Да! Кроме тестирования целевых страниц и веб-страниц, многие маркетологи проводят A/B тестирование e-mail писем, PPC (оплата за клик) кампаний и призывов к действию.

• E-mail: Тестирование переменных для E-mail включает в себя тестирование темы письма, функций персонализации, имени отправителя и многого другого.
• PPC: В случае платных поисков или кампаний вы можете провести A/B тестирование заголовка, основного текста ссылки или ключевых слов.
• Призывы к действию: В этом случае, вы можете попробовать варьировать текст, его форму, цвет или расположение на странице.

Как мне найти A/B тестирование для компаний, аналогичных моей?

Существует ряд сайтов, которые предоставляют примеры и результаты совокупных A/B тестирований. Некоторые из них позволяют выполнить поиск по типу компании, и большинство из них предоставляют подробную информацию о том, как компания интерпретировала результаты теста. Если вы только начинаете, то неплохо будет прочитать некоторые из этих сайтов на предмет получения идей того, как протестировать вашу собственную компанию.

• Which Test Won : сайт Анны Голланд. Здесь есть ряд примеров, а также несколько ежегодных конкурсов, для которых вы можете предложить собственные варианты тестирований.
• Visual Website Optimizer: это сайт разработчика ПО для A/B тестирования и в своих блогах тот предлагает ознакомиться с рядом примеров, на которых вы можете поучиться.
• ABTests.com : Этот сайт больше не обновляется, однако на нем есть хороший архив тестов и шаблонов, а также ссылки на исходники тестов. Сайт был основан UX директором компании HubSpot Джошем Портером, который помимо этого дает дельные советы по проведению A/B тестирования в своем блоге, расположенном по адресу bokardo.com .

Что делать, если я не доверяю результатам?

Если вы действительно не доверяете результатам и при этом исключили любые ошибки и проблемы при проведении теста, то лучшее, что вы можете сделать – это провести его еще раз. Отнеситесь к нему, как к совершенно отдельному тесту и посмотрите, получится ли воспроизвести результаты, полученные ранее. Если воспроизведение удается снова и снова, значит результату определенно можно доверять.

Как часто мне следует проводить A/B тестирование?

Это зависит от перспектив. Хорошей идеей будет проводить тестирование постоянно для итерации вашего сайта. Только убедитесь в том, что у вашего теста есть четкая цель, которая приведет к увеличению функциональности сайта как для посетителей, так и для компании. Если же вы проводите тесты, результатом которых являются минимальные изменения или выигрыши, тогда вам стоит пересмотреть свои стратегию тестирования.

Что мне нужно, чтобы начать A/B тестирование на своем сайте?

Лучшим способом запустить A / B тестирование будет использование программы, разработанной для этого — например от HubSpot , Unbounce или Visual Website Optimizer . Если вас не смущает копание в коде, то Google предлагает бесплатный инструмент под названием Эксперименты в составе Google Analytics. Он немного отличается от стандартного A / B тестирования, но если вы технически продвинуты, то вы можете его попробовать.

Помимо размера выборки, каких еще ошибок мне опасаться?

MECLABS в прошлом году провела большое исследование, посвященное опасностям помимо размера выборки, которые могут повлиять на валидность теста. Я приведу пару типичных ошибок из него:

• Эффект истории: Что-то произошедшее во внешнем мире негативно повлияло на результаты вашего тестирования.
• Эффект инструмента: ошибка в тестировочном ПО исказила результаты тестирования.

Следует ли мне тестировать главную страницу сайта?

Хотя я и не стал бы полностью исключать A/B тестирование главной страницы, я, тем не менее, скажу, что добиться убедительных результатов от этого тестирования будет сложно. Через эту страницу проходит случайное количество трафика, приходящего от случайных посетителей, потенциальных клиентов и покупателей. На главной странице, как правило, располагается куча материалов, так что сложно будет уместить в один тест все, что необходимо для определения того, что движет покупателем. Наконец, из-за разнообразия людей, посещающих вашу страницу, сложно будет определить цель, с которой они ее посещают. Вы можете предположить, что ваша цель заключается в проверке преобразования типа потенциальный клиент – покупатель. Однако, если в ходе испытаний выбранная вами выборка будет посещаться в основном действующими, а не потенциальными клиентами, то цель изменится. Если вы хотите протестировать главную страницу, подумайте о возможности тестирования призывов к действию.

Что, если у меня нет контрольной версии?

Контрольная версия — это существующая версия целевой страницы или веб-страницы, относительно которой вы проводите тестирование. Иногда вам может понадобиться протестировать две версии страницы, которая никогда прежде не существовала… что ж, окей. Просто выберите один из вариантов и назовите его контрольным. Попробуйте выбрать тот, который больше всего отвечает нынешнему дизайну страниц, а остальные используйте в качестве материала для тестирования.

Почему сплит проходит не точно 50\50?

Иногда во время A/B тестирования вы можете заметить, что количество трафика на каждой из переменных не идентично. Это не значит, что с тестом что-то не то, просто случайные выборки работают… случайно. Вспомните про подкидывание монеты. Шанс, что выпадет орел или решка – 50\50, но иногда выпадают три решки подряд. Чем больше трафика пройдет через ваш сайт – тем ближе цифры станут к соотношению 50\50.

Когда моя версия выигрывает A/B тестирование, могу ли я ткнуть коллегам результатами в лицо?

Знаю, заманчиво, тем более, что они были так уверены, что добавление анимированных GIF приведет к увеличению числа действий. Но давайте действовать профессионально. Представьте результаты, постройте план продвижение вашего убер-дизайна, а потом, когда никто не увидит… станцуйте победный танец:

Фух, это начало ЧАВО по A/B тестированию. Какие у вас есть вопросы по A/B тестированию , на которые я еще не ответил? Оставьте их ниже, и я постараюсь на них ответить!

Оригинал: http://salesfunnel.ru/analytics/19-samy-h-chasto-zadavaemy-h-voprosov-ob-a-b-testirovanii/

Сплит-тесты. Основы и механизмы. | HiСonversion

  Сейчас мы поговорим о сплит-тестировании в таргетированной рекламе.

Мы разберем базис: что такое сплит-тестинг, как он проходит, какие существуют тактики и стратегии А/В — тестирования.

  Для начала нам необходимо понять, что такое сплит-тестирование?

  Википедия нам говорит о том, что

  A/B-тестирование (англ. A/B testing, Split testing) — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта.

 

Выше вы видите картинки, связанные с таргетом. Можно заметить, что используются три одинаковых текста, но совершенно разные картинки.

  Это и является самым простым примером объяснения, что такое сплит-тест. То есть мы меняем какой-либо элемент, а остальные остаются одинаковыми.

  Если рассматривать более подробно, какие существуют варианты сплит-тестинга, то можно отметить следующие.

   1. A/B тестирование – изменяем один элемент и смотрим, как он влияет на нашу конверсию.

   2. A/A тестирование – проверяем погрешность. Это тестирование можно назвать подготовкой к главному тестированию. Оно проводится на посадочных страницах для того, чтобы проверить, насколько к нам приходит равномерная аудитория, нет ли у нас погрешности в аудитории.

   3. Многовариантное (мультивариантное) тестирование – тестируем не один, а несколько элементов – картинка и заголовок; картинка, заголовок и текст; или для мобайла, к примеру – картинка и заголовок; для арбитража трафика можно попробовать проверить, насколько конверсионные разные посадочные страницы.

  В итоге мы тестируем разные элементы, чтобы найти из определенного количества гипотез наиболее целевую и эффективную, которая “выстрелит”.

  А что именно мы можем менять во время тестов?

   1. Тексты (и заголовки, и главная часть). Мы должны понимать, что даже одно слово меняет конверсию.

   2. Изображения  (людей привлекают формы, цвета и другие компоненты картинок, поэтому для поиска наиболее конерсионного изображения необходимотестировать несколько вариантов; даже изменение фона может влиять как на СТР, так и на саму конверсию).

   3. Целевые аудитории (сюда входят все таргетинги: базы парсинга, таргетинги по профессии и по приложениям, разный соц.-дем., возраст, пол).

   4. Разные форматы (внутри и MyTarget, и Facebook, и ВК существуют разные форматы рекламы, и у каждого из них есть собственный аукцион).

   5. Посадочные

   6. Кнопки призыва (Facebook – Call to action)

   7. Цвета на изображениях

   8. Время открутки рекламы (необходимо понимать, что в будние дни существует одно конверсионное время, в выходные – другое).

  За тестированием нобходимо постоянно следить и проводить аналитику, ведь можно как повысить конверсии, так и понизить их в случае выбора неэффективных вариантов.

  Существует 5 правил оптимизации:

 1. Проверка гипотез выбора целевой аудитории – если вы неправильно подобрали целевую аудиторию, то ни картинка, ни текст не спасут ваши конверсии.

 2. Поиск самого кликабельного креатива

 3. Сегментация аудитории (возраст, пол, город) – так как аукцион работает по принципу “работорговли”,то есть каждый пользователь имеет свою цену на рынке рекламы, но кроме этого необходимо понимать, что аудитория может дробиться на сегменты в зависимости от разных ее пртретных характеристик, аудитория – различна.

 4. Поиск продающих элементов объявлений

 5. Временные данные – набрав определенное количество транзакций, можно провести аналитику и понять, какие дни и какое время наиболее конверсионное для вас, и затем ориетироваться на эти показатели, отключая другие из открутки.

  Теперь поговорим немного о том, почему одним из главных элементов является именно изображение.

  Как мы знаем, наша главная цель рекламы в соц. сетях – сконцентрировать внимание пользователя на том месседже, который мы хотим донести. Картинки позволяют привлечь внимание уников к нашему объявлению.

  Но почему же именно изображение так важно, а не сам текст или заголовок для пользователя?

  Ответ – психология!

   – Человеку необходимо всего 13 миллисекунд на обработку изображения (Нейробиологи из Массачусетского технологического института).

   – Кроме того, мы обрабатываем изображения в 50 000 раз быстрее текста.

  Поэтому наше предположение состоит в том, что именно картинка – это первый этап работы с аудиторией.

  Даже если картинка никак не связана с вашим бизнесом. Почему? Потому что картинка должна или просто привлекать дешевый трафик, или просто заинтересовывать свою аудиторию – возможо, даже что-то интригующее, шокирующее или ужасающее.

  Если говорить о пропорциональности – насколько важна картинка и насколько важен текст, то

  Мобайл: 80% картинка, 20% текст

  Десктоп: 70% картинка, 30% текст

  А какие существуют варианты тестов?

  – Последовательно

ЦА – Картинка – Текст (Заголовок или Заголовок – Текст).

Здесь мы Находим целевую аудиторию, затем, возможно, дробим ее. Потом работаем с картинкой и текстов. Из особенностей данного вида можно отметить то, что пошагово приходится останавливать тестинг, переходя на каждый из этапов тестирования элементов.

  – Полный сплит

Мы все перемножаем – ЦА, картинки и тексты. Этот вариант хорошо работает, когда у нас нет жесткого ограничения в бюджете, но существует ограничение по времени.

  – Хаос

Из хаоса объявлений берем, что сработало и начинаем докручивать.

  Таким образом, сплит-тестирование очень удобная и важная “полезность”, которую вы должны иметь в виду для эффективного таргетинга.

A / B тестирование

Что такое A / B-тестирование?

A / B-тестирование (также известное как сплит-тестирование или сегментное тестирование) — это метод сравнения двух версий веб-страницы или приложения друг с другом, чтобы определить, какая из них работает лучше. AB-тестирование — это, по сути, эксперимент, в котором пользователям случайным образом показываются два или более варианта страницы, а статистический анализ используется для определения того, какой вариант лучше подходит для данной цели конверсии.

Запуск AB-теста, который напрямую сравнивает вариант с текущим опытом, позволяет вам задавать конкретные вопросы об изменениях на вашем веб-сайте или в приложении, а затем собирать данные о влиянии этого изменения.

Testing исключает догадки при оптимизации веб-сайта и позволяет принимать решения на основе данных, которые переводят деловые разговоры с «мы думаем» на «мы знаем». Измеряя влияние изменений на ваши показатели, вы можете убедиться, что каждое изменение дает положительные результаты.

Как работает A / B-тестирование

В A / B-тесте вы берете веб-страницу или экран приложения и изменяете его, чтобы создать вторую версию той же страницы. Это изменение может быть таким простым, как отдельный заголовок или кнопка, или представлять собой полный редизайн страницы.Затем половине вашего трафика будет показана исходная версия страницы (известная как контрольная), а половине — измененная версия страницы (вариант).

По мере того, как посетители обслуживаются либо контрольным, либо вариативным образом, их участие в каждом опыте измеряется и собирается на панели аналитики и анализируется с помощью статистического механизма. Затем вы можете определить, повлияло ли изменение опыта положительно, отрицательно или не повлияло на поведение посетителей.

Почему вам следует проводить A / B-тестирование

A / B-тестирование позволяет отдельным лицам, командам и компаниям вносить осторожные изменения в свой пользовательский опыт, собирая данные о результатах.Это позволяет им строить гипотезы и лучше понимать, почему определенные элементы их опыта влияют на поведение пользователей. С другой стороны, их можно доказать, что они ошибаются — их мнение о наилучшем опыте для достижения данной цели может быть опровергнуто с помощью A / B-теста.

Это больше, чем просто ответ на разовый вопрос или разрешение разногласий. AB-тестирование можно последовательно использовать для постоянного улучшения конкретного опыта, улучшая с течением времени единственную цель, например коэффициент конверсии.

Например, технологическая компания B2B может захотеть улучшить качество своих потенциальных клиентов и увеличить объем продаж с помощью целевых страниц кампании.Для достижения этой цели команда попытается провести A / B-тестирование изменений заголовка, визуальных изображений, полей формы, призыва к действию и общего макета страницы.

Тестирование одного изменения за раз помогает им определить, какие изменения повлияли на поведение их посетителей, а какие нет. Со временем они могут объединить эффект нескольких выигрышных изменений из экспериментов, чтобы продемонстрировать измеримое улучшение нового опыта по сравнению со старым.

Этот метод внесения изменений в взаимодействие с пользователем также позволяет оптимизировать его для достижения желаемого результата и может сделать важные шаги в маркетинговой кампании более эффективными.

Путем тестирования рекламного текста маркетологи могут узнать, какая версия привлекает больше кликов. Тестируя последующую целевую страницу, они могут узнать, какой макет лучше всего превращает посетителей в клиентов. Общие расходы на маркетинговую кампанию могут быть фактически уменьшены, если элементы каждого шага работают максимально эффективно для привлечения новых клиентов.

A / B-тестирование также может использоваться разработчиками и дизайнерами продукта для демонстрации влияния новых функций или изменений на взаимодействие с пользователем.Адаптация продукта, взаимодействие с пользователем, модальные окна и взаимодействие с продуктом можно оптимизировать с помощью A / B-тестирования, если цели четко определены и у вас есть четкая гипотеза.

Процесс тестирования A / B

Ниже представлена ​​структура A / B-тестирования, которую вы можете использовать для запуска тестов:

• Сбор данных: Ваша аналитика часто дает представление о том, где вы можете начать оптимизацию. Это помогает начать с участков вашего сайта или приложения с высокой посещаемостью, так как это позволит вам быстрее собирать данные.Ищите страницы с низким коэффициентом конверсии или высоким коэффициентом прерывания, которые можно улучшить.

• Определите цели: Ваши цели конверсии — это показатели, которые вы используете, чтобы определить, является ли вариант более успешным, чем исходная версия. Цели могут быть любыми: от нажатия кнопки или ссылки до покупки продукта и подписки по электронной почте.

• Сгенерировать гипотезу: После того, как вы определили цель, вы можете начать генерировать идеи и гипотезы A / B-тестирования, объясняющие, почему, по вашему мнению, они будут лучше, чем текущая версия.Составив список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.

• Создание вариантов: Используя программное обеспечение для A / B-тестирования (например, Optimizely), внесите желаемые изменения в элемент вашего веб-сайта или мобильного приложения. Это может быть изменение цвета кнопки, изменение порядка элементов на странице, скрытие элементов навигации или что-то полностью настраиваемое. Многие ведущие инструменты A / B-тестирования имеют визуальный редактор, который упрощает внесение этих изменений.Убедитесь, что ваш эксперимент прошел проверку качества, чтобы убедиться, что он работает должным образом.

• Провести эксперимент: Начните эксперимент и ждите, пока посетители будут участвовать! На этом этапе посетители вашего сайта или приложения будут случайным образом назначены либо для контроля, либо для изменения вашего опыта. Их взаимодействие с каждым опытом измеряется, подсчитывается и сравнивается, чтобы определить эффективность каждого из них.

• Анализ результатов: После завершения эксперимента пора проанализировать результаты.Ваше программное обеспечение для A / B-тестирования представит данные эксперимента и покажет вам разницу между работой двух версий вашей страницы и наличие статистически значимой разницы.

Если ваш вариант победил, поздравляем! Посмотрите, сможете ли вы применить уроки эксперимента на других страницах своего сайта и продолжить итерацию эксперимента, чтобы улучшить свои результаты. Если ваш эксперимент дал отрицательный результат или не дал результата, не волнуйтесь.Используйте эксперимент как обучающий опыт и создайте новую гипотезу, которую вы сможете проверить.

Каким бы ни был результат вашего эксперимента, используйте свой опыт для информирования будущих тестов и постоянно работайте над оптимизацией вашего приложения или сайта.

A / B-тестирование и SEO

Google разрешает и поощряет A / B-тестирование и заявляет, что выполнение A / B-тестирования или многовариантного тестирования не представляет никакого риска для рейтинга вашего сайта в поисковой сети. Однако можно поставить под угрозу свой рейтинг в поиске, злоупотребляя инструментом A / B-тестирования для таких целей, как маскировка.Google сформулировал несколько рекомендаций, чтобы этого не произошло:

• Без маскировки — Маскировка — это практика показа поисковым системам контента, отличного от обычного посетителя. Маскировка может привести к понижению или даже удалению вашего сайта из результатов поиска. Чтобы предотвратить маскировку, не злоупотребляйте сегментацией посетителей для отображения различного содержания для робота Googlebot на основе агента пользователя или IP-адреса.

• Используйте rel = «canonical» — если вы запускаете сплит-тест с несколькими URL-адресами, вы должны использовать атрибут rel = «canonical», чтобы указать варианты обратно на исходную версию страницы.Это поможет предотвратить запутывание робота Google в нескольких версиях одной и той же страницы.

• Используйте переадресацию 302 вместо 301 — Если вы запускаете тест, который перенаправляет исходный URL-адрес на вариант URL, используйте 302 (временное) перенаправление вместо 301 (постоянного) перенаправления. Это сообщает поисковым системам, таким как Google, что перенаправление является временным и что они должны сохранять в индексе исходный URL, а не тестовый URL.

• Запускайте эксперименты только до тех пор, пока это необходимо — Запуск тестов дольше, чем необходимо, особенно если вы обслуживаете один вариант своей страницы для большого процента пользователей, можно рассматривать как попытку обмануть поисковые системы.Google рекомендует обновить ваш сайт и удалить все варианты тестирования, как только тест будет завершен, и не запускать тесты излишне долго.

Дополнительные сведения о AB-тестировании и SEO см. В нашей статье базы знаний о том, как A / B-тестирование влияет на SEO.

Туристическая компания может захотеть увеличить количество успешных бронирований, совершенных на их веб-сайте или в мобильном приложении, или может захотеть увеличить доход от дополнительных покупок. Чтобы улучшить эти показатели, они могут протестировать варианты:

• Режимы поиска на главной странице
• Страница результатов поиска
• Дополнительная информация о продукте

Компания , занимающаяся электронной коммерцией, может захотеть увеличить количество завершенных касс, среднюю стоимость заказа или увеличить праздничные продажи.Для этого они могут провести A / B-тест:

• Акции на домашней странице
• Элементы навигации
• Компоненты воронки кассы

Технологическая компания может захотеть увеличить количество высококачественных лидов для своей группы продаж, увеличить количество пользователей бесплатной пробной версии или привлечь определенного типа покупателя. Они могут проверить:

• Детали формы свинца
• Процесс регистрации бесплатной пробной версии
• Сообщения на главной странице и призыв к действию

Примеры A / B-тестирования

Эти примеры A / B-тестирования показывают типы результатов, которые самые инновационные компании мира видели в ходе A / B-тестирования с помощью Optimizely:

Компания

Discovery A / B протестировала компоненты своего видеоплеера, чтобы привлечь внимание фанатов своего телешоу.’ Результат? Увеличение вовлеченности в видео на 6%.

ComScore A / B протестировал логотипы и отзывы, чтобы повысить социальное доказательство на целевой странице продукта и увеличить количество потенциальных клиентов на 69%.

Компания

Secret Escapes протестировала различные варианты своих мобильных страниц регистрации, которые удвоили коэффициент конверсии и увеличили общую ценность.

Что такое A / B-тестирование? Практическое руководство с примерами

Что такое A / B-тестирование?

A / B-тестирование (также известное как сплит-тестирование) — это процесс одновременного показа двух вариантов одной и той же веб-страницы разным сегментам посетителей веб-сайта и сравнения того, какой вариант приводит к увеличению количества конверсий.

A / B-тестирование

В онлайн-мире количество посетителей на вашем веб-сайте равно количеству возможностей, которые у вас есть для расширения вашего бизнеса за счет привлечения новых клиентов и построения отношений, обслуживая уже существующих. Именно ваша воронка конверсии определяет, будет ли ваш сайт привлекать хороший трафик и привлекать ли больше посетителей.

Компании хотят, чтобы посетители совершали действия (также называемые конверсией) на их веб-сайтах, и скорость, с которой сайт может управлять этим, называется его «коэффициентом конверсии».«Чем лучше оптимизирована ваша воронка, тем выше коэффициент конверсии. Одним из наиболее важных способов оптимизации воронки продаж вашего веб-сайта в цифровом маркетинге является A / B-тестирование.

Обычно при A / B-тестировании вариант, который дает более высокую конверсию, является выигрышным, и этот вариант может помочь вам оптимизировать ваш сайт для получения лучших результатов.

Показатели конверсии уникальны для каждого веб-сайта. Для электронной коммерции это может быть продажа продуктов, а для B2B — создание квалифицированных потенциальных клиентов.A / B-тестирование — один из компонентов всеобъемлющего процесса оптимизации коэффициента конверсии (CRO). Вы можете собирать качественные и количественные данные пользователей и использовать их, чтобы понять своих потенциальных клиентов и оптимизировать воронку конверсии на основе этих данных.

Почему вам следует проводить A / B-тестирование?

Если сегодня компании B2B недовольны всеми неквалифицированными лидами, которые они получают за месяц, то магазины электронной коммерции, с другой стороны, борются с высоким уровнем отказа от корзины. Между тем СМИ и издательства также имеют дело с низким уровнем вовлеченности зрителей.На эти основные показатели конверсии влияют некоторые распространенные проблемы, такие как утечки в воронке конверсии, прерывания на странице оплаты и т. Д.

Давайте посмотрим, почему вам следует проводить A / B-тестирование, чтобы справиться со всеми этими проблемами:

Решить болевые точки посетителя

Посетители вашего веб-сайта приходят для достижения определенной цели, которую они поставили перед собой. Это может быть для того, чтобы больше узнать о вашем продукте или услуге, купить продукт, прочитать / узнать больше о конкретной теме или просто просмотреть.Какой бы ни была цель пользователя, он может столкнуться с некоторыми типичными проблемами при достижении своей цели: это может быть запутанная копия или трудно найти кнопку с призывом к действию, например, купить сейчас, запросить демонстрацию и т. Д.

Неспособность достичь своих целей приводит к плохому пользовательскому опыту. Это увеличивает трение и в конечном итоге влияет на коэффициент конверсии. Используйте данные, собранные с помощью инструментов анализа поведения посетителей, таких как тепловые карты, Google Analytics и опросы веб-сайтов, чтобы решить болевые точки ваших посетителей. Это справедливо для всех предприятий, будь то электронная коммерция, путешествия, SaaS, образование, СМИ и издательское дело.

Увеличьте рентабельность инвестиций от существующего трафика

Большинство маркетологов осознали, что затраты на получение любого качественного трафика могут быть огромными. A / B-тестирование позволяет максимально использовать имеющийся трафик и помогает увеличить конверсию, не тратя средства на приобретение нового трафика. A / B-тестирование может дать вам высокую рентабельность инвестиций, поскольку иногда даже самые незначительные изменения могут привести к значительному увеличению конверсии.

Уменьшить показатель отказов

Одним из наиболее важных показателей, которые необходимо отслеживать для оценки эффективности вашего веб-сайта, является его показатель отказов.Высокий показатель отказов вашего веб-сайта может быть вызван множеством причин, например, слишком большим количеством вариантов, несоответствием ожиданий и т. Д. Поскольку разные веб-сайты служат разным целям и обслуживают разную аудиторию, нет надежного способа исправить показатель отказов. Один из способов сделать это — провести A / B-тестирование. С помощью A / B-тестирования вы можете тестировать несколько вариантов элемента вашего веб-сайта, пока не найдете лучшую версию. Это улучшает ваш пользовательский опыт, заставляет посетителей проводить больше времени на вашем сайте и снижает показатель отказов.

Внесение изменений с низким уровнем риска

Вносите незначительные, постепенные изменения на свою веб-страницу с помощью A / B-тестирования вместо того, чтобы изменять дизайн всей страницы. Это может снизить риск снижения вашего текущего коэффициента конверсии. A / B-тестирование позволяет вам нацелить свои ресурсы на максимальный результат с минимальными изменениями, что приводит к увеличению рентабельности инвестиций. Примером этого могут быть изменения в описании товара. Вы можете выполнить A / B-тест, если планируете удалить или обновить описание продукта.Вы не знаете, как ваши посетители отреагируют на изменение.

A / B-тестирование — это один из способов определить, в какую сторону наклонятся весы. Другим примером модификации с низким уровнем риска может быть введение нового изменения функции. Перед тем, как вводить новую функцию, запуск этой новой функции в качестве A / B-теста в копии веб-страницы может сделать результат более предсказуемым. Это может быть очень полезно, если изменения повлияют на данные о клиентах или воронку покупок. Изменения без тестирования могут окупиться, а могут и не окупиться.Тестирование, а затем внесение изменений может сделать результат определенным.

Достичь статистически значимых улучшений

A / B-тестирование полностью основано на данных, и здесь нет места для догадок, интуиции или инстинктов. Вы можете легко определить «победителя» и «проигравшего» на основе статистически значимых улучшений таких показателей, как время, проведенное на странице, количество демо-запросов, процент отказа от корзины, рейтинг кликов и т. Д.

Измените дизайн своего веб-сайта с выгодой

Редизайн может варьироваться от небольшого изменения текста или цвета в кнопке CTA до полного обновления веб-страницы.Решение о внедрении той или иной версии всегда должно основываться на A / B-тестировании на основе данных. Не прекращайте тестирование, пока дизайн находится на стадии завершения. По мере выхода новой версии протестируйте другие элементы веб-страницы, чтобы убедиться, что наиболее интересная версия видна посетителям.

Как вы проводите A / B-тест?

A / B-тестирование предлагает очень систематический способ выяснить, что работает, а что не работает в той или иной маркетинговой кампании. Большинство маркетинговых усилий направлено на увеличение трафика.По мере того, как получение трафика становится все более сложным и дорогостоящим, первостепенное значение приобретает предоставление вашим пользователям лучших впечатлений от посещения вашего веб-сайта. Это поможет им достичь своих целей и совершить конверсию самым быстрым и эффективным способом. A / B-тестирование в маркетинге позволяет максимально использовать имеющийся трафик.

Структурированная программа A / B-тестирования может сделать маркетинговые усилия более прибыльными, выявляя наиболее важные проблемные области, требующие оптимизации. В настоящее время A / B-тестирование переходит от отдельного действия, проводимого один раз в синюю луну, к более структурированному и непрерывному действию, которое всегда должно выполняться с помощью четко определенного процесса CRO.В общих чертах он включает следующие шаги:

Шаг 1: Исследование

Прежде чем составлять план A / B-тестирования, необходимо провести тщательное исследование того, как веб-сайт работает в настоящее время. Вам нужно будет собрать данные обо всем, что касается того, сколько пользователей заходят на сайт, какие страницы привлекают наибольший трафик, каковы различные цели конверсии разных страниц и т. Д. Используемые здесь инструменты A / B-тестирования могут включать количественную аналитику веб-сайта. такие инструменты, как Google Analytics, Omniture, Mixpanel и т. д.Они помогают определить ваши наиболее посещаемые страницы, страницы с наибольшим количеством потраченного времени или страницы с самым высоким показателем отказов. Например, вы можете начать с составления короткого списка страниц с наибольшим потенциалом дохода или наибольшим дневным трафиком. После этого вы можете глубже погрузиться в качественные аспекты этого трафика.

Инструменты

Heatmap, такие как бесплатный генератор тепловых карт VWO на базе искусственного интеллекта, являются ведущей технологией, используемой для определения того, где пользователи проводят больше всего времени, их поведения при прокрутке и т. Д.Это может помочь вам определить проблемные области на вашем веб-сайте. Еще один популярный инструмент, используемый для более глубокого исследования, — это опросы пользователей веб-сайтов. Опросы могут выступать в качестве прямого связующего звена между командой вашего веб-сайта и конечным пользователем и часто выявляют проблемы, которые могут быть упущены в совокупных данных. Кроме того, вы можете получить качественную информацию из инструментов записи сеансов, которые собирают данные о поведении посетителей для выявления пробелов в пути пользователя. Фактически, инструменты записи сеанса в сочетании с опросами для анализа форм могут помочь понять, почему пользователи не могут заполнить вашу форму.Это может быть из-за некоторых полей, которые запрашивают личную информацию или пользователей, возможно, из-за того, что вы слишком долго отказывались от ваших форм.

Как мы видим, как количественные, так и качественные исследования могут помочь нам подготовиться к следующему этапу процесса, сделав действенные наблюдения для следующих шагов.

Шаг 2: соблюдайте и сформулируйте гипотезу

Станьте ближе к своим бизнес-целям, регистрируя исследовательские наблюдения и создавая гипотезы на основе данных, направленные на увеличение конверсии.Без них ваша тестовая кампания будет похожа на ненаправленный компас. Инструменты качественного и количественного исследования могут помочь вам только в сборе данных о поведении посетителей. Теперь вы обязаны проанализировать и разобраться в этих данных. Лучший способ использовать каждый бит собранных данных — это проанализировать их, внимательно изучить их, а затем получить информацию о веб-сайтах и ​​пользователях для формулирования гипотез на основе данных. Когда у вас будет готовая гипотеза, проверьте ее по различным параметрам, таким как степень вашей уверенности в ее победе, ее влияние на макро-цели, насколько легко ее настроить и т. Д.

Шаг 3. Создайте вариации

Следующим шагом в вашей программе тестирования должно быть создание варианта, основанного на вашей гипотезе, и его A / B-тестирование против существующей версии (контроля). Вариант — это другая версия вашей текущей версии с изменениями, которые вы хотите протестировать. Вы можете протестировать несколько вариантов для элемента управления, чтобы увидеть, какой из них работает лучше всего. Создайте вариант, основанный на вашей гипотезе о том, что может работать с точки зрения UX. Например, достаточно ли людей, не заполняющих формы? В вашей форме слишком много полей? Требуется ли личная информация? Возможно, вы можете попробовать вариант с более короткой формой или другой вариант, опуская поля, в которых запрашивается личная информация.

Шаг 4: Запустите тест

Прежде чем мы перейдем к этому шагу, давайте сначала рассмотрим, сколько существует методов тестирования и когда какой из них использовать. A / B-тестирование, многовариантное тестирование, тестирование с разделением URL-адресов и многостраничное тестирование — это четыре различных типа тестирования. О первом виде мы уже говорили, а именно о A / B-тестировании. Теперь перейдем к другим видам тестирования.

Тестирование разделенных URL-адресов

Многие люди путают тестирование с разделением URL-адресов с A / B-тестированием, но они принципиально разные.Тестирование разделенных URL-адресов — это тестирование нескольких версий вашей веб-страницы, размещенных на разных URL-адресах. Трафик вашего веб-сайта делится между контрольным и вариативным, и для определения победившей версии измеряются соответствующие коэффициенты конверсии. Основное различие между тестом с разделением URL-адресов и тестом A / B заключается в том, что в случае теста с разделением URL-адресов варианты размещаются на разных URL-адресах.

A / B-тестирование предпочтительнее, когда требуются только изменения внешнего интерфейса, но тестирование с разделением URL-адресов предпочтительнее, когда необходимы значительные изменения дизайна и не нужно затрагивать существующий дизайн веб-сайта.

Создание теста с разделением URL-адресов в целом состоит из следующих шагов:

• Настройка страниц для теста с разделением URL-адресов
• Добавление целей конверсии и оценка продолжительности теста
• Завершение теста
• Предварительный просмотр и запуск теста

Многовариантное тестирование (MVT)

Многовариантное тестирование — это метод, при котором изменения вносятся в несколько разделов веб-страницы и создаются варианты для всех возможных комбинаций.В этом методе тестирования вы можете проверить все комбинации в рамках одного теста. Многовариантный тест помогает определить, какой элемент на веб-странице больше всего влияет на коэффициент конверсии. Это сложнее, чем A / B-тестирование, и лучше всего подходит для продвинутых профессионалов в области маркетинга.

Например, вы решили протестировать две версии каждого изображения главного героя и цвет кнопки CTA на веб-странице. Используя MVT, вы можете создать один вариант для изображения главного героя и один для цвета кнопки CTA.Чтобы протестировать все версии, создайте комбинации всех вариантов, как показано на изображении ниже.

После проведения многовариантного тестирования всех комбинаций вы можете использовать полученные данные, чтобы определить, какая комбинация больше всего влияет на коэффициент конверсии вашей страницы, и развернуть эту комбинацию.

Многостраничное тестирование

Многостраничное тестирование — это форма экспериментов, когда вы можете протестировать изменения определенных элементов на нескольких страницах.

Есть два способа выполнить многостраничное тестирование.Во-первых, вы можете взять все страницы своей воронки продаж и создать новые версии каждой, что составит вашу воронку продаж конкурента, а затем протестировать ее с контролем. Это называется Многостраничное тестирование воронки . И, во-вторых, вы можете проверить, как добавление или удаление повторяющихся элементов, таких как значки безопасности, отзывы и т. Д., Может повлиять на конверсии по всей воронке. Это называется классическим тестированием или обычным многостраничным тестированием .

В дополнение к только что рассмотренным четырем типам существует еще два различных статистических подхода к тестированию: частотный и байесовский.

Частотный подход вероятности определяет вероятность события в зависимости от того, как часто (отсюда и название) конкретное событие происходит в большом количестве испытаний / точек данных. Применительно к миру A / B-тестирования можно увидеть, что любому, кто использует частотный подход, потребуется больше данных (функция большего количества протестированных посетителей и более длительных периодов времени), чтобы прийти к правильным выводам. Это то, что ограничивает вас в расширении любых усилий по A / B-тестированию.

Согласно подходу Frequentist, важно определить продолжительность вашего A / B-теста на основе размера выборки, чтобы сделать правильные выводы теста. Тесты основаны на том, что каждый эксперимент можно повторять бесконечное количество раз.

Следование этому подходу требует большого внимания к деталям для каждого теста, который вы запускаете, потому что для одного и того же набора посетителей вам придется запускать тесты большей продолжительности, чем байесовский подход. Следовательно, к каждому тесту нужно относиться с особой осторожностью, потому что есть только несколько тестов, которые вы можете запустить в заданный период времени.В отличие от байесовской статистики, она менее интуитивна и часто оказывается трудной для понимания.

С другой стороны, байесовская статистика — это теория, основанная на байесовской интерпретации вероятности, где вероятность выражается как степень веры в событие. Проще говоря, чем больше вы знаете о событии, тем лучше и быстрее вы сможете предсказать конечный результат. Согласно байесовской статистике вероятность не является фиксированным значением, а может изменяться по мере сбора новой информации.Это мнение может быть основано на прошлой информации, такой как результаты предыдущих тестов или другой информации о событии.

В отличие от частотного подхода, байесовский подход обеспечивает практические результаты почти на 50% быстрее, чем старый метод частотного анализа, при этом уделяя особое внимание статистической значимости. В любой момент, при условии, что у вас под рукой достаточно данных, байесовский подход сообщает вам вероятность того, что вариант A будет иметь более низкий коэффициент конверсии, чем вариант B или элемент управления.Он не имеет определенного ограничения по времени и не требует от вас глубоких знаний статистики.

Проще говоря, байесовский подход сродни тому, как мы подходим к вещам в повседневной жизни. Например, вы потеряли мобильный телефон в доме. Как частотник, вы должны использовать только GPS-трекер для его отслеживания и проверять только область, на которую указывает трекер. Будучи байесовцем, вы будете использовать GPS-трекер и проверять все места в доме, где ранее нашли потерянный телефон.В первом случае событие считается фиксированным значением, а во втором — все прошлые и будущие знания используются для определения местоположения телефона. Чтобы получить более четкое представление об этих двух аспектах, взгляните на сравнение ниже:

Частотный подход	Байесовский подход
Статистика по частотам соответствует определению вероятности «Вероятность как долгосрочная частота».	Байесовская статистика использует понятия «вероятность как степень веры» и «логическая вероятность»
В этом подходе вы используете только данные вашего текущего эксперимента.Частотное решение — провести тесты и сделать выводы.	В этом подходе вы используете свои предварительные знания, полученные из предыдущих экспериментов, и пытаетесь включить эту информацию в свои текущие данные. Байесовское решение состоит в том, чтобы делать выводы на основе имеющихся данных.
Приведите оценочное среднее (и стандартное отклонение) выборок, в которых A превосходит B, но полностью игнорирует случаи, когда B превосходит A.	Принимает во внимание вероятность того, что A превосходит B, а также рассчитывает диапазон ожидаемого улучшения.
Требует, чтобы тест запускался в течение заданного периода времени, чтобы получить из него правильные данные, но не может определить, насколько близко или далеко на самом деле находятся A и B. Он не может сказать вам вероятность того, что А. победит Б.	Обеспечивает больший контроль над тестированием. Теперь вы можете лучше планировать, иметь более точную причину для завершения тестов и вдаваться в подробности того, насколько близко или далеко друг от друга находятся A и B.

После того, как вы выбрали один из этих типов и подходов в зависимости от потребностей и бизнес-целей вашего веб-сайта, начните тестирование и дождитесь установленного времени для достижения статистически значимых результатов.Помните об одном: независимо от того, какой метод вы выберете, ваш метод тестирования и статистическая точность определят конечные результаты. Например, одним из таких условий является время проведения тестовой кампании. Время и продолжительность теста должны быть точными. Рассчитайте продолжительность теста, учитывая ваше среднее количество посетителей за день и месяц, предполагаемый существующий коэффициент конверсии, минимальное улучшение коэффициента конверсии, которое вы ожидаете, количество вариантов (включая контроль), процент посетителей, включенных в тест, и т. Д.

Воспользуйтесь нашим байесовским калькулятором, чтобы рассчитать продолжительность проведения A / B-тестов для получения статистически значимых результатов.

Шаг 5: Анализ результатов и развертывание

Несмотря на то, что это последний шаг в поиске победителя кампании, анализ результатов чрезвычайно важен. Поскольку A / B-тестирование требует непрерывного сбора и анализа данных, именно на этом этапе начинается весь ваш путь. По завершении теста проанализируйте результаты теста, учитывая такие показатели, как процентное увеличение, уровень достоверности, прямое и косвенное влияние на другие показатели и т. Д.После того, как вы рассмотрели эти числа, если тест пройдет успешно, примените выигрышный вариант. Если тест остается безрезультатным, сделайте выводы из него и примените их в своих последующих тестах.

A / B-тестирование позволяет систематически прорабатывать каждую часть вашего веб-сайта для повышения конверсии. Используйте комплексный набор для экспериментов VWO и превратите каждый тест в успешное обучение.

Что можно провести A / B-тест?

Последовательность конверсии вашего сайта определяет судьбу вашего бизнеса.Поэтому каждая часть контента, которая достигает ваших пользователей через ваш веб-сайт, должна быть оптимизирована на максимальный потенциал. Это особенно верно для элементов, которые могут влиять на поведение посетителей и коэффициент конверсии. При проведении программы оптимизации необходимо провести A / B-тестирование следующих ключевых элементов (список, однако, не является исчерпывающим):

Копия

1. Заголовки и подзаголовки

Заголовок — это первое, что видят посетители на вашей странице. Заголовок определяет ваше первое впечатление в глазах посетителя.И первое впечатление — вот что определяет, пойдет ли посетитель дальше по вашей воронке конверсии. Вот почему крайне необходимо проявлять особую осторожность в отношении текста, стиля написания и форматирования вашего веб-сайта. Убедитесь, что ваш заголовок привлекает внимание посетителей, как только они попадают на ваш сайт. Делайте его кратким и конкретным, четко рассказывая о том, что представляет собой ваш продукт или услуга и какие преимущества они имеют. Попробуйте A / B-тестирование различных шрифтов, размеров, копий и сообщений.

2.Кузов

В теле вашего веб-сайта должно быть четко указано, что посетитель получает — что его ждет. Он также должен соответствовать заголовку вашей страницы. Хорошо написанный заголовок и основной текст могут увеличить шансы превратить ваш сайт в магнит для конверсии. При написании контента для основной части страницы помните об этих двух параметрах:

• Стиль письма: Используйте правильную тональность в зависимости от целевой аудитории. Ваша копия должна быть адресована непосредственно конечному пользователю и отвечать на все его вопросы.Он должен состоять из ключевых фраз, улучшающих удобство использования, и стилистических элементов, подчеркивающих важные моменты.
• Форматирование: Используйте соответствующие заголовки и подзаголовки, разбейте копию на небольшие и простые абзацы и отформатируйте ее для скиммеров, используя маркеры или списки.

Конструкция и верстка

Поскольку все кажется таким важным, предприятиям иногда сложно найти только самые важные элементы, которые нужно оставить на своем веб-сайте. С помощью A / B-тестирования эту проблему можно решить раз и навсегда.Например, в магазине электронной коммерции страница вашего продукта чрезвычайно важна с точки зрения конверсии. Одно можно сказать наверняка: на нынешнем этапе технического прогресса покупатели хотят видеть все в высоком разрешении перед покупкой. Поэтому страница вашего продукта должна быть максимально оптимизирована с точки зрения дизайна и макета. Наряду с копией дизайн и макет страницы включают изображения (изображения продуктов, изображения предложений и т. Д.) И видео (видео продуктов, демонстрационные видео, рекламные объявления и т. Д.)). Страница вашего продукта должна отвечать на все вопросы ваших пользователей, не сбивая их с толку и не загромождая их:

• Предоставьте четкую информацию: На основе продуктов, которые вы продаете, находите творческие способы предоставления всего необходимого контекста и точных описаний продуктов, чтобы потенциальные покупатели не были перегружены неорганизованной копией при поиске ответов на свои вопросы. Делайте четкие копии и предоставляйте легко заметные таблицы размеров, вариантов цвета и т. Д.
• Выделите отзывы покупателей: Добавляйте как положительные, так и отрицательные отзывы о своих продуктах. Отрицательные отзывы повышают авторитет вашего магазина.
• Напишите простой контент: Не путайте потенциальных покупателей сложным языком в стремлении украсить свой контент. Сделайте это простым и интересным для чтения.
• Создайте ощущение срочности: Добавьте теги, такие как «осталось только 2 на складе», обратный отсчет, например «предложение заканчивается через 2 часа 15 минут», выделите эксклюзивные скидки и праздничные предложения и т. Д., чтобы подтолкнуть потенциального покупателя к немедленной покупке.

Другими важными страницами, дизайн которых должен быть актуальным, являются такие страницы, как домашняя страница и целевая страница. Используйте A / B-тестирование, чтобы найти наиболее оптимизированную версию этих важных страниц. Протестируйте множество идей, таких как добавление большого количества белого пространства и изображений высокой четкости, демонстрация видеороликов о продуктах вместо изображений или тестирование различных макетов. Разберите свои страницы, используя информацию из карт кликов, чтобы анализировать мертвые клики и определять отвлекающие факторы.Чем меньше загромождена ваша домашняя страница и целевые страницы, тем больше вероятность, что посетители смогут легко и быстро найти то, что они ищут.

Навигация

Еще один элемент вашего веб-сайта, который вы можете оптимизировать с помощью A / B-тестирования, — это его навигация. Это наиболее важный элемент, когда речь идет о предоставлении отличного пользовательского опыта. Убедитесь, что у вас есть четкий план структуры вашего веб-сайта и того, как разные страницы будут связаны друг с другом и будут реагировать в рамках этой структуры.

Навигация по вашему сайту начинается на главной странице. Домашняя страница — это родительская страница, из которой появляются все остальные страницы и связываются со всеми страницами. Убедитесь, что ваша структура такова, что посетители быстро находят то, что ищут, и не теряются из-за неработающей навигации. Каждый щелчок должен направлять посетителей на желаемую страницу.

Вот несколько идей, которые могут помочь вам в вашей навигационной игре:

• Соответствуйте ожиданиям посетителей, разместив панель навигации в стандартных местах, таких как горизонтальная навигация вверху и вертикальная вниз слева, чтобы упростить использование вашего веб-сайта.
• Сделайте навигацию на своем веб-сайте предсказуемой, сохраняя контент схожей тематики в одном сегменте или в связанных сегментах, чтобы снизить когнитивную нагрузку посетителя. Например, в магазине электронной коммерции вы можете продавать различные наушники и наушники. Некоторые из них могут быть проводными, другие — беспроводными или наушниками. Сгруппируйте их таким образом, чтобы, когда посетитель ищет наушники или наушники, он находил все эти разновидности в одном месте, вместо того, чтобы искать каждый вид по отдельности.
• Создание плавного, удобного для навигации веб-сайта с простой структурой предсказуемость и соответствие ожиданиям посетителей может увеличить шансы на повышение коэффициента конверсии и создать приятный клиентский опыт, заставляющий посетителей возвращаться на ваш веб-сайт.

Формы

Формы

— это средства, с помощью которых потенциальные клиенты связываются с вами. Они становятся еще более важными, если являются частью вашей воронки покупок. Подобно тому, как нет двух одинаковых веб-сайтов, нет двух одинаковых форм, предназначенных для разной аудитории. В то время как для некоторых предприятий небольшая всеобъемлющая форма может работать, для многих других длинные формы могут творить чудеса с качеством их потенциальных клиентов. Вы можете выяснить, какой стиль лучше всего подходит вашей аудитории, используя исследовательские инструменты / методы, такие как анализ формы, чтобы определить проблемную область в вашей форме и работать над ее оптимизацией.

CTA (Призыв к действию)

CTA — это то место, где происходят все реальные действия — независимо от того, завершают ли посетители свои покупки и конвертируют, заполняют ли они форму подписки или нет, и многое другое, такие действия, которые имеют прямое отношение к вашему коэффициенту конверсии. С помощью A / B-тестирования вы можете A / B-тестировать различные копии, размещение, цвета, размеры и т. Д. Для вашего CTA, пока не найдете выигрышный вариант, а затем протестируйте выигравшую версию, чтобы еще больше оптимизировать ее.

Социальное доказательство

Социальное доказательство может принимать форму рекомендаций и отзывов от экспертов в определенных областях, от самих знаменитостей и клиентов, а также в виде отзывов, упоминаний в СМИ, наград и значков, сертификатов и т. Д.Наличие этих доказательств подтверждает утверждения, сделанные вашим веб-сайтом. A / B-тестирование может помочь вам определить, является ли добавление социального доказательства хорошей идеей, какие виды социальных доказательств вам следует использовать и сколько вы должны добавить. Вы можете протестировать различные варианты использования социального доказательства, макета и размещения.

Каких ошибок следует избегать при A / B-тестировании?

Ошибка №1: Отсутствие планирования плана оптимизации

• Недействительная гипотеза: При A / B-тестировании гипотеза формулируется перед проведением теста.От этого зависят все последующие шаги: что нужно изменить, зачем это менять, каков ожидаемый результат и так далее. Если вы начнете с неправильной гипотезы, вероятность успеха теста снижается.
• Поверить на слово другим: Конечно, кто-то еще изменил процесс регистрации и увидел рост конверсий на 30%. Но это результат их теста, основанный на их трафике, их гипотезе и их целях. Вот почему вам не следует внедрять чужие результаты тестирования в том виде, в каком они есть, на свой веб-сайт: нет двух одинаковых веб-сайтов — то, что сработало для них, может не сработать для вас.Их трафик будет другим; их целевая аудитория может быть разнообразной; их метод оптимизации мог отличаться от вашего и т. д.

Ошибка № 2: Тестирование слишком большого количества элементов вместе

Отраслевые эксперты предостерегают от проведения слишком большого количества тестов одновременно. Совместное тестирование слишком большого количества элементов веб-сайта затрудняет определение того, какой элемент больше всего повлиял на успех или неудачу теста. Кроме того, чем больше элементов проверено, тем больше должен быть трафика на этой странице, чтобы оправдать статистически значимое тестирование.Таким образом, приоритезация тестов необходима для успешного A / B-тестирования.

Ошибка № 3: игнорирование статистической значимости

Если интуиция или личное мнение находят отражение в формулировке гипотезы или когда вы ставите цели A / B-теста, скорее всего, это не удастся. Независимо от всего, успешен ли тест или нет, вы должны позволить ему пройти весь его курс, чтобы он достиг своей статистической значимости.

По какой-то причине эти результаты теста, хорошие или плохие, дадут вам ценную информацию и помогут лучше спланировать предстоящее тестирование.
Вы можете получить больше информации о различных типах ошибок, занимаясь математикой A / B-тестирования.

Ошибка № 4: Использование несбалансированного трафика

Компании часто заканчивают тестирование несбалансированного трафика. Для получения значимых результатов A / B-тестирование следует проводить с соответствующим трафиком. Использование меньшего или большего трафика, чем требуется для тестирования, увеличивает шансы вашей кампании на провал или получение неубедительных результатов.

Ошибка № 5: Проверка на неправильную продолжительность

В зависимости от вашего трафика и целей запускайте A / B-тесты в течение определенного периода, пока они не достигнут статистической значимости.Выполнение теста в течение слишком длительного или слишком короткого периода может привести к тому, что тест не пройден или даст незначительные результаты. Тот факт, что одна версия вашего веб-сайта, кажется, выигрывает в течение первых нескольких дней после запуска теста, не означает, что вы должны отозвать ее раньше времени и объявить победителя. Слишком длительная кампания также является распространенной ошибкой, которую совершают компании. Продолжительность, в течение которой вам нужно запустить тест, зависит от различных факторов, таких как существующий трафик, существующий коэффициент конверсии, ожидаемое улучшение и т. Д.

Узнайте, как долго вам следует проводить тест.

Ошибка № 6: Несоблюдение итеративного процесса

A / B-тестирование — это итеративный процесс, при котором каждый тест строится на результатах предыдущих тестов. Компании отказываются от A / B-тестирования после того, как их первый тест не удался. Но чтобы повысить шансы на успех следующего теста, вы должны извлечь информацию из своих последних тестов при планировании и развертывании следующего теста. Это увеличивает вероятность успешного завершения теста со статистически значимыми результатами.

Кроме того, не прекращайте тестирование после успешного. Повторно тестируйте каждый элемент, чтобы получить наиболее оптимизированную версию, даже если они являются продуктом успешной кампании.

Ошибка № 7: Отсутствие учета внешних факторов

Тесты должны проводиться в сопоставимые периоды для получения значимых результатов. Неверно сравнивать посещаемость веб-сайта в дни, когда он получает самый высокий трафик, с днями, когда он становится свидетелем самого низкого трафика из-за внешних факторов, таких как распродажи, праздники и т. Д.Поскольку сравнение здесь не проводится между лайками, шансы прийти к незначительному выводу увеличиваются. Используйте калькулятор значимости A / B-теста VWO, чтобы узнать, были ли достигнутые результаты значительными или нет.

Ошибка № 8: Использование неправильных инструментов

С ростом популярности A / B-тестирования появилось множество недорогих инструментов. Не все эти инструменты одинаково хороши. Некоторые инструменты резко замедляют работу вашего сайта, в то время как другие не тесно интегрированы с необходимыми качественными инструментами (тепловыми картами, записями сеансов и т. Д.), Что приводит к ухудшению качества данных.A / B-тестирование с использованием таких неисправных инструментов может поставить под угрозу успех вашего теста с самого начала.

Ошибка № 9: Придерживайтесь простого ванильного метода A / B-тестирования

В то время как большинство маркетологов рекомендуют начинать свое экспериментальное путешествие с проведения небольших A / B-тестов на своем веб-сайте, чтобы понять весь процесс, но, в конечном итоге, придерживаться простого ванильного метода A / B-тестирования не сработает. чудеса для вашей организации. Например, если вы планируете полностью обновить одну из страниц своего веб-сайта, вам следует использовать сплит-тестирование.Между тем, если вы хотите протестировать серию перестановок кнопок CTA, их цвета, текста и изображения баннера вашей страницы, вы должны использовать многовариантное тестирование.

Каковы проблемы A / B-тестирования?

ROI от A / B-тестирования может быть огромным и положительным. Это поможет вам направить свои маркетинговые усилия на наиболее ценные элементы, точно выявляя проблемные области. Но время от времени, как маркетолог, вы можете столкнуться с некоторыми трудностями при принятии решения о проведении A / B-тестирования.Шесть основных проблем заключаются в следующем:

Задача № 1: Решить, что тестировать

Вы не можете просто проснуться однажды и решить протестировать определенные элементы по вашему выбору. Горькая реальность, которую сейчас осознают маркетологи, заключается в том, что не все небольшие изменения, которые легко реализовать, всегда являются лучшими при рассмотрении ваших бизнес-целей и часто не могут оказаться значительными. То же самое и со сложными тестами. Здесь в игру вступают данные веб-сайта и данные анализа посетителей. Эти точки данных помогают вам преодолеть проблему «незнания, что тестировать» из вашего бесконечного отставания, обычно указывая на элементы, которые могут иметь наибольшее влияние на ваши коэффициенты конверсии, или направляя вас на страницы с наибольшим трафиком.

Задача № 2: Формулирование гипотез

Большой резонанс с первой проблемой вызывает вторая задача: сформулировать гипотезу. Вот где пригодится важность наличия научных данных в вашем распоряжении. Если вы тестируете без надлежащих данных, вы можете проиграть свой бизнес. С помощью данных, собранных на первом этапе (т. Е. Исследования) A / B-тестирования, вам необходимо выяснить, в чем заключаются проблемы с вашим сайтом, и выдвинуть гипотезу.Это будет невозможно, если вы не будете следовать хорошо структурированной и спланированной программе A / B-тестирования.

Задача № 3: Зафиксировать размер выборки

Немногие маркетологи являются статистиками. Мы часто совершаем ошибку, называя окончательные результаты слишком быстро, потому что чаще всего стремимся к быстрым результатам. Как маркетологи, мы должны знать о размерах выборки, особенно о том, насколько большой должен быть размер нашей тестовой выборки с учетом посещаемости нашей веб-страницы.

Задача № 4: Анализ результатов испытаний

С A / B-тестированием вы увидите успехи и неудачи на каждом этапе.Однако эта проблема актуальна как для успешных, так и для неудачных тестов:

• Успешные кампании: Замечательно, что вы провели два теста, и оба они дали статистически значимые результаты. Что дальше? Да, развертывание победителя, но что после этого? То, что маркетологи часто не умеют делать или сталкиваются с трудностями, — это интерпретация результатов тестирования. Интерпретация результатов теста после их завершения чрезвычайно важна для понимания того, почему тест был успешным. Следует задать фундаментальный вопрос — почему? Почему клиенты вели себя именно так? Почему с одной версией они отреагировали определенным образом, а с другими — нет? Какие идеи посетителей вы собрали и как их использовать? Многие маркетологи часто затрудняются ответить или не могут ответить на эти вопросы, которые не только помогут вам разобраться в текущем тесте, но и предоставят исходные данные для будущих тестов.

• Неудачные кампании: Иногда маркетологи даже не оглядываются на неудачные тесты. Им либо тяжело с ними справляться, например, рассказывать команде о неудавшихся тестах, либо не знать, что с ними делать. Ни один неудачный тест не считается неудачным, если вы не извлечете из него уроки. Неудачные кампании следует рассматривать как столпы, которые в конечном итоге приведут вас к успеху. Данные, собранные в течение всего процесса A / B-тестирования, даже если в итоге тест не удался, похожи на неоткрытый ящик пандоры.Он содержит множество ценных данных и идей, которые могут дать вам фору для следующего теста.

Кроме того, из-за отсутствия надлежащих знаний о том, как анализировать собранные данные, шансы на повреждение данных многократно возрастают. Например, нет конца прокрутке данных тепловых карт или данных записи сеансов, если у вас нет процесса. Между тем, если вы используете для этого разные инструменты, то шансы утечки данных при попытке их интеграции также увеличиваются.Вы также можете не получить каких-либо важных идей, блуждая по данным без направления, и утонуть в них.

Задача № 5: Поддержание культуры тестирования

Одна из важнейших характеристик программ оптимизации, таких как CRO и A / B-тестирование, заключается в том, что это итеративный процесс. Это также одно из основных препятствий, с которыми сталкиваются предприятия и маркетологи. Чтобы ваши усилия по оптимизации были плодотворными в долгосрочной перспективе, они должны сформировать цикл, который примерно начинается с исследования и заканчивается исследованием.

Эта задача заключается не только в том, чтобы приложить усилия или получить необходимые знания. Иногда из-за нехватки ресурсов компании редко или периодически используют A / B-тестирование и не могут выработать надлежащую культуру тестирования.

Задание № 6: изменение настроек эксперимента в середине A / B-теста

Когда вы запускаете эксперимент, вы должны полностью принять его. Старайтесь не изменять настройки эксперимента, не редактировать и не пропускать цели тестирования, а также не экспериментировать с дизайном элемента управления или варианта во время выполнения теста.Более того, не пытайтесь также изменять распределение трафика на вариации, потому что это не только изменит размер выборки ваших вернувшихся посетителей, но и сильно исказит результаты ваших тестов.

Итак, стоит ли проводить A / B-тестирование с учетом всех этих проблем?

Судя по всем имеющимся свидетельствам и данным по A / B-тестированию, даже после этих проблем, A / B-тестирование обеспечивает высокую рентабельность инвестиций. С точки зрения маркетинга, A / B-тестирование исключает возможность догадок в процессе оптимизации.Стратегические маркетинговые решения основываются на данных, что упрощает разработку идеальной маркетинговой стратегии для веб-сайта с четко определенными целями. Без программы A / B-тестирования ваша маркетинговая команда будет просто проверять элементы наугад или на основе интуиции и предпочтений. Такое тестирование без данных обречено на провал.

Если вы начнете с хорошего веб-сайта и анализа данных о посетителях, первые три проблемы можно легко решить. Имея в своем распоряжении обширные данные о веб-сайте и посетителях, вы можете расставить приоритеты для своей очереди, и вам даже не придется решать, что тестировать.Данные будут говорить все. С такими качественными данными в сочетании с вашим бизнес-опытом формулирование рабочей гипотезы становится просто вопросом просмотра доступных данных и принятия решения о том, какие изменения лучше всего подходят для вашей конечной цели. Чтобы преодолеть третью проблему, вы можете рассчитать подходящий размер выборки для своей тестовой кампании с помощью множества доступных сегодня инструментов.

Последние две проблемы связаны с вашим подходом к A / B-тестированию. Если вы относитесь к A / B-тестированию как к итеративному процессу, половина четвертой задачи может даже не оказаться на вашей тарелке.А другая половина может быть решена путем найма экспертов в этой области или обучения правильному анализу данных и результатов исследований. Правильный подход к решению последней задачи — направить ваши ресурсы на наиболее важные для бизнеса элементы и спланировать программу тестирования таким образом, чтобы с ограниченными ресурсами вы могли создать культуру тестирования.

Как составить календарь A / B-тестирования — планирование и расстановка приоритетов

A / B-тестирование никогда не следует рассматривать как изолированное упражнение по оптимизации.Это всегда должно быть частью более широкой целостной программы CRO, и к нему нужно относиться. Эффективная программа оптимизации всегда состоит из двух частей: планирования и расстановки приоритетов. Однажды проснуться и решить протестировать свой сайт — это не то, что делается в CRO. Хороший мозговой штурм вместе с данными о посетителях в реальном времени — единственный способ решить эту проблему.

Проще говоря, вы начинаете с анализа существующих данных веб-сайта и собираете данные о поведении посетителей, а затем переходите к подготовке списка невыполненных действий на их основе, расстановке приоритетов, тестированию и последующему анализу идей на будущее.В конце концов, когда вы, как маркетологи, проведете достаточно специальных тестов, вы захотите масштабировать свою программу A / B-тестирования, чтобы сделать ее более структурированной. Первый шаг к этому — составление календаря A / B-тестирования. Хороший календарь тестирования или хорошая программа CRO проведут вас через 4 этапа:

Этап 1: Мероприятие

Этот этап является этапом планирования вашей программы A / B-тестирования. Он включает в себя измерение эффективности вашего веб-сайта с точки зрения реакции посетителей на него. На этом этапе вы сможете понять, что происходит на вашем веб-сайте, почему это происходит и как посетители на это реагируют.Все, что происходит на вашем сайте, должно соответствовать вашим бизнес-целям. Поэтому, прежде всего, вы должны быть уверены, каковы ваши бизнес-цели. Такие инструменты, как Google Analytics, могут помочь вам измерить ваши цели. После того, как вы четко определились с целями, настройте GA для своего веб-сайта и определите ключевые показатели эффективности.

Возьмем в качестве примера интернет-магазин чехлов для мобильных телефонов. Бизнес-цель этого магазина — увеличить доход за счет увеличения онлайн-заказов и продаж.KPI, установленный для отслеживания этой цели, будет тогда количеством проданных чехлов для телефонов.

Однако этот этап не заканчивается просто определением целей и ключевых показателей эффективности веб-сайта. Это также включает понимание ваших посетителей. Мы уже обсудили различные инструменты, которые можно использовать для сбора данных о поведении посетителей. После сбора данных войдите в систему наблюдений и начните с этого момента планировать свою кампанию. Чем лучше данные, тем выше продажи.

После того, как определены бизнес-цели, установлены ключевые показатели эффективности и проанализированы данные веб-сайта и данные о поведении посетителей, пора подготовить бэклог.

Backlog: «скопление невыполненных задач или необработанных материалов». [1]

Ваш бэклог должен представлять собой исчерпывающий список всех элементов веб-сайта, которые вы решите протестировать на основе проанализированных данных. Когда готовый бэклог с резервной копией данных готов, следующим шагом будет формулирование гипотезы для каждого элемента невыполненной работы. С данными, собранными на этом этапе, и их анализом, теперь у вас будет достаточно контекста того, что происходит на вашем веб-сайте и почему. Сформулируйте на их основе гипотезу.Например, после анализа данных, собранных с использованием инструментов количественного и качественного исследования на 1-м этапе, вы приходите к выводу, что отсутствие нескольких вариантов оплаты привело к тому, что максимальное количество потенциальных клиентов упало на странице оформления заказа. Таким образом, вы предполагаете, что «добавление нескольких способов оплаты поможет сократить количество выпадений на странице оформления заказа».

Короче говоря, к концу этого этапа вы будете знать, что и почему ваш сайт.

Этап 2. Приоритет

Следующий этап включает определение приоритетности ваших тестовых возможностей.Расстановка приоритетов помогает вам с научной точки зрения отсортировать несколько гипотез. К настоящему времени вы должны быть полностью оснащены данными веб-сайта, данными посетителей и четко понимать свои цели. С бэклогом, который вы подготовили на первом этапе, и готовой гипотезой для каждого кандидата, вы на полпути к своей дорожной карте оптимизации. Теперь наступает основная задача этого этапа: расстановка приоритетов.

На этапе 2 вы должны быть полностью подготовлены для выявления проблемных областей вашего веб-сайта и утечек в вашей воронке продаж. Но не все направления деятельности имеют равный деловой потенциал.Поэтому становится крайне необходимо взвесить кандидатов, ожидающих выполнения, прежде чем выбирать тех, которые вы хотите протестировать. При расстановке приоритетов для тестовой кампании вы должны помнить о нескольких вещах, таких как потенциал для улучшения, ценность и стоимость страницы, важность страницы с точки зрения бизнеса, посещаемость страницы и т. Д.

Но как вы можете гарантировать, что никакая субъективность не будет отражена в вашей структуре приоритезации? Можете ли вы всегда быть объективным на 100%? Как люди, мы придаем огромное значение внутренним чувствам, личным мнениям, идеям и ценностям, потому что это то, что помогает нам в повседневной жизни.Но CRO — это не повседневная жизнь. Это научный процесс, который требует от вас объективности и принятия обоснованных решений и выбора на основе данных. Лучший способ избавиться от этой субъективности — принять систему определения приоритетов.

Существует множество схем приоритизации, которые используют даже эксперты, чтобы разобраться в своих огромных невыполненных задачах. На этой странице вы узнаете о самых популярных фреймворках, которые использует большинство маркетологов — фреймворке приоритизации CIE, фреймворке приоритизации PIE и модели LIFT.

1. Система определения приоритетов CIE

В структуре CIE есть три параметра, по которым вы должны оценить свой тест по шкале от 1 до 5:

• Доверие: По шкале от 1 до 5, 1 означает низкий уровень достоверности, 5 — высокий уровень достоверности. Выберите, насколько вы уверены в достижении ожидаемого улучшения с помощью гипотезы.
• Важность : По шкале от 1 до 5, 1 означает низкую важность, а 5 — высокую важность.Выберите, насколько важен тест (для которого создается гипотеза).
• Легкость : По шкале от 1 до 5, 1 соответствует высокому уровню сложности, а 5 — низкому уровню сложности. Оцените, насколько сложно будет реализовать изменения, выявленные для теста.

Прежде чем оценивать свои гипотезы, рассмотрите следующие 3 вещи:

Насколько вы уверены в успехе?

Создание прототипа целевой аудитории пользователя может помочь вам определить потенциал гипотезы.Имея четкое представление о своей аудитории, вы можете сделать обоснованное предположение о том, будет ли эта гипотеза устранять опасения и сомнения пользователей и подталкивать их к конверсии или нет.

Насколько ценен трафик, для которого вы проводите этот тест?

Ваш веб-сайт может привлекать большое количество посетителей, но не все посетители становятся покупателями. Не все конвертируются. Например, гипотеза, построенная на странице оформления заказа, имеет большее значение, чем гипотеза, построенная на странице характеристик продукта.Это связано с тем, что посетители на странице оформления заказа находятся глубоко в вашей воронке конверсии и имеют более высокие шансы на конверсию, чем посетители на странице характеристик вашего продукта.

Насколько легко выполнить этот тест?

Далее следует определение простоты выполнения вашего теста. Попробуйте ответить на несколько вопросов: потребуется ли с вашей стороны много разработки стратегии для реализации гипотезы? Какие усилия требуются, чтобы спроектировать и разработать решение, предлагаемое гипотезой? Могут ли изменения, предложенные в гипотезе, быть реализованы с использованием только визуального редактора, или это требует добавления специального кода? Только после того, как вы ответите на все эти и другие подобные вопросы, вы можете оценить своего кандидата в невыполненные задания по параметру ослабления.

2. Структура определения приоритетов PIE

Структура PIE была разработана, чтобы ответить на вопрос: «Где я должен тестировать в первую очередь?». Вся цель этапа определения приоритетов в вашем путешествии по A / B-тестированию — найти ответ на этот самый вопрос. В рамках PIE говорится о трех критериях, которые следует учитывать при выборе того, что и когда тестировать: потенциал, важность и легкость.

Потенциал означает способность страницы улучшаться. Между тем, этап планирования предоставляет вам все данные, необходимые для определения этого.

Важность относится к ценности страницы: сколько трафика приходит на страницу. Если вы определили проблемную страницу, но на ней нет трафика, то эта страница имеет меньшее значение по сравнению с другими страницами с более высоким трафиком.

Третий и последний критерий — легкость. Легкость определяет, насколько сложно запустить тест на определенной странице или элементе. Один из способов определить легкость тестирования страницы — это использовать такие инструменты, как анализатор целевой страницы, чтобы определить текущее состояние ваших целевых страниц, оценить количество и масштаб изменений, которые для этого потребуются, и определить приоритеты, какие из них сделать или нужно ли это делать на все.Это важно с точки зрения ресурсов. Многие компании отказываются от идеи проведения кампании A / B-тестирования из-за нехватки ресурсов. Эти ресурсы бывают двух видов:

• Человеческие ресурсы: Несмотря на то, что CRO и A / B-тестирование использовалось в прошлом, только в последние несколько лет они вышли на передний план. Из-за этого в большом сегменте рынка нет специальной команды по оптимизации, а когда она и есть, то обычно ограничивается горсткой людей.Вот здесь и пригодится запланированный календарь оптимизации. Имея должным образом спланированное и расставленное по приоритетам отставание, небольшая команда CRO может сосредоточить свои ограниченные ресурсы на важных задачах.
• Инструменты: Столь же популярными, как CRO и A / B-тестирование, становятся сотни инструментов A / B-тестирования — как низкого, так и высокого уровня. Без экспертной точки зрения, если компании выберут один из множества, скажем самый дешевый, и начнут A / B-тестирование каждого отдельного элемента в бэклоге, они не придут к статистически значимому выводу.Для этого есть две причины: первая: тестирование без определения приоритетов обречено на провал и не принесет никакой прибыли для бизнеса. Во-вторых, не все инструменты одинакового качества. Некоторые инструменты могут быть более дорогостоящими, но они либо интегрированы с хорошими инструментами качественного и количественного исследования, либо являются прекрасными автономными инструментами, что делает их более чем способными производить статистически значимые результаты. В то время как другой лот может быть дешевле и заманить предприятия во время нехватки капитала и с огромным отставанием, эти инструменты будут для них только инвестиционным убытком без каких-либо выгод.Расстановка приоритетов поможет вам разобраться в своем отставании и выделить те небольшие ресурсы, которые у вас есть, на прибыльного кандидата на тестирование.

Кандидаты в невыполненные задания должны быть отмечены в зависимости от сложности их тестирования с точки зрения технической и экономической простоты. Вы можете количественно оценить каждого потенциального кандидата как возможности для бизнеса на основе вышеуказанных критериев и выбрать наивысший балл. Например, как и в бизнесе электронной коммерции, вы можете протестировать свою домашнюю страницу, страницу продукта, страницу оформления заказа и страницу с благодарностью (рейтингом).Теперь, в соответствии со структурой PIE, вы выстраиваете их в ряд и отмечаете их потенциал, важность и простоту:

* из 10 баллов по критериям.

3. ПОДЪЕМНИК Модель

Модель LIFT [2] — еще одна популярная платформа оптимизации конверсии, которая помогает анализировать веб- и мобильные приложения и разрабатывать хорошие гипотезы A / B-тестирования. Для оценки впечатлений с точки зрения посетителя страницы используются 6 коэффициентов преобразования: ценностное предложение, ясность, актуальность, отвлечение, срочность и тревога.

С установкой приоритетов вы можете подготовить календарь A / B-тестирования как минимум на 6–12 месяцев. Это не только даст вам время и все необходимое для подготовки к тесту, но и поможет спланировать ваши ресурсы.

Этап 3: A / B-тест

Третий и наиболее ответственный этап — этап тестирования. После этапа приоритезации у вас будут все необходимые данные и приоритетный бэклог. После того, как вы сформулировали гипотезы, соответствующие вашей цели, и расставили приоритеты, создайте варианты и отметьте тест.Пока ваш тест запущен, убедитесь, что он соответствует всем требованиям для получения статистически значимых результатов перед закрытием, например, тестирование точного трафика, отсутствие тестирования слишком большого количества элементов вместе, тестирование на правильную продолжительность и т. Д.

Этап 4: повторить

Этот этап посвящен изучению ваших прошлых и текущих тестов и их применению в будущих тестах. Как только ваш тест будет работать в течение установленного времени, остановите тест и начните анализировать собранные таким образом данные.Первое, что вы поймете, — это одна из многих версий, которые тестировались, показала лучшие результаты и выиграла. Пришло время вам и вашей команде выяснить, почему это произошло. У вашего теста может быть 3 результата:

• Ваш вариант или один из вариантов будет иметь статистическую значимость.
• Ваш контроль был лучшей версией и победил вариацию / с.
• Ваш тест не прошел и дал незначительные результаты. Определите значимость результатов вашего теста с помощью таких инструментов, как калькулятор значимости A / B-теста.

В первых двух сценариях не прекращайте тестирование только потому, что у вас есть победитель. Внесите улучшения в эту версию и продолжайте тестирование. В третьем сценарии вспомните все шаги и определите, где вы ошиблись в процессе, и повторите тест после исправления ошибки.

Вот загружаемый образец календаря A / B-тестирования для справки. Чтобы использовать эту таблицу, нажмите в главном меню «Файл», а затем нажмите «Сделать копию».

Файл> Сделать копию

При масштабировании программы A / B-тестирования помните о следующих моментах:

1. Возвращение к предыдущему завершенному тесту: При наличии расписанного по приоритетам ваша команда оптимизации будет иметь четкое представление о том, что они будут тестировать дальше и какой тест необходимо запускать, когда.После того, как вы протестировали каждый элемент или большинство элементов в невыполненной работе, пересмотрите каждую успешную, а также неудачную кампанию. Проанализируйте результаты теста и определите, достаточно ли данных, чтобы оправдать запуск другой версии теста. Если есть, то перезапустите тест — с необходимыми правками и доработками.
2. Увеличение частоты тестирования: Хотя вы всегда должны быть осторожны, тестируя слишком много элементов вместе, увеличение частоты тестирования имеет важное значение для масштабирования вашей программы тестирования.Ваша команда оптимизации должна будет спланировать это таким образом, чтобы ни один из тестов не повлиял на других или на производительность вашего сайта. Один из способов сделать это — запустить тесты одновременно на разных веб-страницах вашего веб-сайта или протестировать элементы одной и той же веб-страницы в разные периоды времени. Это не только увеличит вашу частоту тестирования, но и ни один из тестов не повлияет на другие. Например, вы можете одновременно протестировать по одному элементу каждой из вашей домашней страницы, страницы оформления заказа и страницы регистрации за один раз, а также другие элементы (по одному элементу за раз) этих страниц после завершения текущего теста.
3. Интервал между тестами: Это вытекает из предыдущего пункта. Если вы посмотрите на календарь выше, вы увидите, что не более двух тестов перекрывают друг друга в каждую неделю. Стремясь увеличить частоту тестирования, не идите на компромисс с общим коэффициентом конверсии вашего сайта. Если у вас есть два или более важных элемента, которые нужно протестировать на одной и той же веб-странице, выделите их интервалом. Как указывалось ранее, одновременное тестирование слишком большого количества элементов веб-страницы затрудняет определение того, какой элемент больше всего повлиял на успех или неудачу теста.Допустим, вы хотите протестировать одну из целевых страниц своего объявления. Вы блокируете тестирование CTA, чтобы увеличить количество регистраций, и баннеры, чтобы уменьшить показатель отказов и увеличить затраченное время. Для CTA на основании ваших данных вы решаете изменить копию. Что касается баннера, вы решаете протестировать видео на статическом изображении. Вы развертываете оба теста одновременно, и в итоге обе ваши цели были достигнуты. Проблема здесь в том, что данные показали, что, хотя количество регистраций увеличилось благодаря новому призыву к действию, видео (помимо снижения показателя отказов и увеличения среднего времени, проведенного на странице) также помогло в этом.Большинство людей, которые смотрели видео, также подписались. Проблема теперь в том, что, поскольку вы не проставили промежутки между двумя тестами, стало невозможно определить, какой элемент больше всего способствовал увеличению числа регистраций. Если бы вы лучше рассчитали время для двух тестов, можно было бы получить гораздо более важные сведения?
4. Отслеживание нескольких показателей: Обычно вы измеряете эффективность A / B-теста на основе одной цели конверсии и полностью доверяете этой цели, чтобы помочь вам найти выигрышный вариант.Но иногда выигрышный вариант влияет и на другие цели веб-сайта. Приведенный выше пример применим и здесь. Помимо снижения показателя отказов и увеличения затрачиваемого времени, видео также способствовало увеличению числа регистраций. Чтобы масштабировать программу A / B-тестирования, отслеживайте несколько показателей, чтобы получить больше преимуществ с меньшими усилиями.

A / B-тестирование и SEO

Что касается влияния SEO на A / B-тестирование, Google прояснил ситуацию в своем сообщении в блоге, озаглавленном «Тестирование веб-сайтов и поиск в Google».”[3] Важные фрагменты этого поста кратко изложены ниже:

Без маскировки

Маскировка — отображение одного набора содержания для людей и другого набора для робота Google — противоречит нашим рекомендациям для веб-мастеров, независимо от того, проводите вы тест или нет. Убедитесь, что вы не решаете, обслуживать ли тест или какой вариант контента обслуживать, в зависимости от агента пользователя. Примером этого всегда может служить исходный контент, когда вы видите пользовательский агент «Googlebot». Помните, что нарушение наших правил может привести к понижению рейтинга вашего сайта или даже его удалению из результатов поиска Google, что, вероятно, не является желаемым результатом вашего теста.

Использовать только переадресацию 302

Если вы проводите A / B-тест, который перенаправляет пользователей с исходного URL на альтернативный URL, используйте 302 (временное) перенаправление, а не 301 (постоянное). Это сообщает поисковым системам, что это перенаправление является временным — оно будет действовать только до тех пор, пока вы проводите эксперимент — и что они должны сохранить исходный URL-адрес в своем индексе, а не заменять его целью перенаправления ( тестовая страница). Перенаправления на основе JavaScript также получили зеленый свет от Google.

Запустить эксперименты соответствующей продолжительности

Время, необходимое для надежного тестирования, будет зависеть от таких факторов, как коэффициент конверсии и объем трафика, который получает ваш веб-сайт. Хороший инструмент тестирования должен сказать вам, когда вы собрали достаточно данных, чтобы сделать надежные выводы. После завершения теста вам следует обновить свой сайт желаемым вариантом (вариантами) и как можно скорее удалить все элементы теста, такие как альтернативные URL-адреса или тестовые сценарии и разметка.

Использовать rel = «canonical» Links

Google предлагает использовать атрибут ссылки rel = «canonical» [4] для всех альтернативных URL-адресов, чтобы вы могли подчеркнуть, что исходный URL-адрес на самом деле является предпочтительным. Это предложение проистекает из того факта, что rel = «canonical» более точно соответствует вашему намерению в этой ситуации по сравнению с другими методами, такими как отсутствие метатега индекса. Например, если вы тестируете варианты страницы продукта, вы не хотите, чтобы поисковые системы не индексировали страницу вашего продукта.Вы просто хотите, чтобы они поняли, что все тестовые URL-адреса являются близкими дубликатами или вариациями исходного URL-адреса и должны быть сгруппированы вместе, причем исходный URL-адрес является главным. Иногда в этих случаях использование без индекса вместо rel = «canonical» в такой ситуации может иногда иметь неожиданные плохие последствия.

Примеры A / B-тестирования

A / B-тестирование в СМИ и издательском деле

Некоторые цели медиа и издательского бизнеса могут заключаться в увеличении читательской аудитории и аудитории, увеличении подписок, увеличении времени, проводимого посетителями на своем веб-сайте, увеличении количества просмотров видео и других элементов контента с помощью совместного использования в социальных сетях и т. Д.Вы можете попробовать протестировать варианты модальных форм подписки по электронной почте, рекомендуемый контент, кнопки обмена в социальных сетях, выделение предложений подписки и другие рекламные варианты.

Любой из нас, кто является пользователем Netflix, может поручиться за свой стриминговый опыт. Но не все знают, как им удается делать это так хорошо. Вот как — Netflix следует структурированной и строгой программе A / B-тестирования, чтобы предоставить то, что другие компании пытаются реализовать даже сегодня, несмотря на многие усилия, — отличный пользовательский интерфейс.Каждое изменение, которое Netflix вносит на свой веб-сайт, перед развертыванием проходит интенсивный процесс A / B-тестирования. Один из примеров того, как они это делают, — использование персонализации.

Netflix широко использует персонализацию на своей домашней странице. На основе профиля каждого пользователя Netflix персонализирует домашнюю страницу, чтобы обеспечить максимальное удобство для каждого пользователя. Они решают, сколько строк находится на главной странице и какие шоу / фильмы помещаются в строки на основе истории потоковой передачи и предпочтений пользователей.

Они проделывают то же самое с титульными страницами СМИ. На этих страницах Netflix персонализирует, какие заголовки мы, скорее всего, будем смотреть, эскизы, которые мы видим на них, какой текст заголовка побуждает нас щелкнуть, помогает ли социальное доказательство облегчить наше решение и т. Д. И это только верхушка айсберга.

A / B-тестирование в индустрии электронной коммерции

Посредством A / B-тестирования интернет-магазины могут увеличить среднюю стоимость заказа, оптимизировать последовательность оформления заказа, снизить процент отказа от корзины и т. Д.Вы можете попробовать проверить: способ отображения стоимости доставки и где, если и как выделена функция бесплатной доставки, настройки текста и цвета на странице оплаты или страницы оформления заказа, видимость отзывов или оценок и т. Д.

В индустрии электронной коммерции Amazon находится на переднем крае оптимизации конверсии, отчасти благодаря своему масштабу, а отчасти благодаря их огромной приверженности обеспечению наилучшего качества обслуживания клиентов. Среди множества революционных методов, которые они привнесли в индустрию электронной коммерции, наиболее плодотворной является их «заказ в один клик».Представленная в конце 1990-х годов после долгого тестирования и анализа, функция заказа в один клик позволяет пользователям совершать покупки без необходимости использовать корзину для покупок.

После того, как пользователи вводят данные своей платежной карты по умолчанию и адрес доставки, все, что им нужно сделать, это нажать кнопку и дождаться доставки заказанных продуктов. При размещении заказов пользователям не нужно повторно вводить данные для выставления счетов и доставки. Благодаря заказу в 1 клик пользователи перестали игнорировать легкость покупки и перейти в другой магазин.Это изменение оказало такое огромное влияние на бизнес, что Amazon запатентовал (срок действия которого истек) в 1999 году. Фактически, в 2000 году даже Apple купила лицензию на то же самое для использования в своем интернет-магазине.

У людей, работающих над оптимизацией веб-сайта Amazon, не бывает внезапных моментов «эврики» для каждого вносимого изменения. Именно благодаря непрерывному и структурированному A / B-тестированию Amazon обеспечивает удобство работы пользователей. Каждое изменение на веб-сайте сначала тестируется на их аудитории, а затем внедряется.Если бы вы заметили воронку покупок Amazon, вы бы поняли, что, хотя она более или менее повторяет воронки покупок других веб-сайтов, каждый элемент в ней полностью оптимизирован и соответствует ожиданиям аудитории.

Каждая страница, начиная с домашней страницы и заканчивая страницей оплаты, содержит только основные сведения и ведет к точному следующему шагу, необходимому для дальнейшего продвижения пользователей в воронку конверсии. Кроме того, с использованием обширной информации о пользователях и данных веб-сайтов каждый шаг упрощается до максимально возможного уровня, чтобы соответствовать ожиданиям пользователей.

Возьмем, к примеру, их вездесущую тележку для покупок.

В правом верхнем углу главной страницы Amazon есть небольшой значок корзины, который остается видимым независимо от того, на какой странице веб-сайта вы находитесь.

Значок — это не просто ярлык для корзины или напоминание о добавленных продуктах. В текущей версии предлагается 5 вариантов:

• Продолжить покупки (если в корзину нет товаров)
• Узнать о сегодняшних предложениях (если товары не добавлены в корзину)
• Список желаний (если в корзину не добавлены товары

• Перейти к оформлению заказа (когда в корзине есть товары)
• Войдите в систему, чтобы включить оплату в один клик (когда товары в корзине)

Одним щелчком мыши по крошечному значку, предлагающему так много опций, когнитивная нагрузка пользователей снижена, и они имеют отличный пользовательский опыт.Как видно на приведенном выше снимке экрана, на той же странице корзины также предлагаются аналогичные продукты, чтобы клиенты могли вернуться на веб-сайт и продолжить покупки. Все это достигается одним оружием: A / B-тестированием.

A / B-тестирование в индустрии туризма

Увеличьте количество успешных бронирований на вашем веб-сайте или в мобильном приложении, ваш доход от дополнительных покупок и многое другое с помощью A / B-тестирования. Вы можете попробовать протестировать режимы поиска на домашней странице, страницу результатов поиска, презентацию дополнительных продуктов, индикатор выполнения заказа и т. Д.

В индустрии путешествий Booking.com легко превосходит все другие компании электронной коммерции, когда дело доходит до использования A / B-тестирования для их оптимизации. Они проверяют, как будто это никого не касается. С самого начала Booking.com рассматривал A / B-тестирование как беговую дорожку, которая дает эффект маховика для увеличения дохода. По масштабу A / B-тесты Booking.com не имеют себе равных, особенно когда речь идет о тестировании их копии.

Пока вы читаете это, на Booking запущено около 1000 A / B-тестов.com на сайте. Несмотря на то, что Booking.com уже более десяти лет проводит A / B-тестирование, они по-прежнему считают, что могут сделать больше, чтобы улучшить пользовательский опыт. И это то, что делает Booking.com лучшим в игре. С момента основания компании Booking.com включил A / B-тестирование в свой повседневный рабочий процесс. Они увеличили скорость тестирования до текущего уровня, устранив HiPPO и отдав приоритет данным в первую очередь. А чтобы еще больше увеличить скорость тестирования, все Booking.Сотрудникам было разрешено тестировать идеи, которые, по их мнению, могли помочь развитию бизнеса.

Этот пример демонстрирует, на что Booking.com может пойти, чтобы оптимизировать взаимодействие пользователей с веб-сайтом. В 2017 году Booking.com решил расширить сферу своей деятельности, предложив наряду с отелями аренду жилья для отдыха. Это привело к тому, что Booking.com стал партнером Outbrain, собственной рекламной платформы, чтобы помочь расширить регистрацию владельцев недвижимости по всему миру.

В первые дни после запуска команда Booking.com понял, что, хотя многие владельцы недвижимости завершили первый шаг регистрации, они застряли на следующих шагах. В это время для процесса регистрации использовались страницы, созданные для платного поиска из собственных кампаний.

Обе команды решили работать вместе и создали три версии копии целевой страницы для Booking.com. К вариациям были добавлены дополнительные детали, такие как социальное доказательство, награды, признания, пользовательские вознаграждения и т. Д.

Тест длился две недели и привел к увеличению количества зарегистрированных владельцев на 25%.Результаты тестирования также показали значительное снижение стоимости каждой регистрации.

A / B-тестирование в индустрии B2B / SaaS

Привлекайте потенциальных клиентов для своей группы продаж, увеличивайте количество запросов на бесплатную пробную версию, привлекайте целевых покупателей и выполняйте другие подобные действия, тестируя и совершенствуя важные элементы вашего механизма формирования спроса. Чтобы достичь этих целей, маркетинговые команды размещают на своих веб-сайтах наиболее релевантный контент, рассылают рекламу потенциальным покупателям, проводят вебинары, проводят специальные продажи и многое другое.Но все их усилия будут потрачены зря, если целевая страница, на которую направляются клиенты, не будет полностью оптимизирована для обеспечения наилучшего взаимодействия с пользователем.

Целью A / B-тестирования SaaS является обеспечение максимального удобства пользователей и повышение конверсии. Вы можете попробовать протестировать компоненты формы для потенциальных клиентов, бесплатную пробную подписку, обмен сообщениями на домашней странице, текст CTA, социальное доказательство на домашней странице и т. Д.

POSist, ведущая платформа для управления рестораном на основе SaaS, обслуживающая более 5000 клиентов в более чем 100 местах в шести странах, хотела увеличить количество запросов на демонстрацию.

Их домашняя страница веб-сайта и страница «Свяжитесь с нами» являются наиболее важными страницами в их воронке продаж. Команда POSist хотела уменьшить количество выпадений на этих страницах. Для этого команда создала два варианта домашней страницы, а также два варианта страницы «Свяжитесь с нами» для тестирования. Давайте посмотрим на изменения, внесенные на главную страницу. Так выглядел элемент управления:

Команда POSist предположила, что добавление на веб-сайт более релевантного и ориентированного на конверсию контента улучшит пользовательский опыт и повысит конверсию.Таким образом, они создали два варианта, которые нужно протестировать против контроля. Вот как выглядели вариации:

Control был сначала протестирован против Варианта 1, и победителем стал Вариант 1. Для дальнейшего улучшения страницы вариант 1 был протестирован против Варианта 2, при этом вариант 2 оказался победителем. Новый вариант увеличил количество посещений страницы примерно на 5%.

Заключение

После прочтения этой всеобъемлющей статьи об A / B-тестировании вы должны быть полностью готовы к планированию собственной дорожной карты по оптимизации.Прилежно выполняйте каждый шаг и остерегайтесь всех крупных и мелких ошибок, которые вы можете совершить, если не придаете данным значение, которого они заслуживают. A / B-тестирование имеет неоценимое значение, когда речь идет о повышении коэффициента конверсии вашего сайта.

Если провести его с полной отдачей и имеющимися у вас знаниями, A / B-тестирование может снизить многие риски, связанные с проведением программы оптимизации. Это также значительно улучшит UX вашего сайта, удалив все слабые ссылки и найдя наиболее оптимизированную версию вашего сайта.

Если вы нашли это руководство полезным, распространите информацию и помогите коллегам-маркетологам провести A / B-тест, не попадаясь на самые распространенные ошибки. Удачного тестирования!

Часто задаваемые вопросы по A / B-тестированию

Что такое A / B-тестирование?

A / B-тестирование — это процесс сравнения двух вариантов элемента страницы, обычно путем тестирования реакции пользователей на вариант A по сравнению с вариантом B и определения того, какой из двух вариантов более эффективен.

Что такое A / B-тестирование в цифровом маркетинге?

В цифровом маркетинге A / B-тестирование — это процесс одновременного показа двух версий одной и той же веб-страницы разным сегментам посетителей веб-сайта с последующим сравнением того, какая версия улучшает конверсию веб-сайта.

Почему мы проводим A / B-тестирование?

Мы проводим A / B-тестирование по разным причинам. Некоторые из них включают решение болевых точек посетителя, увеличение количества конверсий или потенциальных клиентов на веб-сайте и снижение показателя отказов. Пожалуйста, прочтите наше руководство, чтобы узнать остальные причины.

Что такое A / B-тестирование и многомерное тестирование?

При A / B-тестировании трафик разделяется между двумя или более совершенно разными версиями веб-страницы. При многовариантном тестировании несколько комбинаций нескольких ключевых элементов страницы сравниваются друг с другом, чтобы выяснить, какая комбинация лучше всего подходит для цели теста.

A Повторный курс по A / B-тестированию

В наши дни все дело в данных. Лидеры не хотят принимать решения, если у них нет доказательств. Это, конечно, хорошо, и, к счастью, есть много способов получить информацию, не полагаясь на свои инстинкты. Одним из наиболее распространенных методов, особенно в онлайн-настройках, является A / B-тестирование.

Чтобы лучше понять, что такое A / B-тестирование, откуда оно возникло и как его использовать, я поговорил с Кайзером Фангом, который основал программу прикладной аналитики в Колумбийском университете и является автором Junk Charts, блога, посвященного критическому анализу. данных и графики в СМИ.Его последняя книга — Number Sense: How to Use Big Data to Your Advantage .

Что такое A / B-тестирование?

A / B-тестирование, по сути, это способ сравнить две версии чего-либо, чтобы выяснить, какая из них работает лучше. Хотя он чаще всего ассоциируется с веб-сайтами и приложениями, Фунг говорит, что этому методу почти 100 лет.

В 1920-х годах статистик и биолог Рональд Фишер открыл наиболее важные принципы, лежащие в основе A / B-тестирования и рандомизированных контролируемых экспериментов в целом.«Он не был первым, кто провел подобный эксперимент, но он был первым, кто выяснил основные принципы и математику и превратил их в науку», — говорит Фунг.

Фишер проводил сельскохозяйственные эксперименты, задавая такие вопросы, как: что произойдет, если я внесу больше удобрений на эту землю? Принципы сохранились, и в начале 1950-х годов ученые начали проводить клинические испытания в медицине. В 1960-х и 1970-х годах маркетологи адаптировали эту концепцию для оценки кампаний прямого отклика (например, приведет ли открытка или письмо для целевых клиентов к увеличению продаж?).

A / B-тестирование в его нынешнем виде появилось в 1990-х годах. Фунг говорит, что за прошедшее столетие математика, лежащая в основе тестов, не изменилась. «Это те же основные концепции, но теперь вы делаете это онлайн, в среде реального времени и в другом масштабе с точки зрения количества участников и количества экспериментов».

Как работает A / B-тестирование?

Вы начинаете A / B-тест, решая, что именно вы хотите проверить. Фунг приводит простой пример: размер кнопки подписки на вашем сайте.Тогда вам нужно знать, как вы хотите оценивать его работу. В этом случае предположим, что ваша метрика — это количество посетителей, которые нажимают на кнопку. Чтобы запустить тест, вы показываете двум группам пользователей (назначаемых случайным образом, когда они посещают сайт) разные версии (где отличается только размер кнопки) и определяете, какая из них больше всего повлияла на ваш показатель успеха. В этом случае, какой размер кнопки вызвал нажатие большего числа посетителей?

В реальной жизни есть много вещей, которые влияют на то, щелкнет ли кто-нибудь.Например, может случиться так, что пользователи мобильного устройства с большей вероятностью нажмут кнопку определенного размера, в то время как на настольном компьютере пользователи будут рисовать другого размера. Здесь может помочь рандомизация — и это очень важно. Выбирая случайным образом, какие пользователи входят в какую группу, вы сводите к минимуму вероятность того, что другие факторы, такие как мобильные устройства по сравнению с настольными компьютерами, будут в среднем определять ваши результаты.

«A / B-тест можно рассматривать как самый простой вид рандомизированного контролируемого эксперимента», — говорит Фунг. «В простейшей форме есть два лечения, и одно действует как контроль другого.«Как и во всех рандомизированных контролируемых экспериментах, вы должны оценить размер выборки, необходимый для достижения статистической значимости, что поможет вам убедиться, что результат, который вы видите,« связан не только с фоновым шумом », — говорит Фунг.

Иногда вы знаете, что определенные переменные, обычно те, которыми нелегко манипулировать, сильно влияют на показатель успеха. Например, мобильные пользователи вашего сайта, как правило, меньше нажимают на что-либо по сравнению с пользователями настольных компьютеров. Рандомизация может привести к тому, что набор A будет содержать немного больше мобильных пользователей, чем набор B, что может привести к тому, что набор A будет иметь более низкую частоту кликов независимо от размера кнопки, которую они видят.Чтобы уравнять правила игры, аналитик тестирования должен сначала разделить пользователей на мобильные и настольные, а затем случайным образом распределить их по каждой версии. Это называется блокировкой.

Размер кнопки подписки — это очень простой пример, — говорит Фунг. На самом деле вы можете тестировать не только размер, но и цвет, и текст, и гарнитуру, и размер шрифта. Многие менеджеры проводят последовательные тесты — например, сначала тестируют размер (большой против малого), затем тестируют цвет (синий против красного), затем тестируют шрифт (Times против Arial) — потому что они считают, что не должны варьировать два или более факторов в в то же время.Но, по словам Фунга, статистика опровергает эту точку зрения. А последовательные тесты неоптимальны, потому что вы не измеряете, что происходит при взаимодействии факторов. Например, может случиться так, что пользователи в среднем предпочитают синий, но в сочетании с Arial предпочитают красный. Такой результат часто упускается при последовательном A / B-тестировании, потому что тест шрифта запускается на синих кнопках, которые «выиграли» предыдущий тест.

Вместо этого, говорит Фунг, вам следует запускать более сложные тесты. Это может быть трудным для некоторых менеджеров, поскольку A / B-тесты привлекательны тем, насколько они просты и просты в выполнении (а многие люди, разрабатывающие эти эксперименты, отмечает Фунг, не имеют опыта в статистике).«При A / B-тестировании мы, как правило, хотим проводить большое количество одновременных независимых тестов», — говорит он, по большей части потому, что мы думаем о количестве возможных комбинаций, которые вы можете протестировать. Но с помощью математики вы можете «разумно выбрать и запустить только определенные подмножества этих методов лечения; тогда вы сможете вывести остальное из данных ». Это называется «многовариантным» тестированием в мире A / B-тестирования и часто означает, что вы в конечном итоге выполняете A / B / C-тест или даже A / B / C / D-тест. В приведенном выше примере с цветами и размером это может означать отображение разных групп: большая красная кнопка, маленькая красная кнопка, большая синяя кнопка и маленькая синяя кнопка.Если бы вы захотели протестировать и шрифты, количество тестовых групп увеличилось бы еще больше.

Как вы интерпретируете результаты A / B-теста?

Скорее всего, ваша компания будет использовать программное обеспечение, которое обрабатывает вычисления, и даже может нанять статистика, который сможет интерпретировать эти результаты за вас. Но полезно иметь базовое представление о том, как разобраться в результатах и ​​решить, следует ли продвигаться вперед с тестовым вариантом (новая кнопка в приведенном выше примере).

Fung говорит, что большинство программ сообщают о двух коэффициентах конверсии для A / B-тестирования: один для пользователей, которые видели контрольную версию, а другой для пользователей, которые видели тестовую версию. «Коэффициент конверсии может измерять клики или другие действия, предпринятые пользователями», — говорит он. Отчет может выглядеть так: «Контроль: 15% (+/- 2,1%), вариация 18% (+/- 2,3%)». Это означает, что 18% ваших пользователей нажимали на новый вариант (возможно, на вашу большую синюю кнопку) с погрешностью 2,3%. У вас может возникнуть соблазн интерпретировать это как фактический коэффициент конверсии между 15.7% и 20,3%, но это было бы технически некорректно. «Настоящая интерпретация состоит в том, что если вы запускаете A / B-тест несколько раз, 95% диапазонов будут отражать истинный коэффициент конверсии — другими словами, коэффициент конверсии выходит за пределы погрешности в 5% случаев (или что-то еще. установленный вами уровень статистической значимости) », — поясняет Фунг.

Если это сложно понять, вступайте в клуб. Важно знать, что коэффициент конверсии 18% не является гарантией. Вот где приходит ваше суждение.Уровень разговора 18%, безусловно, лучше, чем показатель 15%, даже с учетом погрешности (12,9–17,1% против 15,7–20,3%). Вы могли слышать, как люди говорят об этом как о «3% -ном росте» (рост — это просто процентная разница в коэффициенте конверсии между вашей контрольной версией и успешным тестовым лечением). В этом случае, скорее всего, будет правильным решением перейти на новую версию, но это будет зависеть от затрат на внедрение новой версии. Если они низкие, вы можете попробовать переключатель и посмотреть, что происходит на самом деле (в отличие от тестов).Одним из больших преимуществ тестирования в онлайн-мире является то, что обычно вы можете довольно легко вернуться к исходному состоянию.

Как компании используют A / B-тестирование?

Фунг говорит, что популярность методологии возросла, поскольку компании осознали, что онлайн-среда хорошо подходит для того, чтобы помочь менеджерам, особенно маркетологам, ответить на такие вопросы, как: «Что, скорее всего, заставит людей щелкнуть? Или купить наш товар? Или зарегистрироваться на нашем сайте? » A / B-тестирование теперь используется для оценки всего: от дизайна веб-сайта до онлайн-предложений и заголовков до описаний продуктов.(Фактически, на прошлой неделе я просмотрел результаты A / B-тестирования языка, который мы используем для продажи нового продукта здесь, в HBR.)

Большинство этих экспериментов проводится без ведома испытуемых. «Как пользователь, мы постоянно участвуем в этих тестах и ​​не знаем об этом», — говорит Фунг.

И это не только веб-сайты. Вы также можете протестировать маркетинговые электронные письма или рекламу. Например, вы можете отправить две версии электронного письма своему списку клиентов (разумеется, сначала рандомизировать список) и выяснить, какая из них приносит больше продаж.Тогда вы сможете в следующий раз просто разослать выигрышную версию. Или вы можете протестировать две версии рекламного текста и посмотреть, какая из них чаще привлекает посетителей. Тогда вы будете знать, что потратите больше на получение самого успешного.

Какие ошибки делают люди при проведении A / B-тестов?

Я спросил Фуна об ошибках, которые, по его мнению, совершают компании при проведении A / B-тестов, и он указал на три наиболее распространенных.

Во-первых, говорит он, слишком многие менеджеры не позволяют тестам идти своим чередом.Поскольку большая часть программного обеспечения для проведения этих тестов позволяет отслеживать результаты в режиме реального времени, менеджеры хотят принимать решения слишком быстро. Эта ошибка, по его словам, «возникает из-за нетерпения», и многие поставщики программного обеспечения сыграли на этом чрезмерном нетерпении, предложив тип A / B-тестирования, называемый «оптимизацией в реальном времени», в котором вы можете использовать алгоритмы для внесения корректировок по результатам. Проблема в том, что из-за рандомизации вполне возможно, что если вы дадите тесту закончиться до его естественного конца, вы можете получить другой результат.

Вторая ошибка — слишком много показателей. «Я съеживаюсь каждый раз, когда вижу программное обеспечение, которое пытается угодить всем, предоставляя вам панель из сотен показателей», — говорит он. Проблема в том, что если вы одновременно смотрите на такое большое количество показателей, вы рискуете получить то, что статистики называют «ложными корреляциями». При правильном дизайне теста «вы должны определиться с метриками, на которые вы собираетесь смотреть, прежде чем проводить эксперимент и выбрать несколько. Чем больше вы измеряете, тем больше вероятность того, что вы увидите случайные колебания.»При таком большом количестве показателей вместо того, чтобы спрашивать себя:» Что происходит с этой переменной? » вы спрашиваете: «Какие интересные (и потенциально незначительные) изменения я наблюдаю?»

Наконец, Фунг говорит, что немногие компании проводят достаточное повторное тестирование. «Мы склонны проверять это один раз, а потом верим в это. Но даже при статистически значимом результате существует довольно большая вероятность ложноположительной ошибки. Если вы не будете время от времени проводить повторное тестирование, вы не исключаете возможность ошибиться ». Ложные срабатывания могут происходить по нескольким причинам.Например, даже если вероятность того, что какой-либо конкретный результат A / B обусловлена ​​случайной случайностью, невелика, если вы проводите много тестов A / B, вероятность того, что хотя бы один из ваших результатов неверен, быстро растет.

Это может быть особенно сложно сделать, потому что вполне вероятно, что менеджеры в конечном итоге получат противоречивые результаты, и никто не захочет обнаружить, что они опровергли предыдущие выводы, особенно в онлайн-мире, где менеджеры хотят внести изменения — и зафиксировать значение — быстро.Но этот акцент на ценности может быть ошибочным, говорит Фунг: «Люди не очень бдительны в отношении практической ценности результатов. Они хотят верить, что каждое небольшое улучшение ценно, даже если результаты тестов не полностью надежны. Фактически, чем меньше улучшение, тем менее надежны результаты ».

Понятно, что A / B-тестирование — не панацея. По словам Фунга, существуют более сложные виды экспериментов, которые более эффективны и дадут вам более надежные данные. Но A / B-тестирование — отличный способ быстро понять интересующий вас вопрос.И «хорошие новости о мире A / B-тестирования заключаются в том, что все происходит так быстро, поэтому, если вы запустите его, а оно не работает, вы можете попробовать что-нибудь еще. Вы всегда можете вернуться к старой тактике ».

Что такое A / B-тестирование? Определение и обзор

Если вы пытаетесь развивать свой бизнес, бывает сложно сказать, какие маркетинговые стратегии больше всего находят отклик у вашей аудитории. A / B-тестирование — наряду с другими стратегиями оптимизации конверсии — позволяет вам попробовать разные вещи, чтобы вы могли улучшить свой контент, обеспечить лучший клиентский опыт — и быстрее достичь своих целей по конверсии.Это руководство по AB-тестированию поможет вам узнать о его основах.

Что такое A / B-тестирование?

A / B-тесты, также известные как сплит-тесты, позволяют сравнить 2 версии чего-либо, чтобы узнать, какой из них более эффективен. Проще говоря, вашим пользователям нравится версия A или версия B?

Концепция подобна научному методу. Если вы хотите узнать, что происходит, когда вы меняете что-то одно, вам нужно создать ситуацию, в которой изменяется только это одно.

Вспомните эксперименты, которые вы проводили в начальной школе. Если вы поместите 2 семечки в 2 чашки с землей и положите одно в шкаф, а другое у окна, вы увидите разные результаты. Такой экспериментальной установкой является A / B-тестирование.

Развитие A / B-тестирования

В 1960-х годах маркетологи начали понимать, как такого рода тестирование может помочь им понять влияние своей рекламы. Будет ли реклама на телевидении или радио привлечь больше бизнеса? Письма или открытки лучше подходят для прямого маркетинга?

Когда в 90-х Интернет стал неотъемлемой частью делового мира, A / B-тестирование стало цифровым.Когда у команд цифрового маркетинга появились технические ресурсы, они начали тестировать свои стратегии в режиме реального времени — и в гораздо большем масштабе.

Что такое A / B-тестирование в эпоху цифровых технологий?

По сути, A / B-тестирование такое же, как и всегда. Вы выбираете фактор, который хотите проверить, например, сообщение в блоге с изображениями или такое же сообщение без изображений. Затем вы случайным образом показываете посетителям один стиль сообщения в блоге, учитывая другие факторы. Вы также должны записывать как можно больше данных: показатели отказов, время, проведенное на странице, и т. Д.

Вы даже можете протестировать более 1 переменной одновременно. Например, если вы хотите оценить шрифт, а также наличие изображений, вы можете создать 4 страницы, на каждой из которых будет отображаться сообщение в блоге с:

1. Arial с изображениями
2. Arial без изображений
3. Times New Roman с изображениями
4. Times New Roman без изображений

Программное обеспечение для A / B-тестирования возвращает данные подобных экспериментов. Затем кто-то из вашей компании интерпретирует результаты, чтобы решить, имеет ли смысл для компании действовать в соответствии с ними — и если да, то как.

Почему важно A / B-тестирование?

A / B-тесты предоставят вам данные, необходимые для максимального использования вашего маркетингового бюджета. Допустим, ваш начальник выделил вам бюджет на привлечение трафика на ваш сайт с помощью Google AdWords. Вы настраиваете A / B-тест, который отслеживает количество кликов для трех разных заголовков статей. Вы запускаете тест в течение недели, следя за тем, чтобы в любой день и в любое время показывать одинаковое количество объявлений для каждого варианта.

Результаты проведения этого теста помогут вам определить, какой заголовок получает больше всего переходов по ссылкам.Затем вы можете использовать эти данные, чтобы соответствующим образом сформировать свою кампанию, повысив ее рентабельность инвестиций (ROI) больше, чем если бы вы выбрали название наугад.

Мелкие изменения, серьезные улучшения

A / B-тесты позволяют оценить влияние изменений, внедрение которых относительно недорогое. Проведение кампании AdWords может быть дорогостоящим, поэтому вы хотите, чтобы каждый аспект был максимально эффективным.

Допустим, вы запускаете A / B-тестирование шрифта, размера текста, заголовков меню, ссылок и положения настраиваемой формы регистрации на своей домашней странице.Вы тестируете эти элементы по 2 или 3 за раз, чтобы не было слишком много неизвестных, взаимодействующих друг с другом.

По завершении теста вы обнаружите, что изменение последних трех элементов увеличивает конверсию на 6% каждый. Ваш веб-дизайнер реализует эти изменения менее чем за час, а когда они будут завершены, у вас есть шанс получить на 18% больше дохода, чем раньше.

Низкие риски, высокие награды

A / B-тестирование не только экономично, но и эффективно по времени. Вы проверяете 2 или 3 элемента и получаете ответ.Отсюда легко решить, вносить ли изменение или нет. Если реальные данные не соответствуют результатам вашего теста, всегда можно вернуться к более старой версии.

Оптимальное использование трафика

Если вы используете A / B-тестирование, чтобы сделать свой веб-сайт максимально эффективным, вы можете получить больше конверсий на одного посетителя. Чем выше ваш процент конверсии, тем меньше времени и денег вам нужно потратить на маркетинг. Это потому, что теоретически каждый, кто посещает ваш сайт, с большей вероятностью будет действовать.

Помните, когда вы улучшаете свой веб-сайт, это может увеличить коэффициент конверсии как для платного, так и для неоплачиваемого трафика.

Узнайте, что лучше всего работает

A / B-тестирование позволяет попробовать что-нибудь и выбрать победителя.

A / B тестирование

Над чем работает A / B-тестирование?

Когда дело доходит до контента, ориентированного на клиентов, вы можете многое оценить с помощью A / B-тестирования.Общие цели включают:

• Рассылка по электронной почте
• Индивидуальные адреса электронной почты
• Мультимедийные маркетинговые стратегии
• Платная интернет-реклама
• Информационные бюллетени
• Дизайн сайта

В каждой категории вы можете проводить A / B-тесты по любому количеству переменных. Например, если вы тестируете дизайн своего сайта, вы можете попробовать различные варианты, например:

• Цветовое решение
• Макет
• Количество и тип изображений
• Заголовки и субпозиции
• Стоимость продукта
• Специальные предложения
• Дизайн кнопки призыва к действию

По сути, практически любой стиль или элемент контента в элементе, ориентированном на покупателя, можно протестировать.

Как вы проводите A / B-тесты?

В общем, процесс A / B-тестирования — это просто научный метод. Если вы хотите получить от этого максимум пользы, вам нужно подойти к этому с научной точки зрения.

Процесс

Как и в лабораторной версии научного метода, A / B-тестирование начинается с выбора того, что тестировать. Весь процесс состоит из нескольких шагов:

1. Определите проблему. Убедитесь, что вы определили конкретную проблему.Например, «Недостаточно конверсий» — это слишком общий термин. Существует слишком много факторов, влияющих на то, станет ли посетитель веб-сайта клиентом или перейдет ли получатель электронной почты на ваш сайт. Вы должны знать, почему ваш материал не конвертируется.

Пример: Вы работаете в розничном магазине женской одежды, у которого много онлайн-продаж, но очень немногие из этих продаж поступают из его кампаний по электронной почте. Вы переходите к своим аналитическим данным и обнаруживаете, что высокий процент пользователей открывают ваши электронные письма со специальными предложениями и читают их, но лишь немногие действительно конвертируют.

2. Анализируйте пользовательские данные. Технически вы можете проводить A / B-тестирование всего, что видят ваши клиенты, когда открывают ваши электронные письма, но это займет много времени. Они сталкиваются с множеством элементов дизайна и контента, которые, вероятно, не имеют отношения к делу, поэтому вам нужно выяснить, на какой элемент нацеливаться.

Пример: Люди открывают ваши электронные письма, поэтому нет ничего плохого в том, как вы пишете тему письма. Они также проводят время, читая их, поэтому нет ничего, что могло бы заставить их мгновенно щелкнуть мышью.Поскольку многие пользователи, которые находят ваш сайт из других источников, в конечном итоге становятся клиентами, вы можете сказать, что нет ничего плохого в том, как вы представляете свои продукты. Это говорит о том, что, хотя люди находят ваши электронные письма привлекательными, они каким-то образом теряются, когда переходят на ваш сайт.

3. Разработайте гипотезу для проверки. Теперь вы действительно сужаете его. Ваш следующий шаг — решить, что именно вы хотите протестировать и как вы хотите это тестировать.Сузьте количество неизвестных до 1 или 2, по крайней мере, для начала. Затем вы можете определить, как изменение этого элемента или элементов может решить проблему, с которой вы столкнулись.

Пример: Вы заметили, что кнопка, которая переводит людей в ваш интернет-магазин, спрятана в нижней части электронного письма, под сгибом. Вы подозреваете, что, подняв его в верхнюю часть экрана, вы сможете более эффективно побуждать людей посещать ваш сайт.

4. Проведите проверку гипотез. Разработайте новую версию тестового задания, которая реализует вашу идею.Затем запустите A / B-тест между этой версией и вашей текущей страницей с целевой аудиторией.

Пример: Вы создаете версию электронного письма с кнопкой, расположенной над сгибом. Вы не меняете его дизайн — только его расположение. Вы решаете запустить тест в течение 24 часов, поэтому вы устанавливаете это в качестве параметра времени и запускаете тест.

5. Проанализируйте данные. По окончании теста просмотрите результаты и посмотрите, привела ли новая версия вашего элемента к каким-либо заметным изменениям.Если нет, попробуйте протестировать новый элемент.

Пример: Ваше новое электронное письмо немного повысило конверсию, но ваш начальник хочет знать, может ли что-то еще сделать лучше. Поскольку вашей переменной было расположение кнопки, вы решаете попробовать разместить ее в двух других местах.

6. Найдите новых претендентов на своего чемпиона. В мире A / B-тестирования иногда используются слова «чемпион» и «претендент» для обозначения текущего лучшего варианта и новых возможностей. Когда соревнуются 2 или более вариантов, и один из них оказывается значительно более успешным, это называется чемпионом.Затем вы можете проверить этого победителя с другими вариантами, которые называются претендентами. Этот тест может дать вам нового чемпиона или может показать, что исходный чемпион действительно был лучшим.

Пример: Вы A / B протестировали 2 версии целевой страницы и нашли чемпиона между ними, но есть еще и третья версия страницы, которую вы хотите сравнить с чемпионом из первого теста. Третья версия становится новым претендентом на испытание против предыдущего чемпиона.

После того, как вы пройдете все 6 шагов, вы можете решить, было ли улучшение достаточно значительным, чтобы вы могли завершить тест и внести необходимые изменения. Или вы можете запустить еще один A / B-тест, чтобы оценить влияние другого элемента, например размера кнопки или ее цветовой схемы.

Чаевые для A / B-тестеров

Вот несколько советов, которые помогут сделать ваши A / B-тесты максимально полезными.

Используйте репрезентативные образцы ваших пользователей.

Любой ученый скажет вам, что если вы проводите эксперимент, вы должны убедиться, что ваши группы участников максимально похожи. Если вы тестируете веб-сайт, вы можете использовать ряд инструментов автоматического тестирования, чтобы убедиться, что случайная выборка людей увидит каждую версию.

Если вы отправляете материалы напрямую своим клиентам или потенциальным клиентам, вам необходимо вручную создать сопоставимые списки. Сделайте группы максимально равными по размеру и — если у вас есть доступ к данным — равномерно распределите получателей по полу, возрасту и географическому положению.Таким образом, вариации этих факторов окажут минимальное влияние на ваши результаты.

Увеличьте размер выборки.

Чем больше людей вы протестируете, тем надежнее будут ваши результаты. Это связано с концепцией, которую статистики называют «статистической значимостью».

Вкратце, если результат статистически значим, это означает, что он маловероятен. Например, если вы отправляете новую версию электронного письма 50 людям, а контрольную версию — еще 50, увеличение CTR на 5% означает, что 5 человек лучше откликнулись на вашу новую версию.Разница настолько мала, что ее можно объяснить случайностью, и если вы выполните тот же тест еще раз, есть большая вероятность, что вы получите другие результаты. Другими словами, ваши результаты не были статистически значимыми.

Если вы можете отправлять один и тот же набор писем группам по 500 человек, увеличение на 5% означает, что 50 человек лучше отреагировали на ваш новый стиль, что гораздо более вероятно.

Избегайте типичных ошибок.

Заманчиво создать всплывающую кнопку с новым шрифтом, новым размером текста, новыми размерами кнопок и новыми цветами кнопок.Но чем больше новых элементов вы добавите, тем более запутанными будут ваши результаты.

Если придерживаться приведенного выше примера, если ваше новое всплывающее окно полностью отличается по дизайну от оригинала, вы, вероятно, увидите полностью случайные корреляции. Возможно, похоже, что большая фиолетовая кнопка «Проверить» со значком доллара работает лучше, чем маленькая синяя кнопка, которую она заменила, но возможно, что только 1 из этих элементов дизайна был значительным, например, размер.

Помните, вы всегда можете запустить новый тест с другими элементами позже. Будет легче взглянуть на этот контрольный тест, чем пытаться проанализировать тест с 18 различными переменными.

Подождите, пока тест не закончится, прежде чем вносить изменения.

Поскольку A / B-тесты позволяют увидеть эффекты изменения в реальном времени, возникает соблазн завершить тест, как только вы увидите результаты, чтобы вы могли сразу же внедрить новую версию. Однако это означает, что ваши результаты, скорее всего, будут неполными и будут менее статистически значимыми.Факторы, зависящие от времени, могут повлиять на ваши результаты, поэтому вам нужно дождаться окончания периода тестирования, чтобы воспользоваться рандомизацией.

Выполнить тесты более одного раза.

Даже лучшее программное обеспечение для A / B-тестирования возвращает ложные срабатывания, потому что поведение пользователя очень непостоянно. Единственный способ убедиться, что ваши результаты точны, — это запустить тот же тест еще раз с теми же параметрами.

Повторное тестирование особенно важно, если ваша новая версия показывает небольшие улучшения.Один ложноположительный результат имеет большее значение, когда положительных результатов не так много.

Кроме того, если вы запускаете много A / B-тестов, более вероятно, что вы время от времени будете сталкиваться с ложными срабатываниями. Возможно, вы не сможете позволить себе повторять каждый тест, но если вы будете повторять тест время от времени, у вас будет больше шансов обнаружить ошибки.

Узнайте, что лучше всего работает

A / B-тестирование — это эффективный и действенный способ оценить реакцию вашей аудитории на идею дизайна или контента, поскольку оно не мешает работе ваших пользователей и не рассылает деструктивные опросы.Просто попробуйте что-то новое, и пусть результаты говорят сами за себя.

Руководство по AB-тестированию для новичков: введение

A / B-тестирование — отличный метод определения лучших маркетинговых и рекламных стратегий для вашего бизнеса. Его можно использовать для тестирования всего, от копии веб-сайта до электронных писем с продажами и поисковой рекламы. Хотя это может занять много времени, преимуществ A / B-тестирования достаточно, чтобы компенсировать дополнительное время, которое на это требуется.

Хорошо спланированные тесты могут существенно повлиять на эффективность ваших маркетинговых усилий.Сокращение наиболее эффективных элементов продвижения и их последующее объединение может создать гораздо более эффективный маркетинговый план.

Что такое A / B-тестирование и почему оно важно?

A / B-тестирование — это маркетинговая стратегия, которая сравнивает две разные версии веб-сайта, рекламы, электронной почты, всплывающего окна или целевой страницы, чтобы выбрать наиболее эффективную.

Например, вы можете протестировать два разных всплывающих окна, чтобы увидеть, какое из них привлекает больше посетителей на веб-семинары, или два разных Google Рекламы, чтобы увидеть, какое из них привлекает больше покупок.

На моем собственном сайте я провел время A / B-тестирования своего всплывающего окна, чтобы выяснить, что побуждает пользователей взаимодействовать с моим брендом.

Со временем мы пришли к выводу, что бесплатный анализ веб-сайта (который дает огромную ценность) был наиболее эффективным способом накопить опыт и показать посетителям ценность, которую мы предлагаем.

Почему важно A / B-тестирование?

Точные A / B-тесты могут иметь огромное значение для вашей чистой прибыли. Используя контролируемые тесты и собирая эмпирические данные, вы можете точно определить, какие маркетинговые стратегии лучше всего подходят для вашей компании и вашего продукта.

Когда вы полагаете, что один вариант может работать в два, три или даже четыре раза лучше, чем другой, идея о том, что вы будете проводить рекламные акции без тестирования, начинает казаться немного нелепой.

При последовательном проведении тестирование может существенно улучшить вашу прибыль. Если вы знаете, что работает, а что нет (и имеете доказательства, подтверждающие это), вам будет легче принимать решения и разрабатывать более эффективные маркетинговые стратегии.

Вот еще несколько преимуществ регулярного тестирования вашего веб-сайта и маркетинговых материалов:

• Помогает вам лучше понять вашу целевую аудиторию: Когда вы видите, на какие типы электронных писем, заголовки и другие элементы реагирует ваша аудитория, вы можете лучше понять, кто ваша аудитория и чего они хотят.
• Более высокий коэффициент конверсии: A / B-тестирование — единственный наиболее эффективный способ повысить коэффициент конверсии. Знание того, что работает, а что нет, дает вам полезные данные, которые помогут вам оптимизировать процесс конверсии.
• Будьте в курсе меняющихся тенденций : Трудно предсказать, на какой тип контента, изображений или других функций люди отреагируют. Регулярное тестирование помогает вам опережать изменения в поведении потребителей.
• Уменьшите показатель отказов : Когда посетители сайта видят контент, который им нравится, они дольше остаются на вашем сайте.Тестирование для определения типа контента и маркетинговых материалов, которые нравятся вашим пользователям, поможет вам создать лучший сайт — и тот, на котором пользователи хотят оставаться.

Как вы планируете A / B-тест?

Первое, что нужно сделать при планировании A / B-теста, — это выяснить, что вы хотите протестировать. Вы проводите тестирование на месте или за его пределами? Если вы проводите тестирование на месте, вам нужно подумать обо всех частях своего веб-сайта, связанных с продажами, а затем выяснить, какие элементы следует тестировать.

Например, вы можете проверить:

• заголовки
• текст призыва к действию
• призыв к действию местоположение
• всплывающее окно
• избранные изображения
• копия
• количество полей в форме

При тестировании за пределами площадки вы, вероятно, тестируете либо объявление или коммерческое письмо. Тестирование рекламного текста, чтобы увидеть, какое объявление вызывает больше конверсий, может помочь вам сосредоточить свои рекламные усилия. Как только вы поймете, что ваше объявление конвертируется с максимальной эффективностью, вам будет легче оправдать трату на него дополнительных денег.

То же самое и с электронной почтой. Если вы отправляете в свой список две версии (случайным образом выбирая, какая половина получает какое электронное письмо), а затем отслеживаете, какая из них конвертируется лучше, вы можете отправить только эту версию в следующий раз.

Когда вы определитесь, что будете тестировать, составьте список всех переменных, которые вы будете тестировать. Например, если вы решили проверить свой призыв к действию, вы можете проверить:

• расположение
• точный текст, используемый
• цвет кнопки или окружающее пространство

Это процесс, и обычно до принятия окончательного решения или окончательного изменения проводят несколько A / B-тестов.

Прежде чем приступить к тестированию, убедитесь, что у вас есть четкое представление о результатах, которые вы ищете. Вы уже должны знать свой базовый результат, то есть результаты, которые вы получаете в настоящее время. Вы хотите протестировать варианты A и B друг против друга, но вы также хотите знать, что тот, который лучше справляется с тестом, также показывает лучшие результаты, чем ваши текущие результаты.

В качестве альтернативы вы можете использовать A в качестве элемента управления (оставив то, что вы используете в данный момент), а затем использовать что-то новое для B.

Тесты необходимо запускать одновременно, чтобы учесть любые изменения во времени. Вы не можете протестировать один вариант сегодня, а другой завтра, потому что вы не можете учитывать какие-либо переменные, которые могли измениться между сегодня и завтра. Вместо этого вам нужно разделить трафик, увидев ваши варианты одновременно.

Вот контрольный список A / B-тестирования, который следует просмотреть перед первым тестированием:

• Решите, что вы хотите протестировать.
• Создайте две версии одного и того же объявления, целевой страницы и т. Д.
• Определите, как долго будет работать ваш тест (я предлагаю не менее двух недель, но он может быть длиннее или немного короче в зависимости от вашего трафика и отрасли)
• Выберите инструмент тестирования, который поможет вам запустить тест. (Подробнее об этом позже.)
• Запуск!
• Примерно через две недели взгляните на результаты. Какая версия победила?
• Промойте и повторите. A / B-тестирование наиболее эффективно, если проводится постоянно.

Что использовать для тестирования A / B-тестирования

Вы можете протестировать практически все в своих маркетинговых материалах или на своем веб-сайте: заголовки, призывы к действию, основной текст, изображения и т. Д.Если вы можете изменить это, вы можете проверить это.

Это не значит, что вы должны тратить месяцы на тестирование каждой мелочи. Вместо этого сосредоточьтесь на изменениях, которые, скорее всего, окажут большое влияние на трафик и конверсии.

На вашем веб-сайте это, вероятно, включает:

• заголовок
• ваш призыв к действию
• любое изображение, которое вы используете в прямой связи с вашими усилиями по продажам
• копия для продажи или описания продукта
• изображение функции

В электронном письме вы можете проверить заголовок, изображения, ссылки, призывы к действию или варианты сегментации.В платной рекламе, особенно в текстовой (например, в поисковой), вам нужно изменить меньше вещей, поэтому вы можете протестировать основной заголовок, предложение или таргетинг.

Также важно тестирование различных предложений. Просто убедитесь, что каждому человеку всегда предлагается одно и то же продвижение. Например, если группе A предлагается бесплатный подарок, а группе B предлагается скидка, то вы хотите убедиться, что группа A всегда содержит тех же посетителей, что и группа B.

Вы также можете протестировать полный путь преобразования.Например, вы можете протестировать информационный бюллетень A с целевой страницей A, а информационный бюллетень B — с целевой страницей B. Позже вы можете захотеть протестировать информационный бюллетень A с целевой страницей B, и наоборот.

Это может дать вам лучшее представление о том, что работает, особенно если вы получаете неоднозначные результаты или если результаты очень близки. Вот еще несколько тестов, которые вы можете запустить.

Сколько времени занимает A / B-тестирование?

A / B-тестирование — это не мгновенный проект. В зависимости от объема трафика, который вы получаете, вы можете проводить тесты от нескольких дней до пары недель.Помните, что для получения наиболее точных результатов вы хотите запускать только один тест за раз.

Выполнение теста в течение недостаточного количества времени может исказить результаты, поскольку у вас не будет достаточно большой группы посетителей, чтобы быть статистически точными. Слишком долгое выполнение теста также может дать искаженные результаты, поскольку существует больше переменных, которыми вы не можете управлять в течение более длительного периода.

Убедитесь, что вы всегда в курсе всего, что может повлиять на результаты теста, чтобы вы могли учесть статистические аномалии в своих результатах.Если сомневаетесь, запустите тест еще раз.

Учитывая то влияние, которое A / B-тестирование может оказать на вашу прибыль, стоит потратить несколько недель на правильное проведение тестов. Проверяйте по одной переменной за раз и дайте каждому тесту достаточно времени для выполнения.

Могу ли я тестировать более одного объекта за раз?

Есть два подхода к этому вопросу. Допустим, вы просто хотите проверить заголовок, но у вас есть три возможных варианта. В этом случае целесообразно запустить один тест и разделить посетителей (или получателей в случае электронного письма) на три группы вместо двух, и, скорее всего, это все равно будет считаться A / B-тестом.

Это более эффективно, чем выполнение трех отдельных тестов (A против B, B против C и A против C). Вы можете дать вашему тесту еще пару дней для запуска, чтобы у вас было достаточно результатов, чтобы увидеть, что на самом деле работает.

Одновременное тестирование нескольких элементов, например заголовков и призывов к действию, называется многовариантным тестом, и его сложнее запустить. Существует множество ресурсов для многовариантного тестирования, но мы не будем говорить об этом, когда будем говорить об A / B-тестировании.

Что такое A / B-тестирование и почему оно важно?

A / B-тестирование — это маркетинговая стратегия, которая сравнивает две разные версии веб-сайта, рекламы, электронной почты, всплывающего окна или целевой страницы, чтобы выбрать наиболее эффективную. Это один из самых эффективных способов повысить коэффициент конверсии.

Как вы планируете A / B-тест?

Решите, что тестировать, создайте две версии, решите, как долго запускать тест, выберите инструмент и посмотрите, что работает!

Что использовать для тестирования A / B-тестирования?

Любая часть платной рекламы, веб-сайта или маркетинговых материалов, включая (но не ограничиваясь) всплывающие окна, электронные письма, целевые страницы и избранные изображения.

Сколько времени занимает A / B-тестирование?

Большинство тестов следует проводить не менее двух недель, но A / B-тестирование должно быть непрерывным.

Могу ли я тестировать более одного объекта за раз?

Да, в некоторых случаях. В общем, лучше придерживаться двух версий одного и того же актива.

Какие инструменты для A / B-тестирования следует использовать?

Google Optimize — это бесплатный мощный инструмент для A / B-тестирования. Ваша почтовая платформа, инструменты целевой страницы или плагины веб-сайта также могут предлагать эту функцию.Для платных инструментов рассмотрите вариант Optimizely.

Заключение

A / B-тестирование — лучший друг маркетолога. Это позволяет вам видеть, например, какие объявления приносят больше всего конверсий, на какие предложения реагирует ваша аудитория или какие заголовки в блогах привлекают больше всего трафика.

Существует множество инструментов, которые вы можете использовать для начала работы, в том числе Google Optimize (это бесплатно!) И Optimizely.

Если вы хотите приступить к A / B-тестированию, вы можете начать с изучения того, как проводить A / B-тестирование в Google Analytics.

Собираетесь ли вы попробовать A / B-тестирование? Что вас сдерживает?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

• SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
• Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
• Paid Media — эффективные платные стратегии с четкой окупаемостью инвестиций.

Заказать звонок

Что такое A / B-тестирование и его преимущества?

A / B-тест, также известный как сплит-тест, представляет собой эксперимент по определению того, какой из различных вариантов онлайн-опыта работает лучше, путем случайного представления каждой версии пользователям и анализа результатов.Итак, что такое A / B-тестирование? A / B-тестирование демонстрирует эффективность потенциальных изменений, позволяя принимать решения на основе данных и обеспечивая положительное влияние.

Кайл Раш, вице-президент по инжинирингу в Casper и бывший руководитель отдела оптимизации в Optimizely, использовал A / B-тестирование для увеличения конверсии пожертвований на 49%, когда работал в кампании Обамы для Америки в 2012 году, помогая цифровой команде собрать 250 миллионов долларов за 6 месяцев. . «Если вы не тестируете, вы не знаете, насколько эффективны ваши изменения», — говорит Раш.«У вас может быть корреляция, но нет причинно-следственной связи».

A / B-тестирование может сделать гораздо больше, чем просто доказать, как изменения могут повлиять на ваши конверсии в краткосрочной перспективе. «Это помогает вам расставить приоритеты в отношении того, что делать в будущем», — говорит Раш. «Если у вас есть 20 пунктов в вашей дорожной карте продукта и вы хотите получить окончательный ответ относительно того, что будет двигать иглу, вам нужны данные. Если есть функция, которая очень похожа на функцию, которая не работала при тестировании, не продвигайтесь вперед ».

«С A / B-тестированием у вас гораздо больше знаний о том, что проводить через 3–4 года.”

При постоянном и последовательном использовании тестирование может улучшить общее впечатление пользователей, увеличивая коэффициент конверсии в краткосрочной и долгосрочной перспективе.

Преимущества A / B-тестирования

1. Повышение вовлеченности пользователей

Элементы страницы, приложения, рекламы или электронных писем, которые могут быть протестированы A / B, включают заголовок или тему, изображения, формы призыва к действию (CTA) и язык, макет, шрифты и цвета, среди прочего. Тестирование одного изменения за раз покажет, какие изменения повлияли на поведение пользователей, а какие нет.Обновление опыта с помощью «выигрышных» изменений улучшит пользовательский опыт в целом, в конечном итоге оптимизируя его для достижения успеха.

2. Улучшенное содержание

Например, для тестирования рекламного объявления требуется список потенциальных улучшений, которые можно показать пользователям. Сам процесс создания, рассмотрения и оценки этих списков отсеивает неэффективные формулировки и делает окончательные версии более удобными для пользователей.

3. Сниженный показатель отказов

A / B-тестирование указывает на комбинацию элементов, которая помогает посетителям дольше оставаться на сайте или в приложении.Чем больше времени посетители проводят на сайте, тем выше вероятность, что они поймут ценность контента, что в конечном итоге приведет к конверсии.

4. Повышение конверсии

A / B-тестирование — это самый простой и эффективный способ определить лучший контент для преобразования посещений в подписки и покупки. Знание того, что работает, а что нет, помогает привлечь больше потенциальных клиентов.

5. Более высокая конверсия

Уроки A / B-тестирования, успешно примененные к одному опыту, могут быть применены к дополнительному опыту, включая страницы с более дорогими продуктами и услугами.Лучшее взаимодействие на этих страницах продемонстрирует аналогичный рост конверсий.

«Мы используем A / B-тестирование, прежде чем вносить какие-либо серьезные изменения в Casper», — говорит Раш. «Мы A / B протестировали компоненты нового опыта электронной коммерции, прежде чем запустить его с нашим новым матрасом премиум-класса. Матрас премиум-класса — это огромное изменение нашей бизнес-модели, поэтому тестирование было важным, чтобы убедиться, что запуск прошел успешно ».

6. Простота анализа

Определить победителя и проигравшего в A / B-тесте очень просто: показатели какой страницы или приложения ближе всего к его целям (потраченное время, конверсии и т. Д.),).

«Раньше показатели A / B-тестирования были просто необработанными цифрами, и вам приходилось интерпретировать их, чтобы принять решение», — говорит Раш. «Теперь такие сервисы, как Optimizely, принимают решения за вас с помощью статистических машин, следуя лучшим практикам».

И хотя службы тестирования эволюционировали и стали включать статистический анализ для пользователей всех уровней знаний в области электронных таблиц, цифры для сравнения двух опытов не впечатляют по своей сложности. Ясность этой статистики также подрывает мнение самого высокооплачиваемого человека (HIPPO), которое в противном случае могло бы быть переоценено.

7. Быстрые результаты

Даже относительно небольшой размер выборки в A / B-тесте может дать важные практические результаты в отношении того, какие изменения наиболее интересны для пользователей. Это позволяет оптимизировать короткие заказы новых сайтов, новых приложений и страниц с низкой конверсией.

8. Все поддается проверке

Формы, изображения и текст являются типичными элементами для A / B-тестирования и обновления, но любой элемент страницы или приложения можно настроить и протестировать. Стиль заголовка, цвета кнопок CTA, длина формы и т. Д., могут повлиять на взаимодействие с пользователем и коэффициенты конверсии способами, которые, возможно, никогда не будут известны, если они не будут протестированы. Ни одна идея не должна быть отвергнута во время конференц-связи; Тестирование и показатели, а не эмоции, доказывают, что работает, а что нет.

9. Пониженные риски

С помощью A / B-тестирования можно избежать дорогостоящих и трудоемких изменений, которые оказались неэффективными. Основные решения могут быть хорошо информированными, что позволяет избегать ошибок, которые в противном случае могли бы ограничить ресурсы для получения минимальной или отрицательной выгоды.

«Самый очевидный способ использовать A / B-тестирование — это использовать его, чтобы что-то исключить», — говорит Раш. «Если вы видите, что внесение изменений может снизить конверсию, не двигайтесь вперед».

10. Уменьшение количества брошенных тележек

Для электронной коммерции заставить пользователя завершить оформление заказа после нажатия кнопки «купить» на товаре является серьезной проблемой, поскольку большинство потенциальных клиентов бросают свои тележки перед оплатой. A / B-тестирование может помочь найти оптимальную комбинацию настроек страниц заказа, которая доведет пользователей до конца.

«Опыт пользователя между оформлением заказа и вводом адреса доставки — лучшее место, на котором можно сосредоточиться при A / B-тестировании», — говорит Раш.

11. Увеличение продаж

Все перечисленные выше преимущества A / B-тестирования служат для увеличения объема продаж. Помимо первоначального роста продаж, которые производят оптимизированные изменения, тестирование обеспечивает лучший пользовательский опыт, что, в свою очередь, способствует росту доверия к бренду, созданию лояльных, постоянных клиентов и, следовательно, увеличению продаж.

Как вы проводите A / B-тест?

1.Сделайте большой выбор

Внедрите культуру экспериментов с помощью A / B-тестирования элементов пользовательского опыта, которые легко изменить, но при этом имеют большое потенциальное влияние. Протестируйте изменения, чтобы оптимизировать заголовок целевой страницы и призывы к действию, настройте язык, чтобы определить лучший обмен сообщениями. Изменение заголовка может привести к увеличению конверсии на 100% или больше. Эта быстрая победа даст вам возможность и смелость провести дополнительное тестирование.

«Намочите ноги и посмотрите, как все пойдет», — говорит Раш.«Продолжайте делать это, пока не возьмете в руки. Чем больше вы это делаете, тем лучше у вас получается. Это не волшебство.

2. Найдите свои больные места

Обдумывая, что тестировать, посмотрите на свою воронку продаж, чтобы определить, где вы теряете потенциальные конверсии.

«Выясните, каков коэффициент конверсии на каждом этапе воронки», — говорит Раш. «Сосредоточьтесь на том, где происходит самый большой спад. Оптимизация, которая принесет наибольший эффект ».

3. Тестируйте изменения только там, где требуются изменения

Если он не сломался, не пытайтесь его заменить.

«Если коэффициент конверсии страницы составляет 99%, у вас нет проблем», — говорит Раш. «Но если вы откроете его для тестирования, люди найдут вещи, к которым можно придраться, исходя из своих предпочтений, например, цвет. Но тестирование на это — пустая трата времени ».

4. Сделайте A и B существенно разными

A / B-тестирование может подтвердить решение о внесении изменений или оставить все как есть, но только в том случае, если предлагаемое обновление заметно отличается от оригинала (хотя все еще находится в рамках рекомендаций по стилю сайта).

«Добавление запятой ничего не изменит, — говорит Раш. «Выберите что-то совершенно другое, а не просто другой способ сказать то же самое. Он должен быть высококонтрастным, но все же соответствовать бренду. Если контраст слишком велик, его всегда можно уменьшить ».

5. Получите идеи от всех

Самая сложная часть A / B-тестирования — решить, что изменить и как это изменить. Что касается пользовательского опыта, важно мыслить — и искать — нестандартно в поисках идей.

«Идеи высокого уровня для изменений могут прийти откуда угодно», — говорит Раш. «Не из мозговых штурмов, которые могут быть пустой тратой времени. Моя мама пришла к выводу, что я спросила ее: «Что ты думаешь по этому поводу?» У нее уникальная точка зрения, которая может быть полезной ».

6. Контроль времени

Чтобы доказать причинно-следственную связь, A / B-тест требует контрольных переменных, элементов, которые остаются неизменными на протяжении всего эксперимента. Одна переменная, которую нужно контролировать, — это время, то есть период, в течение которого выполняется тест.Не запускайте тесты последовательно: период A / B-теста должен быть одинаковым для переменных «A» и «B», чтобы пользовательская база, просматривающая каждую версию, была одинаковой.

7. Запускайте тесты с недельным шагом

Если вы не планируете публиковать разные версии своей страницы или приложения по выходным, ваш A / B-тест должен выполняться достаточно долго, чтобы обеспечить посещаемость в течение всей недели. Это гарантирует, что вы получите точные общие результаты, учитывающие провалы и всплески, связанные с днем ​​недели и временем суток.

8. Всегда вводить новшества

A / B-тестирование может оптимизировать ваш сайт или приложение за счет постепенных улучшений, дающих быстрые положительные результаты. Но не позволяйте краткосрочным успехам вытеснять настоящие инновации, которые требуют принятия рисков и возможных неудач, но при этом имеют наибольший потенциал для еще более значительного вознаграждения.

Что такое A / B-тестирование и почему оно важно для разработчиков мобильных приложений • SplitMetrics

Что такое A / B-тестирование?

A / B-тестирование (часто называемое сплит-тестированием или бакет-тестированием) — это средство сравнения двух вариантов и анализа результатов.Его можно использовать для тестирования, сравнения и анализа чего угодно. Чаще всего он ассоциируется с веб-сайтами, а в последнее время — с мобильными приложениями; A / B-тестирование в основном используется для оптимизации коэффициента конверсии. Интернет-компании регулярно оптимизируют свои целевые страницы и повышают рентабельность инвестиций с помощью A / B-тестирования.

Как работает A / B-тестирование

Каждый тест начинается с формирования гипотезы. Классическим примером этого могут быть ссылки «Зарегистрироваться» и «Зарегистрироваться» или «Красные» и «Зеленые» кнопки.Как только цель (например, установки) и параметры теста определены, тестировщик начинает направлять пользователей на страницы. Весь пользовательский трафик случайным образом распределяется между контрольной версией и другими вариантами. Посетители не должны знать о своем участии в эксперименте. Если один вариант работает значительно лучше других, он может быть признан победителем и должен быть применен.

Вы увидите, что он используется для сравнения небольших элементов, таких как стили кнопок с призывом к действию, и более крупных компонентов, а также общего дизайна сайта.Однако A / B-тестирование работает так же, если не лучше, для мобильных приложений. Разработчики мобильных приложений часто упускают из виду, что этот инструмент можно использовать для определения эффективности значков, снимков экрана, описаний, результатов поиска в магазине, направлений, цен, заголовков и т. Д.

Этот превосходный метод тестирования маркетинговых стратегий на основе данных обычно развертывается в течение периода от нескольких дней до пары недель. Также важно обеспечить достаточное количество пользователей для получения точных результатов.

Готовы начать A / B-тестирование?

Как провести A / B-тестирование

Следуйте стратегии, описанной ниже, чтобы начать A / B-тестирование:

Выполните исследование

Определите свою цель. Все, что вы тестируете, должно привести к более высокой цели, например к повышению коэффициента конверсии. В идеале A / B-тестирование поможет вам решить проблему с вашим приложением и достичь успеха в достижении бизнес-целей.

Определите свои варианты

Что вы хотите сравнить? Определите проблему, которую хотите решить.Это может быть элемент дизайна, копии или функции.

Например, Что важнее для ваших пользователей: бесплатная доставка или скидка 15 долларов на первый заказ? Какая ориентация скриншота приведет к увеличению количества установок игрового приложения: книжная или альбомная? Какой стиль значков приложения привлекает больше внимания: разноцветный или монохромный? Вы можете легко это выяснить с помощью A / B-теста.

Выполните тест

После того, как вы сформулировали свою теорию и определили элемент, который хотите проверить A / B, вам нужно создать два варианта целевой страницы.(Назовем их A и B.) Они должны быть точно такими же, с той лишь разницей, что вы хотите протестировать элемент (значок, снимок экрана, описание и т. Д.) определите свою аудиторию и направьте ее на эти страницы (направляя 50% посетителей на страницу A, а остальные 50% — на страницу B). Затем вы измеряете, сколько установок генерирует каждая версия, чтобы определить победителя. Самый простой способ сделать все вышеперечисленное — запустить сплит-тест с помощью SplitMetrics. Он позволяет вам быстро создавать страницы вариантов, которые копируют App Storу или Google Play, и направлять на них трафик с вашего веб-сайта / приложений, рекламы в Facebook или других рекламных сетей. SplitMetrics собирает все аналитические данные, сообщает вам, какой вариант выиграл, и дает вам исчерпывающую информацию. отчет о том, как пользователи взаимодействовали со страницей вашего приложения.

Убедитесь, что у вас достаточно пользователей для достижения значительных результатов; неразумно вносить серьезные изменения в ваше приложение, основываясь на результатах работы небольшого числа пользователей. После того, как вы привлекли достаточное количество посетителей на свой эксперимент, считается, что его результаты имеют высокий уровень достоверности или, другими словами, шанс превзойти контроль для вашего варианта либо высок, либо низок.

Анализируйте данные и просмотрите результаты

Вот самое интересное: определение победителя! Следует учитывать ряд факторов, в том числе время нахождения на странице, взаимодействие с различными элементами страницы вашего приложения (снимки экрана, описания и т. Д.).), глубина прокрутки и многое другое. Но в конечном итоге вы должны посмотреть, сколько людей нажимают кнопку «Установить», поскольку это ваша главная цель.

Помните, что если вы не обнаружите разницы практически никакой, вы всегда можете изменить свои варианты и запустить новый тест.

Внесение изменений на основе результатов

Если у вас есть явный победитель, продолжайте вносить изменения на основе полученных вами результатов. В случае тестирования значка приложения вы теперь должны обновить дизайн, чтобы отразить победителя вашего A / B-теста.Если более высокая цена дает больший доход, вы можете подумать об изменении цены.

Подготовка к последующим тестам

A / B-тестирование не существует в вакууме, и его вряд ли когда-нибудь можно будет сделать на одном месте. Оптимизация конверсии — это непрерывный процесс, который не заканчивается. Всегда проводите эксперименты, чтобы определить, как вы можете еще больше повысить коэффициент конверсии и увеличить прибыль.

Большие преимущества для мобильных разработчиков

В настоящее время в магазинах приложений либо отсутствуют средства A / B-тестирования (например, Apple App Store), либо они предлагают ограниченную функциональность (как в случае с экспериментами в Google Play), несмотря на то, что эта стратегия имеет первостепенное значение для определения того, что действительно увеличивает ваши продажи (а что является пустой тратой времени и денег).

Итак, вам нужно использовать решение, разработанное для мобильных разработчиков. SplitMetrics упрощает выполнение A / B-тестов и выяснение того, что действительно работает.

Преимущества для мобильных разработчиков почти безграничны, но некоторые из основных моментов включают:

• Более высокие коэффициенты конверсии
• Анализ показателей вовлеченности
• Принятие решений на основе данных и статистики
• Возможность просмотра магазина приложений опыт с точки зрения пользователя
• Лучшее использование ресурсов
• Анализ поведения клиентов
• Достижение больших бизнес-целей

Итог: A / B-тестирование — идеальный инструмент, поскольку он позволяет всем разработчикам определять возможности для роста в целевые страницы своих приложений, вносят существенные улучшения на основе результатов и, конечно же, понимают поведение своих пользователей.