Аб тесты: A/B тесты — что это такое и как использовать? — ProductStar на vc.ru

A/Б тесты — что это такое и как проводить? — ProductStar на vc.ru

Расспросили CEO & Founder ProductStar Михаила Карпова о том, как проводить А/Б-тесты без ошибок

2947 просмотров

Михаил Карпов

CEO & Founder ProductStar

А/Б тест — эксперимент, который проводят продакты (и не только) для проверки гипотез. Чтобы понять, принесет ли пользу конкретное изменение, нужно на практике сравнить первоначальный вариант с модифицированным и проанализировать результаты.

Почему все любят А/Б тесты?

Представим, что вы продакт компании, которая занимается разработкой приложения сервиса стриминга музыки. У вас большая команда и вы каждый день ищите пути улучшения вашего сервиса. Улучшать что-то без достаточных оснований — глупо, мы же помним, что продукт должен решать определенную проблему .

Любые изменения вносятся в продукт с конкретной целью, она либо помогает пользователю, либо решает бизнес задачи (супер, если все сразу).

В нашем случае поступает задача от старшего продакта — увеличить число активных пользователей. Команда начинает генерировать гипотезы, как нам добиться желаемой цели. Здесь и нужны А/Б тесты.

Продакты не любят неопределенность

Во время генерации гипотез мы делаем предположения, которые требуют доказательств. Гипотезы могут основываться на нашем личном опыте, статистических данных или исследовании наших пользователей. Иногда кажется, что из 10 гипотез к успеху могут привести все. Что делать? Скрестить пальцы и запустить А/Б тест!

Решения из воздуха

Соблазн сразу выдать готовое решение всегда мешает продакту. Представим, что в нашем кейсе мы предположили, что поиск по текстам песен с большой вероятностью повысит количество пользователей. Реализовать такую фичу — трудоемкая работа целой команды, но что, если мы ошиблись? Новых пользователей не привлекли, а драгоценное время потрачено. Чтобы такого не случалось, сперва MVP новой фичи следует прогнать через А/Б тест, на основе которого можно будет принимать решение: делать ли фичу и насколько много ресурсов команды на такую задачку выделять.

Как самому провести первый А/Б тест?

1. Сначала прицеливаемся

Прежде чем проводит А/Б тест, задайте себе простой вопрос: “Зачем?” Физики ставят эксперименты, чтобы больше узнать о явлениях природы, а продакты — чтобы решить задачу или достичь определенной цели, например, обеспечить компании высокие темпы роста.

Например, в Видеосервисе ВК одна из ключевых метрик — «число просмотров». Чтобы её увеличить предлагается ряд гипотез, одной из которых будет «добавить опцию автоматического переключения на следующее видео». Это большое изменение и его стоит проверить в A/B-тесте (чтобы точно понимать что мы улучшим, а не ухудшим нашу метрику).

2. Метрики всему голова

А/Б тесты — количественное исследование, оно отражает изменение того, что можно измерить. Поэтому нужно понять, какие показатели будем считать или, говоря языком продактов, — определить метрики. Лучше всего выбрать 1-3 метрики, изменения которых будем отслеживать.

Если метрик будет много, то точно определить эффект теста будет проблематично.

Допустим, для нашего примера с Видеосервисом можно выделить следующие метрики: число просмотров, средняя длительность просмотра, количество лайков на видеозаписях. Важно следить за всеми ключевыми метриками сервиса, так как в результате внедрения изменений бывает, что одна метрика вырастет, а несколько других наоборот снизятся. И тут уже продакту необходимо принимать бизнес решение: оставлять внедрение или откатывать к первоначальному варианту.

3. Мыслим гипотетически

Нашли цель, двигаемся к гипотезе, именно ее мы будем проверять. Лучше всего представить ее по формуле: “если произойдет событие А, то с метрикой произойдет событие Б”.

Для нашего примера это выглядит следующий образом: «если человек досмотрит видео до конца и мы покажем 10-секундный таймер обратного отчёта, а после него включим следующее видео, то на 10% увеличится общее число просмотров видео»

Мы имеем здесь два возможных развития событий:

— Нулевая гипотеза: изменения нет, событие А происходит, а метрика не изменяется

— Альтернативная гипотеза: подтверждение нашей гипотезы, метрика меняется, когда происходит событие А.

4. Находим испытуемых

У эксперимента всегда есть пользователи, на которых он проводится. Наша задача — определить, кто нам подходит: из какой страны, все пользователи или только новые, иными словами — выделить группу испытуемых. Затем нам стоит понять, сколько пользователей мы должны протестировать.

А/Б тесты тесно связаны со статистикой, и часто случается, что малое количество пользователей не даст вам определить, есть ли зависимость изменения метрики от ваших нововведений. Проще всего это сделать с помощью специальных сервисов-калькуляторов, например Driveback или Optimizely.

Когда мы проводим эксперимент, мы также должны не попасть в ловушку статистики и предусмотреть все случайные совпадения. Когда мы тестируем большое количество пользователей, простые совпадения не редкость, по-умному это называется “определение уровня статистической значимости”. Обычно берется значение в 5%.

Последнее – устанавливаем дедлайн. Мы же не можем проводить эксперимент бесконечно, чаще всего для проверки гипотезы достаточно одной или двух недель.

Например, сейчас конверсия в оплату 10%, мы вносим изменение и хотим чтобы конверсия увеличилась на 2%, для этого нам нужно чтобы через эксперимент прошло 3500 пользователей, на нашем трафике это займёт 10 дней.

5. Проводим А/А тест

Прежде чем проводить А/Б тест, необходимо проверить сами группы испытуемых на идентичность. Эти группы должны показать одинаковый результат на А/А тесте (т.е. обеим группам показываем версию продукта без изменений). Если этого не сделать, изменения на А/Б тесте можно списать на то, что пользователи у нас изначально отличались. А/А тест ликвидирует такую вероятность.

6. Запускаем и не торопимся

Настал самый сложный для продакта этап – не торопиться. После запуска эксперимента важно проверить, все ли работает (особенно если изменения метрик уж слишком неожиданные). Еще раз проверить корректность настроек, после чего следует дать тесту “доработать”.

Частая ошибка — сделать вывод раньше времени, когда видна победа альтернативной гипотезы (т. е. положительное изменение метрики на варианте Б). К концу эксперимента результаты могут изменится на противоположные, поэтому всегда доводите эксперимент до конца.

7. Анализируем результаты

Когда эксперимент закончен, нужно обработать полученные данные. Возможно два исхода:

• Победила нулевая гипотеза, т.е.изменений нет. В этом случае полезно будет понять, почему гипотеза не сработала.

Например, мы добавили автовключение видео, но метрика изменилась только на 0,02%, что по информации от команды аналитиков является статистически незначимым в нашем случае. Значит, наше изменение нам не помогло и важно изучить из-за чего такое произошло. Это может быть ошибка в дизайне, может мы что-то не поняли в поведении пользователей и стоит провести качественное исследование и пообщаться с ними вживую.

• Победила альтернативная гипотеза. Тест подтвердил наше предположение, событие А привело к изменению метрики Б.

Например, мы добавили автовключение видео и метрика «число просмотров» изменилась на 2%, что по информации от команды аналитиков является статистически значимым в нашем случае.

Для проверки результатов важно запустить повторное тестирование, либо распространяют тест на всех пользователей, после чего уже делать решение о внедрении полноценной версии фичи.

Какие ошибки чаще всего проводятся при проведении А/Б-тестов?

• Неоднородная аудитория. Если мы тестируем гипотезу на разных пользователях, то делать выводы о ее работе не можем. Чтобы не экспериментировать впустую, всегда проверяйте пользователей на А/А тестах.

• Игнорирование незначительных результатов. Во время А/Б теста обнаруживается рост отслеживаемой метрики, но ниже ожидаемого. К примеру мы ожидали роста в 7-10%, а метрика выросла на 2-3%. Мы получили ценную информацию, которая может вывести нас на новую гипотезу или проблему, игнорировать ее – значит упустить возможность.

• Игнорирование других показателей. Вполне может быть, что эксперимент действительно показывает рост нужной нам метрики, но другие показатели снижаются. Нужно проводить дополнительные исследования и строить гипотезы для решения проблемы, но ни в коем случае не опускать руки.

Ошибка I рода. Так в статистике называется ситуация, когда складывается иллюзия результата. К примеру, наша гипотеза работает, хотя на самом деле эффекта нет.

Ошибка II рода. Обратная ситуация, когда мы не видим реальных изменений. Часто бывает, что метрика просто реагирует на изменения недостатка данных (т.е. мало пользователей для анализа).

Как избежать этих ошибок?

Для этого и проводятся повторные тестирования, тестирования на всех пользователях, качественные исследования. Как врач никогда не спешит ставить поспешный диагноз, так и вы не должны делать поспешных выводов. Сомнения — ключ к поиску работающих гипотез.

Вместо заключения

• А/Б тесты — незаменимый инструмент в арсенале продакта, он помогает быстро проверять верность наших идей

• Продакт не выживет без А/Б тестирования. Скорость релизов все растет, конкуренция повышается, а ресурсы команды не безграничны. Время, когда продукт делали “просто так” давно ушло, сейчас индустрия работает на экспериментах и быстрой проверке гипотез.

• А/Б тест подойдет не только продактам, но и маркетологам, дизайнерам, таргетологам, всем, кто хочет генерировать идеи и проверять их эффективность.

• Не бывает плохих А/Б тестов. Если вы на всю жизнь запомните из этой статьи одну мысль, то пусть это будет она: любой эксперимент дает нам ценные знания, которые мы можем использовать в улучшении продукта. Даже если тест провалился, не печальтесь! Вы получили много инсайтов для размышления, а если и они не помогли, то помните, что вы избежали лишних затрат на разработку бесполезной фичи.

В общем, A/Б-тесты — инструмент необходимый, почти в каждом описании вакансии продакта будут требовать уметь его применять.

Этому и многим другим важным продуктовым скиллам можно обучиться на нашем курсе «Профессия: продакт-менеджер». Занятия записаны заранее, а значит курс вполне реально пройти за несколько месяцев, не дожидаясь остальной группы. Из уникальных фич курса — индивидуальное менторство, гарантии трудоустройства (средний срок поиска работы карьерным центром — 2,5 месяца с момента старта учебы), поддержка до 6 месяцев на испытательном сроке, собственная образовательная платформа, доступ к огромному коммьюнити топовых специалистов, курс по маркетингу в подарок.

Ну а если вы хотите изучить какие-то конкретные темы, например, углубиться в hard скиллы продакта, Unit-экономику, менеджмент мобильных приложений, инструменты CJM, то оставляйте заявку нашим менеджерам по любой из ссылок, они подробно расскажут о всех мини-курсах и профессиях!

Успехов 🙂

A/B-тестирование цен

A/B-тестирование поможет проверить, какая цена больше привлекает покупателей, и решить, нужно ли её сейчас снижать.

Какие товары подходят для теста

Можно тестировать цену любых товаров, если у них не включены стратегии ценообразования или акции — в том числе их автоприменение. Потом до конца теста советуем не добавлять эти позиции в акции и распродажи — иначе это исказит результаты.

Вот ещё несколько условий:

• товар может участвовать только в одном тесте единовременно. Если захотите проверить, как работают другие скидки — после завершения теста, можно будет начать новый;
• в одном тесте могут участвовать до 10 товаров — чтобы проверить как одинаковые скидки действуют на разную продукцию;
• можно запускать до трёх тестов разных товаров одновременно.

Как работает тестирование

Вы выбираете, какая часть аудитории будет участвовать в тесте: от 10% до 100%. Эти покупатели делятся на две одинаковые группы:

• группа A — видит текущую цену;
• группа B — видит экспериментальную цену со скидкой.

Premium-клиенты не участвуют в эксперименте и не учитываются в статистике — они всегда видят самую низкую цену.

Тестирование может длиться от 7 до 14 дней, в это время у каждой группы измеряются:

• просмотры страницы товара;
• добавления товара в корзину;
• оформления заказа;
• оплаты.

Считаем не только количество этих действий, но и конверсии перехода от одного этапа к другому. Метрики помогут понять, что происходит при изменении цены, и стоит ли вам использовать скидки на выбранную продукцию.

Вы можете проверить, что товар попал в тестирование:

1. Откройте страницу Товары и цены → Список товаров или Товары и цены → Цены на товары.
2. Нажмите на стоимость товара — откроется его карточка.
3. Под названием и артикулом отобразится пометка об участии в тесте.
4. На вкладке Инструменты цены можно посмотреть, в каких экспериментах участвует товар и их детали.

Как посмотреть результаты теста

Можно просматривать результаты в ходе тестирования и после его завершения. Для этого перейдите в раздел Товары и цены → A/B-тесты цен и выберите в меню эксперимента Результаты теста.

По умолчанию статистика будет охватывать все товары из теста. Чтобы посмотреть информацию по конкретному продукту, выберите его с помощью фильтра в нижней части страницы.

Как создать тест

Путь 1

1. Перейдите в раздел Цены → A/B-тесты цен и нажмите Создать тест.
2. В появившемся окне укажите:
   • название теста;
   • какая часть аудитории будет участвовать в эксперименте — от 10% до 100%;
   • срок проведения — от 7 до 14 дней;
   • размер скидки для тестовой группы — от 5% до 15%.
3. Укажите в поисковой строке название товара, чтобы добавить его в тест.
4. Эксперимент начнётся, когда вы нажмёте кнопку Запустить тест.

Путь 2

1. В разделе Цены на товары откройте меню возле интересующего продукта и нажмите A/B-тесты цен — товар добавится в тест автоматически и откроется окно настройки.
2. Настройте долю аудитории для теста, сроки и скидку, а затем нажмите на кнопку Запустить тест.

Теперь можно самостоятельно выбрать долю покупателей для участия в AB-тесте цен. Отберём их случайным образом и половине покажем товары со скидкой.

Как посмотреть настройки теста

Чтобы посмотреть настройки тестирования, перейдите в раздел Цены → A/B-тесты цен и в меню выберите Параметры теста.

Как завершить тест

Эксперимент автоматически завершится, когда пройдёт указанное количество дней. Если вы захотите прекратить тестирование раньше, в разделе Цены → A/B-тесты цен в меню можно выбрать Остановить тест.

20 Elements To Optimize [2022]

Независимо от того, являетесь ли вы опытным маркетологом или новичком, владеющим интернет-магазином, вы постоянно потребляете контент в Интернете, чтобы улучшить свою игру.

Интернет завален сообщениями, которые просто просят вас протестировать тот или иной призыв к действию или заголовок! Однако важно помнить, что самые эффективные A/B-тесты — это те, которые хорошо спланированы и выполнены.

В этом посте мы познакомим вас с 20 элементами, которые вы должны A/B-тестировать для своего магазина электронной коммерции для повышения конверсии.

A/B-тестирование

A/B-тестирование или сплит-тестирование — это научный способ достижения истины или, по крайней мере, наилучший вариант в данном наборе условий.

A/B-тестирование веб-сайта в широком смысле означает тестирование двух версий веб-страницы, чтобы увидеть, какая из них лучше работает с вашими посетителями и приносит вам больше продаж или конверсий.

Это не что иное, как лабораторный эксперимент. Чтобы получить значительные результаты, вы должны следовать научному методу.

A/B-тестирование в электронной коммерции

Возможно, вы управляете достаточно успешной компанией и получаете от нее приличный доход.

Однако вы по-прежнему скептически относитесь к своей воронке конверсии, посредственной отдаче от рекламных расходов и конверсий.

Но скептики не помогут; дать шанс A / B-тестированию может быть!

Высока вероятность того, что, хотя вы знаете, где ошибаетесь, вы не можете решить, с чего начать тестирование электронной коммерции.

Помните, A/B-тестирование — это не волшебство!

Это все равно, что регулярно ходить в спортзал, чтобы добиться результатов. Вы должны быть достаточно последовательны, чтобы получить желаемые результаты при выполнении A/B-тестов для оптимизации конверсии вашего веб-сайта.

Вы должны последовательно выдвигать гипотезы, тестировать, экспериментировать, повторять!

Где вы используете A/B-тестирование в электронной коммерции?

Количество элементов, которые вы можете протестировать, бесконечно, но вот 20 идей тестирования, которые вы должны попробовать на своем сайте электронной коммерции, чтобы исправить беспорядок:

1. Бесплатная доставка

Секрет в том, что вы никогда не должны взимать плату с клиентов за доставку.

Проведите тест, чтобы сравнить конверсии, протестировав свой продукт с бесплатной доставкой и без нее. Вы можете включить сумму доставки в базовую цену вашего продукта для варианта с бесплатной доставкой, сохраняя при этом контроль, как и без бесплатной доставки.

Точно так же вы можете запустить еще один тест, создав пороговое значение для бесплатной доставки и т. д., чтобы определить, что лучше всего подходит для ваших целей конверсии.

Также не забудьте выделить это ЖИРНЫМ шрифтом на вашем сайте!

Источник изображения: Baymard

Дополнительные расходы при оформлении заказа, включая стоимость доставки, возглавляют список причин, ответственных за максимальное количество брошенных корзин.

2. Изображения героев над каруселями

Говорят, сегодня покупатель может учуять рекламу за версту! Типичное поведение веб-пользователя научило человеческое подсознание игнорировать все, что выглядит как реклама.

Карусели, хотя и не являются рекламой, выглядят как реклама, которая не привлекает внимание и в конечном итоге разочаровывает пользователей.

Лучшей альтернативой являются главные изображения с высоким разрешением, соответствующие вашему бизнесу.

Геройское изображение или главный заголовок — это не что иное, как термин дизайна веб-сайта, который широко используется для изображений размером с баннер, которые позволяют вашим пользователям видеть, и фоновых видео, которые заставили их испытать вашу историю. Они располагаются впереди на целевой странице.

Интересно, что теперь у вас есть еще одна возможность протестировать фоновое видео героя на изображении.

Источник изображения: Justinmind

3. Призыв к действию (CTA)

Размер : 

Призыв к действию или CTA является одним из наиболее важных факторов, когда речь идет о стимулировании конверсии на вашем сайте электронной коммерции.

Кнопка CTA должна быть заметной, жирной, легко находимой, а также занимать умное место на вашем веб-сайте.

Насколько большим он должен быть для получения желаемых конверсий, можно определить, поэкспериментировав с разными размерами.

Также могут быть обстоятельства, когда вы говорите о двух призывах к действию на одной странице. В таких случаях имеет смысл уменьшить размер кнопки вторичного призыва к действию. Вот пример, взятый с Wufoo.com:

Источник изображения: Wufoo

Фразировка :

Точно так же вы можете проверить кнопку CTA на фразировку. Помимо написания SEO-оптимизированных описаний продуктов и текста, ваша кнопка CTA взывает к пониманию человеческой психики. Конечно, это зависит от вашей бизнес-цели, например, купить сейчас, попробовать сейчас, бесплатно попробовать и т. д. 

Вот пример с целевой страницы, где целевой группой являются люди, которым нужен кредит.

Источник изображения: Pagewiz

Они проверили эффективность фраз в двух их вариантах: «Подать заявку», что подразумевает в гипотезе, что потенциальный клиент может быть отклонен, по сравнению с «Отправить», который звучал более надежно и приветливо.

Цвет:

Ваш призыв к действию должен выделяться. Период.

Визуальная привлекательность, эстетика, дизайн вашего сайта – все будет напрасно, если с их помощью вы не сможете достичь своих бизнес-целей.

Последнее, к чему вы должны стремиться, — это совместить ваш призыв к действию с темой веб-сайта и вашим предпочтением одного любимого цвета.

Запутались? Неважно.

Отбросьте предубеждения и проведите тест, чтобы выяснить, какой цвет подойдет для вашего призыва к действию.

Вот пример, когда кнопка красного цвета сравнивалась с зеленой.

Источник изображения: HubSpot

Зеленый неизменно ассоциируется с движением, а красный означает опасность или избегание. Но результаты этого теста были неожиданными.

Красный вариант CTA получил на 21% больше кликов, чем зеленый.

Размещение:

Обычно CTA размещается в верхней части вашего сайта. Но, как сказано, не предполагайте и идите только после лучших практик.

Исследование, проведенное ContentVerve, показало, что размещение призыва к действию в нижней части страницы увеличивает конверсию на 304%.

Источник изображения: Contentverve

Также обратите внимание, что эти кнопки CTA имеют смысл для длинных целевых страниц. Поскольку большинство компаний сейчас переходят на веб-сайты, оптимизированные для мобильных устройств, это относится только к версиям для настольных компьютеров.

Протестируйте свою кнопку CTA на основе естественного потока вашей целевой страницы — вверху сгиба, посередине, слева, справа, попробуйте везде.

Проведите тест на двоих, пока не найдете победителя.

4.   Человеческие фотографии

Чтобы увеличить продажи, вы должны казаться покупателям настоящим.

Использование высококачественных человеческих изображений на вашем веб-сайте в качестве элемента дизайна может изменить ваш бизнес электронной коммерции. Например, Джейсон Томпсон провел A/B-тест, чтобы увидеть, приведет ли замена значка контакта на его собственную фотографию на его странице к большему количеству людей, связывающихся с ним.

Контроль и вариант выглядели так:

Источник изображения: Джейсон Томпсон

Однако человеческие фотографии не являются панацеей для всех веб-сайтов.

Наилучший способ — провести A/B-тестирование фотографий на контрольном образце без фотографий на вашем веб-сайте электронной коммерции.

5. Формулировка заголовка

Целевая страница вашего веб-сайта электронной коммерции предполагает действия, которые вы хотели бы, чтобы ваши посетители выполняли.

Формулировка, основанная на поставленных вами бизнес-целях, может побудить их к действию.

A/B-тестирование вашего заголовка, чтобы определить наиболее эффективную фразу, обеспечивающую высокий коэффициент конверсии.

 Например, фармацевтическая компания Movexa увеличила свои продажи на 89% после добавления слова «добавка» в заголовок на этой целевой странице.

6. Страница продукта

Дизайн вашего страница продукта играет решающую роль в вашем бизнесе электронной коммерции, поскольку она напрямую конвертируется в доллары.

Любая ошибка будет стоить вам денег, которых вы, очевидно, никогда не захотите.

Вы должны использовать высококачественные изображения, чтобы ваши товары выглядели превосходно на страницах категорий! Вы можете поэкспериментировать с тем, как вы отображаете изображения своих продуктов, например, показывая образ жизни на странице категории продуктов на изолированном изображении продукта на белом фоне.

Например, Zara доводит это до крайности, используя очень большие изображения на страницах своих категорий товаров.

Источник изображения: TheGood

Вы можете протестировать представление мозаики против представления списка.

Мозаика:

Источник изображения: Sumo

Список:

Источник изображения: Sumo

Это полностью зависит от того, что ваши клиенты предпочитают видеть. Итак, тестируйте и определяйте победителя!

7. Размер шрифта и высота строки

Поэкспериментируйте с различными размерами шрифта и высотой строки, чтобы улучшить читаемость вашего контента. Если текст на вашей домашней странице корявый и мелкий, ни один из ваших клиентов не будет тратить время на его чтение.

Например, Sonos выбрал ультраминимальный дизайн и макет для своего веб-сайта, но это не умаляет удобства пользователей.

Источник изображения: Sonos

8. Персонализация

Пользователь покинул вашу страницу в поисках настольной лампы. Вы можете cookie-файлы таким посетителям и предложить им выбрать из вашей новой коллекции настольных ламп, когда они повторно посетят вашу страницу.

Каждый аспект персонализации, улучшающий взаимодействие с пользователем, может помочь вам увеличить количество конверсий.

Вот пример ASOS, который использует персонализацию для рекомендаций на основе предыдущего покупательского поведения своих клиентов:

Источник изображения: ASOS

Вы должны протестировать свою страницу с персонализацией и без нее, чтобы увидеть, как это влияет на ваши конверсии.

9. Уведомление о продуктах, находящихся в наличии

Когда ваш продукт пользуется большим спросом, рассмотрите это как возможность. Предоставьте своим посетителям возможность уведомления о наличии на складе, что означает, что вы будете уведомлять их, когда товар, который они намеревались купить, пополняется в инвентаре.

Это не только поможет вам с адресами электронной почты, но и не позволит вашим клиентам уйти с пустыми руками.

Например, индийский бренд Myntra предлагает своим посетителям внести в «список желаний» распроданные товары, которые они намерены купить в будущем.

Источник изображения: Myntra

Как только посетители заносят его в список желаний, они перенаправляются на страницу регистрации Myntra, которая по сути запрашивает адрес электронной почты, как показано ниже:

Источник изображения: Myntra

ваши продажи, проверяя его против вашего контроля, который не дает никаких действенных сигналов вашим потенциальным клиентам, когда какой-либо товар исчезает со склада в вашем интернет-магазине.

10. Помогайте людям, а не продавайте их

Чтобы заработать деньги, не обязательно продавать людям. Это всегда помогает, когда вы начинаете разговор о помощи им. Такие потенциальные клиенты с большей вероятностью превратятся в клиентов.

Например, ActiveNetwork приняла решение изменить способ использования электронной почты для продвижения своего продукта. Вместо того, чтобы использовать обычный тон продаж, они создали новую копию шаблона электронной почты, используя тон поддержки.

Посмотрите на разницу.

Версия для продажи:

Источник изображения: MarketingExperiments

Вспомогательная версия:

Источник изображения: MarketingExperiments

Последняя версия увеличила количество потенциальных клиентов на целых 349%.

11. Экспертный совет по товару

Уточнение клиентского опыта — это то, с чем магазины электронной коммерции часто сталкиваются. Совет эксперта на странице продукта имеет огромный потенциал для увеличения ваших продаж.

Это не только создает подлинную эмоциональную связь с вашей целевой группой, но и убеждает клиента в том, что он стоит вложений в ваш продукт.

Например, при проведении A/B-тестирования страницы продукта Roller Skate Nation экспертная оценка увеличила их продажи на 69%.

Источник изображения: Singlegrain

12. Рекламный контент

Практически все любят скидки. Однако вы не должны делать предположений, падая на теорию о том, что рекламный контент всегда стимулирует конверсию.

Давайте посмотрим на этот пример на веб-сайте SimCity:

Источник изображения: SimCity

Элементом управления была исходная целевая страница с рекламной информацией в верхней части экрана под строкой меню.

Это было довольно просто, правда?

Если исходить из предположения, такой стимул должен быть достаточно хорош для конверсии.

Однако, когда его убрали с целевой страницы, количество покупок увеличилось на 43%.

Это следствие успеха простого дизайна веб-сайта, который стимулирует конверсию. Посетители не смутились, обнаружив кнопку CTA в варианте, что по иронии судьбы сделал элемент управления с рекламным контентом под строкой меню.

Однако вам необходимо проверить, стоит ли добавлять рекламный контент для вашего бизнеса электронной коммерции.

13. Одностраничный макет против многостраничного

Когда дело доходит до оставления корзины, возможность оформления заказа на одной странице, а не на нескольких, может оказать существенное влияние.

 На скриншоте ниже вы можете увидеть, как Walmart создает удобную схему оформления заказа на одной странице.

Источник изображения: Designforfounders

Но вы должны знать, какой самый простой способ для ваших клиентов. Убедитесь, что они никогда не испытывают затруднений и не чувствуют себя потерянными в середине цикла продаж.

14. Поддержка клиентов во время совершения покупок

Отсутствие поддержки является одним из факторов, отрицательно влияющих на количество брошенных корзин.

Ваши посетители ожидают от вас определенных удобств и обслуживания.

Согласно тематическому исследованию, проведенному LivePerson, 83% онлайн-покупателей нуждаются в помощи во время совершения покупок на сайте.
Более половины (примерно 51%) опрошенных подтвердили, что они с большей вероятностью совершат транзакцию, если у них будет поддержка клиентов, такая как онлайн-чат.

 Как вы можете оказать такую ​​поддержку?

Если вы не предлагаете чат, попробуйте поэкспериментировать с ним.

Вы, безусловно, можете инвестировать в технологию в течение месяца или двух, скажем, в течение 30-дневного периода бесплатной доставки и протестировать ее в контрольной версии без живого чата для измерения роста продаж.

Лучше всего делать вещи простыми, будь то дизайн, макет страницы или меню навигации.

Ваш посетитель обязательно расстроится, увидев сложное навигационное меню вашего сайта, которое должно указать ему путь.

Вот пример Yeppiechef. Они удалили навигационное меню на своей целевой странице и протестировали его на контрольной версии.

Источник изображения: YeppieChef

Это изменение дизайна привело к увеличению коэффициента конверсии на 100%. Если это сработало для них, это может сработать и для вас.

16. Быстрый просмотр продукта

Чтобы потенциальные клиенты не мучились с поиском дополнительного описания продукта, вы должны протестировать свой сайт с помощью быстрого просмотра продукта.

Это позволяет им мгновенно сравнивать продукты и помогает им быстрее принимать решения о покупке.

Вот пример, который показывает страницу слева без быстрого просмотра, а справа показывает подробную информацию о продукте, когда посетитель наводит курсор на определенный продукт.

Источник изображения: Baymard

17. Видео о продуктах и ​​видео 360°

Мы живем в век видео. Видео о продуктах также быстро становится абсолютной необходимостью для размещения на странице вашего продукта для лучшего взаимодействия с пользователем.

 Например, ASOS была одной из первых компаний, которые извлекли выгоду из видеороликов о продуктах в формате 360°. Многие компании электронной коммерции, занимающиеся одеждой и обувью, приняли функцию видео.

Источник изображения: ASOS

Однако, как говорится, не следуйте стадному менталитету. Прежде чем принимать какое-либо решение, вы должны проверить, работает ли оно для вашей целевой аудитории.

18. Проверка дополнительных продаж и перекрестных продаж

Вы должны протестировать свой веб-сайт на предмет продажи дополнительных товаров по сравнению с более дорогими продуктами. Например, Apple является экспертом в повышении продаж своих продуктов, позволяя клиентам обновляться.

Проверьте, что подходит для вашего сайта.

Источник изображения: Apple.com

19. Добавление тегов к изображениям для предварительного просмотра

Подчеркивание «Бестселлер» или «Новинка» для дополнительной информации может повысить продажи вашего веб-сайта. Добавьте такие выноски на товары, которые могут быть в продаже.

Посетители мотивированы на покупку, когда видят ссылки на существующие продукты, которые их интересуют.

Вот пример Wayfair, который активно использует ярко-красные теги на своем сайте. Таким образом, они указывают на снижение цен и скидки на выбранные товары.

Источник изображения: Wayfair

Этот метод не только быстр, но и эффективен для повышения успешности страницы вашего продукта.

20. Социальное доказательство с помощью пользовательского контента

На последнем этапе цикла продаж, непосредственно перед совершением покупки, клиенты ищут подтверждения, чтобы убедиться, что они поступают правильно.

Лучший способ сделать это — добавить на сайт отзывы и обзоры товаров от ваших предыдущих покупателей.

 Показывая своим потенциальным клиентам, насколько ваши клиенты удовлетворены этим конкретным продуктом, вы повышаете их мотивацию к совершению покупки.

 Например, Tarte использует эту функцию на страницах своих продуктов, показывая публикации в Instagram с хэштегом продукта.

Источник изображения: Tartecosmetics

Вы получаете бесплатную рекламу вашего превосходного продукта, которым клиенты с радостью хвастаются в социальных сетях.

Вы можете, например, сравнить обзоры с видео, созданными пользователями, и посмотреть, какой из них окажется победителем.

Заключение

Тестирование всех этих элементов и определение того, какой из них обеспечивает лучшую конверсию на целевой странице, безусловно, будет полезным.

Будьте изобретательны и изобретательны при A/B-тестировании. Следование стадному менталитету или передовым методам может завести вас только до сих пор.

Проведите свой первый A/B-тест. Проводите тесты, думая о своих пользователях и имея четкое представление о том, чего вы пытаетесь достичь.

Думай долго, думай масштабно. Начните A/B-тестирование прямо сейчас.

Что такое А/А-тест? Почему вы должны заботиться?

Тестировать А/А или нет – вопрос, вызывающий противоречивые мнения. Когда предприятия сталкиваются с решением внедрить инструмент A/B-тестирования, у них недостаточно информации о том, следует ли им проводить A/A-тестирование.

В этом сообщении блога мы исследуем, почему некоторые организации практикуют A/A-тестирование, и что им нужно помнить при проведении A/A-тестирования. Мы также обсудим, как предприятия могут решить, инвестировать ли средства в инструмент A/B-тестирования.

Что такое A/A-тестирование?

A/B-тестирование включает в себя направление трафика на две разные страницы — контрольную и вариантную (которая представляет собой еще одну версию исходной страницы) — чтобы увидеть, какая версия конвертируется лучше.

И наоборот, тест A/A сравнивает две абсолютно идентичные страницы друг с другом. Целью А/А-теста является не обнаружение роста числа конверсий, а проверка наличия нет разницы между вашей контрольной и вариационной версиями.

Почему некоторые организации практикуют A/A-тестирование

A/A-тестирование обычно проводится, когда организации внедряют новый инструмент A/B-тестирования. Проведение A/A-тестирования в это время может помочь в следующем:

• Проверка точности внедряемого инструмента A/B-тестирования
• Установка базового коэффициента конверсии для будущих A/B-тестов
• Принятие решения о минимальном размере выборки

Проверка точности инструмента A/B-тестирования

Организации, которые собираются приобрести инструмент A/B-тестирования или хотят перейти на новое программное обеспечение для тестирования, могут запустить A/A-тестирование, чтобы убедиться, что новое программное обеспечение работает в порядке и настроен правильно.

Томаш Мазур, эксперт по оптимизации коэффициента конверсии электронной коммерции, поясняет далее: 

«А/А-тестирование — это хороший способ проверить работоспособность перед тем, как приступить к А/В-тестированию. Это следует делать всякий раз, когда вы начинаете использовать новый инструмент или переходите к новой реализации. А/А-тестирование в этих случаях поможет проверить, нет ли расхождений в данных, скажем, между количеством посетителей, которые вы видите в своем инструменте тестирования и инструменте веб-аналитики. Кроме того, это помогает убедиться, что ваша гипотеза подтверждена».

В ходе A/A-тестирования веб-страница подвергается A/B-тестированию на идентичный вариант. Когда нет абсолютно никакой разницы между контролем и вариацией, ожидается, что результат будет неубедительным. Однако в тех случаях, когда A/A-тест выявляет победителя между двумя идентичными вариантами, возникает проблема. Возможные причины:

• Инструмент настроен неправильно.
• Тест был проведен неправильно.
• Инструмент тестирования неэффективен.

 

Вот что говорит об A/A-тестировании Корте Сверинген, директор по A/B-тестированию и оптимизации в Americaneagle.com: 

своей тестовой платформы или нуждается/хочет получить дополнительные доказательства того, что платформа работает правильно. Нет лучшего способа сделать это, чем взять ту же страницу и протестировать ее на самой себе без каких-либо изменений. По сути, мы обманываем платформу и смотрим, поймает ли она нас! Суть в том, что, хотя я не очень часто провожу A/A-тестирование, я иногда использую его в качестве доказательства концепции для клиента и для того, чтобы дать ему уверенность в том, что используемая им платформа для сплит-тестирования работает должным образом. должен.»

Определение базового коэффициента конверсии

Перед запуском любого A/B-теста вам необходимо знать коэффициент конверсии, с которым вы будете сравнивать результаты. Этот эталон — ваш базовый коэффициент конверсии.

Тест A/A может помочь вам установить базовый коэффициент конверсии для вашего веб-сайта. Поясним это с помощью примера. Предположим, вы проводите тест A/A, в котором контрольный вариант дает 303 конверсии на 10 000 посетителей, а идентичный вариант B дает 307 конверсий на 10 000 посетителей.

Следовательно, коэффициент конверсии для A составляет 3,03%, а для B — 3,07%. Между этими двумя вариациями нет никакой разницы. Таким образом, ориентир конверсии для будущих A/B-тестов можно установить на уровне 3,03–3,07%. Если вы запустите A/B-тест позже и получите прирост в пределах этого диапазона, это может означать, что результат незначителен.

Определение минимального размера выборки

Выбор соответствующего размера выборки может быть сложной задачей. A/A-тестирование может помочь вам получить представление о минимальном размере выборки трафика вашего веб-сайта. Небольшой размер выборки не будет включать достаточный трафик из нескольких сегментов. Вы можете пропустить несколько сегментов, которые потенциально могут повлиять на результаты теста. Чем больше размер выборки, тем больше у вас шансов учесть все сегменты, влияющие на тест.

Корте говорит: «А/А-тестирование можно использовать для того, чтобы клиент понял, насколько важно провести тестирование достаточного количества людей, прежде чем предположить, что вариант превосходит оригинал».

 

Михал Паризек, старший специалист по электронной коммерции и оптимизации Avast, разделяет схожие мысли. Он говорит: «В прошлом году мы в Avast провели комплексное A/A-тестирование. И это дало нам ценную информацию, и это стоило того!» По его словам, «всегда полезно проверить статистику перед окончательной оценкой».

Компания Avast провела A/A-тестирование для двух основных сегментов — клиентов, использующих бесплатную версию продукта, и клиентов, использующих платную версию. Они сделали это, чтобы получить сравнение.

А/А тест проводился 12 дней, и им удалось получить довольно много данных. Всего в тесте приняли участие более 10 миллионов пользователей и более 6500 транзакций.

В «бесплатном» сегменте они увидели разницу в 3 % в коэффициенте конверсии и 4 % в средней стоимости заказа (AOV). В «платном» сегменте они увидели разницу в 2% по конверсии и 1% по AOV.

«Однако все подъемы НЕ были статистически значимыми», — говорит Михал. Он добавляет: «Особенно в «бесплатном» сегменте 7%-ная разница в продажах на пользователя (сочетая различия в коэффициенте конверсии и AOV) может показаться многим людям достаточно достоверной. Но это заблуждение. Учитывая эти результаты теста A/A, мы решили внедрить внутренние рекомендации по тестированию A/B/пороги подъема. Например, если разница в коэффициенте конверсии или AOV ниже 5 %, очень подозревайте, что потенциальный рост обусловлен не разницей в дизайне, а случайностью».

Михал резюмирует свое мнение: «А/А-тестирование помогает понять, как А/Б-тестирование может ввести в заблуждение, если к нему не относиться серьезно. Кроме того, это отличный способ обнаружить любые ошибки в настройке отслеживания».

Проблемы с А/А-тестированием

Вкратце, две основные проблемы, присущие А/А-тестированию:

• Постоянно присутствующий элемент случайности в любой экспериментальной установке
• Требование большого размера выборки

Давайте рассмотрим их один за другим:

Элемент случайности

Как указывалось ранее в посте, проверка точности инструмента тестирования является основной причиной проведения А/А-тестирования. Однако что, если вы обнаружите разницу между преобразованиями управления и идентичным вариантом? Вы всегда указываете на это как на ошибку в инструменте A/B-тестирования?

Проблема (из-за отсутствия лучшего слова) с A/A-тестированием заключается в том, что всегда присутствует элемент случайности. В некоторых случаях эксперимент приобретает статистическую значимость чисто случайно, что означает, что изменение коэффициента конверсии между А и его идентичной версией носит вероятностный характер и не означает абсолютной достоверности.

Томаз Мазур объясняет случайность на реальном примере. «Предположим, вы открыли два абсолютно одинаковых магазина в одном и том же районе. Вполне вероятно, чисто случайно или случайным образом, что есть разница в результатах, сообщаемых этими двумя. И это не всегда означает, что платформа A/B-тестирования неэффективна».

Требование большого размера выборки

Одна из проблем A/A-тестирования заключается в том, что оно может занимать много времени. При тестировании идентичных версий вам нужен большой размер выборки, чтобы выяснить, предпочтительнее ли A, чем его идентичная версия. Это, в свою очередь, займет слишком много времени. Как поясняется в одном из постов ConversionXL: «Объем выборки и данных, необходимых для A/A-теста, чтобы доказать отсутствие существенной систематической ошибки, огромен по сравнению с A/A-тестом. Б тест. Сколько человек вам потребуется для слепого дегустации Coca-Cola (по сравнению с Coca-Cola), чтобы сделать вывод, что людям одинаково нравятся и те, и другие? 500 человек, 5000 человек?». Эксперты ConversionXL объясняют, что вся цель программы оптимизации — сократить потери времени, ресурсов и денег. Они считают, что, хотя проведение A/A-тестирования не является ошибкой, есть лучшие способы использовать свое время при тестировании. В посте они упоминают: «Объем тестов, которые вы начинаете, важен, но еще важнее то, сколько вы *заканчиваете* каждый месяц и из скольких из них вы *узнаете* что-то полезное. Запуск A/A-тестов может занять «реальное» время тестирования».

Байесовский подход VWO и A/A-тестирование

VWO использует байесовский статистический механизм для A/B-тестирования. Это позволяет VWO принимать разумные решения — он сообщает вам, какой вариант сведет к минимуму потенциальные потери.

Крис Стуккио, директор по науке о данных в VWO, делится своим мнением о том, чем A/A-тестирование отличается в VWO от типичных инструментов частотного A/B-тестирования.

Большинство инструментов A/B-тестирования ищут правду. При проведении A/A-тестирования в частотном инструменте ошибочный «победитель» следует сообщать только в 5% случаев. Напротив, VWO SmartStats пытается сделать разумное деловое решение . Мы сообщаем об умном решении , когда уверены, что конкретный вариант не хуже всех остальных вариантов, то есть мы говорим: «Вы оставите на столе очень мало денег, если выберете этот вариант сейчас». В А/А тесте это условие всегда выполняется — вы ничего не теряете, останавливая тест сейчас.

Правильный способ оценки байесовского теста состоит в том, чтобы проверить, содержит ли доверительный интервал для подъема 0% (истинное значение).

Он также говорит, что возможная и самая простая причина, по которой A/A-тесты определяют победителя , — это случайность. «С частотным инструментом 5% тестов A/A вернут победителя из-за невезения. Точно так же 5% тестов A/A в байесовском инструменте сообщают об ошибочных подъемах. Другая возможная причина — ошибка конфигурации; возможно, JavaScript или HTML настроены неправильно».

Другие методы и альтернативы A/A-тестированию

Некоторые эксперты считают, что A/A-тестирование неэффективно, поскольку требует много времени, которое в противном случае можно было бы использовать для проведения реальных A/B-тестирований. Тем не менее, есть и другие, кто говорит, что необходимо проверить работоспособность вашего инструмента A/B-тестирования. Тем не менее, одного A/A-тестирования недостаточно, чтобы установить, следует ли предпочесть один инструмент тестирования другому. При принятии важного бизнес-решения, такого как покупка нового инструмента/программного приложения для A/B-тестирования, следует учитывать несколько факторов.

Корте отмечает, что, хотя нет замены или альтернативы A/A-тестированию, есть другие вещи, которые необходимо учитывать при внедрении нового инструмента:

1. Будет ли платформа тестирования интегрироваться с моей программой веб-аналитики чтобы я мог дополнительно нарезать тестовые данные для получения дополнительной информации?
2.  Позволит ли инструмент выделить определенные сегменты аудитории, которые важны для моего бизнеса, и просто протестировать эти сегменты аудитории?
3.  Позволит ли мне инструмент сразу выделить 100 % трафика на выигрышный вариант? Эта функция может быть важна для более сложных тестов радикального изменения дизайна, когда стандартизация варианта может занять некоторое время. Если ваш инструмент тестирования позволяет сразу выделить 100 % для выигрышного варианта, вы можете воспользоваться преимуществами улучшения, пока страница постоянно создается в вашей CMS.
4. Предоставляет ли платформа тестирования способы сбора как количественной, так и качественной информации о посетителях сайта, которую можно использовать для формулирования дополнительных идей тестирования? Это могут быть такие инструменты, как тепловая карта, карта прокрутки, записи посетителей, опросы на выходе, опросы на уровне страниц и воронки визуальных форм. Если в тестовую платформу они не интегрированы, разрешают ли они интеграцию со сторонними инструментами для этих сервисов.
5. Поддерживает ли инструмент персонализацию? Если результаты тестирования сегментированы и обнаруживается, что один тип контента лучше всего подходит для одного сегмента, а другой тип контента лучше подходит для второго сегмента, позволяет ли инструмент постоянно обслуживать эти разные впечатления для разных сегментов аудитории?

Тем не менее, все еще есть группа экспертов или людей, которые выбрали бы альтернативы, такие как триангуляция данных, а не тест A/A. Использование этой процедуры означает, что у вас есть два набора данных о производительности для перекрестной проверки друг друга. Используйте одну аналитическую платформу в качестве основы для сравнения всех других результатов, чтобы проверить, есть ли что-то не так или что-то, что нужно исправить.

И тут возникает спор — зачем просто А/А-тестирование, когда можно получить более содержательную информацию, запустив А/А/Б-тестирование. При этом вы по-прежнему можете сравнивать две идентичные версии, а также тестировать некоторые изменения в варианте B.

Заключение

Когда компании сталкиваются с решением внедрить новое приложение для тестирования, им необходимо провести тщательную проверку этого инструмента. A/A-тестирование — это один из методов, который некоторые организации используют для проверки эффективности инструмента при принятии решения о создании инструмента собственными силами или о его покупке. Наряду с другими указателями, упомянутыми в этом посте, A/A-тестирование позволяет персонализировать и сегментировать.