A b test: A/B тест — это просто / Хабр — Независимое театральное объединение "Зрительские симпатии"

Содержание

A/B тест — это просто / Хабр

A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.

Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.

Зачем нужны А/B тесты?

Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.

Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.

Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.

Как проводим тесты?

Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.

Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста.

Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.

Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.

Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.

Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.

Что улучшаем?

Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.

Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.

Конверсия

Конверсия

вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.

Экономические метрики

Как правило, эти метрики применимы для интернет-магазинов:

величина среднего чека

объем выручки, отнесенный на число посетителей

интернет-магазина.

Поведенческие факторы

К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе.

Ключевыми метриками являются:

глубина просмотра

страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте,

средняя продолжительность сессии

показатель отказов

— доля пользователей, покинувших сайт сразу после первого захода,

коэффициент удержания

(можно считать, как 1 минус % новых пользователей).

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.

Анализ результатов

Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.

Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.

Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?

Ниже на картинках приведены примеры распределения значений показателя в сегментах.

Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.

На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.

Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат

достоверным, необходимо также оценить площадь пересечения распределений.

Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.

Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы

об эффекте, полученном в результате изменения.

Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.

Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.

Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.

Оценить значимость результатов

Для сравнения случайных величин математики придумали целый раздел под названием

проверка статистических гипотез

. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.

В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.

Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.

В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.

Инструменты

Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.

Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.

Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.

А дальше?

В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов.

Следующий шаг — это продуктовая аналитика. В завершении хочу поделиться

ссылкой

на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.

6 простых шагов — Академия Яндекса

A/B-тестирование — это неотъемлемая часть процесса работы над продуктом. Это эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. Должны ли кнопки быть черными или белыми, какая навигация лучше, какой порядок прохождения регистрации меньше всего отпугивает пользователей? Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование.

Кому нужно A/B-тестирование

Продакт-менеджеры могут тестировать изменения ценовых моделей, направленные на повышение доходов, или оптимизацию части воронки продаж для увеличения конверсии.
Маркетологи могут тестировать изображения, призывы к действию (call-to-action) или практически любые другие элементы маркетинговой кампании или рекламы с точки зрения улучшения метрик.
Продуктовые дизайнеры могут тестировать дизайнерские решения (например, цвет кнопки оформления заказа) или использовать результаты тестирования для того, чтобы перед внедрением определить, будет ли удобно пользоваться новой функцией.

Вот шесть шагов, которые нужно пройти, чтобы провести тестирование. В некоторые из пунктов включены примеры тестирования страницы регистрации выдуманного стартапа.

1. Определите цели

Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.

Пример: Допустим, вы менеджер продукта в «компании X» на стадии стартапа. Руководству нужно добиться роста количества пользователей. В частности, компания стремится к росту количества активных пользователей (метрика DAU), определяемых как среднее количество зарегистрированных пользователей сайта в день за последние 30 дней. Вы предполагаете, что этого можно добиться либо путем улучшения показателей удержания (процент пользователей, возвращающихся для повторного использования продукта), либо путем увеличения числа новых регистрирующихся пользователей.

В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей.

2. Определите метрику

Затем вам нужно определить метрику, на которую вы будете смотреть, чтобы понять, является ли новая версия сайта более успешной, чем изначальная. Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR).

Пример: В нашем примере в качестве метрики вы выбираете долю зарегистрированных пользователей (registration rate), определяемую как количество новых пользователей, которые регистрируются, поделенное на общее количество новых посетителей сайта.

3. Разработайте гипотезу

Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования.

Пример: Допустим, на текущей странице регистрации есть баннер и форма регистрации. Есть несколько пунктов, которые вы можете протестировать: поля формы, позиционирование, размер текста, но баннер на главной странице визуально наиболее заметен, поэтому сначала надо узнать, увеличится ли доля регистраций, если изменить изображение на нём.

Общая гипотеза заключается в следующем: «Если изменить главную страницу регистрации, то больше новых пользователей будут регистрироваться внутри продукта, потому что новое изображение лучше передает его ценности».

Нужно определить две гипотезы, которые помогут понять, является ли наблюдаемая разница между версией A (изначальной) и версией B (новой, которую вы хотите проверить) случайностью или результатом изменений, которые вы произвели.

Нулевая гипотеза предполагает, что результаты, А и В на самом деле не отличаются и что наблюдаемые различия случайны. Мы надеемся опровергнуть эту гипотезу.
Альтернативная гипотеза — это гипотеза о том, что B отличается от A, и вы хотите сделать вывод об её истинности.

Решите, будет ли это односторонний или двусторонний тест. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).

4. Подготовьте эксперимент

Для того, чтобы тест выдавал корректные результаты сделайте следующее:

Создайте новую версию (B), отражающую изменения, которые вы хотите протестировать.
Определите контрольную и экспериментальную группы. Каких пользователей вы хотите протестировать: всех пользователей на всех платформах или только пользователей из одной страны? Определите группу испытуемых, отобрав их по типам пользователей, платформе, географическим показателям и т. п. Затем определите, какой процент исследуемой группы составляет контрольная группа (группа, видящая версию A), а какой процент — экспериментальная группа (группа, видящая версию B). Обычно эти группы одинакового размера.
Убедитесь, что пользователи будут видеть версии A и B в случайном порядке. Это значит, у каждого пользователя будет равный шанс получить ту или иную версию.
Определите уровень статистической значимости (α). Это уровень риска, который вы принимаете при ошибках первого рода (отклонение нулевой гипотезы, если она верна), обычно α = 0.05. Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью. Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.
Определите минимальный размер выборки. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.
Определите временные рамки. Возьмите общий размер выборки, необходимый вам для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста. Как правило, это одна или две недели.

Пример: На существующем сайте в разделе регистрации мы изменим главную страницу — это и будет нашей версией B. Мы решаем, что в эксперименте будут участвовать только новые пользователи, заходящие на страницу регистрации. Мы также обеспечиваем случайную выборку, то есть каждый пользователь будет иметь равные шансы получить A или B, распределенные случайным образом.

Важно определить временные рамки. Допустим, ежедневно на нашу страницу регистрации в среднем приходит трафик от 10 000 новых пользователей, это означает, что только 5000 пользователей могут увидеть каждую версию. Тогда минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000/ 5000 = 20 дней — столько должен продлиться эксперимент.

5. Проведите эксперимент

Помните о важных шагах, которые необходимо выполнить:

Обсудите параметры эксперимента с исполнителями.
Выполните запрос на тестовой закрытой площадке, если она у вас есть. Это поможет проверить данные. Если ее нет, проверьте данные, полученные в первый день эксперимента.
В самом начале проведения тестирования проверьте, действительно ли оно работает.
И, наконец, не смотрите на результаты! Преждевременный просмотр результатов может испортить статистическую значимость. Почему? Читайте здесь.

6. Анализируйте результаты. Наконец-то самое интересное

Вам нужно получить данные и рассчитать значения выбранной ранее метрики успеха для обеих версий (A и B) и разницу между этими значениями. Если не было никакой разницы в целом, вы также можете сегментировать выборку по платформам, типам источников, географическим параметрам и т. п., если это применимо. Вы можете обнаружить, что версия B работает лучше или хуже для определенных сегментов.

Проверьте статистическую значимость. Статистическая теория, лежащая в основе этого подхода, объясняется здесь, но основная идея в том, чтобы выяснить, была ли разница в результатах между A и B связана с изменениями или это результат случайности или естественных изменений. Это определяется путем сравнения тестовых статистических данных (и полученного p-значения) с вашим уровнем значимости.

Если p-значение меньше уровня значимости, то можно отвергнуть нулевую гипотезу, имея доказательства для альтернативы.

Если p-значение больше или равно уровню значимости, мы не можем отвергнуть нулевую гипотезу о том, что A и B не отличаются друг от друга.

A/B-тестирование может дать следующие результаты:

Контрольная версия, А выигрывает или между версиями нет разницы. Если исключить причины, которые могут привести к недействительному тестированию, то проигрыш новой версии может быть вызван, например, плохим сообщением и брендингом конкурентного предложения или плохим клиентским опытом.
В этом сценарии вы можете углубиться в данные или провести исследование пользователей, чтобы понять, почему новая версия не работает так, как ожидалось. Это, в свою очередь, поможет собрать информацию для следующих тестов.
Версия B выигрывает. A/B-тест подтвердил вашу гипотезу о лучшей производительности версии B по сравнению с версией A. Отлично! Опубликовав результаты, вы можете провести эксперимент на всей аудитории и получить новые результаты.

Заключение

Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения. Используйте то, чему вы научились, для выработки вашей следующей гипотезы. Вы можете, например, использовать предыдущий тест или сконцентрироваться на другой области, требующей оптимизации. Возможности бесконечны.

A/B тестирование (сплит-тестирование): быть или не быть

Под лежачий камень вода не течет и лиды не приходят. Чтобы превратить драгоценный трафик, который приносит ваша реклама, в успешные продажи, нужно постоянно оптимизировать свой сайт. Улучшать пользовательский опыт, поведенческие показатели и коэффициент конверсии. Но как убедиться в том, что изменения, которые вы собираетесь внедрить, принесут ожидаемый результат? Для этого существует A/B (сплит) тестирование. В статье мы расскажем, что это такое, как его проводить и на какие нюансы стоит обратить внимание.

Если вам нужна помощь с внедрением метрик, сбором данных и запуском A/B тестов, команда OWOX BI готова поочь. Закажите демо, чтобы уточнить детали.

ЗАКАЗАТЬ ДЕМО

Содержание

бонус для читателей

Видео докладов с конференций: Analyze, GoAnalytics и Ecommerce

Скачать материал

Что такое A/B (сплит) тестирование

A/B тестирование в маркетинге оно же сплит-тестирование (от англ. split testing) — это сравнение двух вариантов посадочной страницы, которые отличаются между собой одним параметром. Его цель — определить, какой из двух вариантов наиболее эффективный и приносит больше конверсий.

Допустим, вы продаете какое-нибудь программное обеспечение. У вас есть лендинг с описанием продукта и кнопкой для подписки на пробную версию, которая расположена в конце страницы. Чтобы увеличить количество подписчиков, вы решили добавить еще одну кнопку на первый экран — для тех, кто уже знает о вашем продукте или предпочитает пробовать сразу, а не читать подробные инструкции.

Чтобы проверить, сработает ли ваша гипотеза, вы создаете копию оригинального лендинга и добавляете на нее кнопку. Затем делите посетителей страницы на две части: одним показываете оригинальную страницу (вариант А), другим — усовершенствованную (вариант B). По окончании теста сравниваете показатели эффективности (в нашем примере это количество подписок) и определяете победителя.

Зачем проводить А/B (сплит) тестирование

Рассмотрим несколько основных проблем, которые помогает решить сплит-тестирование.

1. Лучше понимать своих пользователей и давать им то, чего они хотят. Как бы долго вы ни занимались электронной коммерцией и онлайн-маркетингом, будет ошибкой полагаться в этом вопросе исключительно на личный опыт.

Даже если кажется, что вы можете предугадать поведение пользователя на сайте и понимаете, как именно организовать контент, чтобы он максимально быстро двигался по воронке продаж, проведите A/B тест. Результаты могут вас удивить.

Как показывает практика, не всегда наши предположения совпадают с реальной картиной. Поэтому мы не можем решать, что лучше для клиента, основываясь лишь на собственных убеждениях.

2. Данные VS экспертное мнение. Вторая проблема, вытекающая из первой — это целесообразность изменений на сайте и минимизация связанных с этим рисков.

Часто гипотезы строятся на основе личных взглядов, которые могут не совпадать со взглядами аудитории. В результате изменения, внедренные без предварительного А/В теста, не приносят желаемого эффекта или того хуже — снижают конверсию.

Поэтому, когда перед вами стоит вопрос, что использовать для принятия решений — данные или экспертное мнение, всегда выбирайте данные.

3. Персонализировать коммуникацию с клиентами. Существует много точек взаимодействия с клиентам: они пользуются различными устройствами, приходят из разных источников, по-разному взаимодействуют с вашим сайтом, просматривают и покупают разные товары…

Сервисы веб-аналитики, такие как Google Analytics, Яндекс.Метрика и пр., помогают объединить эти данные и систематизировать знания о пользователе. Мы собираем информацию о том, на каких страницах они были, что делали. Это дает возможность разделить аудиторию по множеству признаков на несколько десятков или сотен сегментов и узнать, к примеру, как себя ведут пользователи, пришедшие с органики или с платного трафика.

Но мы не всегда правильно используем эту информацию и не выжимаем из нее максимум пользы. Простой пример: большинство онлайн-проектов до сих пор показывает один и тот же контент всем пользователям, независимо от их поведения и источников трафика:

Если вы тоже так делаете, сплит-тестирование поможет вам исправить ситуацию и персонализировать контент на сайте.

Основные этапы A/B (сплит) тестирования

Теперь давайте рассмотрим основные этапы и нюансы сплит-тестирования:

Этап 1. Выявить проблему

Первым делом вам нужно определить список слабых мест на сайте. Для этого вы можете:

Изучить данные в Google Analytics и других системах веб-аналитики, посмотреть, у каких страниц высокий показатель отказов, небольшая глубина скроллинга или плохая конверсия.
Использовать вебвизор и тепловые карты кликов, чтобы понять, как пользователи взаимодействую с элементами вашего сайта.
Проанализировать обращения в службу поддержки или опросить действующих клиентов, чтобы узнать, чего им не хватает на сайте.

К примеру, вы посмотрели стандартную Enhanced Ecommerce воронку в GA и увидели, что у вас с карточки товара очень мало человек добавляет товар в корзину. При этом, если у вас есть офлайн-точка, и вы знаете, что в ней популярность товара высокая, то скорее всего что-то не так с вашим онлайн-магазином

Этап 2. Выдвинуть гипотезу

Когда вы определились, что исправлять, нужно подумать, как именно вы будете это делать. Без гипотезы A/B (сплит) тестирование не имеет смысла — ценность от выводов, которые вы получите, будет невелика. Вы должны четко представлять, с какой целью вы проводите эксперимент, какой элемент веб-страницы нужно протестировать, и каких количественных результатов хотите достичь.

При формулировании гипотезы отталкивайтесь от вашей конверсионной воронки. Спросите себя: «Что мне стоит поменять в той или иной части страницы, чтобы быстрее продвинуть пользователя по воронке?». В рамках одного теста проверяйте одну гипотезу, иначе будет сложно определить, какое именно изменение и в какой степени повлияло на конечный результат.

Что можно тестировать:

Цвет, размер, текст и местоположение конверсионных кнопок.
Заголовки — изменить текст, сделать его короче, интереснее и релевантнее содержимому страницы.
Формы — можно сократить количество полей или добавить подсказки и примеры заполнения.
Дизайн лендинга — изменить структуру страницы, шрифт или цветовую гамму.
Контент — добавить качественные фото и видео, призывы к действию, акционные предложения, слово «бесплатно» и т.д.

Еще больше примеров вы найдете в статье «100 идей для A/B тестирования» часть 1, часть 2.

Выбор показателей для оценки эффективности зависит от гипотезы и целей, которых вы хотите достичь. Это могут быть: доход, количество покупок, коэффициент конверсии, средний чек, заявки и подписки, показатель отказов и другие метрики.

Этап 3. Проверить метрики

Следующим шагом вам нужно убедиться, что у вас внедрены и фиксируются все необходимые метрики, на основе которых вы будете делать выводы в конце теста. В своей работе мы сталкивались со случаями, когда клиенты выявили слабые места, определили гипотезы, но не прописали корректно систему метрик так, чтобы потом можно было понять, конверсия изменилась именно из-за этой кнопки, которую он поменял, либо из-за других факторов.

Этап 4. Запустить тест

Перед тем, как запускать эксперимент, рекомендуем вам учесть следующие факторы:

Минимальный размер выборки — чтобы результаты теста были статистически значимыми и им можно было доверять, определите необходимое количество пользователей, которые должны участвовать в тестировании. Сделать это можно с помощью бесплатных онлайн-калькуляторов, например: Driverback или Optimizely. Допустим, конверсия у вашего исходного лендинга 5%, и вы ожидаете что, у тестового варианта страницы она достигнет 7%, значит минимальный видимый эффект в вашем случае составляет 40%. Вводите эти цифры в калькулятор и видите, что для тестирования нужно вам нужно минимум по 1965 человек на каждый вариант:

Внешние факторы: сезонность, праздники, акции, погода, курс валюты и т.д. Чтобы они не исказили результаты эксперимента, важно показывать оба варианта страницы параллельно, в один и тот же период.
В первую очередь тестируйте макроконверсии. Если вы поставили цель — посещение определенной страницы, вполне вероятно, что пользователь ее достигнет, но в финале не совершит транзакцию или не сделает другое целевой действие. Всегда нужно продумывать полностью вашу воронку, чтобы понимать, какое из действий пользователей на сайте наиболее приоритетное.
Учитывайте тип устройства пользователей. Если вы запускаете эксперимент на весь трафик сайта, при этом у вас есть мобильная и десктопная версии, нужно проверить, как выглядит тестовый вариант на мобильном устройстве.
Исключите внутренний трафик, чтобы действия сотрудников вашей компании на сайте не искажали статистику. Это можно сделать в Google Analytics с помощью фильтра по IP-адресу.

После этого вы можете запускать тест. Чуть ниже мы расскажем об инструментах, с помощью которых это делается.

Этап 5. Проанализировать результаты

По окончании эксперимента вы сравниваете и анализируете полученные результаты. К примеру, изначальный CR на вашем лендинге был 3%, вы предполагали, что можете увеличить его до 5%, а тестовый вариант показал 3,5%. То есть коэффициент конверсии хоть и увеличился, но совсем незначительно. Тут уже вам решать, стоит ли внедрять изменение на сайт или протестировать другую гипотезу.

Проверить, имеют ли результаты сплит-тестирования статистическую значимость, вы можете с помощью онлайн-калькулятора или статистических методов:

Прочитать подробнее, что такое статистическая мощность, длина выборки, доверительный интервал, статистическая значимость и как они считаются, вы можете в статье «Статистика в веб-аналитике, или Как стать настоящим Data Scientist».

Если тест прошел успешно и вы получили достоверные данные, выводите лендинг-победитель на сайт и приступайте к следующему эксперименту.

Возможные ошибки при анализе результатов тестирования:

Преждевременная оценка результатов. Сплит-тест рекомендуется проводить не менее 14 дней. Из этого правила можно сделать исключение, если задача горит, вы тестируете незначительные изменения, которые глобально не влияют на функционал сайта (например, поменяли цвет кнопки), и при этом используете Google Optimize. Если вы видите в отчете, что новый вариант побеждает с вероятностью 80-90%, можно остановить эксперимент — показатели уже вряд ли кардинально изменятся.
Оценка результатов при пороге достоверности менее 95% — это еще одна метрика из отчетов Optimize. Когда вы проводите эксперимент, сервис считает, какова достоверность конечного результата. Если она будет ниже 95%, эксперимент останавливать не рекомендуется. Этот порог вы можете увидеть во вкладке с активным экспериментом.
Игнорирование результатов теста как незначительных. Кто же не хочет увеличить конверсии сразу в 2 раза?! Но даже такой скромный, на первый взгляд, CR в 2-3% — это уже неплохой результат. Особенно, если изменения на лендинге были небольшие.
После теста нужно проверить глобальные показатели по сайту, а не только те, которые вы выбрали в рамках эксперимента. Одного параметра может быть недостаточно, чтобы оценить эффект от изменений. К примеру, средний чек может уменьшиться, а общая выручка вырасти за счет повышения коэффициента конверсии. Поэтому важно контролировать все взаимосвязанные KPI.

Инструменты для A/B (сплит) тестирования

Для запуска теста необходимо создать тестовый вариант страницы, сегментировать аудиторию и посчитать целевые метрики для каждой их них отдельно. Если у вас есть навыки программирования и достаточно ресурсов, вы можете запустить А/B тест вручную. Но проще и удобнее делать это с помощью специальных сервисов.

Мы подготовили для вас небольшую таблицу, в которой сравнили популярные инструменты для сплит-тестов:

	Google Optimize	Changeagain	VWO	Optimizely	Convert	ABtasty
Интеграция с Google Analytics	✓	✓	✓	Х	✓	✓
Визуальный редактор	✓	✓	✓	✓	✓	✓
Цели Google Analytics	✓	✓	Х	Х	Х	Х
Таргетинг	Большое количество критериев для таргетинга	Таргетинг по устройствам, странам	Более 15 критериев	Более 15 критериев	Более 35 критериев	7 критериев
Наличие бесплатной или демоверсии	Бесплатная версия, до 5 тестов одновременно	Бесплатная версия для 1 эксперимента на 1 сайт. Демоверсия 30 дней	Демоверсия 30 дней, но трафик ограничен: 1 тыс. посетителей	Бесплатная версия для 1 сайта и 1 мобильного приложения. Функционал ограничен	Демоверсия 15 дней	Демоверсия 30 дней

Мы в OWOX BI используем для сплит-тестирования страниц Google Optimize, поэтому подробнее остановимся на особенностях именно этого инструмента.

A/B тестирование с Google Optimize

Optimize — это онлайн-сервис для тестирования, который подключается к вашему веб-сайту и позволяет экспериментировать с различными способами отображения контента.

Optimize позволяет использовать данные, которые вы накопили в Google Analytics, чтобы предлагать пользователю тот вариант страницы, который будет наиболее удобным для него и результативным для вашего бизнеса.

Плюсы Optimize

Полнота данных — для настройки и анализа эксперимента можно использовать цели и сегменты из Google Analytics. Вы будете работать с привычными метрики из GA, которые так знаете и любите.
Широкие возможности для персонализации — после успешного сплит-теста вы можете настроить показ различного контента, используя аудитории GA и переменные, которые внедрены, например в dataLayer в GTM. Если эксперименты позволяют улучшить производительность вашего сайта для среднестатистического пользователя, то персонализация, основываясь на информации которую мы знаем о пользователе, позволяет достичь еще большей производительности в рамках каждого сегмента.
Интеграция с другими продуктами Google для более глубокого таргетинга и анализа (Google Ads, Data Studio,Tag Manager и т.д.)
Удобный интерфейс, в котором легко разобраться. Есть визуальный редактор, благодаря которому настраивать и запускать новые эксперименты можно без привлечения разработчиков. Это существенно сокращает срок проведения эксперимента.
Минимально влияет на скорость загрузки страницы.
Не нужно вручную сводить данные готовить отчеты и применять статистические формулы для проверки результатов — сервис все делает сам.

Недостатки Optimize

Пока сервис невозможно использовать для тестирования мобильных приложений.
Нет расписания запуска сплит-тестирования. Невозможно заранее запрограммировать, когда сплит-тест будет запущен. То есть, если вы хотите подготовить несколько десятков тестов, но не можете по определенным причинам запускать их одновременно, или есть ограничения бесплатной версии на количество одновременных тестов, или вы не хотите проводить на одной и той же аудитории тестирование нескольких десятков вариантов, то для вас этом может стать проблемой. Нужно будет в момент запуска теста еще раз зайти в интерфейс. Это не очень критичный недостаток, но тем не менее в некоторых других сервисах такая возможность есть.

Как работает Google Optimize

По принципу работы Google Optimize похож на другие инструменты для проведения экспериментов и персонализации:

Сначала нам необходимо создать варианты страниц, блоков pop-up-ов или других объектов, которые мы будем показывать пользователю.
Дальше нужно определить цели (метрики), с помощью которых мы будем определять вариант-победитель. Это могут быть как встроенные в Optimize метрики: количество просмотров страниц, длительность сессии, транзакции, доход и показатель отказов, так и любая кастомная цель из GA.
После этого нам необходимо определить аудиторию, которая будут участвовать в эксперименте и запустить его. На этом этапе вы должны определиться, насколько вы можете рисковать, показывая тестовый вариант пользователям. Вы можете распределить трафик между двумя вариантами поровну либо, к примеру, 20% на 80%. Плюс еще на этом этапе вы должны выбрать, какой части аудитории, которая посещает ваш сайт, вы будете показывать эксперимент. Показывать всем, либо взять 20% и уже на них распределять ваши два варианта. Зачем это нужно? На случай, если у вас крупный магазин, вы не уверены в своей гипотезе и не хотите рисковать половиной трафика.

Кроме классических A/B (сплит) тестов в Optimize можно запускать мультивариативные тесты (когда у вас несколько меняющихся элементов во множестве комбинаций) и редирект тесты (для страниц с разным URL и дизайном).

Ознакомиться подробнее с интерфейсом и настройками сервиса вы можете в статье «Как провести свой первый А/B тест: автоматизируем процесс с Google Optimize».

Анализ результатов

Благодаря отчетам в Google Optimize вы можете наблюдать за результатами по ходу эксперимента и анализировать собранные данные сразу после его окончания.

Термины в отчетах Optimize:

Improvement — вероятный диапазон для коэффициента конверсии.
Probability to be best — вероятность, что этот вариант лучше всех остальных.
Probability to beat baseline — вероятность, что этот вариант принесет коэффициент конверсии лучше, чем оригинал.
Conversion Rate — прогнозируемый средний коэффициент конверсии.
Conversions — количество сессий с конверсиями.

Как определяется победитель

Optimize использует для расчета вероятности Байесову статистику. Если не углубляться в детали, то для пользователя это означает, что во время эксперимента в отчетах Optimize можно увидеть вероятность того, что вариант B будет победителем еще до окончания эксперимента. Если вероятность достигла определенного уровня, можно досрочно закончить эксперимент и сэкономить время и деньги бизнеса.

Кроме того, команда Google планирует реализовать в Optimize механизм перераспределения трафика в пользу лучшего варианта до окончания эксперимента. Это позволит сэкономить ваши деньги так, как меньше пользователей во время теста увидят неэффективный вариант.

Если вы интегрируете Optimize со своим аккаунтом Google Analytics, то сможете просматривать и анализировать результаты тестов в интерфейсе GA, меню «Поведение» — «Эксперименты»:

Ссылки на полезные материалы по сплит-тестированию

P. S. Если вам нужна помощь с запуском A/B тестов и созданием индивидуальной системы метрик для вашего бизнеса, напишите нам на email [email protected] или заполните форму на сайте, или запишитесь на демо.

Запись на демо

Калькулятор достоверности А/B-тестирования — Mindbox

Калькулятор «Размер выборки» помогает подготовиться к тесту — то есть узнать, сколько нужно людей, чтобы результаты были достоверными.

Как пользоваться калькулятором

В колонке «Что тестируем»

Укажите показатель, который хотите протестировать: Click Rate, Open Rate, конверсию в заказы или другой вид конверсии.
Укажите количество вариантов: от 2 до 5, которые планируете сравнить.

В колонке «Значение показателей»

Укажите среднее значение тестируемого показателя. Например, можно использовать исторические данные.
Укажите минимальный процент, на который вы планируете увеличить конверсию с помощью тестируемых вариантов.

Ищите баланс. Если ввести слишком маленький показатель «Ожидаемого прироста», понадобится очень много людей для подтверждения значимости результатов. Если же показатель будет слишком большим, а в итоге ожидаемый прирост окажется меньше, значит, вы не добились нужного роста. То есть считать, что вы получили значимые результаты, нельзя.

В нижней строке

Достоверность — процент уверенности в том, что результаты теста верны, если он показал разницу.
Мощность — процент уверенности в том, что результаты теста верны, если он не показал разницу.

Если вы не знаете, какой процент показателя стоит указать, оставьте значения по умолчанию.

Как читать результаты

В колонке «Размер выборки»

Результатом теста будут от 2 до 5 значений, в зависимости от количества тестируемых вариантов. Они показывают, сколько людей должны увидеть каждый вариант, чтобы можно было доверять результату. Эти данные помогут в том числе рассчитать время, которое потребуется на проведение тестирования, чтобы вы не выключили его слишком рано или слишком поздно.

Например, триггерная цепочка отправляет 100 писем в день. Калькулятор определил, что достоверные результаты сравнения двух вариантов вы получите, если в тестировании примет 500 человек по каждому из них. Значит, вам потребуется отправить 1000 писем. Это займет 10 дней.

Как правильно проводить АВ-тесты

Юлия Туркина, ведущий аналитик Mindbox рассказывает, как правильно проводить АВ-тесты в четыре этапа.

Что такое АБ-тест и как его правильно провести

A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:

Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
Нужно принять решение относительно дорогостоящего изменения.
Выбирается алгоритм товарных рекомендаций среди разных сервисов.
Страшно менять что-то сразу, «а вдруг не пойдет».

В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.

Примеры A/Б-тестов с пользой для бизнеса

Результат успешного теста — выбор варианта-победителя и улучшение конверсии. Клиенты Mindbox с помощью A/Б-тестирований добились измеримого результата в деньгах:

Маркетолог сети винных супермаркетов «Ароматный мир» убедился, что промокоды увеличивают выручку, но размер промокода не имеет значения.
Интернет-магазин «Первый мебельный» улучшил показатели рассылок на 25%.
Обувной ритейлер kari сэкономил 19% бюджета на SMS-рассылках.

Ссылки на материалы дублирую в конце статьи.

Этапы проведения эксперимента

Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:

Определение точки роста и выбор метрик.
Составление гипотезы.
Определение размера тестовой выборки.
Проверка сбора данных по метрике.
Запуск теста и снятие результатов.

Определение точки роста и выбор метрики

Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают. Или хочется разобраться, приносит ли деньги виджет товарных рекомендаций в карточке товара. Варианты метрик для измерения улучшения:

Доход
Количество заказов
Средний чек
Процент открытия писем
Повторные покупки
Количество линий чека в заказе

Составление гипотезы

Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.

Гипотеза	Варианты	Метрика
Эмодзи в теме письма увеличивают открытия на 2%	С эмодзи и без эмодзи	Открываемость
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10%	С блоком сопутствующих товаров в карточке и без	Выручка
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4%	С попапом и без попапа	Количество заказов и выручка

Определение размера тестовой выборки

Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.

Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».

Проверка сбора данных по метрике

Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.

Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.

А/А-тест как способ проверить правильность деления на группы

А/А-тест — это разновидность эксперимента, когда варианты одинаковы. Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.

Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.

Снятие результатов

По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.

Пример из Google Optimize: завершенное тестирование на сайте со статистически значимым результатом: выручка варианта-победителя оказалась на 50% больше

Инструменты для настройки тестов

Рассмотрим инструменты для A/Б-тестирования:

Калькулятор A/Б-тестирований

Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.

Скриншот калькулятора

Google Optimize

Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.

Как настраивается A/Б-тестирование в Mindbox

В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».

Резюме

Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:

Определить точку роста и метрику.
Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
Определить размер выборки для тестирования.
Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.

Полезные ссылки

1С-Битрикс — Модуль AB-тестирования

Зачем нужно AB-тестирование?

Задача любого ecommerce-проекта – конвертировать как можно больше посетителей в покупатели. Для этого сайт постоянно улучшают и оптимизируют. Часто изменения вносят без предварительных исследований, что не всегда положительно сказывается на продажах.

A/B тестирование — один из самых эффективных маркетинговых инструментов, который используется для оценки и управления конверсией сайта. Инструмент облегчит работу маркетолога — он встроен в продукт и не требует дополнительных настроек. В продукте доступно шесть готовых сценариев A/B тестирования — новый дизайн, главная страница, детальная карточка товара, страницы корзины, страница оформления заказа и произвольно выбранная страница. На основании тестирования будет выбран наиболее эффективный вариант для показа.

Как работают А/В тесты

«А» – это то, как у вас есть сейчас (старый дизайн).
«B» — это то, с чем вы будете экспериментировать (новый дизайн).
Для эксперимента выделяется 10% посетителей сайта. Для половины показывается дизайн «А», для другой половины — дизайн «B».

По каждому из вариантов инструмент анализирует показатели конверсии (например, достижение выбранного целевого действия – покупки или заявки).

Сценарии

В продукте доступно 6 вариантов сценария A/B тестирования. Достаточно выбрать и запустить нужный тест.

Новый дизайн
Главная страница
Детальная карточка товара
Страницы корзины
Страница оформления заказа
Произвольная выбранная страница

Список готовых тестов постоянно пополняется! A/B тестирования встроены в «1С-Битрикс: Управление Сайтом» и полностью готовы к работе. Не нужно искать сторонние сервисы и настраивать интеграции. Отчеты теста в виде наглядных графиков и воронок покажут динамику роста или спада конверсии, и вы сможете сделать выводы о внедрении изменений на сайте.

Старайтесь проводить такие тестирования перед внесением всех значимых изменений, которые могут затронуть продажи. Результаты многих экспериментов могут казаться вам очевидными, но иногда они способны удивить!

Что такое A/B test — Ringostat Blog

Кто не рискует, тот не пьет шампанское, а кто не экспериментирует — со временем теряет конверсию. Сегодня поговорим о методе, который позволяет проверять гипотезы, и делает эксперименты над сайтом и рекламой безопасными. A/B тестирование активно используют Google, Amazon и eBay, чтобы становиться еще популярней. Читайте о возможностях метода и как правильно проводить тесты.

АБ Тест — что это?

А/В тестирование — это маркетинговый метод, который позволяет сравнить эффективность двух вариантов какой-либо переменной. Например, цветовой гаммы в оформлении лендинга, заголовков объявления, размещения CTA-элементов и т. д.

Для проведения A/B тестирования аудитория разделяется на две группы. Первой показывают вариант А, второй — вариант B, а потом выбирают результат с лучшими показателями.

Представим ситуацию: у маркетолога есть гипотеза, что при изменении цветовой гаммы лендинга на голубую, конверсия повысится. Но пользователи уже привыкли к старому оформлению, и это может навредить. Чтобы проверить гипотезу, одной части посетителей показывают контрольный вариант А — существующую версию лендинга. Другой части — вариант B, в голубой цветовой гамме. Спустя две недели оказывается, что пользователи из второй группы охотней заказывают товар. Теперь компания может смело менять дизайн.

Отличительная черта A/B тестирования — то, что с его помощью сравниваются только два варианта чего-либо. Например, вы хотите добавить на главную страницу видео, изменить ее заголовок и разместить отзыв покупателя. В таком случае уже будет сравниваться конверсия разных сочетаний этих элементов. Видео + старый заголовок + отзыв, без видео + новый заголовок + без отзыва и т. д. Такой метод называется «мультивариантное тестирование» (MVT).

Что может меняться во время A/B тестирования сайта:

заголовок и подзаголовки;
блоки с информацией;
CTA-кнопки;
форма регистрации;
ссылки;
формулировки;
изображения и видео;
отзывы и т. д.

Несмотря на кажущуюся простоту, A/B тестирование широко используется крупными компаниями. Так, в 2000 Google впервые провел подобный тест, чтобы выявить оптимальное количество результатов для страницы поисковой выдачи. Но даже у них во время первого теста произошел сбой из-за слишком долгой загрузки. Со временем технологии изменились, и уже в 2011 году Google успешно провел 7000+ A/B тестов.

Ringostat для маркетолога

Докажите руководству, что настроенная вами реклама эффективна — покажите отчеты коллтрекинга и сквозной аналитики.
Узнайте, как сделать кампании еще эффективней — анализируйте, что спрашивают потенциальные клиенты и что стоит добавить в объявления.
Контролируйте, как отдел продаж обрабатывает приведенных вами лидов — слушайте аудиозаписи звонков и смотрите отчеты о пропущенных вызовах;
Получите больше отдачи при том же бюджете — узнайте, какие кампании не работают и отключайте их или оптимизируйте, а освободившиеся деньги вложите в самые успешные активности.

Как проводится A/B test

Сбор данных. Сначала необходимо собрать информацию о том, какие элементы нуждаются в улучшении. Например, страницы с низкой конверсией или высоким показателем отказов. В этом поможет Google Analytics или другие аналитические системы, которые отслеживают поведение пользователей. Например, Kissmetrics или К50.
Определение целей. Подумайте, по каким показателям будете оценивать, что один вариант успешней, чем другой. Это может быть что угодно: оформление заявки, подписка на рассылку, нахождение на странице дольше заданного времени.
Разработка гипотезы. Сформулируйте, почему новая версия должна работать лучше, чем старая. Например, будет больше звонков от клиентов, если разместить телефон вверху главной страницы, а не мелким шрифтом в футере, как в текущей версии сайта.
Создание вариантов. Внесите изменение в сайт или приложение с помощью одного из специализированных сервисов. Например, измените цвет CTA-кнопки, порядок расположения блоков с информацией, скройте или добавьте элементы навигации.
Запуск эксперимента. На этом этапе посетителям вашего сайта будет случайным образом показываться или А вариант, или B. Их взаимодействия с каждым из них измеряются, подсчитываются и сравниваются.
Анализ результатов. Сервис предоставляет данные, как отработали оба варианта страницы. Тут важно учитывать, является ли разница статистически значимой. Для проверки этого можно использовать специальный калькулятор.

Аналогичные тесты также можно проводить для рассылок, меняя текст приветствия или элементы оформления. Результатом может стать такой отчет:

Источник: reachmail.zendesk.com

А/В тесты: преимущества

Повышение конверсии. Зная, как пользователи взаимодействуют с вашим сайтом, рассылкой или рекламой, вы можете повысить ее эффективность. Для этого не придется вносить много изменений, достаточно внедрить тот вариант, который получил лучшие результаты.
Принятие решений на основе четких данных. Тестирование превращает догадки в конкретные данные. Так вы не рискуете, внося изменения, а можете гарантированно получить хороший результат. Оно позволяет строить гипотезы и лучше узнать, что положительно влияет на продвижение пользователя к целевой конверсии.
Соответствие предпочтениям аудитории. Цифровой мир постоянно меняется, поэтому оставаться на одном месте невозможно. Регулярно тестируя отдачу пользователей, вы будете не слепо следовать трендам, а адаптироваться под изменение вкусов аудитории. Так ваш сайт, рассылка, реклама будут по-настоящему актуальными и эффективными.

Как сделать AБ тест: советы

Начинайте с простого. Если вы ранее не проводили подобные тесты, лучше не замахиваться на что-то серьезное. Когда вы лучше поймете, как это работает, вы сможете проводить более сложные эксперименты.
Различия между версиями А и B должны быть заметными. Если вы добавите одну запятую или мелкий элемент дизайна на странице «Контакты», этого никто не заметит.
Не прекращайте тест раньше времени, даже если вам кажется, что одна из версий уже «победила». Так компания Distilled специально увеличила время тестирования в два, четыре и восемь раз дольше, чем планировалось. По их мнению, только в третьем случае они приблизились к 90%-ой достоверности данных. Но это не значит, что тест должен длиться бесконечно — завершайте его, как только достигните достаточного уровня статистической значимости.
Правильно определяйте цели. Например, если интернет-магазин будет фокусироваться только на конверсии по добавлениям в корзину, он получит искаженные данные. Все просто — большинство людей предпочитает звонить, а не заполнять формы или молча покупать онлайн. И это справедливо для многих ниш бизнеса. Поэтому перед выбором целей сначала анализируйте свою воронку продаж.
Следите. чтобы изменения дублировались на других страницах. Например, если вы тестируете разные варианты цены, замените ее всюду на сайте.

Для проведения A/B тестирования не обязательно быть программистом. Существует множество сервисов, которые предоставляют такую возможность. Например, конструкторы сайтов, сервисы динамической подмены контента и даже Google Marketing Platform. Преимущество в том, что интерфейс понятен, а результаты предоставляются в удобном виде.

Пример результатов A/B теста в интерфейсе сервиса Optimizely

Некоторые сервисы позволяют оценить эффективность вариантам не только по онлайн-конверсиям, но и по звонкам. Так Yagla, предназначенная для динамической подмены контента, интегрирована с Ringostat. При проведении тестов эта система может учитывать, сколько звонков поступило по вариантам A и B.

Источник: yagla.ru

Резюме

A/B тестирование — это метод, который позволяет сравнить две переменные и эффективность каждой из них. Например, можно добавить фото на главной странице и посмотреть, как она конвертируется с ним и без него.
В процессе тестирования нужно четко определиться, что будет считаться целью: звонок, добавление в корзину, подписка на рассылку,
A/B тестирование можно проводить без специальных знаний. Большинство сервисов, которые предоставляют такую функцию, делают этого процесс легким и понятным, а данные показываются в удобном формате.
Подобное тестирование позволяет повысить конверсию, проверять гипотезы и проводить безопасные эксперименты.

Подписывайтесь на наш Telegram-канал
Подпишитесь на обновления
Раз в неделю мы отправляем дайджест самых интересных новостей о digital
Email*
Подписаться
Если вы нашли ошибку — выделите её и нажмите Ctrl + Enter или нажмите сюда.
Что такое A / B-тестирование? Практическое руководство с примерами
Что такое A / B-тестирование?
A / B-тестирование, также известное как сплит-тестирование, относится к процессу рандомизированного экспериментирования, при котором две или более версии переменной (веб-страница, элемент страницы и т. Д.) Одновременно показываются разным сегментам посетителей веб-сайта для определения какая версия дает максимальное влияние и определяет бизнес-показатели.
По сути, A / B-тестирование устраняет все догадки при оптимизации веб-сайта и позволяет оптимизаторам опыта принимать решения на основе данных.В A / B-тестировании A относится к «контрольной» или исходной переменной тестирования. В то время как B относится к «варианту» или новой версии исходной переменной тестирования.
Версия, которая перемещает ваши бизнес-показатели в положительном направлении, известна как «победитель». Внедрение изменений этого выигрышного варианта на ваших протестированных страницах / элементах может помочь оптимизировать ваш веб-сайт и увеличить бизнес. ROI.
Показатели конверсии уникальны для каждого веб-сайта. Например, в случае электронной коммерции это может быть продажа товаров.Между тем, для B2B это может быть генерация квалифицированных лидов.
A / B-тестирование — это один из компонентов всеобъемлющего процесса оптимизации коэффициента конверсии (CRO), с помощью которого вы можете собирать как качественные, так и количественные данные о пользователях. Вы можете в дальнейшем использовать эти собранные данные, чтобы понять поведение пользователей, уровень вовлеченности, болевые точки и даже удовлетворенность функциями веб-сайта, включая новые функции, обновленные разделы страницы и т. Д. Если вы не проводите A / B-тестирование своего веб-сайта, вы безусловно, теряя много потенциального дохода от бизнеса.
Почему вам следует подумать о A / B-тестировании?
Если сегодня компании B2B недовольны всеми неквалифицированными лидами, которые они получают за месяц, то магазины электронной коммерции, с другой стороны, борются с высоким уровнем отказа от корзины. Между тем СМИ и издательства также имеют дело с низким уровнем вовлеченности зрителей. На эти основные показатели конверсии влияют некоторые распространенные проблемы, такие как утечки в воронке конверсии, прерывания на странице оплаты и т. Д.
Давайте посмотрим, почему вам следует проводить A / B-тестирование:
1.Решить болевые точки посетителя
Посетители приходят на ваш сайт, чтобы достичь определенной цели, которую они поставили. Это может быть для того, чтобы больше узнать о вашем продукте или услуге, купить конкретный продукт, прочитать / узнать больше о конкретной теме или просто просмотреть. Какой бы ни была цель посетителя, при ее достижении он может столкнуться с некоторыми общими болевыми точками. Это может быть запутанная копия или кнопка с призывом к действию, которую сложно найти, например, купить сейчас, запросить демонстрацию и т. Д.
Неспособность достичь своих целей приводит к ухудшению пользовательского опыта.Это увеличивает трение и в конечном итоге влияет на коэффициент конверсии. Используйте данные, собранные с помощью инструментов анализа поведения посетителей, таких как тепловые карты, Google Analytics и опросы веб-сайтов, чтобы решить болевые точки ваших посетителей. Это верно для всех видов бизнеса: электронной коммерции, путешествий, SaaS, образования, СМИ и издательского дела.
2. Увеличьте рентабельность инвестиций от существующего трафика
Как поняли большинство опытных оптимизаторов, получение качественного трафика на вашем веб-сайте огромно.A / B-тестирование позволяет максимально использовать имеющийся трафик и помогает увеличить конверсию, не тратя дополнительные деньги на приобретение нового трафика. A / B-тестирование может дать вам высокую рентабельность инвестиций, поскольку иногда даже самые незначительные изменения на вашем веб-сайте могут привести к значительному увеличению общих бизнес-конверсий.
3. Уменьшить показатель отказов
Одним из наиболее важных показателей для оценки эффективности вашего веб-сайта является его показатель отказов. Высокий показатель отказов вашего веб-сайта может быть вызван множеством причин, например, слишком большим количеством вариантов для выбора, несоответствием ожиданий, запутанной навигацией, использованием слишком большого количества технического жаргона и т. Д.
Поскольку разные веб-сайты служат разным целям и обслуживают разные сегменты аудитории, не существует универсального решения для снижения показателя отказов. Однако проведение A / B-теста может оказаться полезным. С помощью A / B-тестирования вы можете тестировать несколько вариантов элемента вашего веб-сайта, пока не найдете лучшую версию. Это не только поможет вам найти трения и болевые точки посетителей, но и поможет улучшить общее впечатление посетителей вашего сайта, заставляя их проводить больше времени на вашем сайте и даже превращаясь в платежеспособных клиентов.
4. Внесение малоопасных модификаций
Вносите незначительные, постепенные изменения на свою веб-страницу с помощью A / B-тестирования вместо того, чтобы изменять дизайн всей страницы. Это может снизить риск снижения вашего текущего коэффициента конверсии.
A / B-тестирование позволяет вам нацелить свои ресурсы на максимальную производительность с минимальными изменениями, что приводит к увеличению рентабельности инвестиций. Примером этого могут быть изменения в описании товара. Вы можете выполнить A / B-тест, если планируете удалить или обновить описание продукта.Вы не знаете, как ваши посетители отреагируют на изменение. Запустив A / B-тест, вы можете проанализировать их реакцию и выяснить, в какую сторону весы могут наклониться.
Еще одним примером модификации с низким уровнем риска может быть введение нового изменения функции. Прежде чем внедрять новую функцию, запуск ее как A / B-теста может помочь вам понять, понравится ли новое изменение, которое вы предлагаете, аудитории вашего веб-сайта.
Внедрение изменений на вашем веб-сайте без тестирования может окупиться, а может и не окупиться как в краткосрочной, так и в долгосрочной перспективе.Тестирование, а затем внесение изменений может сделать результат более определенным.
5. Достичь статистически значимых улучшений
Поскольку A / B-тестирование полностью основано на данных, и здесь нет места для догадок, интуиции или инстинктов, вы можете быстро определить «победителя» и «проигравшего» на основе статистически значимых улучшений таких показателей, как время, проведенное на странице, количество запросов на демонстрацию, процент отказа от корзины, рейтинг кликов и т. д.
6. Измените дизайн веб-сайта, чтобы увеличить прибыль от бизнеса в будущем
Редизайн может варьироваться от небольшого текста с призывом к действию или изменения цвета на определенных веб-страницах до полного обновления веб-сайта.Решение о внедрении той или иной версии всегда должно определяться данными при A / B-тестировании. Не прекращайте тестирование, пока дизайн находится на стадии завершения. По мере выхода новой версии протестируйте другие элементы веб-страницы, чтобы убедиться, что наиболее интересная версия будет представлена посетителям.
Что можно провести A / B-тест?
Последовательность конверсии вашего сайта определяет судьбу вашего бизнеса. Следовательно, каждый элемент контента, который достигает вашей целевой аудитории через ваш веб-сайт, должен быть оптимизирован для достижения максимального потенциала.Это особенно верно для элементов, которые могут влиять на поведение посетителей вашего веб-сайта и коэффициент конверсии бизнеса. При проведении программы оптимизации проверьте следующие ключевые элементы сайта (список, однако, не является исчерпывающим):
Копия
1. Заголовки и подзаголовки
Заголовок — это практически первое, что замечает посетитель на веб-странице. Это также то, что определяет их первое и последнее впечатление, заполняя пробелы, независимо от того, пойдут ли они вперед и превратятся в платежеспособных клиентов.Следовательно, крайне осторожно следует относиться к заголовкам и подзаголовкам вашего сайта. Убедитесь, что они короткие, по существу, запоминающиеся и передают желаемое сообщение в первую очередь. Попробуйте A / B-тестирование нескольких копий с разными шрифтами и стилями письма и проанализируйте, какие из них привлекают внимание ваших посетителей больше всего и побуждают их к конверсии. Вы также можете использовать систему генерации текста VWO на базе искусственного интеллекта для выработки рекомендаций для существующей копии на вашем веб-сайте.
2. Кузов
В теле или основном текстовом содержании вашего веб-сайта должно быть четко указано, что посетитель получает — что его ждет.Он также должен соответствовать заголовку и подзаголовку вашей страницы. Хорошо написанный текст может значительно увеличить шансы превратить ваш сайт в магнит для конверсий.
При разработке содержания вашего веб-сайта помните о следующих двух параметрах:
Стиль письма: Используйте правильную тональность в зависимости от вашей целевой аудитории. Ваша копия должна быть адресована непосредственно конечному пользователю и отвечать на все его вопросы. Он должен содержать ключевые фразы, улучшающие удобство использования, и стилистические элементы, подчеркивающие важные моменты.
Форматирование: Используйте соответствующие заголовки и подзаголовки, разбейте копию на небольшие и простые абзацы и отформатируйте ее для скиммеров, используя маркеры или списки.
Интересно, что оптимизаторы опыта теперь могут использовать преимущества искусственного интеллекта для создания копий веб-сайтов. GPT-3 или Generative Pre-Training Transformer 3 — это нейронная сеть на базе искусственного интеллекта, которая способна создавать почти безупречный текстовый контент, соответствующий любому заданному контексту. GPT-3, созданный на основе OpenAI, использует машинное обучение для прогнозирования и создания черновиков контента, как человек.Лучшая часть? Теперь вы можете интегрировать GPT-3 OpenAI с учетной записью VWO Testing и создавать варианты для копии своего веб-сайта и развертывать их без помощи опытного писателя или ИТ-специалистов соответственно.
3. Строки темы
Тема письма напрямую влияет на открываемость. Если подписчик не видит ничего, что ему нравится, письмо, скорее всего, попадет в его корзину.
Согласно последним исследованиям, средний уровень открытий в более чем дюжине отраслей колеблется от 25 до 47 процентов.Даже если ваш уровень выше среднего, только около половины ваших подписчиков могут открывать ваши электронные письма.
Тематические строки A / B-тестирования могут повысить ваши шансы на то, что люди нажмут. Попробуйте вопросы вместо утверждений, сравните сильные слова друг с другом и подумайте об использовании строк темы со смайликами и без них.
Дизайн и верстка
Поскольку все кажется таким важным, предприятиям иногда сложно найти только самые важные элементы, которые нужно оставить на своем веб-сайте.С помощью A / B-тестирования эту проблему можно решить раз и навсегда.
Например, в магазине электронной коммерции страница вашего продукта чрезвычайно важна с точки зрения конверсии. Одно можно сказать наверняка: с технологическим прогрессом на текущем этапе покупателям нравится видеть все в высоком разрешении перед покупкой. Поэтому страница вашего продукта должна быть максимально оптимизирована с точки зрения дизайна и макета.
Наряду с копией дизайн и макет страницы включают изображения (изображения продуктов, изображения предложений и т. Д.)) и видеоролики (видеоролики о продуктах, демонстрационные видеоролики, рекламные объявления и т. д.). Страница вашего продукта должна отвечать на все вопросы посетителей, не сбивая их с толку и не загромождая их:
Предоставьте четкую информацию: На основе продуктов, которые вы продаете, найдите творческие способы предоставить весь необходимый контекст и точные описания продуктов, чтобы потенциальные покупатели не были перегружены неорганизованной копией при поиске ответов на свои вопросы. Делайте четкие копии и предоставляйте легко заметные таблицы размеров, вариантов цвета и т. Д.
Выделите отзывы покупателей: Добавляйте как положительные, так и отрицательные отзывы о своих продуктах. Отрицательные отзывы повышают авторитет вашего магазина.
Напишите простой контент: Не путайте потенциальных покупателей сложным языком в стремлении украсить свой контент. Сделайте его кратким, простым и интересным для чтения.
Создайте ощущение срочности: Добавьте теги, такие как «Осталось только 2 в наличии», обратный отсчет, например «Срок действия предложения истекает через 2 часа 15 минут», или выделите эксклюзивные скидки и праздничные предложения и т. Д., чтобы подтолкнуть потенциальных покупателей к немедленной покупке.
Другими важными страницами, дизайн которых должен быть актуальным, являются такие страницы, как домашняя страница и целевая страница. Используйте A / B-тестирование, чтобы найти наиболее оптимизированную версию этих важных страниц. Протестируйте как можно больше идей, например добавьте много пустого пространства и изображений высокой четкости, используйте видеоролики о продуктах вместо изображений и протестируйте различные макеты.
Разберите свои страницы, используя данные тепловых карт, карт кликов и карт прокрутки, чтобы анализировать мертвые клики и определять отвлекающие факторы.Чем меньше загромождена ваша домашняя страница и целевые страницы, тем больше вероятность, что ваши посетители легко и быстро найдут то, что они ищут.
Навигация
Еще один элемент вашего веб-сайта, который вы можете оптимизировать с помощью A / B-тестирования, — это его навигация. Это самый важный элемент, когда речь идет о предоставлении отличного пользовательского опыта. Убедитесь, что у вас есть четкий план структуры вашего веб-сайта и того, как разные страницы будут связаны друг с другом и будут реагировать в рамках этой структуры.
Навигация по вашему сайту начинается на главной странице. Домашняя страница — это родительская страница, с которой появляются все остальные страницы и связываются друг с другом. Убедитесь, что ваша структура такова, что посетители могут легко найти то, что они ищут, и не потеряться из-за неработающего пути навигации. Каждый щелчок должен направлять посетителей на желаемую страницу.
Ниже приведены некоторые идеи, которые помогут вам улучшить вашу навигационную игру:
Соответствуйте ожиданиям посетителей , разместив панель навигации в стандартных местах, таких как горизонтальная навигация вверху и вертикальная вниз слева, чтобы упростить использование вашего веб-сайта.
Сделайте навигацию вашего веб-сайта предсказуемой , сохраняя контент схожей тематики в одном сегменте или в связанных сегментах, чтобы снизить когнитивную нагрузку посетителя. Например, в магазине электронной коммерции вы можете продавать различные наушники и наушники. Некоторые из них могут быть проводными, другие — беспроводными или наушниками. Сгруппируйте их таким образом, чтобы, когда посетитель ищет наушники или наушники, он находил все эти разновидности в одном месте, вместо того, чтобы искать каждый вид по отдельности. структура простая, предсказуемая и соответствует ожиданиям посетителей.Это не только увеличит шансы на получение большего количества конверсий, но и создаст приятный клиентский опыт, заставив посетителей вернуться на ваш сайт.
Формы
Формы
— это средства, с помощью которых потенциальные клиенты связываются с вами. Они становятся еще более важными, если являются частью вашей воронки продаж. Так же, как нет двух одинаковых веб-сайтов, нет двух одинаковых форм, предназначенных для разных аудиторий. В то время как небольшая всеобъемлющая форма может работать для некоторых предприятий, длинные формы могут творить чудеса с качеством их потенциальных клиентов для других предприятий.
Вы можете выяснить, какой стиль лучше всего подходит вашей аудитории, используя исследовательские инструменты / методы, такие как анализ формы, чтобы определить проблемную область в вашей форме и работать над ее оптимизацией.
CTA (Призыв к действию)
CTA — это то место, где происходят все реальные действия — независимо от того, завершают ли посетители свои покупки и конвертируют, заполняют ли они форму подписки или нет, и многое другое, такие действия, которые имеют прямое отношение к вашему коэффициенту конверсии. A / B-тестирование позволяет вам тестировать разные CTA-копии, их размещение на веб-странице, экспериментировать с их размером и цветовой схемой и т. Д.Такое экспериментирование помогает понять, какой вариант может принести больше всего конверсий.
Социальное доказательство
Социальное доказательство может принимать форму рекомендаций и отзывов от экспертов в определенных областях, от самих знаменитостей и клиентов, а также в виде отзывов, упоминаний в СМИ, наград и значков, сертификатов и т. Д. Наличие этих доказательств подтверждает утверждения, сделанные вашим веб-сайтом. A / B-тестирование может помочь вам определить, является ли добавление социального доказательства хорошей идеей.Если это хорошая идея, какие виды социальных доказательств вам следует добавить и сколько — добавить. Вы можете протестировать различные типы социальных доказательств, их макеты и места размещения, чтобы понять, какое из них лучше всего работает в вашу пользу.
Глубина содержимого
Некоторые посетители веб-сайтов предпочитают читать длинные фрагменты контента, которые подробно охватывают даже мельчайшие детали. Между тем, многие другие просто бегают по странице и углубляются только в те темы, которые для них наиболее актуальны.В какую категорию попадает ваша целевая аудитория?
Глубина содержания A / B-теста. Создание двух частей одного и того же контента, одна из которых значительно длиннее другой, позволяет получить более подробную информацию. Проанализируйте, что больше всего привлекает ваших читателей.
Поймите, что глубина контента влияет на SEO и многие другие бизнес-показатели, такие как коэффициент конверсии, время, затрачиваемое на страницу, и показатель отказов. A / B-тестирование позволяет найти идеальный баланс между ними.
Какие бывают типы A / B-тестов?
Опубликуйте информацию о том, какие элементы веб-страницы нужно протестировать, чтобы изменить показатели вашего бизнеса в положительном направлении. Давайте продвинемся вперед и узнаем о различных методах тестирования и их преимуществах.
В идеале существует четыре основных метода тестирования — A / B-тестирование, тестирование с разделением URL-адресов, многомерное тестирование и многостраничное тестирование. Мы уже обсуждали первый вид, а именно A / B-тестирование. Перейдем к остальным.
Тестирование разделения URL-адресов
Многие люди на арене тестирования путают тестирование с разделением URL-адресов с тестированием A / B. Однако они принципиально сильно отличаются. Тестирование разделенного URL-адреса относится к процессу экспериментирования, при котором тестируется совершенно новая версия существующего URL-адреса веб-страницы, чтобы проанализировать, какая из них работает лучше.
Обычно A / B-тестирование используется, когда вы хотите протестировать только изменения внешнего интерфейса на своем веб-сайте. С другой стороны, тестирование с разделением URL-адресов используется, когда вы хотите внести существенные изменения в существующую страницу, особенно с точки зрения дизайна. Вы не хотите трогать существующий дизайн веб-страницы для сравнения.
Когда вы запускаете тест с разделением URL-адресов, трафик вашего веб-сайта делится между контрольным (исходный URL-адрес веб-страницы) и вариантами (URL-адрес новой веб-страницы), и каждый из их соответствующих коэффициентов конверсии измеряется для определения победителя.
Преимущества тестирования разделения URL-адресов
Идеально подходит для опробования радикально нового дизайна при использовании существующего дизайна страницы для сравнительного анализа.
Рекомендуется для запуска тестов с изменениями, не связанными с пользовательским интерфейсом, такими как переключение на другую базу данных, оптимизация времени загрузки страницы и т. Д.
Изменение рабочих процессов веб-страницы. Рабочие процессы существенно влияют на бизнес-конверсии, помогая тестировать новые пути перед внедрением изменений и определять, были ли упущены какие-либо из проблем.
Лучший и очень рекомендуемый метод тестирования динамического содержимого.
Многомерное тестирование (MVT)
Многовариантное тестирование (MVT) относится к методу экспериментов, при котором одновременно проверяются варианты нескольких переменных страницы, чтобы проанализировать, какая комбинация переменных работает лучше всего из всех возможных перестановок. Это сложнее, чем обычный A / B-тест, и он лучше всего подходит для продвинутых специалистов по маркетингу, продуктам и разработчикам.
Вот пример, который даст вам более полное описание многомерного тестирования. Допустим, вы решили протестировать 2 версии, каждая из которых: изображение главного героя, цвет кнопки с призывом к действию и заголовки одной из ваших целевых страниц. Это означает, что в общей сложности создается 8 вариантов, которые будут одновременно проверяться, чтобы найти выигрышный вариант.
Вот простая формула для расчета общего количества версий в многомерном тесте:
[№ вариаций элемента A] x [No.вариаций элемента B] x [No. вариаций элемента C]… = [Общее количество вариаций]
При правильном проведении многовариантное тестирование может помочь избавиться от необходимости запускать несколько последовательных A / B-тестов на веб-странице с аналогичными целями. Выполнение параллельных тестов с большим количеством вариантов поможет вам сэкономить время, деньги и усилия и прийти к заключению в кратчайшие сроки.
Преимущества многомерного тестирования
Многовариантное тестирование обычно дает три основных преимущества:
Помогает избежать необходимости проводить несколько последовательных A / B-тестов с одной и той же целью и экономит время, поскольку вы можете одновременно отслеживать производительность различных тестируемых элементов страницы.
Легко анализировать и определять вклад каждого элемента страницы в измеренный выигрыш.
Отображать все взаимодействия между всеми независимыми вариациями элементов (заголовки страниц, изображение баннера и т. Д.).
Многостраничное тестирование
Многостраничное тестирование — это форма экспериментирования, при которой вы можете протестировать изменения определенных элементов на нескольких страницах.
Есть два способа провести многостраничный тест. Во-первых, вы можете взять все страницы своей воронки продаж и создать новые версии каждой, что сделает вашего претендента на воронку продаж, а затем протестировать ее против контроля.Это называется Многостраничное тестирование воронки .
Во-вторых, вы можете проверить, как добавление или удаление повторяющихся элементов, таких как значки безопасности, отзывы и т. Д., Может повлиять на конверсии по всей воронке. Это называется классическим тестированием или обычным многостраничным тестированием .
Преимущества многостраничного тестирования
Подобно A / B-тестированию, многостраничное тестирование легко создавать и запускать, оно позволяет легко и в кратчайшие сроки получить достоверные и надежные данные.
Преимущества многостраничного тестирования следующие:
Это позволяет вам создать единообразный опыт для вашей целевой аудитории.
Это помогает вашей целевой аудитории видеть согласованный набор страниц, независимо от того, является ли это контрольным элементом или одним из его вариантов.
Это позволяет вам реализовать одно и то же изменение на нескольких страницах, чтобы посетители вашего веб-сайта не отвлекались и не переключались между различными вариантами и дизайнами при навигации по вашему веб-сайту.
Какой статистический подход использовать для проведения A / B-теста?
После ознакомления с четырьмя различными типами методов экспериментов с A / B-тестированием не менее важно понять, какой статистический подход следует принять, чтобы успешно провести A / B-тест и сделать правильный бизнес-вывод.
В идеале, есть два типа статистических подходов, используемых экспериментаторами A / B / n по всему миру: частотный и байесовский. У каждого из этих подходов есть свои плюсы и минусы.Однако мы в VWO используем, поддерживаем и продвигаем байесовский подход.
Сравнение двух приведенных ниже подходов поможет вам понять, почему.
Частотный подход:
Частотный подход вероятности определяет вероятность события в зависимости от того, насколько часто (отсюда и название) конкретное событие происходит в большом количестве испытаний / точек данных. Применительно к миру A / B-тестирования можно увидеть, что любому, кто использует частотный подход, потребуется больше данных (функция большего количества протестированных посетителей и более длительных периодов времени), чтобы прийти к правильным выводам.Это то, что ограничивает вас в расширении любых усилий по A / B-тестированию. Согласно подходу Frequentist, важно определить продолжительность вашего A / B-теста на основе размера выборки, чтобы прийти к правильным выводам. Тесты основаны на том, что каждый эксперимент можно повторять бесконечное количество раз.
Следование этому подходу требует большого внимания к деталям для каждого теста, который вы запускаете, потому что для одного и того же набора посетителей вам придется запускать тесты большей продолжительности, чем байесовский подход.Следовательно, к каждому тесту нужно относиться с особой осторожностью, потому что есть только несколько тестов, которые вы можете запустить в заданный период времени. В отличие от байесовской статистики, частотный подход менее интуитивен и часто оказывается трудным для понимания.
Байесовский подход:
По сравнению с частотным подходом, байесовская статистика — это теоретический подход, который имеет дело с байесовской интерпретацией вероятности, где вероятность выражается как степень веры в событие.Другими словами, чем больше вы знаете о событии, тем лучше и быстрее вы сможете предсказать конечный результат. Согласно байесовской статистике вероятность не является фиксированным значением, а может изменяться по мере сбора новой информации. Это мнение может быть основано на прошлой информации, такой как результаты предыдущих тестов или другой информации о событии.
В отличие от частотного подхода, байесовский подход обеспечивает практически на 50% более быстрые результаты, уделяя особое внимание статистической значимости.В любой момент, при условии, что у вас под рукой достаточно данных, байесовский подход сообщает вам вероятность того, что вариант A будет иметь более низкий коэффициент конверсии, чем вариант B или элемент управления. Он не имеет определенного ограничения по времени и не требует от вас глубоких знаний статистики.
Проще говоря, байесовский подход сродни тому, как мы подходим к вещам в повседневной жизни. Например, вы потеряли мобильный телефон в доме. Как частотник, вы должны использовать только GPS-трекер для его отслеживания и проверять только область, на которую указывает трекер.Будучи байесовцем, вы не только будете использовать GPS-трекер, но и будете проверять все места в доме, где ранее нашли потерянный телефон. В первом случае событие считается фиксированным значением, а во втором — все прошлые и будущие знания используются для определения местоположения телефона.
Чтобы лучше понять два статистических подхода, вот сравнительная таблица специально для вас:
Частотный подход Байесовский подход
Статистика по частотам соответствует определению вероятности «Вероятность как долгосрочная частота». Байесовская статистика использует понятия «вероятность как степень уверенности» и «логическая вероятность».
В этом подходе вы используете только данные вашего текущего эксперимента. Частотное решение — провести тесты и сделать выводы. В этом подходе вы используете свои предыдущие знания из предыдущих экспериментов и пытаетесь включить эту информацию в свои текущие данные. Байесовское решение состоит в том, чтобы делать выводы на основе имеющихся данных.
Приведите оценочное среднее (и стандартное отклонение) образцов, в которых A превосходит B, но полностью игнорирует случаи, когда B превосходит A. Он учитывает вероятность того, что A превосходит B, а также рассчитывает диапазон ожидаемого улучшения.
Требует, чтобы тест запускался в течение установленного периода, чтобы получить из него правильные данные, но не может определить, насколько близко или далеко на самом деле находятся A и B. Он не может сказать вам вероятность того, что A победит B. Дает вам больше контроля над тестированием. Теперь вы можете лучше планировать, иметь более точную причину для завершения тестов и вдаваться в подробности того, насколько близко или далеко друг от друга находятся A и B.
После того, как вы выяснили, какой метод тестирования и статистический подход вы хотите использовать, пора изучить искусство и науку проведения A / B-тестов на платформе A / B-тестирования VWO.
Как провести A / B-тест?
A / B-тестирование предлагает очень систематический способ выяснить, что работает, а что не работает в той или иной маркетинговой кампании. Большинство маркетинговых усилий направлено на увеличение трафика. По мере того, как получение трафика становится все более сложным и дорогостоящим, первостепенное значение приобретает предоставление вашим пользователям лучших впечатлений от посещения вашего веб-сайта.Это поможет им достичь своих целей и позволит конвертировать их максимально быстро и эффективно. A / B-тестирование в маркетинге позволяет максимально использовать имеющийся трафик и увеличить приток доходов.
Структурированная программа A / B-тестирования может сделать маркетинговые усилия более прибыльными, выявляя наиболее важные проблемные области, требующие оптимизации. В настоящее время A / B-тестирование переходит от отдельного мероприятия, которое проводится один раз в синюю луну, к более структурированному и непрерывному мероприятию, которое всегда должно выполняться с помощью четко определенного процесса CRO.В общих чертах, он включает в себя следующие шаги:
Шаг 1: Исследование
Прежде чем составлять план A / B-тестирования, необходимо провести тщательное исследование того, как веб-сайт работает в настоящее время. Вам нужно будет собрать данные обо всем, что связано с тем, сколько пользователей заходят на сайт, какие страницы привлекают наибольший трафик, различные цели конверсии разных страниц и т. Д. Используемые здесь инструменты A / B-тестирования могут включать инструменты количественной аналитики веб-сайта. такие как Google Analytics, Omniture, Mixpanel и т. д., который может помочь вам определить наиболее посещаемые страницы, страницы с наибольшим объемом времени или страницы с самым высоким показателем отказов. Например, вы можете начать с составления короткого списка страниц, которые имеют самый высокий потенциальный доход или самый высокий дневной трафик. После этого вы можете глубже погрузиться в качественные аспекты этого трафика.
Инструменты
Heatmap — это ведущая технология, используемая для определения того, где пользователи проводят больше всего времени, их поведения при прокрутке и т. Д. Это может помочь вам определить проблемные области на вашем веб-сайте.Еще один популярный инструмент, используемый для более глубокого исследования, — это опросы пользователей веб-сайтов. Опросы могут выступать в качестве прямого связующего звена между командой вашего веб-сайта и конечным пользователем и часто выявляют проблемы, которые могут быть упущены в совокупных данных.
Кроме того, качественное понимание может быть получено с помощью инструментов записи сеанса, которые собирают данные о поведении посетителей, что помогает выявлять пробелы в пути пользователя. Фактически, инструменты записи сеансов в сочетании с опросами для анализа форм могут помочь понять, почему пользователи не заполняют вашу форму.Это может быть из-за некоторых полей, которые запрашивают личную информацию или пользователей, возможно, из-за того, что вы слишком долго отказывались от ваших форм.
Как мы видим, как количественные, так и качественные исследования могут помочь нам подготовиться к следующему этапу процесса, сделав действенные наблюдения для следующих шагов.
Шаг 2: Наблюдайте и сформулируйте гипотезу
Станьте ближе к своим бизнес-целям, регистрируя исследовательские наблюдения и создавая гипотезы на основе данных, направленные на увеличение конверсии.Без них ваша тестовая кампания будет похожа на ненаправленный компас. Инструменты качественного и количественного исследования могут помочь вам только в сборе данных о поведении посетителей. Теперь вы обязаны проанализировать и разобраться в этих данных. Лучший способ использовать каждый бит собранных данных — это проанализировать их, внимательно изучить их, а затем привлечь веб-сайты и идеи пользователей для формулирования гипотез на основе данных. Когда у вас будет готовая гипотеза, проверьте ее по различным параметрам, таким как степень вашей уверенности в ее победе, ее влияние на макро-цели, насколько легко ее установить и т. Д.
Шаг 3. Создайте варианты
Следующим шагом в вашей программе тестирования должно быть создание варианта, основанного на вашей гипотезе, и его A / B-тестирование против существующей версии (контроля). Вариант — это другая версия вашей текущей версии с изменениями, которые вы хотите протестировать. Вы можете протестировать несколько вариантов для элемента управления, чтобы увидеть, какой из них работает лучше всего. Создайте вариант, основанный на вашей гипотезе о том, что может работать с точки зрения UX. Например, достаточно ли людей, не заполняющих формы? В вашей форме слишком много полей? Требуется ли личная информация? Возможно, вы можете попробовать вариант с более короткой формой или другой вариант, опуская поля, в которых запрашивается личная информация.
Шаг 4: Запустите тест
Прежде чем мы перейдем к этому шагу, важно определить тип метода тестирования и подход, который вы хотите использовать. После того, как вы выбрали один из этих типов и подходов на основе (см. Вышеприведенные главы) потребностей и бизнес-целей вашего веб-сайта, начните тест и дождитесь установленного времени для достижения статистически значимых результатов. Помните об одном: независимо от того, какой метод вы выберете, ваш метод тестирования и статистическая точность определят конечные результаты.
Например, одним из таких условий является время проведения тестовой кампании. Время и продолжительность теста должны быть точными. Рассчитайте продолжительность теста, учитывая ваше среднее количество посетителей за день и месяц, предполагаемый существующий коэффициент конверсии, минимальное улучшение коэффициента конверсии, которое вы ожидаете, количество вариантов (включая контроль), процент посетителей, включенных в тест, и т. Д.
Воспользуйтесь нашим байесовским калькулятором, чтобы рассчитать продолжительность, в течение которой вам следует проводить A / B-тесты для достижения статистически значимых результатов.
Шаг 5. Анализ результатов и внедрение изменений
Несмотря на то, что это последний шаг в поиске победителя кампании, анализ результатов чрезвычайно важен. Поскольку A / B-тестирование требует непрерывного сбора и анализа данных, именно на этом этапе начинается весь ваш путь. По завершении теста проанализируйте результаты теста, учитывая такие показатели, как процентное увеличение, уровень достоверности, прямое и косвенное влияние на другие показатели и т. Д. После того, как вы учли эти числа, если тест прошел успешно, примените выигрышный вариант.Если тест остается безрезультатным, сделайте выводы из него и примените их в своих последующих тестах.
A / B-тестирование позволяет систематически прорабатывать каждую часть вашего веб-сайта для повышения конверсии.
Как составить календарь A / B-тестирования — план и расстановка приоритетов
A / B-тестирование никогда не следует рассматривать как изолированное упражнение по оптимизации. Это часть более широкой целостной программы CRO, и к ней следует относиться как к таковой. Эффективная программа оптимизации обычно состоит из двух частей: планирования и расстановки приоритетов.Однажды проснуться и решить протестировать свой веб-сайт — это не то, что делается в CRO. Хороший мозговой штурм вместе с данными о посетителях в реальном времени — единственный способ решить эту проблему.
Проще говоря, вы начинаете с анализа существующих данных веб-сайта и сбора данных о поведении посетителей, а затем переходите к подготовке списка невыполненных действий на их основе, дальнейшей расстановке приоритетов для каждого из этих элементов, запуску тестов и последующему анализу идей на будущее. В конце концов, когда вы, как оптимизаторы опыта, проведете достаточно специальных тестов, вы захотите масштабировать свою программу A / B-тестирования, чтобы сделать ее более структурированной.
Первый шаг к этому — создание календаря A / B-тестирования. Хороший календарь тестирования или хорошая программа CRO проведут вас через 4 этапа:
Этап 1: Мероприятие
Этот этап является этапом планирования вашей программы A / B-тестирования. Он включает в себя измерение эффективности вашего веб-сайта с точки зрения реакции посетителей на него. На этом этапе вы сможете понять, что происходит на вашем веб-сайте, почему это происходит и как посетители на это реагируют.Все, что происходит на вашем сайте, должно соответствовать вашим бизнес-целям. Поэтому, прежде всего, вы должны быть уверены, каковы ваши бизнес-цели. Такие инструменты, как Google Analytics, могут помочь вам измерить ваши цели. После того, как вы четко определились с целями, настройте GA для своего веб-сайта и определите ключевые показатели эффективности.
Возьмем в качестве примера интернет-магазин чехлов для мобильных телефонов. Бизнес-цель этого магазина — увеличить доход за счет увеличения онлайн-заказов и продаж.KPI, установленный для отслеживания этой цели, будет тогда количеством проданных чехлов для телефонов.
Однако этот этап не заканчивается просто определением целей и ключевых показателей эффективности веб-сайта. Это также включает понимание ваших посетителей. Мы уже обсудили различные инструменты, которые можно использовать для сбора данных о поведении посетителей. Как только данные будут собраны, войдите в систему наблюдений и начните с этого момента планировать свою кампанию. Чем лучше данные, тем выше продажи.
После того, как определены бизнес-цели, установлены ключевые показатели эффективности и проанализированы данные веб-сайта и данные о поведении посетителей, пора подготовить бэклог.
Backlog: «скопление невыполненных задач или необработанных материалов».
Ваш бэклог должен представлять собой исчерпывающий список всех элементов веб-сайта, которые вы решите протестировать на основе проанализированных данных. Когда готовый бэклог с резервной копией данных готов, следующим шагом будет формулирование гипотезы для каждого элемента невыполненной работы. С данными, собранными на этом этапе, и их анализом, теперь у вас будет достаточно контекста того, что происходит на вашем веб-сайте и почему. Сформулируйте на их основе гипотезу.
Например, после анализа данных, собранных с использованием инструментов количественного и качественного исследования на 1-м этапе, вы приходите к выводу, что отсутствие нескольких вариантов оплаты привело к тому, что максимальное количество потенциальных клиентов упало на странице оформления заказа. Таким образом, вы предполагаете, что «добавление нескольких вариантов оплаты поможет сократить количество выпадений на странице оформления заказа».
Короче говоря, к концу этого этапа вы будете знать, что и почему ваш сайт.
Этап 2: Приоритет
Следующий этап включает определение приоритетности ваших тестовых возможностей.Расстановка приоритетов помогает вам с научной точки зрения отсортировать несколько гипотез. К настоящему времени вы должны быть полностью оснащены данными веб-сайта, данными посетителей и четко понимать свои цели. С бэклогом, который вы подготовили на первом этапе, и готовой гипотезой для каждого кандидата, вы на полпути к своей дорожной карте оптимизации. Теперь наступает основная задача этого этапа: расстановка приоритетов.
На этапе 2 вы должны быть полностью подготовлены для выявления проблемных областей вашего веб-сайта и утечек в вашей воронке продаж. Но не все направления деятельности имеют одинаковый деловой потенциал.Поэтому становится крайне необходимо взвесить кандидатов, ожидающих выполнения, прежде чем выбирать тех, которые вы хотите протестировать. При расстановке приоритетов в тестовой кампании следует помнить о нескольких вещах, таких как потенциал для улучшения, ценность и стоимость страницы, важность страницы с точки зрения бизнеса, посещаемость страницы и т. Д.
Но как вы можете гарантировать, что никакая субъективность не будет отражена в вашей структуре приоритезации? Можете ли вы всегда быть объективным на 100%? Как люди, мы придаем огромное значение внутренним чувствам, личным мнениям, идеям и ценностям, потому что это то, что помогает нам в повседневной жизни.Но CRO — это не повседневная жизнь. Это научный процесс, который требует от вас объективности и принятия обоснованных решений и выбора на основе данных. Лучший способ избавиться от этой субъективности — принять систему определения приоритетов.
Существует множество схем приоритизации, которые используют даже эксперты, чтобы разобраться в своих огромных невыполненных задачах. На этой странице вы узнаете о самых популярных фреймворках, которые используют опытные оптимизаторы — фреймворке приоритизации CIE, фреймворке приоритизации PIE и модели LIFT.
1. Система определения приоритетов CIE
В структуре CIE есть три параметра, по которым вы должны оценить свой тест по шкале от 1 до 5:
Доверие: по шкале от 1 до 5 — 1 — самый низкий показатель, а 5 — самый высокий — выберите, насколько вы уверены в достижении ожидаемого улучшения с помощью гипотезы.
Важность: По шкале от 1 до 5 — 1 — самый низкий, а 5 — самый высокий — выберите, насколько важен тест (для которого создается гипотеза).
Легкость: по шкале от 1 до 5 — 1 — самый сложный, а 5 — самый легкий — выберите сложность теста. Оцените, насколько сложно будет реализовать изменения, выявленные для теста.
Прежде чем оценивать свои гипотезы, рассмотрите следующие 3 вещи:
A. Насколько вы уверены в достижении подъема?
Создание прототипа персоны пользователя, на которую вы ориентируетесь, может помочь вам определить потенциал гипотезы. Имея четкое представление о своей аудитории, вы можете сделать обоснованное предположение о том, будет ли эта гипотеза устранять опасения и сомнения пользователей и подталкивать их к конверсии или нет.
B. Насколько ценен трафик, для которого вы проводите этот тест?
Ваш веб-сайт может привлекать большое количество посетителей, но не все посетители становятся покупателями. Не все конвертируют. Например, гипотеза, построенная на странице оформления заказа, имеет большее значение, чем гипотеза, построенная на странице характеристик продукта. Это связано с тем, что посетители на странице оформления заказа находятся глубоко в вашей воронке конверсии и имеют более высокие шансы на конверсию, чем посетители на странице характеристик вашего продукта.
C. Насколько легко выполнить этот тест?
Далее следует определение простоты выполнения вашего теста. Попробуйте ответить на несколько вопросов: потребуется ли с вашей стороны много разработки стратегии для реализации гипотезы? Какие усилия необходимы для проектирования и разработки решения, предлагаемого гипотезой? Могут ли изменения, предложенные в гипотезе, быть реализованы с использованием только визуального редактора, или это требует добавления специального кода? Только после того, как вы ответите на все эти и другие подобные вопросы, вы можете оценить своего кандидата в невыполненные задания по параметру ослабления.
2. Структура приоритезации PIE
Структура PIE была разработана, чтобы ответить на вопрос: «Где я должен тестировать в первую очередь?». Вся цель этапа определения приоритетов в вашем путешествии по A / B-тестированию — найти ответ на этот самый вопрос. Структура PIE говорит о 3 критериях, которые вы должны учитывать при выборе того, что тестировать, когда: потенциал, важность и легкость.
Потенциал означает возможность улучшения страницы. Этап планирования должен предоставить вам все данные, необходимые для определения этого.
Важность относится к ценности страницы: сколько трафика приходит на страницу. Если вы определили проблемную страницу, но на ней нет трафика, то эта страница имеет меньшее значение по сравнению с другими страницами с более высоким трафиком.
Третий и последний критерий — легкость. Легкость определяет, насколько сложно запустить тест на определенной странице или элементе. Один из способов определить легкость тестирования страницы — использовать такие инструменты, как анализатор целевой страницы, чтобы определить текущее состояние ваших целевых страниц, оценить количество и масштаб изменений, которые для этого потребуются, и определить приоритеты, какие из них делать или делать ли это вообще. .Это важно с точки зрения ресурсов. Многие компании отказываются от идеи проведения кампании A / B-тестирования из-за нехватки ресурсов. Эти ресурсы бывают двух видов:
A. Человеческие ресурсы
Несмотря на то, что компании уже много лет используют CRO и A / B-тестирование, только недавно эти две концепции вышли на передний план. Из-за этого в большом сегменте рынка нет специальной команды по оптимизации, а когда она и есть, то обычно ограничивается горсткой людей.Вот тут-то и пригодится запланированный календарь оптимизации. Имея должным образом спланированное и расставленное по приоритетам отставание, небольшая команда CRO может сосредоточить свои ограниченные ресурсы на важных задачах.
B. Инструменты:
Столь же популярными, как CRO и A / B-тестирование, становятся сотни инструментов A / B-тестирования — как низкого, так и высокого уровня. Без точки зрения эксперта, если компании выберут один из множества, скажем самый дешевый, и начнут A / B-тестирование каждого отдельного элемента в бэклоге, они не придут к статистически значимому выводу.Для этого есть две причины: первая: тестирование без определения приоритетов обречено на провал и не принесет никакой прибыли для бизнеса. Во-вторых, не все инструменты одинакового качества.
Некоторые инструменты могут быть более дорогими, но они либо интегрированы с хорошими инструментами качественного и количественного исследования, либо являются прекрасными автономными инструментами, что делает их более чем способными давать статистически значимые результаты. В то время как другой лот может быть дешевле и привлекать предприятия во время нехватки капитала и с огромным отставанием, эти инструменты будут для них только инвестиционным убытком без каких-либо выгод.Расстановка приоритетов поможет вам разобраться в своем отставании и выделить те небольшие ресурсы, которые у вас есть, на прибыльного кандидата на тестирование.
Кандидаты в бэклог должны быть отмечены на основе сложности их тестирования с точки зрения технической и экономической простоты. Вы можете количественно оценить каждого потенциального кандидата как возможность для бизнеса на основе вышеуказанных критериев и выбрать наивысший балл. Например, как и в бизнесе электронной коммерции, вы можете протестировать свою домашнюю страницу, страницу продукта, страницу оформления заказа и страницу с благодарностью (рейтингом).Теперь, в соответствии со структурой PIE, вы выстраиваете их в ряд и отмечаете их потенциал, важность и простоту:
* из 10 баллов по критериям.
3. ПОДЪЕМНИК модели
Модель LIFT — еще одна популярная платформа оптимизации конверсии, которая помогает анализировать веб- и мобильные приложения и разрабатывать хорошие гипотезы A / B-тестирования. Для оценки впечатлений с точки зрения посетителя страницы используются 6 коэффициентов преобразования: ценностное предложение, ясность, актуальность, отвлечение, срочность и тревога.
С установкой приоритетов вы можете подготовить календарь A / B-тестирования как минимум на 6–12 месяцев. Это не только даст вам время и подсказку для подготовки к тесту, но и поможет спланировать ваши ресурсы.
Этап 3: A / B тест
Третий и наиболее ответственный этап — этап тестирования. После этапа приоритизации у вас будут все необходимые данные и приоритетный бэклог. После того, как вы сформулировали гипотезы, соответствующие вашей цели, и расставили их по приоритетам, создавайте варианты и отменяйте проверку.Пока ваш тест запущен, убедитесь, что он соответствует всем требованиям для получения статистически значимых результатов перед закрытием, например, тестирование точного трафика, отсутствие тестирования слишком большого количества элементов вместе, тестирование на правильную продолжительность и т. Д.
Этап 4: повторить
Этот этап посвящен изучению ваших прошлых и текущих тестов и их применению в будущих тестах. Как только ваш тест будет работать в течение установленного времени, остановите тест и начните анализировать собранные таким образом данные.Первое, что вы поймете, — это одна из многих версий, которые тестировались, показала лучшие результаты и выиграла. Пришло время вам и вашей команде выяснить, почему это произошло. У вашего теста может быть 3 результата:
Ваш вариант или один из вариантов будет иметь статистическую значимость.
Ваш контроль был лучшей версией и победил вариацию / с.
Ваш тест не прошел и дал незначительные результаты. Определите значимость результатов вашего теста с помощью таких инструментов, как калькулятор значимости A / B-теста.
В первых двух сценариях не прекращайте тестирование только потому, что у вас есть победитель. Внесите улучшения в эту версию и продолжайте тестирование. В третьем сценарии вспомните все шаги и определите, где вы ошиблись в процессе, и повторите тест после исправления ошибки.
Вот загружаемый образец календаря A / B-тестирования для справки. Чтобы использовать эту таблицу, нажмите в главном меню «Файл», а затем нажмите «Сделать копию».
Файл> Сделать копию
При масштабировании программы A / B-тестирования помните о следующих моментах:
А.Возвращаясь к ранее завершенному тесту:
Располагая календарем по приоритетам, ваша команда оптимизации будет иметь четкое представление о том, что они будут тестировать дальше, а какие тесты нужно запускать и когда. После того, как вы протестировали каждый элемент или большинство элементов в невыполненной работе, пересмотрите каждую успешную, а также неудачную кампанию. Проанализируйте результаты теста и определите, достаточно ли данных, чтобы оправдать запуск другой версии теста. Если есть, то запустите тест еще раз — с необходимыми правками и доработками.
B. Увеличение частоты испытаний:
Хотя вы всегда должны быть осторожны, тестируя слишком много элементов вместе, увеличение частоты тестирования важно для масштабирования вашей программы тестирования. Ваша команда оптимизации должна будет спланировать это таким образом, чтобы ни один из тестов не повлиял на других или на производительность вашего сайта. Один из способов сделать это — запустить тесты одновременно на разных веб-страницах вашего веб-сайта или протестировать элементы одной и той же веб-страницы в разные периоды времени.Это не только увеличит вашу частоту тестирования, но и ни один из тестов не повлияет на другие. Например, вы можете одновременно тестировать по одному элементу каждой из вашей домашней страницы, страницы оформления заказа и страницы регистрации за один раз, а также другие элементы (по одному элементу за раз) этих страниц после завершения текущего теста.
C. Интервал между тестами:
Это вытекает из предыдущего пункта. Если вы посмотрите на календарь выше, вы увидите, что не более двух тестов перекрывают друг друга в каждую неделю.Стремясь увеличить частоту тестирования, не идите на компромисс с общим коэффициентом конверсии вашего сайта. Если у вас есть два или более важных элемента, которые нужно протестировать на одной и той же веб-странице, выделите их интервалом. Как указывалось ранее, одновременное тестирование слишком большого количества элементов веб-страницы затрудняет определение того, какой элемент больше всего повлиял на успех или неудачу теста.
Допустим, вы хотите протестировать одну из целевых страниц своего объявления. Вы блокируете тестирование CTA, чтобы увеличить количество регистраций, и баннеры, чтобы уменьшить показатель отказов и увеличить затраченное время.Для CTA на основании ваших данных вы решаете изменить копию. Что касается баннера, вы решаете протестировать видео на статическом изображении. Вы развертываете оба теста одновременно, и в итоге обе ваши цели были достигнуты. Проблема здесь в том, что данные показали, что, хотя количество регистраций действительно увеличилось по сравнению с новым CTA, видео (помимо снижения показателя отказов и увеличения среднего времени, проведенного на странице) тоже помогло в этом. Большинство людей, которые смотрели видео, также подписались.
Проблема теперь в том, что, поскольку вы не проставили интервалы между двумя тестами, стало невозможно определить, какой элемент больше всего способствовал увеличению числа регистраций.Если бы вы лучше рассчитали время для двух тестов, можно было бы получить гораздо более важные сведения?
D. Отслеживание нескольких показателей:
Обычно вы измеряете эффективность A / B-теста на основе одной цели конверсии и полностью доверяете этой цели, чтобы помочь вам найти выигрышный вариант. Но иногда выигрышный вариант влияет и на другие цели веб-сайта. Приведенный выше пример применим и здесь. Видео, помимо снижения показателя отказов и увеличения затраченного времени, также способствовало увеличению числа регистраций.Чтобы масштабировать программу A / B-тестирования, отслеживайте несколько показателей, чтобы получить больше преимуществ с меньшими усилиями.
Наличие тщательно разработанного календаря в значительной степени помогает упростить работу. VWO имеет встроенную функцию создания календаря, известную как доска Канбан, которая помогает отслеживать прогресс ваших тестов на различных этапах.
Каких ошибок следует избегать при A / B-тестировании?
A / B-тестирование — один из наиболее эффективных способов сдвинуть бизнес-показатели в положительном направлении и увеличить приток доходов.Однако, как указывалось выше, A / B-тестирование требует планирования, терпения и точности. Совершение глупых ошибок может стоить вашему бизнесу времени и денег, которые вы не можете себе позволить. Чтобы помочь вам избежать грубых ошибок, вот список некоторых из наиболее распространенных ошибок, которые следует помнить при проведении A / B-теста:
Ошибка №1: Отсутствие планирования вашей оптимизации. Дорожная карта
A. Недействительная гипотеза:
При A / B-тестировании гипотеза формулируется перед проведением теста. От этого зависят все последующие шаги: что нужно изменить, зачем это менять, каков ожидаемый результат и так далее.Если вы начнете с неправильной гипотезы, вероятность успеха теста снижается.
B. Верить другим на слово:
Конечно, кто-то еще изменил процесс регистрации и увидел рост конверсий на 30%. Но это результат их теста, основанный на их трафике, их гипотезе и их целях. Вот почему вам не следует внедрять чужие результаты тестирования в том виде, в каком они есть, на свой веб-сайт: не существует двух одинаковых веб-сайтов — то, что сработало для них, может не сработать для вас.Их трафик будет другим; их целевая аудитория может быть разной; их метод оптимизации мог отличаться от вашего и т. д.
Ошибка № 2: Тестирование слишком большого количества элементов вместе
Отраслевые эксперты предостерегают от проведения слишком большого количества тестов одновременно. Совместное тестирование слишком большого количества элементов веб-сайта затрудняет определение того, какой элемент больше всего повлиял на успех или провал теста. Чем больше элементов проверено, тем больше должен быть трафик на этой странице, чтобы оправдать статистически значимое тестирование.Таким образом, приоритезация тестов необходима для успешного A / B-тестирования.
Ошибка № 3: игнорирование статистической значимости
Если интуиция или личное мнение находят отражение в формулировке гипотезы или когда вы ставите цели A / B-теста, скорее всего, это не удастся. Независимо от всего, успешен ли тест или нет, вы должны позволить ему пройти весь его курс, чтобы он достиг своей статистической значимости.
По какой-то причине эти результаты теста, хорошие или плохие, дадут вам ценную информацию и помогут лучше спланировать предстоящее тестирование.
Вы можете получить больше информации о различных типах ошибок, занимаясь математикой A / B-тестирования.
Ошибка №4: Использование несбалансированного трафика
Компании часто заканчивают тестирование несбалансированного трафика. Для получения значимых результатов A / B-тестирование следует проводить с соответствующим трафиком. Использование меньшего или большего трафика, чем требуется для тестирования, увеличивает шансы на провал вашей кампании или получение неубедительных результатов.
Ошибка № 5: Тестирование на неправильную продолжительность
В зависимости от вашего трафика и целей запускайте A / B-тесты в течение определенного периода времени, чтобы достичь статистической значимости.Выполнение теста в течение слишком длительного или слишком короткого периода может привести к тому, что тест не пройден или даст незначительные результаты. Тот факт, что одна версия вашего веб-сайта, кажется, выигрывает в течение первых нескольких дней после запуска теста, не означает, что вы должны отозвать ее раньше времени и объявить победителя. Слишком долгая кампания также является распространенной ошибкой, которую совершают компании. Продолжительность, в течение которой вам нужно запустить тест, зависит от различных факторов, таких как существующий трафик, существующий коэффициент конверсии, ожидаемое улучшение и т. Д.
Узнайте, как долго вам следует проводить тест.
Ошибка № 6: Несоблюдение итеративного процесса
A / B-тестирование — это итеративный процесс, при котором каждый тест основан на результатах предыдущих тестов. Компании отказываются от A / B-тестирования после того, как их первый тест не удался. Но чтобы повысить шансы на успех следующего теста, вы должны извлечь информацию из своих последних тестов при планировании и развертывании следующего теста. Это увеличивает вероятность успешного прохождения теста со статистически значимыми результатами.
Кроме того, не прекращайте тестирование после успешного. Повторно тестируйте каждый элемент, чтобы получить наиболее оптимизированную версию, даже если они являются продуктом успешной кампании.
Ошибка № 7: игнорирование внешних факторов
Тесты должны проводиться в сопоставимые периоды для получения значимых результатов. Неверно сравнивать посещаемость веб-сайта в дни, когда он получает самый высокий трафик, с днями, когда он становится свидетелем самого низкого трафика из-за внешних факторов, таких как распродажи, праздники и т. Д.Поскольку сравнение лайков здесь не проводится, шансы прийти к незначительному выводу увеличиваются. Используйте калькулятор значимости A / B-теста VWO, чтобы узнать, были ли достигнутые результаты значительными или нет.
Ошибка № 8: Использование неправильных инструментов
С ростом популярности A / B-тестирования появилось множество недорогих инструментов. Не все эти инструменты одинаково хороши. Некоторые инструменты резко замедляют работу вашего сайта, в то время как другие не тесно интегрированы с необходимыми качественными инструментами (тепловыми картами, записями сеансов и т. Д.), Что приводит к ухудшению качества данных.A / B-тестирование с использованием таких неисправных инструментов может поставить под угрозу успех вашего теста с самого начала.
Ошибка № 9: Придерживайтесь простого ванильного метода A / B-тестирования
Хотя большинство опытных оптимизаторов рекомендуют начинать свое экспериментальное путешествие с проведения небольших A / B-тестов на своем веб-сайте, чтобы получить представление обо всем процессе. Но, в конечном итоге, использование простых методов A / B-тестирования не творит чудеса для вашей организации. Например, если вы планируете полностью обновить одну из страниц своего веб-сайта, вам следует использовать сплит-тестирование.Между тем, если вы хотите протестировать серию перестановок кнопок CTA, их цвета, текста и изображения баннера вашей страницы, вы должны использовать многовариантное тестирование.
Каковы проблемы A / B-тестирования?
ROI от A / B-тестирования может быть огромным и положительным. Это поможет вам направить свои маркетинговые усилия на наиболее ценные элементы, точно выявляя проблемные области. Но время от времени, как оптимизатор опыта, вы можете столкнуться с некоторыми проблемами при принятии решения о проведении A / B-тестирования.Шесть основных проблем заключаются в следующем:
Задача № 1: Решить, что тестировать
Вы не можете просто проснуться однажды и решить протестировать определенные элементы по вашему выбору. Горькая реальность, которую сейчас осознают оптимизаторы опыта, заключается в том, что не все небольшие изменения, которые легко реализовать, всегда являются лучшими, если учитывать свои бизнес-цели, и часто не могут оказаться значительными. То же самое и со сложными тестами. Здесь в игру вступают данные веб-сайта и данные анализа посетителей.Эти точки данных помогают вам преодолеть проблему «незнания, что тестировать» из вашего бесконечного отставания, обычно указывая на элементы, которые могут иметь наибольшее влияние на ваши коэффициенты конверсии, или направляя вас на страницы с наибольшим трафиком.
Задача № 2: Формулирование гипотез
Большой резонанс с первой проблемой вызывает вторая задача: сформулировать гипотезу. Здесь пригодится важность наличия научных данных в вашем распоряжении.Если вы тестируете без надлежащих данных, вы можете проиграть свой бизнес. С помощью данных, собранных на первом этапе (т. Е. Исследования) A / B-тестирования, вам необходимо выяснить, в чем заключаются проблемы на вашем сайте, и выдвинуть гипотезу. Это будет невозможно, если вы не будете следовать хорошо структурированной и спланированной программе A / B-тестирования.
Задача № 3: Зафиксировать размер выборки
Немногие оптимизаторы опыта являются статистиками. Мы часто совершаем ошибку, называя окончательные результаты слишком быстро, потому что чаще всего стремимся к быстрым результатам.Как оптимизаторы опыта, мы должны знать о размерах выборки, в частности о том, насколько большой должен быть размер нашей тестовой выборки с учетом трафика нашей веб-страницы.
Задача № 4: Анализ результатов испытаний
С A / B-тестированием вы увидите успехи и неудачи на каждом этапе. Однако эта проблема актуальна как для успешных, так и для неудачных тестов:
1. Успешные кампании:
Замечательно, что вы выполнили два теста, и оба они дали статистически значимые результаты.Что дальше? Да, развертывание победителя, но что после этого? Что оптимизаторы опыта часто не могут сделать или считают трудным, так это интерпретацию результатов тестирования. Интерпретация результатов теста после их завершения чрезвычайно важна для понимания того, почему тест был успешным. Следует задать фундаментальный вопрос — почему? Почему клиенты вели себя именно так? Почему с одной версией они отреагировали определенным образом, а с другими — нет? Какие идеи посетителей вы собрали и как их использовать? Многие оптимизаторы опыта часто испытывают затруднения или не могут ответить на эти вопросы, которые не только помогают разобраться в текущем тесте, но и предоставляют исходные данные для будущих тестов.
2. Неудачные кампании:
Иногда оптимизаторы опыта даже не оглядываются на неудачные тесты. Им либо трудно с ними справиться, например, когда они рассказывают команде о неудавшихся тестах, либо они не знают, что с ними делать. Ни один неудачный тест не считается неудачным, если вы не извлечете из него уроки. Неудачные кампании следует рассматривать как столпы, которые в конечном итоге приведут вас к успеху. Данные, собранные в течение всего процесса A / B-тестирования, даже если в итоге тест не удался, похожи на неоткрытый ящик пандоры.Он содержит множество ценных данных и идей, которые могут дать вам фору для следующего теста.
Кроме того, из-за отсутствия надлежащих знаний о том, как анализировать собранные данные, вероятность повреждения данных многократно возрастает. Например: без наличия процесса не будет конца прокручиванию данных тепловых карт или данных записи сеансов. Между тем, если вы используете для этого разные инструменты, то шансы утечки данных при попытке их интеграции также увеличиваются.Вы также можете не получить каких-либо важных идей, блуждая по данным без направления и просто утонуть в них.
Задача № 5: Поддержание культуры тестирования
Одна из важнейших характеристик программ оптимизации, таких как CRO и A / B-тестирование, заключается в том, что это итеративный процесс. Это также одно из основных препятствий, с которыми сталкиваются компании и опытные оптимизаторы. Чтобы ваши усилия по оптимизации были плодотворными в долгосрочной перспективе, они должны сформировать цикл, который примерно начинается с исследования и заканчивается исследованием.
Эта задача заключается не только в том, чтобы приложить усилия или получить необходимые знания. Иногда из-за нехватки ресурсов компании редко или периодически используют A / B-тестирование и не могут выработать надлежащую культуру тестирования.
Задача № 6: Изменение настроек эксперимента в середине A / B-теста
Когда вы запускаете эксперимент, вы должны полностью принять его. Старайтесь не изменять настройки эксперимента, не редактировать и не пропускать цели тестирования, а также не экспериментировать с дизайном элемента управления или варианта во время выполнения теста.Более того, не пытайтесь также изменять распределение трафика на вариации, потому что это не только изменит размер выборки ваших вернувшихся посетителей, но и сильно исказит результаты ваших тестов.
Итак, стоит ли проводить A / B-тестирование с учетом всех этих проблем?
Судя по всем имеющимся свидетельствам и данным по A / B-тестированию, даже после этих проблем, A / B-тестирование обеспечивает высокую рентабельность инвестиций. С точки зрения маркетинга, A / B-тестирование исключает возможность догадок в процессе оптимизации.Стратегические маркетинговые решения основываются на данных, что упрощает разработку идеальной маркетинговой стратегии для веб-сайта с четко определенными целями. Без программы A / B-тестирования ваша маркетинговая команда будет просто проверять элементы наугад или на основе интуиции и предпочтений. Такое тестирование без данных обречено на провал.
Если вы начнете с хорошего веб-сайта и анализа данных о посетителях, первые три проблемы можно легко решить. Имея в своем распоряжении обширные данные о веб-сайте и посетителях, вы можете расставить приоритеты для своей очереди, и вам даже не придется решать, что тестировать.Данные будут говорить все. С такими качественными данными в сочетании с вашим бизнес-опытом формулирование рабочей гипотезы становится просто вопросом просмотра доступных данных и принятия решения о том, какие изменения лучше всего подходят для вашей конечной цели. Чтобы преодолеть третью проблему, вы можете рассчитать подходящий размер выборки для своей тестовой кампании с помощью множества доступных сегодня инструментов.
Последние две проблемы связаны с вашим подходом к A / B-тестированию. Если вы относитесь к A / B-тестированию как к итерационному процессу, половина четвертой задачи может даже не оказаться на вашей тарелке.А другая половина может быть решена путем найма экспертов в этой области или обучения правильному анализу данных и результатов исследований. Правильный подход к решению последней задачи — направить ваши ресурсы на наиболее важные для бизнеса элементы и спланировать программу тестирования таким образом, чтобы с ограниченными ресурсами вы могли создать культуру тестирования.
A / B-тестирование и SEO
Что касается последствий SEO для A / B-тестирования, Google прояснил ситуацию в своем сообщении в блоге, озаглавленном «Тестирование веб-сайтов и поиск в Google.Важные фрагменты этого поста приведены ниже:
Без маскировки
Маскировка — отображение одного набора содержания для людей и другого набора для робота Google — противоречит нашим рекомендациям для веб-мастеров, независимо от того, проводите вы тест или нет. Убедитесь, что вы не решаете, обслуживать ли тест или какой вариант контента обслуживать, в зависимости от агента пользователя. Примером этого всегда может служить исходный контент, когда вы видите пользовательский агент «Googlebot». Помните, что нарушение наших правил может привести к понижению рейтинга вашего сайта или даже его удалению из результатов поиска Google, что, вероятно, не является желаемым результатом вашего теста.
Использовать только 302 редиректа
Если вы проводите A / B-тест, который перенаправляет пользователей с исходного URL на альтернативный URL, используйте 302 (временное) перенаправление, а не 301 (постоянное). Это сообщает поисковым системам, что это перенаправление является временным — оно будет действовать только до тех пор, пока вы проводите эксперимент — и что они должны сохранить исходный URL-адрес в своем индексе, а не заменять его целью перенаправления ( тестовая страница). Перенаправления на основе JavaScript также получили зеленый свет от Google.
Провести эксперименты в течение соответствующей продолжительности
Время, необходимое для надежного тестирования, будет зависеть от таких факторов, как коэффициент конверсии и объем трафика, который получает ваш веб-сайт. Хороший инструмент тестирования должен сказать вам, когда вы собрали достаточно данных, чтобы сделать надежные выводы. После завершения теста вам следует обновить свой сайт желаемым вариантом (вариантами) и как можно скорее удалить все элементы теста, такие как альтернативные URL-адреса или тестовые сценарии и разметка.
Использовать rel = «canonical» ссылки
Google предлагает использовать атрибут ссылки rel = «canonical» для всех альтернативных URL-адресов, чтобы вы могли подчеркнуть, что исходный URL-адрес на самом деле является предпочтительным. Это предложение проистекает из того факта, что rel = «canonical» более точно соответствует вашему намерению в этой ситуации по сравнению с другими методами, такими как отсутствие метатега индекса. Например, если вы тестируете варианты страницы продукта, вы не хотите, чтобы поисковые системы не индексировали страницу вашего продукта.Вы просто хотите, чтобы они поняли, что все тестовые URL-адреса являются близкими дубликатами или вариациями исходного URL-адреса и должны быть сгруппированы вместе, причем исходный URL-адрес является главным. Иногда в этих случаях использование без индекса вместо rel = «canonical» в такой ситуации может иногда иметь неожиданные плохие последствия.
Примеры A / B тестирования
A / B-тестирование в СМИ и издательском деле
Некоторые цели медиа и издательского бизнеса могут заключаться в увеличении числа читателей и аудитории, увеличении подписок, увеличении времени, проводимого посетителями на своем веб-сайте, или увеличении просмотров видео и других частей контента с помощью социальных сетей и т. Д.Вы можете попробовать протестировать варианты модальных форм регистрации по электронной почте, рекомендуемый контент, кнопки обмена в социальных сетях, выделение предложений подписки и другие варианты рекламных акций.
Любой из нас, кто является пользователем Netflix, может поручиться за свой стриминговый опыт. Но не все знают, как им удается делать это так хорошо. Вот как — Netflix следует структурированной и строгой программе A / B-тестирования, чтобы предоставить то, что другие компании пытаются реализовать даже сегодня, несмотря на многие усилия, — отличный пользовательский интерфейс.Каждое изменение, которое Netflix вносит на свой веб-сайт, перед развертыванием проходит интенсивный процесс A / B-тестирования. Один из примеров того, как они это делают, — использование персонализации.
Netflix широко использует персонализацию на своей домашней странице. На основе профиля каждого пользователя Netflix персонализирует домашнюю страницу, чтобы обеспечить максимальное удобство для каждого пользователя. Они решают, сколько строк находится на главной странице и какие шоу / фильмы помещаются в строки на основе истории потоковой передачи и предпочтений пользователей.
Они проделывают то же самое с титульными страницами СМИ. На этих страницах Netflix персонализирует, какие заголовки мы, скорее всего, будем смотреть, миниатюры, которые мы видим на них, какой текст заголовка побуждает нас щелкнуть, помогает ли социальное доказательство облегчить наше решение и т. Д. И это только верхушка айсберга.
A / B-тестирование в индустрии электронной коммерции
С помощью A / B-тестирования интернет-магазины могут увеличить среднюю стоимость заказа, оптимизировать последовательность оформления заказа, снизить процент отказа от корзины и т. Д.Вы можете попробовать протестировать: способ отображения стоимости доставки и где, если и как выделена функция бесплатной доставки, настройки текста и цвета на странице оплаты или страницы оформления заказа, видимость отзывов или оценок и т. Д.
В индустрии электронной коммерции Amazon находится на переднем крае оптимизации конверсии отчасти из-за масштабов своей работы, а отчасти из-за их огромной приверженности обеспечению наилучшего обслуживания клиентов. Среди множества революционных методов, которые они привнесли в индустрию электронной коммерции, наиболее плодотворной является их «заказ в один клик».Представленная в конце 1990-х годов после долгого тестирования и анализа, функция заказа в один клик позволяет пользователям совершать покупки без необходимости использовать корзину для покупок.
После того, как пользователи вводят данные своей платежной карты по умолчанию и адрес доставки, все, что им нужно сделать, это нажать кнопку и дождаться доставки заказанных продуктов. При размещении заказов пользователям не нужно повторно вводить данные для выставления счетов и доставки. Благодаря заказу в 1 клик пользователи перестали игнорировать легкость покупки и перейти в другой магазин.Это изменение оказало такое огромное влияние на бизнес, что Amazon запатентовала его (срок действия которого истек) в 1999 году. Фактически, в 2000 году даже Apple купила лицензию на то же самое, чтобы использовать его в своем интернет-магазине.
У людей, работающих над оптимизацией веб-сайта Amazon, не бывает внезапных моментов «эврики» для каждого вносимого изменения. Именно благодаря непрерывному и структурированному A / B-тестированию Amazon может обеспечить такое удобство для пользователей. Каждое изменение на веб-сайте сначала тестируется на их аудитории, а затем внедряется.Если бы вы заметили воронку покупок Amazon, вы бы поняли, что, хотя она более или менее повторяет воронки покупок других веб-сайтов, каждый элемент в ней полностью оптимизирован и соответствует ожиданиям аудитории.
Каждая страница, начиная с домашней страницы и заканчивая страницей оплаты, содержит только основные сведения и ведет к точному следующему шагу, необходимому для дальнейшего продвижения пользователей в воронку конверсии. Кроме того, с использованием обширной информации о пользователях и данных веб-сайтов каждый шаг упрощается до максимально возможного уровня, чтобы соответствовать ожиданиям пользователей.
Возьмем, к примеру, их вездесущую тележку для покупок.
В правом верхнем углу главной страницы Amazon есть небольшой значок корзины, который остается видимым независимо от того, на какой странице веб-сайта вы находитесь.
Значок — это не просто ярлык для корзины или напоминание о добавленных продуктах. В текущей версии предлагается 5 вариантов:
Продолжить покупки (если в корзину нет товаров)
Узнать о сегодняшних предложениях (если в корзину нет товаров)
Список желаний (если в корзину нет товаров
Перейти к оформлению заказа (когда в корзине есть товары)
Войдите в систему, чтобы включить оформление заказа в 1 клик (когда товары в корзине)
Одним щелчком мыши по крошечному значку, предлагающему так много опций, когнитивная нагрузка пользователей снижена, и они имеют отличный пользовательский опыт.Как видно на приведенном выше снимке экрана, на той же странице корзины также предлагаются аналогичные продукты, чтобы клиенты могли вернуться на веб-сайт и продолжить покупки. Все это достигается одним оружием: A / B-тестированием.
A / B-тестирование в индустрии туризма
Увеличьте количество успешных бронирований на вашем веб-сайте или в мобильном приложении, ваш доход от дополнительных покупок и многое другое с помощью A / B-тестирования. Вы можете попробовать протестировать режимы поиска на домашней странице, страницу результатов поиска, презентацию дополнительных продуктов, индикатор выполнения заказа и т. Д.
В индустрии путешествий Booking.com легко превосходит все другие компании электронной коммерции, когда дело доходит до использования A / B-тестирования для их оптимизации. Они проверяют, как будто это никого не касается. С самого начала Booking.com рассматривал A / B-тестирование как беговую дорожку, которая дает эффект маховика для увеличения дохода. По масштабу A / B-тесты Booking.com не имеют себе равных, особенно когда речь идет о тестировании их копии. Пока вы это читаете, на Booking запущено около 1000 A / B-тестов.com на сайте.
Несмотря на то, что Booking.com уже более десяти лет проводит A / B-тестирование, они по-прежнему считают, что могут сделать больше, чтобы улучшить пользовательский опыт. И это то, что делает Booking.com лучшим в игре. С момента основания компании Booking.com включил A / B-тестирование в свой повседневный рабочий процесс. Они увеличили скорость тестирования до текущего уровня, устранив HiPPO и отдав приоритет данным прежде всего. А чтобы еще больше увеличить скорость тестирования, все Booking.Сотрудникам было разрешено тестировать идеи, которые, по их мнению, могли помочь развитию бизнеса.
Этот пример демонстрирует, на что Booking.com может пойти, чтобы оптимизировать взаимодействие пользователей с веб-сайтом. В 2017 году Booking.com решил расширить сферу своей деятельности, предложив наряду с отелями аренду жилья для отдыха. Это привело к тому, что Booking.com стал партнером Outbrain, собственной рекламной платформы, чтобы помочь расширить регистрацию владельцев недвижимости по всему миру.
В первые дни после запуска команда Booking.com понял, что, хотя многие владельцы недвижимости завершили первый шаг регистрации, они застряли на следующих шагах. В это время для процесса регистрации использовались страницы, созданные для платного поиска из собственных кампаний.
Обе команды решили работать вместе и создали три версии копии целевой страницы для Booking.com. К вариациям были добавлены дополнительные детали, такие как социальное доказательство, награды и признания, пользовательские вознаграждения и т. Д.
Тест длился две недели и привел к увеличению количества зарегистрированных владельцев на 25%.Результаты тестирования также показали значительное снижение стоимости каждой регистрации.
A / B-тестирование в индустрии B2B / SaaS
Привлекайте потенциальных клиентов для своей группы продаж, увеличивайте количество запросов на бесплатную пробную версию, привлекайте целевых покупателей и выполняйте другие подобные действия, тестируя и совершенствуя важные элементы вашего механизма формирования спроса. Чтобы достичь этих целей, маркетинговые команды размещают на своих веб-сайтах наиболее релевантный контент, рассылают рекламу потенциальным покупателям, проводят вебинары, проводят специальные продажи и многое другое.Но все их усилия будут потрачены зря, если целевая страница, на которую направляются клиенты, не будет полностью оптимизирована для обеспечения наилучшего взаимодействия с пользователем.
Целью A / B-тестирования SaaS является обеспечение максимального удобства пользователей и повышение конверсии. Вы можете попробовать протестировать компоненты формы для потенциальных клиентов, бесплатную пробную подписку, обмен сообщениями на домашней странице, текст CTA, социальное подтверждение на домашней странице и т. Д.
POSist, ведущая платформа для управления рестораном на основе SaaS, обслуживающая более 5000 клиентов в более чем 100 местах в шести странах, хотела увеличить количество запросов на демонстрацию.
Их домашняя страница веб-сайта и страница «Свяжитесь с нами» являются наиболее важными страницами в их воронке продаж. Команда POSist хотела уменьшить количество выпадений на этих страницах. Для этого команда создала два варианта домашней страницы, а также два варианта страницы «Свяжитесь с нами» для тестирования. Давайте посмотрим на изменения, внесенные на главную страницу. Вот как выглядел элемент управления:
Команда POSist предположила, что добавление более релевантного и ориентированного на конверсию контента на веб-сайт улучшит пользовательский опыт, а также повысит конверсию.Таким образом, они создали два варианта, которые нужно протестировать против контроля. Вот как выглядели вариации:
Контроль
был сначала протестирован против Варианта 1, и победителем стал Вариант 1. Для дальнейшего улучшения страницы был затем протестирован первый вариант против варианта 2, а победителем оказался вариант 2. Новый вариант увеличил количество посещений страницы примерно на 5%.
Заключение
После прочтения этой исчерпывающей статьи об A / B-тестировании вы должны быть полностью готовы к планированию собственной дорожной карты по оптимизации.Прилежно выполняйте каждый шаг и остерегайтесь всех серьезных и мелких ошибок, которые вы можете совершить, если не придаете данным значение, которого они заслуживают. A / B-тестирование имеет неоценимое значение, когда речь идет о повышении коэффициента конверсии вашего сайта.
Если делать это с полной отдачей и с теми знаниями, которые у вас есть, A / B-тестирование может снизить многие риски, связанные с проведением программы оптимизации. Это также поможет вам значительно улучшить UX вашего сайта, удалив все слабые ссылки и найдя наиболее оптимизированную версию вашего сайта.
Если вы нашли это руководство полезным, поделитесь информацией и помогите коллегам-оптимизаторам A / B тестировать, не попадая на самые распространенные ошибки. Удачного тестирования!
Часто задаваемые вопросы по A / B-тестированию
Что такое A / B-тестирование?
A / B-тестирование — это процесс сравнения двух вариантов элемента страницы, обычно путем тестирования реакции пользователей на вариант A и варианта B и определения того, какой из двух вариантов более эффективен.
Что такое A / B-тестирование в цифровом маркетинге?
В цифровом маркетинге A / B-тестирование — это процесс одновременного показа двух версий одной и той же веб-страницы разным сегментам посетителей веб-сайта с последующим сравнением того, какая версия улучшает конверсию веб-сайта.
Почему мы проводим A / B-тестирование?
Мы проводим A / B-тестирование по разным причинам. Некоторые из них включают решение болевых точек посетителя, увеличение количества конверсий или потенциальных клиентов на веб-сайте и снижение показателя отказов.Прочтите наше руководство, чтобы узнать остальные причины.
Что такое A / B-тестирование и многомерное тестирование?
При A / B-тестировании трафик разделяется между двумя или более совершенно разными версиями веб-страницы. При многовариантном тестировании несколько комбинаций нескольких ключевых элементов страницы сравниваются друг с другом, чтобы выяснить, какая комбинация лучше всего подходит для цели теста.
Откройте для себя выигрышные варианты с помощью A / B-тестирования
Умные уведомления
Интеллектуальные уведомления дают вам быстрый обзор вашего теста.Вы можете увидеть, привел ли вариант к разумному решению, рекомендованному действию для вашего теста и как долго вам нужно его запускать.
Кампании для конкретных устройств
Запускайте тесты с посетителями, которые приходят с настольных компьютеров, мобильных устройств или любых планшетов.
Междоменное тестирование
Запускайте A / B-тесты в разных доменах и собирайте все данные в одном тесте.
Планирование
VWO позволяет запланировать запуск ваших кампаний A / B-тестирования на более позднюю дату или время в соответствии с вашими уникальными предпочтениями.
Скачать отчеты
Загрузите тестовые данные в формате .csv для автономного анализа. Поделитесь им со своими коллегами, чтобы они подробно проанализировали свои тесты.
Интеграция со сторонними приложениями
VWO интегрируется с множеством сторонних приложений, включая Google Analytics, Kissmetrics, Demandware, Magento и другие.Смотрите полный список интеграций здесь.
Сегменты лазерного наведения
Используйте сегментацию посетителей VWO, чтобы указать, какая группа посетителей видит изменение. Вы можете выбрать из 20 предопределенных сегментов VWO, таких как новые и вернувшиеся посетители, параметры браузера и запроса, или создать свои собственные пользовательские сегменты, используя сложные логические условия.
Всегда наготове
Вы можете выбрать цель из постоянного списка для измерения в A / B-тесте.Помимо прямого влияния A / B-теста на эффективность вашей цели, это также помогает вам понять, как на конверсии для конкретной цели влияет серия A / B-тестов.
Цели кампании
Хотите оптимизировать конкретную цель для этого A / B-теста? Определите новую цель при создании A / B-теста, и VWO проанализирует, как ваш тест влияет на выполнение этой цели.
Оптимизация коэффициента конверсии
(CRO): полное руководство
Что такое оптимизация коэффициента конверсии?
Оптимизация коэффициента конверсии (CRO) — это процесс оптимизации вашего сайта или целевой страницы на основе поведения посетителей веб-сайта с целью повышения вероятности того, что посетитель совершит желаемые действия (конверсии) на указанной странице.
В современном мире онлайн-трафик очень непостоянен. Если вам не удается вовлечь посетителей в вашу воронку конверсии с первого раза, шансы, что они вернутся и выполнят желаемое действие, довольно низки. Это не что иное, как упущенная возможность для вашего бизнеса. Лучший способ повысить свои шансы и получить больше конверсий — это запустить эффективные кампании по оптимизации коэффициента конверсии и .
Хорошая кампания по оптимизации коэффициента конверсии означает не только значительную экономию времени, денег и усилий, но и изучение новых стратегий роста, которые ранее не были известны.Другими словами, оптимизация коэффициента конверсии помогает вам лучше понять удобство использования вашего сайта, а также дает представление о поведении клиентов и дает советы о том, как улучшить ваш UX для достижения ваших целей.
На стратегическом уровне оптимизация коэффициента конверсии или CRO — это непрерывный процесс обучения и оптимизации. К сожалению, «текущий» аспект часто игнорируется при обсуждении оптимизации коэффициента конверсии и ее элементов.
Каковы 6 основных элементов оптимизации коэффициента конверсии?
CRO — это комплексный процесс, состоящий из множества этапов.Успешная CRO-кампания — это кампания, которая использует подробные данные для анализа результатов, запускает несколько тестов, настраивает контент, чтобы сделать его более актуальным для посетителей, и делает необходимые выводы. На протяжении всего процесса CRO маркетолог сталкивается с шестью основными элементами, которые можно оптимизировать.
Дизайн посадочной страницы
Дизайн целевой страницы — это первый и главный элемент, который определяет удобство использования и успех веб-сайта. Чем эстетичнее будет сайт, тем больше он получит внимания!
Давайте разберемся в этом на примере, который может быть знаком большинству из нас.Предполагая, что большинство клиентов, попадающих на любую из страниц продуктов Amazon, приходят с чистым намерением купить их продукт (ы), важно понимать важность дизайна в повышении конверсии (как он может заключить или разорвать сделку для гиганта электронной коммерции). Гигант стратегически разработал каждую страницу своего продукта так, чтобы даже мельчайшие детали были заметны для своих клиентов. Например, находясь на странице продукта, покупатели могут мгновенно добавить продукт в корзину, удобно нажав кнопку «Добавить в корзину» (ярко-оранжевого цвета, которая хорошо видна), расположенную рядом со столбцом с информацией о продукте.
Как это помогает? Оранжевый — это интенсивный цвет, который дополняет белый фон веб-сайта, позволяя посетителям быстро определить и предпринять необходимые действия.
Кроме того, эффективное использование белого пространства для выделения функций продукта и разумное использование больших изображений в левой части страницы вызывает доверие и быстро привлекает внимание посетителей.
Копия веб-сайта
В то время как хорошо спроектированный и эстетичный веб-сайт может привлечь больше трафика на ваш сайт, слова могут словесно зацепить ваших посетителей и превратить их в потенциальных клиентов.Написание релевантного и увлекательного контента, подчеркивающего убедительность продукта, может иметь большое значение между посетителями, которые остаются на вашем веб-сайте и предпринимают необходимые действия, и посетителями, покидающими ваш сайт, не предпринимая никаких действий. Копию веб-сайта можно разделить на два подраздела:
1. Заголовок
Заголовки — это первое и главное, что видит посетитель на вашей целевой странице. Обычно это определяет их первое впечатление о вашем бизнесе. Если им это не нравится, они не станут прокручивать страницу вниз и проверять оставшуюся часть вашей страницы.Чтобы убедиться, что вы на правильном пути, сосредоточьтесь на следующих вещах:
1. Форматирование: Обычно внимание уделяется типу, размеру и цвету шрифта, чтобы он привлекал внимание посетителей и был легко читаем.
2. Стиль письма: Имейте в виду следующее:
Задайте вопрос — например, Знаете ли вы, что электронный маркетинг может увеличить доход вашего бизнеса на 30%? Как найти продукты по вашему выбору? и т. д.
Разделите ваш контент на две части — e.грамм. Интернет-маркетинг: что ждет?
Адрес напрямую — например, Можете ли вы положиться на контент-маркетинг?
Сосредоточьтесь на числах — например, 10 способов повысить конверсию по электронной почте!
В любом случае заголовок должен быть кратким и по существу, чтобы он четко и ясно рассказывал о том, что представляет собой продукт или услуга.
2. Содержание тела
Для веб-сайта очень важен хорошо написанный текст.Он должен ответить на основной вопрос — «что меня ждет?» Он также должен быть ясным, лаконичным, по существу и наиболее эффективным образом отражать личность вашего бренда.
Чтобы составить хорошее содержание тела, примите во внимание следующее:
A. Форматирование:
Разрезайте контент на соответствующие абзацы для удобства чтения.
Используйте необходимые подзаголовки, чтобы разбить контент на заметные фрагменты.
Маркированные маркеры или нумерованные списки, где это необходимо. марка
Б. Стиль письма:
Правильная тональность в соответствии с целевой аудиторией (веселая, профессиональная, повседневная и т. Д.)
Стилистические элементы, такие как метафора, прилагательные и т. Д., Чтобы выделить определенные моменты
Обратитесь непосредственно к конечному пользователю и для чего они здесь , отвечая на их вопросы
Добавьте ключевые фразы, чтобы улучшить общее удобство использования и сделать выводы
Например, Slack, современный центр совместной работы, который позволяет командам оставаться на связи и работать вместе, имеет сильный заголовок целевой страницы, за которым следуют последующие контент, посвященный его УТП.
Броский заголовок, сопровождаемый кратким содержанием и ответом на все необходимые вопросы, делает любую страницу привлекательной и выполняет желаемую работу — привлекает клиентов.
Призыв к действию
Призыв к действию (CTA) — это именно то, что он звучит — просьба или призыв к клиентам совершить желаемое действие. Этим действием может быть что угодно — от подписки на информационный бюллетень до бронирования места в веб-семинаре, совершения покупки, использования услуги и т. Д.Чем сильнее и четче CTA, тем больше потенциальных клиентов он может привлечь.
Но так ли все просто? Взгляните на некоторые из лучших в отрасли стратегий призывов к действию, и вы увидите, что все они используют базовую психологию для определения своих призывов к действию.
Приведу пример здесь: ADT, компания Tyco International, смогла увеличить коэффициент конверсии на 60%, просто изменив основной текст своей кнопки CTA — с «Заказать бесплатный опрос» на «Получить бесплатное предложение».
Навигация и структура сайта
Структура вашего сайта должна быть ориентирована на создание удобства навигации.Структура сайта, по сути, обычно представляет собой график того, как разные страницы вашего сайта взаимодействуют друг с другом.
Хотя каждый сайт индивидуален и имеет разную навигацию, этот стиль иерархии является стандартным примером.
Обычно вы начинаете навигацию с главной страницы, затем исследуете ее ряд категорий и подкатегорий, пока не найдете то, что действительно искали. Если весь этот процесс плавный, как показано на графике выше, у ваших пользователей не будет проблем с навигацией по вашему сайту.Но если это неструктурировано, они будут потеряны в процессе; в конечном итоге покинуть ваш сайт.
Для достижения этой цели необходимо обеспечить, чтобы пользователи могли легко и быстро перемещаться между важными разделами веб-сайта и находить все, что им нужно для достижения своих целей, за минимальное количество кликов.
Другими словами, создание гибкого веб-сайта с простой навигацией является ключом к увеличению конверсии, а также к репутации вашего бренда.
Формы
Формы
имеют решающее значение для большинства компаний, особенно если они являются частью их воронки продаж.Оптимизация этих важных точек взаимодействия с клиентами может значительно повысить коэффициент конверсии. Хотя существует множество теорий о том, как создать хорошую и эффективную форму для вашего веб-сайта, они могут работать, а могут и не работать одинаково для всех. В некоторых случаях наличие исчерпывающей формы может творить чудеса, в то время как во многих других случаях кратких форм может быть достаточно, чтобы повысить конверсию по графику. Секретный ингредиент здесь — всегда поддерживать баланс между качеством лида и объемом лидов, который обеспечивает максимальную рентабельность инвестиций.
Тем не менее, четыре основных совета по оптимизации, которые помогут превратить ваши формы из нормальных в выдающиеся, заключаются в следующем:
Чем меньше полей, тем лучше. Верно в большинстве случаев, но не всегда, особенно если вы хотите, чтобы ваша команда по продажам сосредоточилась только на наиболее серьезных потенциальных клиентах, или в случаях, когда крайне важно получить дополнительную информацию о потенциальных клиентах, например, отрасль или город, если у вас есть рабочие процессы, связанные с лидерами, зависящие от этого. дополнительные поля.
Красивые формы часто означают приятное взаимодействие с пользователем. Хорошие формы — это отсутствие мигающего текста, ясный и последовательный стиль, а всплывающие подсказки и проверка построены в нужных местах. В хороших формах обычно также есть самые важные поля — первые, за которыми следуют менее важные поля. Можно также поэкспериментировать с прогрессивными формами, чтобы улучшить их коэффициент конверсии без ущерба для глубины пользовательской информации.
Простое создание пароля упрощает весь процесс заполнения форм. Согласно внутренним данным VWO, пароль является одним из полей, на заполнение которого требуется больше всего времени.Излишне говорить, что руководство пользователя по созданию надежных, но легко запоминающихся паролей является ключом к тому, чтобы сделать этот процесс более полноценным как для пользователя, так и для бизнеса.
Отправка формы в один клик с помощью Facebook или Google SSO также может творить чудеса в процессе конвертации. В большинстве случаев пользователи уже вошли на один из этих сайтов, и это помогает им намного легче конвертировать. Это также облегчает создание и запоминание новых паролей. Однако это может работать не во всех случаях, особенно в контексте B2B, когда компании работают с идентификаторами деловой электронной почты своих потенциальных клиентов.
Скорость страницы
Скорость страницы или время загрузки страницы имеет огромное влияние на общую производительность вашего сайта. Фактически, это напрямую влияет на опыт пользователя, коэффициент конверсии сайта и его рейтинг в поисковой системе. Согласно блогу, опубликованному Semrush, если сайт загружается за 1,7 секунды, он сравнительно быстрее, чем 75% Интернета. С другой стороны, если он загружается за 0,8 секунды, это быстрее, чем почти 94% Интернета.
Задержка загрузки даже в одну секунду может снизить количество конверсий на 7%.Например, если ваш сайт приносит доход в размере 100 000 долларов в день, то даже секундная задержка его загрузки может стоить вам около 7 000 долларов в день или даже больше.
Такая же задержка в одну секунду также означает, что вы склонны терять около 11% потенциальных клиентов, поскольку они просто закроют вашу страницу или уйдут, даже не задумываясь.
Преимущества оптимизации коэффициента конверсии: почему это важно?
CRO позволяет оптимизировать функциональность вашего веб-сайта, помогая понять, почему и как поведение посетителей.Дело в том, что ваш сайт никогда не раскроет свой максимальный потенциал, пока с ним не поэкспериментируют. В общих чертах преимущества программы CRO можно разделить на две категории:
Повышение рентабельности инвестиций в маркетинг
Хорошо структурированная и продуманная программа CRO, основанная на тщательном анализе, может иметь большое значение для повышения рентабельности практически всех ваших маркетинговых мероприятий:
A. Повышение качества / скорости экспериментов, проводимых на вашем веб-сайте: CRO позволяет вам анализировать производительность вашего сайта, выполняя тесты и искать наилучшие возможные варианты, которые обещают конверсии.Экспериментируя с различными элементами на своих целевых страницах, вы можете не только проверить области, которые дают наилучшие результаты, но и использовать собранные данные в качестве фундаментального ориентира для следующего раунда тестов / экспериментов.
B. Повышение дохода при том же трафике / дополнительной прибыли: Одно из основных преимуществ проведения CRO-кампании состоит в том, что каждое изменение, которое вы вносите на свой сайт, которое в конечном итоге увеличивает конверсию, является дополнительной победой для вашего бизнеса.
Например, компания электронной коммерции, планирующая улучшить качество обслуживания клиентов таким образом, чтобы сделать покупку продуктов легкой и удобной для своих клиентов, может получить огромную выгоду от CRO. Как?
Если при проведении A / B-теста коэффициент конверсии может повыситься даже на 3%, это означает, что он получает дополнительный доход на 3% изо дня в день. Между тем, если у него высокий объем продаж, улучшение на 3% может эффективно перевести его продажи в сотни и тысячи дополнительных долларов для его бизнеса
Австралийская компания электронной коммерции ShowPo увидела 6.Выручка выросла на 09% за счет проведения серии A / B-тестов и представления новых улучшенных вариантов на страницах продуктов!
Расширение UX
Преимущества программы CRO распространяются только на рентабельность инвестиций в маркетинг, чтобы улучшить взаимодействие с пользователем на всех этапах жизненного цикла посетителя, независимо от того, впервые он посетитель или является клиентом через:
A. Персонализация для посетителей вашего сайта: В настоящее время посетители слишком нетерпеливы.Если вы не предложите им сайт, по которому легко ориентироваться с меньшим количеством щелчков мышью и который упростит весь процесс, они не останутся без дела и в конечном итоге будут искать альтернативные варианты. Помогая персонализировать разделы вашего сайта в зависимости от географии посетителей, устройства, местного времени или истории просмотров в прошлом, вы можете сделать сайт более релевантным для них.
B. Лучшее понимание поведения посетителей: Процесс CRO начинается с понимания поведения клиентов с помощью таких инструментов, как тепловые карты и карты кликов.Такие инструменты подскажут, на какие разделы сайта посетители проводят больше времени. Другие инструменты CRO, такие как записи сеансов пользователей и повторы сеансов, помогают понять их общий опыт. Они проливают свет на точный путь, который совершили посетители, чтобы достичь поставленной цели на вашем веб-сайте, и даже выделяют области трений, из-за которых они бросили и покинули ваш сайт. Между тем, аналитика форм и опросы на веб-сайте также помогают понять, как посетитель воспринимает сайт в целом. Таких качественных данных достаточно, чтобы создать хороший UX, еще больше подготовив почву для конверсий.
Кому полезна оптимизация коэффициента конверсии?
Оптимизация коэффициента конверсии выгодна для всех типов и размеров предприятий, независимо от их отрасли. Вот несколько интересных примеров использования в бизнесе, определяющих повсеместный характер оптимизации коэффициента конверсии.
CRO для B2B / SaaS компаний
Лидогенерация — это инициация привлечения интереса ваших клиентов путем привлечения их на ваш сайт, сбора их информации с помощью различных средств (формы, подписки, опросы и т. Д.)) и связаться с ними, чтобы превратить их в постоянных постоянных клиентов. Ваш долг как B2B / SaaS-бизнеса — помочь клиентам найти то, что они ищут, заинтересовать их и поддержать их решение о покупке.
Пример использования: Непрерывное тестирование помогло POSist улучшить количество запросов на демонстрацию на 52%!
POSist — одна из ведущих платформ для управления ресторанами на основе SaaS, которая предоставляет полный спектр онлайн-решений для точек продаж (POS) для всех видов ресторанов.Компания хотела увеличить количество запросов на демонстрацию и уменьшить количество выпадений на своей домашней странице и странице «Свяжитесь с нами». Очевидно, это были две самые важные страницы, которые помогли компании получить максимальную конверсию.
POSist решил запустить CRO-кампанию для достижения своей цели, которая в конечном итоге помогла им определить серые зоны. Компания изменила свою домашнюю страницу, добавив более релевантный и ориентированный на конверсию контент. Это не только улучшило пользовательский интерфейс, но и увеличило количество конверсий.POSist сгенерировал примерно на 52% больше потенциальных клиентов за один месяц, что еще больше повысило коэффициент конверсии их веб-сайтов до 3,4%, что означает общий рост на 25%.
CRO для компаний электронной коммерции
Брошенные корзины покупателя — одна из основных проблем для компаний электронной коммерции, ежегодно приносящая миллиарды доходов от продаж. Согласно анализу, проведенному институтом Baymard, почти 69% всех посетителей электронной коммерции бросают свои тележки для покупок по бесчисленным причинам.Следовательно, создание удобного для пользователя сайта электронной коммерции с великолепным дизайном, эксклюзивными продуктами и номинальной стоимостью доставки, который не только решает проблему отказа от корзины, но и решает другие проблемы, связанные с отказом, такие как сложный процесс оплаты, отсутствие базовой информации и т. Д., Является ключевой.
Распространенные причины, по которым люди покидают сайт, следующие:
Отвлекает: Слишком много всплывающих окон или форм для заполнения может отвлекать ваших клиентов.
Сложность оформления заказа: Сайт может не предлагать удобный вариант оформления заказа, что может усложнить покупку для новых пользователей.
Скрытые расходы: Большинство посетителей пугаются скрытых расходов, таких как дополнительные транспортные расходы, другие налоги и многое другое.
Проведение CRO-кампании помогает выявлять и устранять такие узкие места и значительно способствует повышению коэффициента конверсии сайта.
Пример использования: PearlsOnly увеличил свой доход на 12%, сделав страницу оформления заказа более ориентированной на призыв к действию!
PearlsOnly — это ювелирный интернет-магазин из Хьюстона, специализирующийся на продаже жемчуга.С момента своего создания организация постоянно тестирует свой веб-сайт и вносит необходимые поправки, чтобы быть в курсе промышленных тенденций и предлагать своим клиентам лучшие услуги. Тем не менее, он не смог получить столько конверсий, сколько планировал. Запустив CRO-кампанию, они пришли к выводу, что их страница оформления заказа была слишком загромождена и отвлекала посетителей сайта, заставляя их покидать страницу до того, как они предприняли желаемое действие.
PearlsOnly с помощью услуг VWO оптимизировал страницу оформления заказа, обеспечив при этом должное выделение всех своих УТП.Кампанию они проводили около месяца, и результаты были выдающимися. Тест помог PearlsOnly увеличить выручку на 10%.
CRO для СМИ / издательств
Для таких компаний, как медиа-агентства и издательства, достижение более широкой аудитории и удержание их вовлеченности в их платформу имеет решающее значение для их роста. Здесь CRO может помочь им в этом, а также протестировать различные элементы сайта, такие как подписка по электронной почте, значки социальных сетей, рекомендуемый контент и другие рекламные варианты, чтобы привлечь больше внимания.
Пример использования: BluTV увеличил коэффициент конверсии с мобильных устройств на 42%, просто сделав домашнюю страницу более удобной для обслуживания!
Будучи поставщиком услуг видео по запросу на основе подписки (OTT), успех BluTV полностью зависит от количества активных подписчиков. Его основная цель заключалась в том, чтобы как можно больше посетителей подписались на платную пробную подписку. Чтобы начать пробную версию, посетитель должен был предоставить информацию о своей кредитной карте, и с него будет взиматься плата только после завершения 7-дневного бесплатного пробного периода.
Изучая поведение посетителей на сайте BluTV, агентство Hype, сертифицированное партнерское маркетинговое агентство VWO, обнаружило, что коэффициент конверсии для мобильных посетителей был довольно низким по сравнению со средним показателем веб-сайта BluTV. На главной мобильной странице поставщика услуг делается упор на обслуживании активных клиентов, а не новых посетителей. На основании этого обе компании решили полностью обновить мобильную домашнюю страницу BluTV. Они удалили все отвлекающие факторы в разделе заголовка, продвинули некоторые из его самых популярных материалов и добавили раздел часто задаваемых вопросов в конце.Запустив тест с разделением URL в течение 19 дней, они увидели, что альтернативный вариант повысил их коэффициент конверсии более чем на 42%
CRO для OTA или туристических агентств
По сравнению с другими отраслями, туристические компании обычно сталкиваются с большими трудностями при конверсии. Потребители в этой категории, как правило, принимают решение о покупке или не совершают покупку дольше обычного. Они просматривают различные сайты, сравнивают сделки, взаимодействуют со своими коллегами и только после этого звонят.Кроме того, сложное поведение при бронировании также усложняет отрасль. Проведение CRO-кампании может эффективно помочь туристическим компаниям проанализировать свои возможности и недостатки и повысить конверсию.
Пример использования: Bizztravel Wintersport увеличил количество конверсий на 21%, просто очистив свою домашнюю страницу!
Bizztravel Wintersport — голландская туристическая компания, которая повысила конверсию на 21%, упростив пользователям поиск мест отдыха на своих веб-сайтах.Компания упорядочила домашнюю страницу своего сайта, сохранив только самую важную информацию.
CRO для агентств
Если говорить о различных секторах, которые получили пользу от CRO, такие агентства, как цифровой маркетинг, веб-разработка и специализированные агентства CRO, не являются исключением. Проведение кампаний по оптимизации коэффициента конверсии для их собственных веб-сайтов или их клиентов может значительно повысить их конверсию и увеличить доход, что может привести к повышению рентабельности инвестиций в их работу и помочь в удержании клиентов и обеспечить в целом положительный опыт для их бизнеса.
Агентства цифрового маркетинга, предлагающие своим клиентам различные услуги, такие как продвижение в социальных сетях, разработка веб-контента, создание бренда и т. Д., Могут предлагать своим клиентам услуги CRO как способ получить больше от существующего трафика. Это может не только помочь им привлечь больше клиентов, предлагая дополнительные услуги помимо обычных, но и повысить общее влияние на бизнес.
Пример использования: Traffic4u помог своему клиенту Djoser увеличить количество бронирований на поездки на 33 человека.1%!
Traffic4u — это агентство интернет-маркетинга, которое использует VWO для оптимизации веб-сайтов своих клиентов и увеличения их конверсий. В одной из таких попыток Traffic4u помог Djoser, одному из ведущих голландских туристических агентств, оптимизировать свой сайт и увеличить количество онлайн-бронирований.
Глубоко изучив данные сайта Djoser, Traffic4u пришел к выводу, что фактическое бронирование было значительным шагом для пользователей. Предоставление им альтернативного варианта с большей гибкостью для подтверждения их бронирования побудит больше пользователей бронировать.Здесь они решили создать вариант с дополнительной ссылкой под названием «Выбрать вариант». Нажав на ссылку, пользователям была предоставлена возможность зарезервировать свои места и выбрать отмену через 72 часа. Если в течение определенного периода времени не будет предпринято никаких действий, место будет считаться забронированным. Тестирование длилось около 7 недель, и в результате изменения привели к увеличению количества бронирований Djoser на 33,1%.
Этапы оптимизации коэффициента конверсии: понимание процесса
Существует несколько структур оптимизации коэффициента конверсии, которые могут эффективно помочь оптимизаторам коэффициента конверсии планировать и проводить кампании оптимизации.В простейшем случае процесс CRO можно разделить на 5 этапов.
Этап 1: Этап исследования — Определение областей для улучшения
Только одно из семи A / B-тестов дает выигрышный результат. Почему? Исследовать!
Как правило, большинство маркетологов склонны копировать стратегии CRO, которые принесли результаты другим фирмам, полагая, что то же самое сработает и для них. Но они терпят неудачу, потому что каждая оранжевая кнопка не может преобразоваться, и каждая страница с длинной формой не может дать сбой.
Понимание того, что делают пользователи (количественные данные)
Прежде всего, необходимо ознакомиться с основами.
1. Проанализируйте, что делают ваши посетители?
Analytics позволяет принимать решения, основываясь на фактах и цифрах, а не на чистых инстинктах. В процессе CRO есть несколько способов получения данных для понимания ваших результатов. Например, вы можете получить соответствующую информацию из своих инструментов веб-аналитики, таких как отслеживание данных в реальном времени, показатель отказов, источники входящего трафика веб-сайта, аудитория, демография, поведение сайта и многое другое. Google Analytics — один из лучших инструментов для получения подробных количественных данных о том, что люди делают на вашем сайте.
2. Как функции страницы влияют на поведение пользователя?
Используя инструменты анализа поведения посетителей, такие как тепловые карты, записи сеансов, отзывы интервью, опросы клиентов, аналитика, чистая оценка промоутера и т. Д., Посмотрите, как различные функции на странице влияют на поведение пользователей. Например, вы можете обнаружить, что инструмент поиска, размещенный на вашей целевой странице, дает вам больше конверсий, чем представленные категории продуктов. Получение такой информации может значительно помочь вам устранить нежелательные функции и сосредоточиться на тех, которые лучше конвертируют пользователей.
Понимание поведения пользователей (качественные данные)
Психология клиента обычно устанавливает фундаментальные правила, которым должны следовать сотрудники CRO.
Два основных элемента, которые помогают понять психологию клиента:
1. Принципы убеждения: Люди очень восприимчивы к внушениям и когнитивным искажениям. Процитируем здесь пример: знание того, что товар пользуется популярностью среди масс, становится еще более популярным, независимо от его реальной стоимости.В то же время, чем реже и эксклюзивнее предмет, тем он становится ценнее. Понимание такой человеческой психологии необходимо для эффективного определения ваших целей и составления плана CRO, который увеличивает прибыль вашей компании.
Кроме того, добавление социальных доказательств в виде обзоров и отзывов на вашу целевую страницу или в любом другом месте может добавить к вашим усилиям. Как показывает большинство тематических исследований, опубликованных в Интернете, социальная защита способствует большему количеству конверсий!
2.Поведение клиентов: Исследование, проведенное NN Group, показывает, что большинство людей, просматривающих Интернет, не читают; они просто пролистывают сообщения. Другое исследование показывает, что молодые люди больше заинтересованы в просмотре плоских дизайнов, поскольку они более «заслуживают доверия», чем их старшие коллеги.
Изучение поведения вашей целевой аудитории дает представление о том, «почему они делают то, что они делают» в Интернете, и как вы можете использовать эту информацию для создания веб-сайта с более высокой конверсией.
Есть два основных способа изучения поведения вашей целевой аудитории:
Проведение тестов и личное собеседование: Проведение тестов и личное собеседование: пристальное наблюдение за тем, как ваши клиенты взаимодействуют с вашим веб-сайтом в режиме реального времени, может дать вам важные данные и понимание множества вещей. Они могут включать в себя страницы, которые они чаще всего посещают, количество времени, которое они проводят на вашем веб-сайте, области, в которых они сталкиваются с максимальными проблемами, такими как трудности с заполнением формы, невозможность сгенерировать пароли, прекращение оплаты и многое другое. более.
Чтение тематических исследований и следование руководящим принципам по поведению пользователей: Многие существующие исследования и тематические исследования могут значительно помочь в понимании коллективной психики ваших клиентов, что, в свою очередь, может служить отличным источником для улучшения вашего веб-сайта в целом. выглядеть и чувствовать и увеличить конверсию.
Объединение этих двух вещей вместе может дать вам гораздо лучшее фундаментальное понимание того, как ваши клиенты ведут себя на вашем веб-сайте.
Понимание собранных данных
Исследование данных и психологии клиентов может помочь вам точно определить фактические причины, по которым пользователи делают то, что они делают на вашем сайте.
Используйте собранную информацию в качестве сравнительного исследования и выберите улучшения, которые могут принести пользу вашему бизнесу в долгосрочной перспективе. Также важно получить количественно выраженный ожидаемый коэффициент конверсии, поскольку он дает направление вашим усилиям по тестированию. В противном случае вы можете улучшить коэффициент конверсии на странице на 1% и сидеть уютно, не осознавая ее реального потенциала.
Качественные и количественные данные
Хотя количественные данные дают хорошее представление об эффективности вашего бизнеса, они не дают полной картины. По этой причине сбор качественных данных имеет первостепенное значение. Качественные ответы позволяют лучше понять, как клиенты воспринимают ваш бренд, почему они покупают или не покупают ваши продукты и / или услуги, а также другую важную информацию.
Количественные данные Качественные данные
Объективный подход, который предоставляет числовые данные для картирования событий, требующих принятия мер. Субъективный подход, который предлагает подробную повествовательную информацию, такую как отзывы и т. Д.
Статистика: страницы, наиболее и наименее посещаемые посетителями. Количество времени, проведенного посетителем на определенной странице. Входной путь, по которому посетители заходят на площадку. Страницы, с которых они выходят. Количество посетителей, совершивших конверсию. Показатель отказов сайта. Ссылки и страницы меньше всего и больше всего игнорируются посетителями. Статистика: покупательский путь клиента. Точная основная причина отказа.Мнения клиентов о ваших продуктах и / или услугах. Их страхи, сомнения или колебания до и во время покупки. Их отзывы после получения / использования продукта (ов) и / или услуги (ов)
Точная информация Обобщения
Измеримые данные Описательные данные
Заключительный подход Исследовательский подход
Методы сбора данных
Вот некоторые из лучших методов сбора данных:
Google Analytics
Google Analytics — это интегрированный инструмент, который предлагает числовые данные об общей производительности вашего веб-сайта, отчеты об активности посетителей, вовлеченности, источниках притока трафика, эффективности контента и продажах электронной коммерции.
Опросы клиентов
Опросы клиентов раскрывают информацию о реальном психологическом мышлении клиентов — что убедило их купить продукт, что увлекло их с сайта и т. Д. Это один из лучших способов изучить стратегии эффективной оптимизации сайта.
Юзабилити-тесты
Юзабилити-тестирование — это умный способ оценить простоту использования веб-сайта с точки зрения клиента, степень его вовлеченности на определенной странице, спотыкающиеся места и тому подобное.Это мощное оружие, которое только помогает улучшить пользовательский интерфейс, но увеличивает конверсию.
Опросы пользователей
Интервью дают глубокое понимание вашего сайта, соответствующих страниц и целевой аудитории. Они больше о сборе качественных данных, чем количественных. Собеседования могут эффективно привести к разработке тестовых гипотез, изменяющих кампанию.
Чистая оценка промоутера (NPS)
Net Promoter Score (NPS) измеряет удовлетворенность с точки зрения лояльности клиентов.Он классифицирует клиентов на три категории, известные как промоутеры, пассивы и недоброжелатели. В то время как промоутеры чаще всего превращаются в постоянных клиентов, недоброжелатели поступают наоборот. Пассивные элементы находятся посередине — они все еще находятся на стадии оценки (с точки зрения привлекательности сайта).
Тепловые карты
Проще говоря, тепловые карты
представляют собой графическое представление данных, которые информируют о том, где в основном содержатся значения посетителей, в виде цветов в матрице.Области, которым уделяется больше всего внимания, отмечены красным, а другие заштрихованы зеленым. Это классический способ понять, что пользователи делают на одной странице.
Карты кликов
Подобно тепловым картам, карты кликов предоставляют данные о взаимодействии пользователей со страницей в зависимости от того, где они нажимают чаще всего.
Карты прокрутки
Тип тепловой карты, карта прокрутки, анализирует, как посетитель просматривает веб-сайт. Это помогает изучить их поведение на различных страницах веб-сайта и проанализировать проблемные области.
Следующий шаг — тщательно сформулировать свою гипотезу!
Этап 2: Этап гипотезы — построение обоснованной гипотезы
Теперь, используя информацию, собранную на этапе исследования, вы можете составить проект своей гипотезы. По сути, гипотеза — это предлагаемое объяснение вашего исследования, которое обычно состоит из трех частей.
Конкретное изменение: на основе анализа количественных и качественных данных
Конкретный эффект: цель, показатель конверсии или аналогичный элемент, который требует улучшения.
Особая причина: размышления о том, почему конкретное изменение может привести к желаемому эффекту.
Лучший способ сделать шаг вперед — это провести настоящий тест!
Сформулируйте гипотезу
Вот пример хорошей гипотезы.
«Я считаю, что добавление социальных доказательств на страницы продуктов приведет к увеличению количества тележек для дополнений на 5%, потому что это вселяет уверенность в моем решении о покупке».
Основываясь на этой гипотезе, вы вносите необходимые изменения на страницы своих продуктов.Эти новые страницы известны как варианты. Основная цель теста — проверить, получит ли новый вариант лучшую конверсию.
Хорошо структурированная гипотеза также открывает путь к дополнительным усилиям по оптимизации. Даже если ваш путь не удастся, вы можете использовать случай, чтобы понять, что именно пошло не так, и предпринять корректирующие меры. Без структурированного процесса усилия по оптимизации могут быть напрасными и даже потерять цель.
Вот как выглядит неструктурированная гипотеза:
«Давайте просто объединим инструмент сортировки и фильтрации вместе, потому что он работал для компаний A, B и C.”
Это именно та гипотеза, которую вам следует избегать.
Выскажите свою гипотезу
Как правило, всегда подкрепляйте свои испытания твердой целью и достоверными доказательствами. Убедитесь, что у вас достаточно количественных и качественных данных для обоснования причин (причин) тестирования. Изложите свою гипотезу как можно полнее и даже запишите всю необходимую информацию. CRO — это непрерывный процесс. Чем больше у вас полезных данных, тем легче будет сформировать гипотезу и провести кампании по оптимизации в будущем.
Решите, как менять страницы
Обычно есть два основных способа запустить CRO-тест — протестировать совершенно другую страницу или изменить один или несколько элементов страницы. Выберите наиболее подходящий и сделайте рывок.
Протестируйте совершенно другую страницу: Если вы определили несколько областей, которые можно улучшить, подумайте о том, чтобы начать с самого начала. Определите страницы, которые, по вашему мнению (на основе статистических данных), лучше всего конвертируют и демонстрируют положительные результаты.Помните, вы можете увидеть похожие или совершенно разные результаты. Используйте информацию в качестве основных правил и приступайте к тонкой настройке.
Измените один или несколько элементов страницы: Здесь пригодятся A / B-тестирование и многомерное сплит-тестирование. Определите одну или несколько проблем на вашей странице, которые (на основе статистических данных) могут быть основными областями боли. Найдите их наилучшие варианты и запустите тест. Обратите внимание, что многомерный сплит-тест предполагает одновременное тестирование нескольких элементов.Это означает, что он будет работать дольше и потребует времени, чтобы продемонстрировать фактические результаты.
После того, как вы обнаружите свои возможности оптимизации, спланируйте и расставьте приоритеты для элементов, которые вы хотите протестировать. Проще говоря, запланируйте свою стратегию тестирования!
Этап 3: Этап приоритезации — выберите заказ
Здесь несколько фреймворков могут помочь вам в этом процессе. Из них P.I.E. Мы рекомендуем фреймворк, сформулированный Крисом Говардом из WiderFunnel:
Каждому из них придается особое значение, которое может эффективно помочь в расстановке приоритетов ваших элементов тестирования и направить вас в правильном направлении.
Этап 4: Этап тестирования — A / B, сплит или многовариантный?
Перед запуском теста ознакомьтесь с основами:
Что такое статистическая значимость и почему она важна?
Как долго нужно проводить тест?
Что мне использовать — A / B, сплит или многовариантный тест?
Что такое статистическая значимость и почему она критична?
Одна из основных причин для запуска теста — понять, может ли конкретное изменение на нашем сайте помочь повысить конверсию.Например, вы решили протестировать первых 100 посетителей вашего сайта. Вы видите, что 40 из 100 посетителей совершили конверсию по варианту, который вы запустили, против 20 на исходной странице. Это 20% конверсии по сравнению с ничтожными 10% на исходной странице.
Но означает ли это, что вы всегда будете получать гарантированный коэффициент конверсии в 20%? Вероятно, нет, потому что эти 100 посетителей не могут быть хорошим представлением из 10 000 посетителей, которые посещают ваш сайт каждый день.Здесь в игру вступает статистическая значимость!
Рассмотрим другой пример. Вы запустили тест, результаты которого показывают, что реализованный вариант превзошел контрольный вариант (исходная версия) со статистической значимостью 93%. Это означает, что вероятность того, что ваш вариант превзойдет результат чисто случайно, составляет 7%.
Завершая пример, статистическая значимость 93% говорит о том, что сейчас подходящее время для остановки теста при условии, что вы провели эксперимент достаточно долго, чтобы сделать выводы.
Как долго вам нужно проводить A / B-тест для получения надежных результатов?
Перед запуском теста определите время его выполнения!
Когда вы запускаете тест на своем сайте, посетители постоянно включаются в тест, и числа постоянно меняются. Это также означает, что ваш коэффициент конверсии будет постоянно расти, падать и даже стагнировать в разное время на протяжении фазы тестирования. Поскольку статистическая значимость отображается на протяжении всего теста, она может дополнительно продемонстрировать более высокую значимость даже до того, как тест завершит предполагаемую продолжительность.Итак, в зависимости от того, когда вы решите проверить результаты своего теста, его статистическая значимость может быть высокой или низкой. Это еще больше открывает путь к проблеме «подглядывания».
Ошибка поиска
Как следует из названия, ошибка просмотра означает просмотр результатов теста даже до того, как он будет завершен должным образом. Скорее всего, вы обнаружите статистическую значимость, которая выше или ниже ожидаемой, и вы можете решить остановить тест на том основании, что тест показал хорошие или плохие результаты.Это, в свою очередь, может привести к развертыванию версии, которая негативно повлияет на ваши конверсии.
Следовательно, крайне важно определить продолжительность теста и объявить победителя / проигравшего только после того, как он завершит свое время выполнения.
Примечание. Продолжительность теста во многом зависит от количества посетителей, посещающих ваш сайт, а также от ожидаемого коэффициента конверсии, который вы ищете. Вы можете использовать бесплатный калькулятор продолжительности теста VWO, чтобы найти идеальный период, в течение которого вы должны провести тест.
Байесовское и частотное A / B-тестирование
Большинство обычных систем A / B-тестирования используют метод Frequentist для проведения статистических вычислений и определения победителя. Метод гласит, что важно определить продолжительность A / B-теста на основе размера выборки, чтобы сделать правильные выводы.
Но факт в том, что у компаний, стремящихся к быстрому расширению, нет времени вдаваться в такие мелочи. Таким образом, необходим механизм A / B-тестирования, который позволяет обойти проблему ожидания завершения теста и при этом позволяет принимать рациональные бизнес-решения.
Это привело к появлению байесовского метода, который является краеугольным камнем платформы тестирования VWO A / B. Байесовский метод не только подчеркивает статистическую значимость, но и обеспечивает практически на 50% более быстрые результаты по сравнению со старым методом Frequentist.
Байесовский метод сообщает вам, что «в любой момент, при наличии достаточного количества данных под рукой, какова вероятность того, что вариант B имеет более низкий коэффициент конверсии, чем вариант A или элемент управления». К нему также не привязаны определенные временные рамки и не требуется глубокое знание статистики.
Что следует использовать — A / B, разделение или многомерное?
Есть три основных способа запустить тест.
A / B-тестирование
Сплит-тестирование
Многовариантное тестирование
Компании часто путаются между тремя вариантами — какой метод тестирования лучше всего соответствует их потребностям и требованиям. Чтобы избежать путаницы, обратите внимание на несколько моментов:
A / B, сплит и многовариантный — это три различных метода тестирования, каждый из которых имеет свои плюсы и минусы.
Решение использовать один из этих трех методов должно полностью зависеть от поставленной задачи.
Из соображений простоты лучше всего подходит A / B-тестирование. В основном он используется в тех случаях, когда изменения дизайна несложны.
Разделенное тестирование, или иначе известное как тестирование разделенного URL-адреса, используется в следующих случаях:
Дизайн требует значительных изменений по сравнению с его исходной версией, что упрощает создание новой отдельной страницы с совершенно другим URL-адресом.
Требуются внутренние изменения, такие как тестирование страницы с ценами, которая связана с несколькими таблицами в серверной части.
Для тестирования страниц, которые уже существуют по разным URL-адресам.
Многовариантное тестирование используется, когда на странице предлагается несколько изменений, и вы хотите отдельно протестировать каждую комбинацию.
Этап 5: Этап обучения — как анализировать результаты A / B-теста
На этом этапе вы делаете окончательные выводы о своих тестах, замыкаете цикл оптимизации коэффициента конверсии и принимаете к сведению всю новую информацию, собранную для будущего тестирования.К сожалению, большинство оптимизаторов смотрят только на результаты тестирования, чтобы увидеть, был ли вариант выигрышным, или, если он потерпел неудачу, они вернутся к созданию новых гипотез. Однако как оптимизатору важно копать глубже.
Рассмотрение сценария тестирования. Есть два возможных исхода недавно проведенного теста.
Когда ваш вариант выиграл тест
Ваши усилия окупились. Но что дальше? Пора искать ответы на следующие вопросы.
Какова стоимость внедрения изменений с точки зрения часов разработки, часов проектирования и т. Д.
Отвечает ли ожидаемое увеличение доходов фактическим затратам?
Если ваш вариант проиграл тест
В таком случае убедитесь, что вы:
Проанализируйте свое исследование, проверьте свою гипотезу и найдите лазейки.
Изучите свои тестовые данные. Разделите его дальше, чтобы изучить идеи.
Подтвердите свои исследовательские данные с помощью всех используемых инструментов сбора данных.
Просмотрите все соответствующие тематические исследования. Они могут помочь вам открыть для себя новые перспективы, которые вы упускали раньше.
Восстановите свою гипотезу, применив новые идеи, которые вы упустили в своем первоначальном исследовании.
Вернитесь и проверьте еще раз.
Поймите, CRO — это не разовый процесс. Это скорее непрерывный процесс, требующий постоянного анализа. Независимо от того, сколько тестов вы выполнили, всегда есть возможности для улучшения.Наличие хорошо спланированного, хорошо продуманного процесса CRO эффективно помогает в выявлении областей для улучшения и реализации усилий по оптимизации для получения лучших конверсий и дальнейшего увеличения доходов.
Рекомендации по оптимизации коэффициента конверсии
9 ошибок, которых следует избегать при проведении CRO-кампании
Действительно, CRO — это один из лучших методов оптимизации вашего сайта и увеличения конверсии. Большинство людей / компаний, вступающих в пул, не знают о масштабах и масштабах CRO и в конечном итоге тратят много времени, денег и усилий в этом процессе.Разработка надежной стратегии и эффективное ее соблюдение — ключ к CRO.
Вот четыре основных ошибки, которых должен избегать каждый новичок в CRO:
Ошибка № 1: Внесение изменений на основании мнения, что статистические данные
Тот факт, что ваш сайт выглядит чище, моднее и содержит лучшее содержание, чем его предыдущая версия, не означает, что он будет давать лучшие результаты. В то же время, если вы будете вдохновлены другими компаниями, которые провели на своих веб-сайтах аналогичный A / B-тест и заметили рост числа конверсий, это еще не означает, что вы увидите такие же результаты и на своем сайте.Это связано с тем, что не существует универсальной стратегии оптимизации конверсии. То, что может работать для одного бизнеса, не обязательно будет работать и для другого.
Сопротивляйтесь желанию. Потерпи. Если вы действительно собираетесь внести изменения или вдохновляетесь A / B-тестами, проводимыми другими компаниями, убедитесь, что это подтверждается разумной гипотезой, которая гарантирует, что ваш эксперимент будет работать лучше.
Успешный маркетолог — это не тот, кто предсказывает, какой тест выиграет базовое мнение или вдохновение, а тот, кто не позволяет предвзятости преобладать над статистическими данными.
Ошибка № 2: Написание текста, не соответствующего вашим бизнес-целям
Тщательно составленный и оптимизированный для SEO контент может творить чудеса. Но если он искажен и не соответствует целям вашего бизнеса, он становится бесполезным. Создавайте уникальный контент, который увеличивает ценность вашего сайта.
Сосредоточьтесь на УТП вашего бренда.
Говорите простым языком. Пусть он будет четким, точным и точным.
Пишите для сканеров, а не для читателей.
Маркированные и упорядоченные списки работают лучше.
Пишите броские заголовки.
Добавьте ключевые слова с более высоким рейтингом.
Ошибка № 3: Небольшие тесты перед большими
Когда дело доходит до CRO, большинство людей считают, что проводить небольшие тесты лучше, чем большие. Дело в том, что небольшие тесты мало повлияют на коэффициент конверсии. Более крупные тесты со значительными шансами, в которых оптимизировано более двух элементов, оставят длительное и заметное влияние вне таблицы. Эти изменения могут включать:
Изменение дизайна страницы над сгибом
Изменение дизайна всей домашней страницы
Изменение дизайна меню навигации
Перемещение важных элементов для улучшения видимости
Изменение заголовков, которые стали более броскими и эффектными, чем раньше.
Психографическая сегментация является здесь ключевым элементом. Это может значительно помочь понять потребности и запросы ваших потенциальных клиентов и внести необходимые изменения, чтобы привлечь их к вашей воронке конверсии.
Ошибка №4: Запуск слишком большого количества тестов и всплывающих окон одновременно на одной странице
Одновременное выполнение нескольких тестов может существенно повлиять на точность анализа каждого теста. Каждый новый элемент, с которым экспериментируют, может повлиять на результаты испытаний других.Более того, запуск множества всплывающих окон и дизайнов сайтов в одном пользовательском сеансе нарушает их общее восприятие. На самом деле, вполне возможно, что такие всплывающие окна могут раздражать и сбивать с толку пользователей, заставляя их покинуть сайт и больше никогда не возвращаться.
Выполнение нескольких тестов с измененными переменными, известное как многовариантный тест, обычно работает для сайтов с высоким трафиком. Тем не менее, не обязательно обещать отличные результаты. Шаг за шагом. Проанализируйте свои результаты; внести необходимые изменения; наблюдать; затем запустите еще один тест.
Ошибка № 5: Отсутствие внимания к основным элементам дизайна
A. Повышение важности автоматических слайдеров изображений
Для большинства маркетологов добавление автоматических ползунков изображений на их домашнюю страницу может быть одним из лучших способов продемонстрировать, что нового и / или предстоящего на вашем сайте, но почти все эксперты по конверсии полагают, что эти ползунки могут значительно снизить коэффициент конверсии.
Карусели изображений не позволяют пользователям исследовать сайт в своем собственном темпе.Вместо этого они мешают восприятию посетителя и создают баннерную слепоту. Популярные эксперты по конверсии, такие как Пип Лаха, настоятельно рекомендуют компаниям серьезно подумать о добавлении автоматических слайдеров изображений. Вот несколько причин, чтобы поддержать эту теорию:
Человеческий глаз сильно реагирует на движения. Если изображения прокручиваются быстрее, чем человеческий глаз может видеть или читать, он определенно упускает из виду важные вещи.
Слишком много сообщений означает отсутствие сообщений. Вместо этого сосредоточение внимания на добавлении основного сообщения к изображениям ваших баннеров и необходимых действий всегда более эффективно.
Поэтому всегда рекомендуется заменять автоматические слайдеры на сенсорные карусели или статические, чтобы получить больше взаимодействия и конверсий. Однако здесь всегда рекомендуется провести A / B-тест, чтобы увидеть, что лучше всего подходит для вашего бизнеса. По той причине, что то, что не сработало для компании, может творить чудеса для вашего бизнеса.
B. Использование сырных стоковых фотографий
Практически нет ничего правильного в их использовании на вашем сайте, кроме их качества.Они могут придать вашей веб-странице красивый, насыщенный вид, но они значительно снизят доверие к вашему бренду. Помните, что цель веб-сайта не в том, чтобы красиво выглядеть, а в достижении определенных целей. И, конечно же, людям нравится иметь дело с людьми, а не с веб-сайтами. Пример из практики Market Experiments демонстрирует то же самое. Компания, предоставляющая консультационные услуги по финансовым инвестициям, увеличила количество регистраций на 35%, просто заменив дрянную стоковую фотографию на своей домашней странице изображением своего основателя.
C. Не придание большого веса видео
Покажите свой продукт в действии. Сделайте обучающие видео, если вы предлагаете что-то сложное. Вы не поверите, но добавление видео хорошо окупается. И есть множество предприятий, которые действительно получили большую выгоду от этого самого добавления.
Доктор Мускул — один из таких примеров, который можно здесь процитировать. Веб-сайт интегрировал видео на свою страницу продаж, что значительно увеличило количество посетителей, перешедших на страницу с ценами / гарантией, на 46.15%.
Включение видео на ваш веб-сайт и другие подключенные платформы может помочь вам лучше убедить пользователей и, следовательно, повысить конверсию. Кроме того, видеомаркетинг также помогает информировать посетителей о ваших продуктах или услугах, не заставляя их просматривать тонны текста.
Однако, как маркетолог, вы должны убедиться, что ваши видео содержат четкий призыв к действию (CTA). Без CTA ваши посетители не будут знать, что делать дальше. Фактически, когда ваши посетители уже наслаждаются вашим видео, они будут счастливы последовать вашему призыву к действию и, возможно, превратиться в клиента.
Ошибка № 6: Недооценка важности кнопок с призывом к действию
Как указано выше, кнопки с призывом к действию являются одним из наиболее важных элементов страницы, которые убеждают посетителей вашего веб-сайта совершить желаемое действие и начать процесс конверсии. Но часто маркетологи не придают значения CTA и теряют много потенциальных конверсий. Ниже перечислены некоторые ошибки, которых вы, как маркетолог или дизайнер веб-сайтов, должны избегать.
А.Использование неправильных цветовых сочетаний
Интернет наводнен тематическими исследованиями, которые показывают, что один конкретный цвет, например красный, преобразовывается лучше, чем другой, например зеленый и так далее. Но это верно не во всех случаях. Скорее, все дело в том, какой цвет лучше подходит для фона вашего баннера или веб-страницы. RIPT Apparel, онлайн-магазин розничной торговли из Чикаго, увеличил коэффициент конверсии на 6,3%, просто изменив цвет CTA с черного на зеленый. В дополнение к этому, многие оптимизаторы также предполагают, что использование цвета CTA, который нигде не использовался на вашей веб-странице, также может помочь привлечь необходимое внимание.
B. Не использовать мощные слова в тесте кнопки призыва к действию
Вместо того, чтобы говорить что-то вроде «Отправить» или «Зарегистрируйтесь», используйте сильные слова, чтобы привлечь внимание пользователей. Вот некоторые популярные текстовые копии CTA:
Сохраните свое место. Заказать сейчас!
Ты здесь? Давайте начнем!
Да! Давай начнем бесплатную пробную версию.
Получите бесплатную копию!
Аналитика, доставляемая ежедневно в ваш почтовый ящик!
Куда отправить бесплатную копию?
Добавьте это летнее платье в свой гардероб!
ADT, компания Tyco International, которая предоставляет решения по безопасности для коммерческой недвижимости и объектов недвижимости, скорректировала свою копию CTA — с «Заказать бесплатный опрос» на «Получить бесплатное предложение» — и увидела 60% -ное увеличение коэффициента конверсии.
C. Размещение кнопок CTA
Помимо цвета и текста, размещение вашей кнопки CTA также играет важную роль в получении большего количества конверсий. В то время как некоторые маркетологи делают акцент на размещении кнопок с призывом к действию в первом сгибе веб-страницы, чтобы сделать их заметными, многие другие утверждают, что размещение кнопок с призывом к действию ниже сгиба может дать столь же хорошие результаты. Причина в том, что все зависит от того, насколько ваши потенциальные клиенты мотивированы нажать на вашу кнопку с призывом к действию.Насколько привлекательным они считают ваше предложение, что они вынуждены нажимать на ваш призыв к действию, где бы оно ни находилось. Чем эксклюзивнее ваши предложения, тем больше шансов, что ваш потенциальный клиент нажмет на вашу кнопку CTA, независимо от вашего размещения на веб-странице.

D. Текстовая ссылка с призывом к действию или кнопка с призывом к действию? Какой лучше ?
Текстовые ссылки часто теряются среди остального текста, что затрудняет их обнаружение на веб-странице. Между тем, призывы к действию кнопок более заметны для глаз и увеличивают шансы на большее количество кликов.Вот пример, чтобы продемонстрировать разницу.
Ошибка № 7: Отсутствие ощущения срочности
Не многие маркетологи понимают, что создание ощущения срочности может на самом деле многократно увеличить конверсию. Когда вы предлагаете своим посетителям ограниченный по времени стимул и даете им вескую причину полагать, почему они должны предпринять желаемое действие сейчас, а не позже, они конвертируются. И множество компаний действительно извлекли из этого выгоду, приняв самые «Принципы убеждения».’
Вот несколько примеров, подтверждающих нашу претензию:
Zappos создает ощущение срочности на своих страницах продуктов, показывая, сколько товаров осталось в определенном размере и цветовом сочетании, чтобы посетители могли купить их до того, как они исчезнут в наличии.
Amazon также использует это явление. Он демонстрирует точное количество часов / минут, в течение которых посетитель должен завершить процесс покупки, чтобы заказ был доставлен к их порогу уже на следующий день.
Гигант электронной коммерции также активно использует обратный отсчет на своей домашней странице, чтобы показать, как долго продлится конкретная продажа.
Ошибка № 8: Непосредственное подтверждение деловой надежности
Независимо от того, насколько убедителен ваш призыв к действию или насколько прост ваш веб-сайт, если вы не производите впечатление надежности для посетителей или не даете им уверенности в своем веб-сайте, вы вряд ли улучшите коэффициент конверсии своего веб-сайта. Ваши посетители должны знать, что вы не однодневка и должны здесь остаться. Существует множество способов повысить доверие посетителей к вашему веб-сайту и продуктам.Это следующие:
Убедите посетителей, что вы цените их конфиденциальность и что у вас есть защищенный сайт. Добавьте значки HackerSafe (или аналогичные), демонстрирующие, что ваша компания серьезно относится к безопасности веб-сайтов.
Добавьте отзывы клиентов. Поскольку это не просто фрагменты контента, восхваляющие ваши бизнес-предложения, они, по сути, являются идеальным средством завоевать доверие посетителей веб-сайта к вашему бренду. Они также могут сделать для вас много продаж.
Показывайте свою политику конфиденциальности везде, где вы запрашиваете личную информацию у посетителя.
Ошибка № 9: усложнение воронки конверсии
Последовательность конверсии — это набор страниц (таких как процесс оформления заказа или регистрационная форма), которые приводят к вашей цели конверсии (например, покупка продукта или подписка). Большинство инструментов веб-аналитики (включая некоторые бесплатные) можно настроить так, чтобы вы могли визуализировать, где ваши посетители уходят из вашей воронки конверсии. Вы можете быть удивлены, узнав, что большинство посетителей бросают на шаге 2 вашей воронки конверсии, потому что весь ваш процесс слишком сложен для их завершения.Сложную воронку конверсии необходимо упростить, чтобы направить трафик на последнюю страницу конверсии. Ниже приведены несколько советов и приемов, которые помогут упростить воронку и увеличить конверсию:
Удалите все посторонние ссылки со страниц в воронке конверсии
Удалите все ненужные шаги из воронки конверсии
Не уделяйте слишком много внимания рекламе других предложений
Запрашивайте только ту информацию, которая полностью необходима для заполнения процесс преобразования.Посетители не решаются раскрывать свою информацию, если она неоправданна.
В случае тележек для покупок четко проинформируйте посетителя о почтовых расходах и расходах на упаковку, налогах и политике возврата как можно раньше.
И убедитесь, что вы напомнили ваши посетители то, что они добавили в свою корзину, разместив обратную ссылку на продукт / услугу
Несмотря на то, что большинство маркетологов считают, что использование обычных стратегий оптимизации коэффициента конверсии по-прежнему творит чудеса для их бизнеса, внедряя новые и усовершенствованные методы, такие как веб-сайт персонализация — это необходимость часа.И, согласно статистике, опубликованной Zoominfo, 98% маркетологов согласны с тем, что персонализация может способствовать развитию отношений с клиентами.
Независимо от того, есть ли у вас магазин электронной коммерции, веб-сайт SaaS или просто блог, предложение персонализированного контента для ваших посетителей улучшит взаимодействие с пользователем и, следовательно, количество конверсий. Компании, предлагающие персонализацию веб-сайтов, сообщают о росте продаж на 14%.
Чтобы предложить эффективную персонализацию веб-сайта, вы должны знать обо всех типах пользователей, которые посещают ваш веб-сайт.Например, блог Hubspot предлагает контент, специально предназначенный для трех основных сегментов посетителей: маркетологов, специалистов по продажам и агентств.
The Sales Benchmark Index Blog — еще один шаг вперед в персонализации веб-сайтов. Он просит своих посетителей выбрать наиболее подходящую им персону, а затем отображает им соответствующий контент.
Точно так же вы можете предлагать своим посетителям персонализированный контент в зависимости от того, к какой отрасли они принадлежат или где они находятся в вашей воронке конверсии.
Персонализация веб-сайтов особенно эффективна для веб-сайтов электронной коммерции, и Amazon — один из лучших примеров, который можно здесь процитировать. Компания внедрила саму суть персонализации таким образом, что ее посетители обманываются ее предложением каждый раз, когда они посещают их веб-сайт.
7 Задачи оптимизации коэффициента конверсии для решения
CRO — один из лучших способов оптимизировать ваш сайт и увеличить конверсию. Но у него есть свой набор проблем и заблуждений, которые необходимо устранить, чтобы обеспечить беспрепятственное принятие и внедрение.
Вызов 1: Политика и люди
Люди и политика составляют два основных элемента, которые определяют культуру организации. В то время как первое подчеркивает навыки и образ мышления, второе говорит о влиятельной силе. Настоящая проблема возникает, когда среди людей нет демократии. Более того, когда влиятельные люди в организации пытаются навязать свои мысли фактическим данным.
Решение:
Расскажите людям о реальных преимуществах CRO.
Представьте анализ конкурентов
Выделите пробелы в вашем текущем подходе
Покажите данные.
Задача 2: Структура для поддержки CRO
Создание структуры для поддержки CRO — огромная проблема для большинства предприятий. Здесь возникает ряд вопросов. Стоит ли нанимать специальную команду по оптимизации конверсии; добавит ли это к общим расходам организации; кто возьмет на себя ответственность в случае сбоев; и так далее!
Решение:
Прежде чем углубляться в CRO, важно разработать правильный процесс CRO.Создайте панель управления или платформу для планирования, обновления и записи всех ваших действий по конверсии. Делитесь статистикой со своими сотрудниками. Поощряйте их вносить свой вклад в оптимизацию конверсии и принимать разумные решения на основе фактических данных.
Проблема 3: Недостаточные бюджетные ассигнования
Бюджет играет важную роль при планировании и проведении CRO-кампании. В то время как в 2013 году компании тратили всего лишь 5% на CRO-деятельность, тенденция улучшилась, поскольку организации увеличили свои расходы на оптимизацию.Однако проблема заключается в правильном распределении бюджета.
Решение:
Прежде чем обнулять сумму, организации должны проанализировать рентабельность инвестиций от CRO. Они должны инвестировать в инструменты оптимизации конверсии после тщательного изучения своих целей и фактических доходов.
Проблема 4: Отсутствие правильных инструментов для достижения бизнес-целей
Маркетологи могут выбирать из множества инструментов для достижения своих бизнес-целей. Например, выбирая инструмент для A / B-тестирования, они должны сделать выбор между a:
Статистический механизм, основанный на частотах
Байесовский статистический механизм
Более того, существует множество инструментов, которые помогают маркетологам достигать определенных целей.Но использование комбинации инструментов может затруднить работу с сообщениями. Итак, что же делать маркетологам? Как правильно выбрать инструменты оптимизации скорости разговора?
Решение
Для выбора правильного инструмента маркетологи должны взвесить все «за» и «против» своих действий. Они должны оценить инструмент, исходя из того, насколько эффективно он решит их конкретные бизнес-задачи и достигнет их целей. Для предприятий, которые хотят инвестировать в инструмент для роста бизнеса, вот статья о том, что необходимо знать лицам, принимающим решения, перед тем, как вкладывать средства в программное обеспечение для CRO или A / B-тестирования.
Проблема 5: Слишком раннее завершение A / B-теста
Прекращение промежуточного эксперимента только потому, что ваш вариант не дает ожидаемых результатов, не означает, что у него не будет шансов на победу. Существует множество тестов, требующих времени для демонстрации необходимых результатов из-за ряда факторов.
Решение: Первое правило проведения A / B-теста — позволить эксперименту идти своим чередом, пока он не достигнет своей статистической значимости. Дайте вашему тесту немного времени, чтобы подышать.Если вы все еще чувствуете, что ваш эксперимент находится на грани провала, сделайте глубокий анализ эксперимента. Ищите ошибки в процессе и еще раз проверьте свою гипотезу. Устраните эти проблемы, если таковые имеются, а затем снова запустите тест в течение значительного времени, чтобы прийти к конкретному выводу.
Задача 6. Отказ от оптимизации после неудачных тестов
Когда вы оптимизируете важную страницу воронки конверсии, вы можете разработать гипотезу, чтобы улучшить ее коэффициент конверсии, и провести A / B-тест.Что делать, если тест не прошел? Было бы абсурдно оставлять страницу в исходном состоянии, потому что страница важна и требует оптимизации.
Решение
Альтернатива — узнать, чего не хватало проигрышному варианту и почему пользователи не нашли его более привлекательным. Используйте такие инструменты, как тепловые карты и карты кликов, чтобы наблюдать за поведением пользователей. Используйте эту информацию, чтобы разработать новую и лучшую гипотезу и запустить больше A / B-тестов, постепенно повышая шансы на получение высокопроизводительного теста.
Главное здесь — всегда ожидать неожиданных результатов. Часто даже самые логичные гипотезы терпят неудачу. Продолжайте тестирование!
Задача 7. Отсутствие отслеживания макроконверсий
Итак, пришел результат вашего A / B-теста. Ваш вариант превзошел контрольный вариант. Результат статистически значим, и он положительно улучшил ваш коэффициент конверсии. Теперь, когда вы радуетесь, ваш вариант только увеличил ваши микроконверсии (например, отправка форм, подписка на блог, посещение следующей страницы и т. Д.), или это улучшило и ваши макроконверсии (например, доход)?
Если ответ «Да! Это увеличило только микроконверсии », пора пересмотреть свою стратегию тестирования. Хотя эти небольшие победы, несомненно, улучшат ваши цели по конверсии, они ничего не дадут в совокупности.
Решение
Уловка здесь заключается в том, чтобы тщательно определить цели A / B-тестирования и связать цели макроконверсии с целями микроконверсий. Если вы этого не сделаете, за деревьями вы не увидите леса.
Обратите внимание, любая оптимизация лучше, чем никакая оптимизация. Признайте все преимущества оптимизации веб-сайта, которые вы можете получить, независимо от того, насколько они малы. Учитесь на своих ошибках и перезапустите более качественный тест, основанный на данных.
Заключение
От определения важности оптимизации веб-сайта до разработки средств и способов повышения производительности сайта, проведения A / B-тестов и использования результатов для усиления маркетинговых усилий, оптимизация коэффициента конверсии стала основным направлением усилий.Он не только позволяет компаниям понять, как клиенты думают, используют и воспринимают их бренд и его предложения, но также предоставляет им невероятный набор данных для формирования их будущих бизнес-стратегий. CRO — это не просто еще один инструмент для повышения эффективности вашего бренда в Интернете, это «инструмент», который поможет вам выделиться!
A / B тестирование — Optimizely
Что такое A / B-тестирование?
A / B-тестирование (также известное как сплит-тестирование или сегментное тестирование) — это метод сравнения двух версий веб-страницы или приложения друг с другом, чтобы определить, какая из них работает лучше.A / B-тестирование — это, по сути, эксперимент, в котором пользователям случайным образом показываются два или более варианта страницы, а статистический анализ используется для определения того, какой вариант лучше подходит для данной цели конверсии.
Запуск A / B-теста, который напрямую сравнивает вариант с текущим опытом, позволяет вам задавать конкретные вопросы об изменениях на вашем веб-сайте или в приложении, а затем собирать данные о влиянии этого изменения.
Testing исключает догадки при оптимизации веб-сайта и позволяет принимать решения на основе данных, которые переводят деловые разговоры с «мы думаем» на «мы знаем».»Измеряя влияние изменений на ваши показатели, вы можете убедиться, что каждое изменение дает положительные результаты.
Как работает A / B-тестирование
В A / B-тесте вы берете веб-страницу или экран приложения и изменяете его, чтобы создать вторую версию той же страницы. Это изменение может быть таким простым, как отдельный заголовок, кнопка или полное изменение дизайна страницы. Затем половине вашего трафика будет показана исходная версия страницы (известная как контрольная), а половине — измененная версия страницы (вариант).
По мере того, как посетители обслуживаются либо в режиме контроля, либо в режиме вариации, их взаимодействие с каждым опытом измеряется, собирается на панели инструментов и анализируется с помощью статистического механизма. Затем вы можете определить, оказало ли изменение опыта положительное, отрицательное или нейтральное влияние на поведение посетителей.
Почему стоит проводить A / B-тестирование
A / B-тестирование позволяет отдельным лицам, командам и компаниям вносить осторожные изменения в свой пользовательский опыт, собирая данные о результатах.Это позволяет им строить гипотезы и узнавать, почему определенные элементы их опыта влияют на поведение пользователей. С другой стороны, их можно доказать, что они ошибаются — их мнение о наилучшем опыте для достижения данной цели может быть опровергнуто с помощью A / B-теста.
Больше, чем просто ответ на разовый вопрос или урегулирование разногласий, A / B-тестирование может использоваться для постоянного улучшения конкретного опыта или улучшения одной цели, например коэффициента конверсии, с течением времени.
Технологическая компания B2B может захотеть улучшить качество своих потенциальных клиентов и увеличить объем продаж с помощью целевых страниц кампании.Для достижения этой цели команда попытается провести A / B-тестирование изменений заголовка, визуальных изображений, полей формы, призыва к действию и общего макета страницы.
Тестирование одного изменения за раз помогает им определить, какие изменения повлияли на поведение посетителей, а какие нет. Со временем они могут объединить эффект нескольких выигрышных изменений из экспериментов, чтобы продемонстрировать измеримое улучшение нового опыта по сравнению со старым.
Этот метод внесения изменений в взаимодействие с пользователем также позволяет оптимизировать его для достижения желаемого результата и может сделать важные шаги в маркетинговой кампании более эффективными.
Путем тестирования рекламного текста маркетологи могут узнать, какие версии привлекают больше кликов. Тестируя последующую целевую страницу, они могут узнать, какой макет лучше всего превращает посетителей в клиентов. Общие расходы на маркетинговую кампанию могут быть фактически уменьшены, если элементы каждого шага работают максимально эффективно для привлечения новых клиентов.
A / B-тестирование также может использоваться разработчиками и дизайнерами продукта для демонстрации влияния новых функций или изменений на взаимодействие с пользователем.Адаптация продукта, взаимодействие с пользователем, модальные окна и внутрипродуктовый опыт — все это можно оптимизировать с помощью A / B-тестирования, если цели четко определены и у вас есть четкая гипотеза.
Процесс тестирования A / B
Ниже представлена структура A / B-тестирования, которую вы можете использовать для запуска тестов:
Соберите данные: Ваша аналитика часто дает представление о том, где вы можете начать оптимизацию. Это помогает начать с участков вашего сайта или приложения с высокой посещаемостью, чтобы вы могли быстрее собирать данные.Ищите страницы с низким коэффициентом конверсии или высоким коэффициентом прерывания, которые можно улучшить.
Определите цели: Ваши цели конверсии — это показатели, которые вы используете, чтобы определить, является ли вариант более успешным, чем исходная версия. Цели могут быть любыми: от нажатия кнопки или ссылки до покупки продукта и подписки по электронной почте.
Сгенерировать гипотезу: После того, как вы определили цель, вы можете начать генерировать идеи и гипотезы A / B-тестирования, объясняющие, почему, по вашему мнению, они будут лучше, чем текущая версия.Составив список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.
Создание вариантов: Используя программное обеспечение для A / B-тестирования (например, Optimizely), внесите желаемые изменения в элемент вашего веб-сайта или мобильного приложения. Это может быть изменение цвета кнопки, изменение порядка элементов на странице, скрытие элементов навигации или что-то полностью настраиваемое. Многие ведущие инструменты A / B-тестирования имеют визуальный редактор, который упрощает внесение этих изменений.Убедитесь, что ваш эксперимент прошел проверку качества, чтобы убедиться, что он работает должным образом.
Запустить эксперимент: Начните эксперимент и ждите, пока в нем примут участие посетители! На этом этапе посетители вашего сайта или приложения будут случайным образом назначены либо для контроля, либо для изменения вашего опыта. Их взаимодействие с каждым опытом измеряется, подсчитывается и сравнивается, чтобы определить эффективность каждого из них.
Анализировать результаты: После завершения эксперимента пора проанализировать результаты.Ваше программное обеспечение для A / B-тестирования представит данные эксперимента и покажет вам разницу между работой двух версий вашей страницы и наличие статистически значимой разницы.
Если ваш вариант победил, поздравляем! Посмотрите, сможете ли вы применить уроки эксперимента на других страницах своего сайта и продолжить итерацию эксперимента, чтобы улучшить свои результаты. Если ваш эксперимент дал отрицательный результат или не дал результата, не волнуйтесь.Используйте эксперимент как обучающий опыт и создайте новую гипотезу, которую вы сможете проверить.
Каким бы ни был результат вашего эксперимента, используйте свой опыт для информирования будущих тестов и постоянно работайте над оптимизацией вашего приложения или сайта.
A / B-тестирование и SEO
Google разрешает и поощряет A / B-тестирование и заявляет, что выполнение A / B-тестирования или многовариантного тестирования не представляет никакого риска для рейтинга вашего сайта в поисковой сети. Однако можно поставить под угрозу свой рейтинг в поиске, злоупотребляя инструментом A / B-тестирования для таких целей, как маскировка.Google сформулировал несколько рекомендаций, чтобы этого не произошло:
Нет маскировки: Маскировка — это практика показа поисковым системам другого контента, который не видел бы обычный посетитель. Маскировка может привести к понижению или даже удалению вашего сайта из результатов поиска. Чтобы предотвратить маскировку, не злоупотребляйте сегментацией посетителей для отображения различного содержания для робота Googlebot на основе агента пользователя или IP-адреса.
Используйте rel = «canonical»: Если вы запускаете сплит-тест с несколькими URL-адресами, вы должны использовать атрибут rel = «canonical», чтобы указать варианты обратно на исходную версию страницы.Это поможет предотвратить запутывание робота Google в нескольких версиях одной и той же страницы.
Используйте перенаправление 302 вместо 301: Если вы запускаете тест, который перенаправляет исходный URL-адрес на вариант URL, используйте перенаправление 302 (временное) вместо перенаправления 301 (постоянное). Это сообщает поисковым системам, таким как Google, что перенаправление является временным и что они должны сохранять в индексе исходный URL-адрес, а не тестовый URL-адрес.
Запускайте эксперименты столько, сколько необходимо: Запуск тестов дольше, чем необходимо, особенно если вы обслуживаете один вариант своей страницы для большого процента пользователей, можно рассматривать как попытку обмануть поисковые системы.Google рекомендует обновить ваш сайт и удалить все варианты тестирования, как только тест будет завершен, и не запускать тесты излишне долго.
Для получения дополнительной информации об A / B-тестировании и SEO см. Статью нашей базы знаний о том, как A / B-тестирование влияет на SEO.
Туристическая компания может захотеть увеличить количество успешных бронирований, совершенных на их веб-сайте или в мобильном приложении, или может захотеть увеличить доход от дополнительных покупок. Чтобы улучшить эти показатели, они могут протестировать варианты:
Режимы поиска на главной странице
Страница результатов поиска
Дополнительная информация о продукте
Компания , занимающаяся электронной коммерцией, может захотеть увеличить количество завершенных касс, среднюю стоимость заказа или увеличить праздничные продажи.Для этого они могут провести A / B-тест:
Акции на домашней странице
Элементы навигации
Компоненты воронки кассы
Технологическая компания может захотеть увеличить количество высококачественных лидов для своей группы продаж, увеличить количество пользователей бесплатной пробной версии или привлечь определенного типа покупателя. Они могут проверить:
Детали формы свинца
Процесс регистрации бесплатной пробной версии
Сообщения на главной странице и призыв к действию
Примеры тестирования A / B
Эти примеры A / B-тестирования показывают типы результатов, которые самые инновационные компании мира видели в ходе A / B-тестирования с помощью Optimizely:
Компания
Discovery A / B протестировала компоненты своего видеоплеера, чтобы привлечь внимание фанатов своего телешоу.’ Результат? Увеличение вовлеченности в видео на 6%.
ComScore A / B протестировал логотипы и отзывы, чтобы повысить социальное доказательство на целевой странице продукта и увеличить количество потенциальных клиентов на 69%.
Компания
Secret Escapes протестировала различные варианты своих мобильных страниц регистрации, которые удвоили коэффициент конверсии и увеличили общую ценность.
A Повторный курс по A / B-тестированию
В наши дни все дело в данных. Лидеры не хотят принимать решения, если у них нет доказательств.Это, конечно, хорошо, и, к счастью, есть много способов получить информацию, не полагаясь на свои инстинкты. Одним из наиболее распространенных методов, особенно в онлайн-настройках, является A / B-тестирование.
Чтобы лучше понять, что такое A / B-тестирование, откуда оно возникло и как его использовать, я поговорил с Кайзером Фангом, который основал программу прикладной аналитики в Колумбийском университете и является автором блога Junk Charts, посвященного критическому анализу. данных и графики в СМИ.Его последняя книга — Number Sense: How to Use Big Data to Your Advantage .
Что такое A / B-тестирование?
A / B-тестирование, по сути, это способ сравнить две версии чего-либо, чтобы выяснить, какая из них работает лучше. Хотя он чаще всего ассоциируется с веб-сайтами и приложениями, Фунг говорит, что этому методу почти 100 лет.
В 1920-х годах статистик и биолог Рональд Фишер открыл наиболее важные принципы, лежащие в основе A / B-тестирования и рандомизированных контролируемых экспериментов в целом.«Он не был первым, кто провел подобный эксперимент, но он был первым, кто выяснил основные принципы и математику и превратил их в науку», — говорит Фунг.
Фишер проводил сельскохозяйственные эксперименты, задавая такие вопросы, как: что произойдет, если я внесу больше удобрений на эту землю? Принципы сохранились, и в начале 1950-х годов ученые начали проводить клинические испытания в медицине. В 1960-х и 1970-х годах маркетологи адаптировали эту концепцию для оценки кампаний прямого отклика (например, приведет ли открытка или письмо для целевых клиентов к увеличению продаж?).
A / B-тестирование в его нынешнем виде появилось в 1990-х годах. Фунг говорит, что за прошедшее столетие математика, лежащая в основе тестов, не изменилась. «Это те же основные концепции, но теперь вы делаете это онлайн, в среде реального времени и в другом масштабе с точки зрения количества участников и количества экспериментов».
Как работает A / B-тестирование?
Вы начинаете A / B-тест, решая, что именно вы хотите проверить. Фунг приводит простой пример: размер кнопки подписки на вашем сайте.Тогда вам нужно знать, как вы хотите оценивать его работу. В этом случае предположим, что ваша метрика — это количество посетителей, которые нажимают на кнопку. Чтобы запустить тест, вы показываете двум группам пользователей (назначаемых случайным образом, когда они посещают сайт) разные версии (где отличается только размер кнопки) и определяете, какая из них больше всего повлияла на ваш показатель успеха. В этом случае, какой размер кнопки вызвал нажатие большего числа посетителей?
В реальной жизни есть много вещей, которые влияют на то, будет ли кто-то щелкать.Например, может случиться так, что пользователи мобильного устройства с большей вероятностью нажмут кнопку определенного размера, в то время как на настольном компьютере пользователи будут рисовать другого размера. Здесь может помочь рандомизация — и это очень важно. Выбирая случайным образом, какие пользователи входят в какую группу, вы сводите к минимуму вероятность того, что другие факторы, такие как мобильные устройства по сравнению с настольными компьютерами, в среднем повлияют на ваши результаты.
«A / B-тест можно считать самым основным видом рандомизированного контролируемого эксперимента», — говорит Фунг. «В простейшей форме есть два лечения, и одно действует как контроль другого.«Как и во всех рандомизированных контролируемых экспериментах, вы должны оценить размер выборки, необходимый для достижения статистической значимости, что поможет вам убедиться, что результат, который вы видите,« связан не только с фоновым шумом », — говорит Фунг.
Иногда вы знаете, что определенные переменные, обычно те, которыми нелегко манипулировать, сильно влияют на показатель успеха. Например, мобильные пользователи вашего веб-сайта, как правило, меньше нажимают на что-либо по сравнению с пользователями настольных компьютеров. Рандомизация может привести к тому, что набор A будет содержать немного больше мобильных пользователей, чем набор B, что может привести к тому, что набор A будет иметь более низкую частоту кликов независимо от размера кнопки, которую они видят.Чтобы уравнять правила игры, аналитик тестирования должен сначала разделить пользователей на мобильные и настольные, а затем случайным образом распределить их по каждой версии. Это называется блокировкой.
Размер кнопки подписки — очень простой пример, — говорит Фунг. На самом деле вы можете тестировать не только размер, но и цвет, и текст, и гарнитуру, и размер шрифта. Многие менеджеры проводят последовательные тесты — например, сначала тестируют размер (большой против малого), затем тестируют цвет (синий против красного), затем тестируют шрифт (Times против Arial) — потому что они считают, что не должны варьировать два или более факторов в в то же время.Но, по словам Фунга, статистика опровергает эту точку зрения. А последовательные тесты неоптимальны, потому что вы не измеряете, что происходит при взаимодействии факторов. Например, может случиться так, что пользователи в среднем предпочитают синий, но в сочетании с Arial предпочитают красный. Такой результат часто упускается при последовательном A / B-тестировании, потому что тест шрифта запускается на синих кнопках, которые «выиграли» предыдущий тест.
Вместо этого, говорит Фунг, вам следует запускать более сложные тесты. Это может быть трудным для некоторых менеджеров, поскольку A / B-тесты привлекательны тем, насколько они просты и просты в выполнении (а многие люди, разрабатывающие эти эксперименты, отмечает Фунг, не имеют опыта работы со статистикой).«При A / B-тестировании мы, как правило, хотим проводить большое количество одновременных независимых тестов», — говорит он, по большей части потому, что мы думаем о количестве возможных комбинаций, которые вы можете протестировать. Но с помощью математики вы можете «разумно выбрать и запустить только определенные подмножества этих методов лечения; тогда вы сможете вывести остальное из данных ». В мире A / B-тестирования это называется «многовариантным» тестированием и часто означает, что вы в конечном итоге выполняете A / B / C-тест или даже A / B / C / D-тест. В приведенном выше примере с цветами и размером это может означать отображение разных групп: большая красная кнопка, маленькая красная кнопка, большая синяя кнопка и маленькая синяя кнопка.Если бы вы захотели протестировать и шрифты, количество тестовых групп увеличилось бы еще больше.
Как вы интерпретируете результаты A / B-теста?
Скорее всего, ваша компания будет использовать программное обеспечение, которое обрабатывает вычисления, и даже может нанять статистика, который сможет интерпретировать эти результаты за вас. Но полезно иметь базовое представление о том, как разобраться в результатах и решить, следует ли продвигаться вперед с тестовым вариантом (новая кнопка в приведенном выше примере).
Fung говорит, что большинство программ сообщают о двух коэффициентах конверсии для A / B-тестирования: один для пользователей, которые видели контрольную версию, а другой для пользователей, которые видели тестовую версию. «Коэффициент конверсии может измерять клики или другие действия, предпринятые пользователями», — говорит он. Отчет может выглядеть так: «Контроль: 15% (+/- 2,1%), вариация 18% (+/- 2,3%)». Это означает, что 18% ваших пользователей нажимали на новый вариант (возможно, на вашу большую синюю кнопку) с погрешностью 2,3%. У вас может возникнуть соблазн интерпретировать это как фактический коэффициент конверсии между 15.7% и 20,3%, но это было бы технически некорректно. «Настоящая интерпретация состоит в том, что если вы запускаете A / B-тест несколько раз, 95% диапазонов будут отражать истинный коэффициент конверсии — другими словами, коэффициент конверсии выходит за пределы погрешности в 5% случаев (или что-то еще. установленный вами уровень статистической значимости) », — поясняет Фунг.
Если это сложно понять, вступайте в клуб. Важно знать, что коэффициент конверсии 18% не является гарантией. Вот где приходит ваше суждение.Уровень разговора 18%, безусловно, лучше, чем показатель 15%, даже с учетом погрешности (12,9–17,1% против 15,7–20,3%). Вы могли слышать, как люди говорят об этом как о «3% -ном росте» (рост — это просто процентная разница в коэффициенте конверсии между вашей контрольной версией и успешным тестовым лечением). В этом случае, скорее всего, будет правильным решением перейти на новую версию, но это будет зависеть от затрат на внедрение новой версии. Если они низкие, вы можете попробовать переключатель и посмотреть, что происходит на самом деле (в отличие от тестов).Одним из больших преимуществ тестирования в онлайн-мире является то, что обычно вы можете довольно легко вернуться к исходному состоянию.
Как компании используют A / B-тестирование?
Фунг говорит, что популярность этой методологии возросла, поскольку компании осознали, что онлайн-среда хорошо подходит для того, чтобы помочь менеджерам, особенно маркетологам, ответить на такие вопросы, как: «Что, скорее всего, заставит людей щелкнуть? Или купить наш товар? Или зарегистрироваться на нашем сайте? » A / B-тестирование теперь используется для оценки всего: от дизайна веб-сайта до онлайн-предложений и заголовков до описаний продуктов.(Фактически, на прошлой неделе я просмотрел результаты A / B-тестирования языка, который мы используем для продажи нового продукта здесь, в HBR.)
Большинство этих экспериментов проводится без ведома испытуемых. «Как пользователь, мы постоянно участвуем в этих тестах и не знаем об этом», — говорит Фунг.
И это не только веб-сайты. Вы также можете протестировать маркетинговые электронные письма или рекламу. Например, вы можете отправить две версии электронного письма своему списку клиентов (разумеется, сначала рандомизировать список) и выяснить, какая из них приносит больше продаж.Тогда вы сможете в следующий раз просто разослать выигрышную версию. Или вы можете протестировать две версии рекламного текста и посмотреть, какая из них чаще привлекает посетителей. Тогда вы будете знать, что нужно потратить больше на получение самого успешного.
Какие ошибки делают люди при проведении A / B-тестов?
Я спросил Фуна об ошибках, которые, по его мнению, совершают компании при проведении A / B-тестов, и он указал на три наиболее распространенных.
Во-первых, говорит он, слишком многие менеджеры не позволяют тестам идти своим чередом.Поскольку большая часть программного обеспечения для проведения этих тестов позволяет отслеживать результаты в режиме реального времени, менеджеры хотят принимать решения слишком быстро. Эта ошибка, по его словам, «возникает из-за нетерпения», и многие поставщики программного обеспечения сыграли на этом чрезмерном нетерпении, предложив тип A / B-тестирования, называемый «оптимизацией в реальном времени», в котором вы можете использовать алгоритмы для внесения корректировок по результатам. Проблема в том, что из-за рандомизации вполне возможно, что если вы дадите тесту закончиться до его естественного конца, вы можете получить другой результат.
Вторая ошибка — слишком много показателей. «Я съеживаюсь каждый раз, когда вижу программное обеспечение, которое пытается угодить всем, предоставляя вам панель с сотнями показателей», — говорит он. Проблема в том, что если вы одновременно смотрите на такое большое количество показателей, вы рискуете получить то, что статистики называют «ложными корреляциями». При правильном дизайне теста «вы должны определиться с метриками, на которые вы собираетесь смотреть, прежде чем проводить эксперимент и выбрать несколько. Чем больше вы измеряете, тем больше вероятность того, что вы увидите случайные колебания.»При таком большом количестве показателей вместо того, чтобы спрашивать себя:» Что происходит с этой переменной? » вы спрашиваете: «Какие интересные (и потенциально незначительные) изменения я наблюдаю?»
Наконец, Фунг говорит, что немногие компании проводят достаточное повторное тестирование. «Мы склонны проверять это один раз, а потом верим в это. Но даже при статистически значимом результате существует довольно большая вероятность ложноположительной ошибки. Если вы не будете время от времени проводить повторное тестирование, вы не исключаете возможность ошибиться ». Ложные срабатывания могут происходить по нескольким причинам.Например, даже если вероятность того, что какой-либо конкретный результат A / B обусловлена случайной случайностью, невелика, если вы проведете много тестов A / B, вероятность того, что хотя бы один из ваших результатов окажется неверным, быстро возрастет.
Это может быть особенно сложно сделать, потому что вполне вероятно, что менеджеры в конечном итоге получат противоречивые результаты, и никто не захочет обнаружить, что они опровергли предыдущие выводы, особенно в онлайн-мире, где менеджеры хотят внести изменения — и зафиксировать значение — быстро.Но этот акцент на ценности может быть ошибочным, говорит Фунг: «Люди не очень бдительны в отношении практической ценности результатов. Они хотят верить, что каждое небольшое улучшение ценно, даже если результаты тестов не полностью надежны. Фактически, чем меньше улучшение, тем менее надежны результаты ».
Понятно, что A / B-тестирование — не панацея. По словам Фунга, существуют более сложные виды экспериментов, которые более эффективны и дадут вам более надежные данные. Но A / B-тестирование — отличный способ быстро понять интересующий вас вопрос.И «хорошие новости о мире A / B-тестирования заключаются в том, что все происходит так быстро, поэтому, если вы запустите его, а оно не работает, вы можете попробовать что-нибудь еще. Вы всегда можете вернуться к старой тактике ».
15 шагов для идеального сплит-теста
Когда маркетологи, подобные нам, создают целевые страницы, пишут электронные письма или разрабатывают кнопки с призывом к действию, может возникнуть соблазн использовать нашу интуицию, чтобы предсказать, что заставит людей щелкнуть и совершить конверсию.
Но принятие маркетинговых решений на основе «ощущений» может быть очень пагубным для результатов.Вместо того, чтобы полагаться на догадки или предположения при принятии этих решений, вам гораздо лучше провести A / B-тест, который иногда называют сплит-тестом.
A / B-тестирование может быть полезным, потому что разные аудитории ведут себя по-разному. То, что работает для одной компании, не обязательно работает для другой. Фактически, эксперты по оптимизации коэффициента конверсии (CRO) ненавидят термин «передовой опыт», потому что он может быть не лучшим для и .
Но тесты A / B также могут быть сложными.Если вы не будете осторожны, вы можете сделать неверные предположения о том, что нравится людям и что заставляет их кликать, — решения, которые могут легко дезинформировать другие части вашей стратегии.
Продолжайте читать, чтобы узнать, как проводить A / B-тестирование до, во время и после сбора данных, чтобы вы могли принимать оптимальные решения на основе своих результатов.
Что такое A / B-тестирование?
A / B-тестирование, также известное как сплит-тестирование, представляет собой маркетинговый эксперимент, в котором вы разделяете аудиторию, чтобы протестировать несколько вариантов кампании и определить, какой из них работает лучше.Другими словами, вы можете показать версию А маркетингового контента одной половине вашей аудитории, а версию Б — другой.
Чтобы запустить A / B-тест, вам нужно создать две разные версии одного фрагмента контента с изменениями в одной переменной . Затем вы покажете эти две версии двум аудиториям одинакового размера и проанализируете, какая из них показала лучшие результаты за определенный период времени (достаточно долго, чтобы сделать точные выводы о ваших результатах).
Источник изображения
A / B-тестирование помогает маркетологам наблюдать, как одна версия маркетингового контента работает вместе с другой.Вот два типа A / B-тестов, которые вы можете провести, чтобы повысить коэффициент конверсии вашего сайта:
Пример 1: Тест взаимодействия с пользователем
Возможно, вы хотите узнать, улучшит ли CTA перемещение определенной кнопки с призывом к действию (CTA) в верхнюю часть домашней страницы вместо того, чтобы держать ее на боковой панели.
Чтобы A / B проверить эту теорию, вы должны создать другую, альтернативную веб-страницу, которая использует новое размещение CTA. Существующий дизайн с боковой панелью CTA — или « control » — это версия A.Версия B с призывом к действию вверху называется «претендент ». Затем вы должны протестировать эти две версии, показывая каждую из них заранее определенному проценту посетителей сайта. В идеале процент посетителей, просматривающих обе версии, одинаков.
Узнайте, как легко провести A / B-тестирование компонента вашего веб-сайта с помощью HubSpot’s Marketing Hub.
Пример 2: Тест проекта
Возможно, вы хотите узнать, может ли изменение цвета кнопки с призывом к действию (CTA) увеличить ее CTR.
Чтобы A / B проверить эту теорию, вы должны разработать альтернативную кнопку с призывом к действию с другим цветом кнопки, которая приведет к той же целевой странице , что и элемент управления. Если вы обычно используете красную кнопку с призывом к действию в своем маркетинговом контенте, а зеленый вариант получает больше кликов после вашего A / B-теста, это может заслуживать изменения цвета кнопок с призывом к действию по умолчанию на зеленый с этого момента. на.
Чтобы узнать больше об A / B-тестировании, загрузите наше бесплатное вводное руководство здесь.
A / B-тестирование в маркетинге
A / B-тестирование имеет множество преимуществ для маркетинговой команды, в зависимости от того, что вы решите протестировать. Однако, прежде всего, эти тесты ценны для бизнеса, потому что они невысоки по стоимости, но приносят большие выгоды.
Допустим, вы нанимаете создателя контента с зарплатой 50 000 долларов в год. Этот создатель контента публикует пять статей в неделю для блога компании, всего 260 статей в год. Если средний пост в блоге компании генерирует 10 лидов, можно сказать, что создание 10 лидов для бизнеса стоит немногим более 192 долларов (зарплата 50 000 долларов ÷ 260 статей = 192 доллара за статью).Это значительная часть изменений.
Теперь, если вы попросите этого создателя контента потратить два дня на разработку A / B-теста для одной статьи , вместо того, чтобы писать две статьи за этот период времени, вы можете сжечь 192 доллара, потому что публикуете на одну статью меньше. Но если этот A / B-тест обнаружит, что вы можете увеличить коэффициент конверсии каждой статьи с 10 до 20 лидов, вы потратили 192 доллара, чтобы потенциально удвоить количество клиентов, которых ваш бизнес получает от вашего блога.
Если тест не пройдет, вы, конечно, потеряете 192 доллара, но теперь вы можете сделать свой следующий A / B-тест еще более образованным.Если этот второй тест удвоит коэффициент конверсии вашего блога, вы в конечном итоге потратите 284 доллара, чтобы потенциально удвоить доход своей компании. Независимо от того, сколько раз ваш A / B-тест терпит неудачу, его конечный успех почти всегда перевешивает затраты на его проведение.
Существует множество типов сплит-тестов, которые можно провести, чтобы эксперимент окупился. Вот несколько общих целей, которые маркетологи ставят перед своим бизнесом при A / B-тестировании:
Увеличение посещаемости веб-сайта: Тестирование различных заголовков сообщений в блогах или заголовков веб-страниц может изменить количество людей, которые нажимают на этот заголовок с гиперссылкой, чтобы перейти на ваш веб-сайт.В результате это может увеличить посещаемость сайта.
Более высокий коэффициент конверсии: Тестирование различных местоположений, цветов или даже текста привязки в ваших призывах к действию может изменить количество людей, которые нажимают на эти призывы к действию, чтобы перейти на целевую страницу. Это может увеличить количество людей, которые заполняют формы на вашем веб-сайте, отправляют вам свои контактные данные и «превращаются» в потенциальных клиентов.
Более низкий показатель отказов: Если посетители вашего веб-сайта уходят (или «отскакивают») быстро после посещения вашего веб-сайта, тестирование различных вводных сообщений в блогах, шрифтов или избранных изображений может снизить этот показатель отказов и удержать больше посетителей.
Отказ от покупки в нижней корзине: Компании электронной торговли видят, что в среднем 70% клиентов покидают свой веб-сайт с товарами в корзине. Это известно как «брошенная корзина» и, конечно же, наносит ущерб любому интернет-магазину. Тестирование различных фотографий продуктов, оформления страниц оформления заказа и даже когда отображается стоимость доставки, может снизить этот показатель отказа.
Теперь давайте пройдемся по контрольному списку для настройки, запуска и измерения A / B-теста.
Как проводить A / B-тестирование
Следуйте вместе с нашим бесплатным набором для A / B-тестирования, в котором есть все необходимое для проведения A / B-тестирования, включая шаблон отслеживания тестов, практическое руководство для инструкций и вдохновения, а также калькулятор статистической значимости, чтобы узнать, были ли ваши тесты успешными. , убытки или безрезультатные.
Перед A / B-тестом
Давайте рассмотрим шаги, которые необходимо предпринять перед началом A / B-теста.
1. Выберите одну переменную для тестирования.
По мере оптимизации веб-страниц и электронной почты вы можете обнаружить ряд переменных, которые хотите проверить. Но чтобы оценить, насколько эффективно изменение, вам нужно выделить одну « независимую переменную » и измерить ее эффективность. В противном случае вы не можете быть уверены, какая переменная повлияла на изменение производительности.
Вы можете протестировать более одной переменной для одной веб-страницы или электронной почты — просто убедитесь, что вы тестируете их по очереди.
Чтобы определить переменную, посмотрите на элементы в ваших маркетинговых ресурсах и их возможные альтернативы для дизайна, формулировок и макета.Другие вещи, которые вы можете протестировать, включают темы электронной почты, имена отправителей и различные способы персонализации ваших писем.
Имейте в виду, что даже простые изменения, такие как изменение изображения в электронном письме или слов на кнопке с призывом к действию, могут привести к большим улучшениям. На самом деле, такого рода изменения обычно легче измерить, чем более крупные.
Примечание: Иногда имеет смысл тестировать несколько переменных, а не одну.Этот процесс называется многовариантным тестированием. Если вам интересно, стоит ли проводить A / B-тест или многомерный тест, вот полезная статья от Optimizely, в которой сравниваются эти два процесса.
2. Определите свою цель.
Несмотря на то, что вы будете измерять несколько метрик во время одного теста, выберите основную метрику, чтобы сосредоточиться на до того, как вы запустите тест . Фактически, сделайте это еще до того, как настроите второй вариант. Это ваша « зависимая переменная », которая изменяется в зависимости от того, как вы управляете независимой переменной.
Подумайте, где вы хотите, чтобы эта зависимая переменная была в конце сплит-теста. Вы можете даже сформулировать официальную гипотезу и проверить свои результаты на основе этого прогноза.
Если вы подождете, чтобы потом подумать о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые вами изменения могут повлиять на поведение пользователей, то вы можете настроить тест не самым эффективным способом.
3. Создайте «контроль» и «претендента».’
Теперь у вас есть независимая переменная, зависимая переменная и желаемый результат. Используйте эту информацию, чтобы настроить неизменную версию того, что вы тестируете, в качестве сценария управления. Если вы тестируете веб-страницу, это уже существующая неизмененная страница. Если вы тестируете целевую страницу, это будет дизайн и копия целевой страницы, которые вы обычно используете.
Оттуда создайте претендента — измененный веб-сайт, целевую страницу или электронное письмо, которые вы будете проверять на соответствие своему контролю.Например, если вам интересно, повлияет ли добавление отзыва на целевую страницу на конверсию, настройте свою контрольную страницу без отзывов. Затем создайте своего претендента с характеристикой.
4. Разделите группы выборки поровну и случайным образом.
Для тестов, где у вас есть больший контроль над аудиторией — например, с электронной почтой — вам нужно протестировать с двумя или более аудиториями, которые равны, чтобы получить окончательные результаты.
То, как вы это сделаете, будет зависеть от того, какой инструмент A / B-тестирования вы используете.Например, если вы являетесь клиентом HubSpot Enterprise и проводите A / B-тест по электронной почте, HubSpot автоматически разделит трафик на ваши варианты, чтобы каждый вариант получал случайную выборку посетителей.
5. Определите размер вашей выборки (если применимо).
Способ определения размера выборки также будет зависеть от вашего инструмента A / B-тестирования, а также от типа выполняемого A / B-теста.
Если вы проводите A / B-тестирование электронной почты, вы, вероятно, захотите отправить A / B-тест в подмножество вашего списка, которое достаточно велико для достижения статистически значимых результатов.В конце концов, вы выберете победителя и отправите выигрышный вариант остальной части списка. (См. Электронную книгу «Наука сплит-тестирования» в конце этой статьи, чтобы узнать больше о том, как рассчитать размер вашей выборки.)
Если вы являетесь клиентом HubSpot Enterprise, вам будет некоторая помощь в определении размера вашей выборочной группы с помощью ползунка. Это позволит вам провести A / B-тест 50/50 для любого размера выборки, хотя для всех остальных разделений выборки требуется список из не менее 1000 получателей.
Если вы тестируете что-то, что не имеет конечной аудитории, например веб-страницу, то то, как долго вы будете выполнять тест, напрямую повлияет на размер вашей выборки.Вам нужно дать вашему тесту работать достаточно долго, чтобы получить значительное количество просмотров. В противном случае будет сложно сказать, была ли статистически значимая разница между вариантами.
6. Решите, насколько важными должны быть ваши результаты.
Выбрав целевую метрику, подумайте, насколько важными должны быть ваши результаты, чтобы оправдать выбор одного варианта по сравнению с другим. Статистическая значимость — это очень важная часть процесса A / B-тестирования, которую часто неправильно понимают.Если вам нужно что-то напомнить, я рекомендую прочитать это сообщение в блоге о статистической значимости с точки зрения маркетинга.
Чем выше процент вашего уровня уверенности, тем больше вы можете быть уверены в своих результатах. В большинстве случаев вам понадобится минимальный уровень достоверности 95% — предпочтительно даже 98% — особенно, если для настройки этого эксперимента требуется много времени. Однако иногда имеет смысл использовать более низкий уровень достоверности, если вам не нужно, чтобы тест был таким строгим.
Мэтт Рейо, старший инженер-программист в HubSpot, любит думать о статистической значимости, как о сделке ставки.На какие коэффициенты вам удобно делать ставки? Сказать: «Я на 80% уверен, что это правильный дизайн, и я готов поставить на него все» — все равно что провести A / B-тест до 80% значимости и затем объявить победителя.
Rheault также говорит, что вам, вероятно, понадобится более высокий порог достоверности при тестировании чего-то, что лишь незначительно повышает коэффициент конверсии. Почему? Потому что случайная дисперсия, скорее всего, будет играть большую роль.
«Примером, в котором мы могли бы чувствовать себя безопаснее, понизив порог уверенности, является эксперимент, который, вероятно, повысит коэффициент конверсии на 10% или более, например, переработанный раздел героев», — пояснил он.
«Вывод здесь состоит в том, что чем более радикальное изменение, тем менее научным мы должны быть в отношении процесса. Чем более конкретным является изменение (цвет кнопки, микрокопия и т. Д.), Тем более научным мы должны быть, потому что изменение менее может иметь большое и заметное влияние на коэффициент конверсии «.
7. Убедитесь, что вы запускаете только один тест за раз в любой кампании.
Тестирование более чем одного объекта для одной кампании — даже если это не один и тот же актив — может усложнить результаты.Например, если вы проводите A / B-тестирование кампании электронной почты, которая направляет на целевую страницу одновременно с A / B-тестированием этой целевой страницы, как вы можете узнать, какое изменение вызвало увеличение количества потенциальных клиентов?
Во время A / B-теста
Давайте рассмотрим шаги, которые необходимо предпринять во время вашего A / B-теста.
8. Используйте инструмент A / B-тестирования.
Чтобы провести A / B-тест на своем веб-сайте или по электронной почте, вам понадобится инструмент A / B-тестирования. Если вы являетесь клиентом HubSpot Enterprise, программное обеспечение HubSpot имеет функции, которые позволяют вам проводить A / B-тестирование электронных писем (узнайте, как это сделать), призывы к действию (узнайте, как здесь) и целевые страницы (узнайте, как здесь).
Для клиентов, не имеющих отношения к HubSpot Enterprise, другие варианты включают Google Analytics, который позволяет проводить A / B-тестирование до 10 полных версий одной веб-страницы и сравнивать их производительность с использованием случайной выборки пользователей.
9. Протестируйте оба варианта одновременно.
Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц в году. Если бы вы использовали версию A в течение одного месяца и версию B через месяц, как бы вы узнали, было ли изменение производительности вызвано другим дизайном или другим месяцем?
Когда вы запускаете A / B-тесты, вам нужно запускать два варианта одновременно, иначе вы можете усомниться в своих результатах.
Единственное исключение — это если вы сами проверяете время, например, определяете оптимальное время для отправки электронных писем. Это отличная вещь для тестирования, потому что в зависимости от того, что предлагает ваш бизнес и кто ваши подписчики, оптимальное время для взаимодействия с подписчиками может значительно различаться в зависимости от отрасли и целевого рынка.
10. Дайте A / B-тесту достаточно времени, чтобы получить полезные данные.
Опять же, вы захотите убедиться, что ваш тест выполняется достаточно долго, чтобы получить значительный размер выборки.В противном случае будет сложно сказать, была ли статистически значимая разница между двумя вариантами.
Сколько времени достаточно? В зависимости от вашей компании и того, как вы проводите A / B-тест, получение статистически значимых результатов может произойти за часы … или дни … или недели. Большая часть того, сколько времени требуется для получения статистически значимых результатов, — это объем трафика, который вы получаете — поэтому, если ваш бизнес не получает большого трафика на ваш веб-сайт, вам потребуется гораздо больше времени для запуска A / B. тестовое задание.
Прочтите это сообщение в блоге, чтобы узнать больше о размере и сроках выборки.
11. Спрашивайте отзывы реальных пользователей.
A / B-тестирование во многом связано с количественными данными … но это не обязательно поможет вам понять , почему человека совершают одни действия по сравнению с другими. Пока вы проводите A / B-тест, почему бы не собрать качественную обратную связь от реальных пользователей?
Один из лучших способов узнать мнение людей — это опрос или голосование. Вы можете добавить на свой сайт анкету выхода, в которой у посетителей спрашивают, почему они не нажимали на определенный призыв к действию, или опрос на ваших страницах с благодарностью, который спрашивает посетителей, почему они нажали кнопку или заполнили форму.
Например, вы можете обнаружить, что многие люди нажимали на призыв к действию, ведущий их к электронной книге, но как только они видели цену, они не конвертировали. Такая информация поможет вам понять, почему ваши пользователи ведут себя определенным образом.
После A / B теста
Наконец, давайте рассмотрим шаги, которые необходимо предпринять после вашего A / B-теста.
12. Сосредоточьтесь на метрике своей цели.
Опять же, хотя вы будете измерять несколько показателей, сосредоточьтесь на этой метрике основной цели при проведении анализа.
Например, если вы протестировали два варианта электронного письма и выбрали потенциальных клиентов в качестве основного показателя, не обращайте внимания на показатель открытий или CTR. Вы можете увидеть высокий рейтинг кликов и низкие коэффициенты конверсии, и в этом случае вы можете в конечном итоге выбрать вариант с более низким рейтингом кликов.
13. Измерьте значимость своих результатов с помощью нашего калькулятора A / B-тестирования.
Теперь, когда вы определили, какой вариант работает лучше всего, пора определить, являются ли ваши результаты статистически значимыми.Другими словами, достаточно ли их, чтобы оправдать изменение?
Чтобы выяснить это, вам нужно провести тест на статистическую значимость. Вы можете сделать это вручную … или просто добавить результаты своего эксперимента в наш бесплатный калькулятор A / B-тестирования.
Для каждого протестированного варианта вам будет предложено ввести общее количество попыток, например отправленных электронных писем или просмотренных показов. Затем введите количество достигнутых целей — обычно вы смотрите на клики, но это также могут быть другие типы конверсий.
Калькулятор покажет уровень достоверности ваших данных для выигрышного варианта. Затем сравните это число со значением, которое вы выбрали, чтобы определить статистическую значимость.
14. Действуйте в зависимости от ваших результатов.
Если один вариант статистически лучше другого, у вас есть победитель. Завершите тест, отключив проигрышный вариант в инструменте A / B-тестирования.
Если ни один из вариантов не является статистически лучше, вы только что узнали, что проверяемая вами переменная не повлияла на результаты, и вам придется отметить тест как неубедительный.В этом случае оставьте исходный вариант или запустите другой тест. Вы можете использовать неудачные данные, чтобы определить новую итерацию вашего нового теста.
Хотя A / B-тесты помогают вам повлиять на результаты в каждом конкретном случае, вы также можете применить уроки, извлеченные из каждого теста, и применить их к будущим усилиям.
Например, если вы проводили A / B-тесты в своем почтовом маркетинге и неоднократно обнаруживали, что использование цифр в строках темы электронной почты обеспечивает более высокий рейтинг кликов, вы можете рассмотреть возможность использования этой тактики в большей части своих электронных писем.
15. Спланируйте следующий A / B-тест.
A / B-тест, который вы только что закончили, возможно, помог вам открыть новый способ сделать ваш маркетинговый контент более эффективным, но не останавливайтесь на достигнутом. Всегда есть место для дополнительной оптимизации.
Вы даже можете попробовать провести A / B-тест для другой функции той же веб-страницы или электронной почты, для которой вы только что тестировали. Например, если вы только что протестировали заголовок на целевой странице, почему бы не провести новый тест на основном тексте? Или цветовое решение? Или изображения? Всегда следите за возможностями увеличения коэффициента конверсии и потенциальных клиентов.
Примеры A / B-тестирования
Мы обсудили, как A / B-тесты используются в маркетинге и как их проводить, но как они на самом деле выглядят на практике?
Как вы могли догадаться, мы проводим множество A / B-тестов, чтобы повысить вовлеченность и повысить конверсию на нашей платформе. Вот пять примеров A / B-тестов, которые вдохновят вас на собственные эксперименты.
1. Поиск по сайту
Панель поиска по сайту помогает пользователям быстро находить то, что им нужно на определенном сайте. HubSpot обнаружил из предыдущего анализа, что посетители, которые взаимодействовали с его панелью поиска на сайте, с большей вероятностью совершили конверсию в сообщении в блоге.Итак, мы провели A / B-тест, чтобы увеличить взаимодействие с панелью поиска.
В этом тесте функциональность панели поиска была независимой переменной, а просмотры на странице с благодарностью за контент были зависимой переменной. В эксперименте мы использовали одно контрольное условие и три контрольных условия.
В контрольном условии (вариант А) строка поиска осталась неизменной.
В варианте B панель поиска была увеличена и визуально более заметна, а текст-заполнитель был установлен на «поиск по теме.”
Вариант C выглядел идентичным варианту B, но поиск выполнялся только в блоге HubSpot, а не по всему веб-сайту.
В варианте D панель поиска была увеличена, но текст заполнителя был установлен на «поиск в блоге». Этот вариант также искал только HubSpot Blog
Мы обнаружили, что вариант D является наиболее эффективным: он увеличил конверсию на 3,4% по сравнению с контролем и увеличил процент пользователей, использующих панель поиска, на 6,5%.
2.Мобильные призывы к действию
HubSpot использует несколько CTA для предложений контента в сообщениях нашего блога, в том числе в теле сообщений, а также внизу страницы. Мы тщательно тестируем эти призывы к действию, чтобы оптимизировать их работу.
Для наших мобильных пользователей мы провели A / B-тест, чтобы узнать, какой тип CTA внизу страницы дает наибольшую конверсию. Для нашей независимой переменной мы изменили дизайн панели призыва к действию. В частности, в нашем тесте мы использовали один контроль и три претендента. Для наших зависимых переменных мы использовали просмотры страниц на странице благодарности с призывом к действию и клики с призывом к действию.
Контрольное условие включало наше обычное размещение CTA внизу сообщений. В варианте B призыв к действию не имел опции закрытия или минимизации.
В варианте C мобильные считыватели могут закрыть CTA, нажав значок X. Как только он был закрыт, он больше не появлялся.
В вариант D мы включили возможность минимизировать CTA с помощью курсора вверх / вниз.
Наши тесты показали, что все варианты были успешными. Вариант D оказался наиболее успешным — 14.Увеличение конверсии на 6% по сравнению с контролем. Затем последовал вариант C с увеличением на 11,4% и вариант B с увеличением на 7,9%.
3. Призывы к действию автора
В другом эксперименте с призывом к действию HubSpot проверил, приведет ли добавление слова «бесплатно» и другого описательного языка к призыву к действию авторов в верхней части сообщений блога увеличению количества потенциальных клиентов. Предыдущие исследования показали, что использование слова «бесплатно» в тексте с призывом к действию приведет к увеличению числа конверсий, а текст с указанием типа предлагаемого контента будет полезен для SEO и доступности.
В тесте независимой переменной был текст CTA, а главной зависимой переменной был коэффициент конверсии в форме предложения контента.
В контрольном условии текст CTA автора не изменился (см. Оранжевую кнопку на изображении ниже).
В варианте B в текст призыва к действию было добавлено слово «бесплатно».
В варианте C в текст призыва к действию была добавлена описательная формулировка в дополнение к слову «бесплатно».
Интересно, что при варианте B количество отправленных форм снизилось на 14% по сравнению с контролем.Это было неожиданно, поскольку включение слова «бесплатно» в текст предложения контента широко считается лучшей практикой.
Между тем, отправка форм в варианте C превзошла контроль на 4%. Был сделан вывод, что добавление описательного текста к призыву к действию автора помогло пользователям понять предложение и, таким образом, повысило вероятность их загрузки.
4. Содержание блога
Чтобы помочь пользователям лучше ориентироваться в блоге, HubSpot протестировал новый модуль содержания (TOC). Цель заключалась в том, чтобы улучшить пользовательский опыт, более быстро представляя читателям желаемый контент.Мы также проверили, приведет ли добавление CTA к этому модулю TOC к увеличению конверсии.
Независимой переменной этого A / B-теста было включение и тип модуля TOC в сообщениях блога, а зависимыми переменными были коэффициент конверсии при отправке формы предложения контента и клики по CTA внутри модуля TOC.
Контрольное условие не включало новый модуль TOC — контрольные сообщения либо не имели оглавления, либо имели простой маркированный список якорных ссылок в теле сообщения в верхней части статьи (на фото ниже).
В варианте B в сообщения блога был добавлен новый модуль оглавления. Этот модуль был липким, то есть он оставался на экране, пока пользователи прокручивали страницу вниз. Вариант B также включал призыв к действию с предложением контента в нижней части модуля.
Вариант C включает модуль, идентичный варианту B, но с удаленным CTA.
Оба варианта B и C не увеличили коэффициент конверсии сообщений в блогах. Контрольное условие превзошло вариант B на 7% и наравне с вариантом C.Кроме того, немногие пользователи взаимодействовали с новым модулем оглавления или призывом к действию внутри модуля.
5. Просмотр уведомлений
Чтобы определить лучший способ сбора отзывов клиентов, мы провели сплит-тест уведомлений по электронной почте и уведомлений в приложении. Здесь независимой переменной был тип уведомления, а зависимой переменной — процент тех, кто оставил отзыв, среди всех, кто открыл уведомление.
В элементе управления HubSpot отправил уведомление по электронной почте в виде обычного текста с просьбой к пользователям оставить отзыв.В варианте B HubSpot отправил электронное письмо с изображением сертификата, включающим имя пользователя.
Для варианта C HubSpot отправлял пользователям уведомление в приложении.
В конечном счете, оба сообщения электронной почты работали одинаково и превзошли уведомления в приложении. Около 25% пользователей, открывших электронное письмо, оставили отзыв по сравнению с 10,3%, открывшими уведомления в приложении. Электронные письма также чаще открывали пользователи.
Начать A / B-тестирование сегодня
A / B-тестирование позволяет понять, какой контент и маркетинг хочет видеть ваша аудитория.Узнайте, как лучше всего выполнить некоторые из вышеперечисленных шагов, используя бесплатную электронную книгу ниже.
Примечание редактора: этот пост был первоначально опубликован в мае 2016 года и был обновлен для полноты.
Что такое A / B-тестирование в цифровом маркетинге, как это работает, инструменты (руководство)
Если вы не проводите A / B-тестирование своего сайта, вы оставляете деньги на столе.
Единственный способ по-настоящему оценить вашу воронку конверсии и маркетинговую кампанию — это получить данные непосредственно о поведении ваших клиентов.
A / B-тестирование позволяет вам это сделать.
Начните использовать лучший инструмент A / B-тестирования здесь
Что такое A / B-тестирование?

A / B-тестирование (также известное как сплит-тестирование) — это процесс сравнения двух версий веб-страницы, электронной почты или другого маркетингового актива и измерения разницы в производительности.
Вы делаете это, передавая одну версию одной группе, а другую версию — другой группе. Затем вы можете увидеть, как работает каждый вариант.
Думайте об этом как о соревновании. Вы сравниваете две версии своего актива друг с другом, чтобы увидеть, какая из них окажется лучше.
Знание того, какой маркетинговый актив работает лучше, может помочь в принятии будущих решений, когда дело касается веб-страниц, электронной почты или чего-либо еще.
Как работает A / B-тестирование?
Чтобы понять, как работает A / B-тестирование, давайте рассмотрим пример.
Представьте, что у вас есть два разных дизайна целевой страницы — и вы хотите знать, какой из них будет работать лучше.
После того, как вы создадите свои проекты, вы передаете одну площадку одной группе, а другую версию отправляете второй группе. Затем вы видите, как каждая целевая страница работает с такими показателями, как трафик, клики или конверсии.
Если один работает лучше другого, отлично! Вы можете начать копаться в , почему это так, и это может повлиять на то, как вы будете создавать целевые страницы в будущем.
Почему вам действительно нужно проводить A / B-тестирование?
Создание веб-сайта или маркетинговой кампании по электронной почте — это лишь первый шаг в маркетинге.Если у вас есть веб-сайт, вы захотите узнать, помогает ли он продажам или мешает им.
A / B-тестирование позволяет узнать, какие слова, фразы, изображения, видео, отзывы и другие элементы работают лучше всего. Даже самые простые изменения могут повлиять на коэффициент конверсии.
Один тест показал, что красная кнопка с призывом к действию превосходит зеленую на 21 процент на основе 2000 посещений страницы.
Если такое незначительное изменение может заставить людей кликать, вам нужно знать, какие другие элементы вашей страницы могут повлиять на конверсии, трафик и другие показатели.
Сплит-тестирование против AB-тестирования: какие типы тестов?
Термины «сплит-тестирование» и «A / B-тестирование» часто используются как синонимы. На самом деле это два разных типа тестов.
A / B-тестирование включает сравнение двух версий вашего маркетингового актива на основе изменения одного элемента, такого как текст или изображение с призывом к действию на целевой странице.
Сплит-тестирование включает сравнение двух различных дизайнов.
Я предпочитаю A / B-тестирование, потому что хочу знать, какие элементы действительно влияют на различия в данных.Например, если я сравниваю две совершенно разные версии одной и той же страницы, как мне узнать, больше ли людей совершили конверсию на основе цвета, изображения или текста?
Статистика A / B-тестирования: что такое чемпионы, претенденты и варианты?
Статистика или данные, которые вы собираете в ходе A / B-тестирования, поступают от чемпионов, претендентов и вариантов. Каждая версия маркетингового актива предоставляет вам информацию о посетителях вашего веб-сайта.
Ваш чемпион — это маркетинговый актив — будь то веб-страница, электронная почта, реклама в Facebook или что-то еще — которое, как вы подозреваете, будет хорошо работать или хорошо зарекомендовало себя в прошлом.Вы тестируете его против претендента , который представляет собой вариацию чемпиона с одним измененным элементом.
После A / B-теста у вас либо появляется новый чемпион, либо вы обнаруживаете, что первый вариант показал лучшие результаты. Затем вы создаете новые варианты, чтобы проверить их против своего чемпиона.
[tweet_box design = ”default”] Многие люди думают, что можно обойтись одним тестом A / B. На самом деле, вы должны постоянно проводить тестирование, чтобы оптимизировать маркетинговые и рекламные объявления для своей аудитории.[/ tweet_box]
Какие элементы лучше всего подходят для A / B-тестирования?
Некоторые элементы маркетингового актива способствуют конверсии больше, чем другие. Например, изменение одного слова в основной части электронного письма, вероятно, не повлияет на конверсию или рейтинг кликов.
Поскольку у вас мало времени, посвятите свою энергию наиболее важным элементам на своей веб-странице или в другом маркетинговом активе. Чтобы дать вам общее представление о том, на чем следует сосредоточиться в первую очередь, давайте рассмотрим десять наиболее эффективных элементов A / B-тестирования.
1. Заголовки и копирайтинг
Ваш заголовок — это первое, что видят люди, попадая на веб-страницу. Если это не привлечет внимание ваших посетителей, они не останутся без внимания.
Если вы чувствуете, что застряли, посмотрите мое видео о написании броских заголовков. Это даст вам несколько идей, как придумать вариации существующих заголовков.

Другие аспекты копирайтинга также могут повлиять на конверсию. Например, какой текст вы используете на кнопке с призывом к действию или в качестве якорного текста для ссылки с призывом к действию?
Тестируйте разные длины абзацев и разные уровни убеждения.Ваша аудитория предпочитает жесткие продажи или более мягкий подход? Сможете ли вы привлечь потенциальных клиентов статистикой или анекдотической копией?
2. CTA
Ваш призыв к действию говорит читателям, что вы хотите, чтобы они сделали сейчас. Это должно побудить читателя отреагировать на ваше предложение, потому что оно предлагает слишком большую ценность, чтобы сопротивляться.
Изменение хотя бы одного слова в вашем CTA может повлиять на коэффициент конверсии. Другие характеристики, такие как цвет кнопки, цвет текста, контраст, размер и форма, также могут влиять на его производительность.
Не меняйте несколько качеств за один A / B-тест. Если вы хотите проверить цвет фона, не меняйте также шрифт или цвет ссылки. В противном случае вы не узнаете, какое качество повлияло на ваши данные A / B-тестирования.
3. Изображения, аудио и видео
Я твердо верю в омниканальный маркетинг. Поскольку я знаю, что не могу охватить каждого члена моей целевой аудитории с помощью SEO-оптимизированного текста, я также создаю подкасты, видео и инфографику.
Если у вас есть библиотека видеороликов, неплохо было бы сравнить видео-отзывы с письменными или короткую инфографику с более длинными версиями.
Если у вас еще нет видеоканала или страницы ресурсов, даже стоковые изображения могут повлиять на ваше A / B-тестирование. Например, если у вас есть фотография, на которой кто-то указывает на ваш заголовок или призыв к действию, изображение, естественно, привлечет внимание зрителей к этому элементу.
Все эти эксперименты по A / B-тестированию могут помочь вам выяснить, на что реагирует ваша аудитория.
4. Тема сообщения
Тема письма напрямую влияет на открываемость. Если подписчик не видит ничего, что ему нравится, письмо, скорее всего, попадет в корзину.
Согласно недавнему исследованию, средний уровень открытия в более чем дюжине отраслей колеблется от 25 до 47 процентов. Даже если ваш уровень выше среднего, только около половины ваших подписчиков могут открывать ваши электронные письма.
Тематические строки A / B-тестирования могут повысить ваши шансы на то, что люди нажмут. Попробуйте вопросы вместо утверждений, сравните сильные слова друг с другом и подумайте об использовании строк темы со смайликами и без них.
5. Глубина содержания
Некоторые потребители предпочитают высокоуровневую информацию, которая дает базовый обзор темы, в то время как другие хотят глубокое погружение, которое исследует каждый укромный уголок темы.К какой категории относятся ваши целевые клиенты?
Проверьте глубину содержимого, создав два фрагмента содержимого. Один будет значительно длиннее другого и обеспечит более глубокое понимание.
Глубина контента влияет на SEO, а также на такие показатели, как коэффициент конверсии и время на странице. A / B-тестирование позволяет найти идеальный баланс между ними.
Это относится не только к информационному содержанию, например к страницам блогов. Это также может повлиять на целевые страницы.
В Crazy Egg мы провели A / B-тест на нашей целевой странице, чтобы увидеть, какая страница будет работать лучше: длинная или короткая.
Более длинная страница справа — наш соперник — показала на 30 процентов больше результатов. Почему? Потому что людям нужно больше информации об инструментах Crazy Egg, чтобы принять обоснованное решение.
6. Описание продукции
Об описании товаров можно сказать обратное.
В электронной коммерции лучше всего подходят короткие описания продуктов. Потребителям нужен простой, легко усваиваемый контент, который дает им основные сведения о продукте.
Вы все время видите краткие описания продуктов на крупных сайтах, таких как Amazon.
Если вы спросите меня, в этом описании продукта может быть больше белого пространства, но оно краткое и легко читаемое.
Однако, если у вас более сложный товар, чем, скажем, блузка, вам может потребоваться более подробная информация. Сравните более длинные описания с более короткими, чтобы увидеть, какое из них лучше всего подходит.
Дополнительно вы можете протестировать дизайн описания продукта. Попробуйте, например, протестировать текст абзаца по пунктам маркированного списка. Вверху страницы, указанной ниже, мы видим выделенные области в формате маркера.
Даже такая простая вещь, как маркированный список, может повлиять на коэффициент конверсии.
7. Социальное доказательство
Знаете ли вы, что 70 процентов потребителей при принятии решения о покупке полагаются на мнения, которые они читают в онлайн-обзорах?
Отображение социального доказательства на ваших целевых страницах, страницах продуктов и других маркетинговых активах может увеличить конверсию, но только если вы представите его в привлекательной форме.
Например,
звездных рейтингов A / B-тестов по сравнению с отзывами.Вы также можете протестировать видео и статические изображения с кавычками.
8. Электронный маркетинг
A / B-тестирование маркетинговых писем очень просто. . Вы просто отправляете версию A 50% подписчиков, а версию B — остальным.
Как я упоминал ранее, даже простейшие изменения в форме подписки по электронной почте, целевой странице или других маркетинговых активах могут оказать огромное влияние на конверсии. Допустим, вы проводите A / B-тест в течение 20 дней, и каждый вариант видят 8000 человек.Если версия A превосходит версию B на 72 процента, вы знаете, что нашли элемент, влияющий на конверсии.
Заключение основано на трех фактах:
Вы изменили только один элемент на странице или в форме.
Каждую вариацию посмотрело одинаковое количество людей.
Тест длился достаточно долго, чтобы достичь статистической значимости.
Вы не узнаете, пока не проверите. Одновременное представление различных версий копии или изображений вашей аудитории дает научно обоснованные результаты.
9. Упоминания в СМИ
Это прекрасное чувство, когда о вашей компании, продукте или услуге появляется крупная публикация, будь то онлайн или офлайн. Вы хотите, чтобы люди знали об этом, но вы также должны четко и эффективно представить информацию.
Попробуйте A / B-тестирование различных дизайнов цитат . Вы также можете протестировать упоминание названия публикации по сравнению с использованием ее логотипа.
10. Целевые страницы
Ваши целевые страницы должны конвертировать пользователей в любое предложение, которое вы им представляете.Если они этого не сделают, вы потеряете потенциальную продажу.
Тепловая карта может показать вам, где люди нажимают на ваши целевые страницы. Сбор этих данных перед запуском A / B-теста сделает вашу гипотезу более точной и подскажет, какие элементы являются наиболее важными для проверки.
Вы увидите, где люди смотрят на страницу, чтобы вы могли поместить туда свой самый важный элемент, например CTA.
Как проводить A / B-тестирование в 2018 г.
A / B-тестирование не сложно, но вам нужна стратегия, прежде чем вы начнете.Начните с гипотезы. Какая версия вашей веб-страницы или другого маркетингового актива, по вашему мнению, будет работать лучше? И почему?
Вы также можете начать с вопроса, например «Почему моя целевая страница не конвертирует ?» У вас может быть значительный трафик, но не будет переходов по CTA. В этом случае внесение изменений может помочь вам собрать больше данных о впечатлениях посетителей от страницы.
Я не рекомендую проводить A / B-тестирование, не поняв сначала, как работают ваши страницы.Используйте Google Analytics для отслеживания трафика, источников переходов и другой ценной информации, затем запустите тепловые карты, карты прокрутки и другие тесты, чтобы увидеть, как посетители взаимодействуют с вашим сайтом.
Также могут быть полезны записи сеансов индивидуальных посетителей. Наблюдение за тем, что именно делает посетитель, когда он или она попадает на определенную страницу, может дать вам дополнительную информацию о том, где клиенты могут застрять или разочароваться.
Вооружившись знаниями о том, как ваши клиенты реагируют на вашу текущую маркетинговую стратегию, и пониманием областей, которые нуждаются в улучшении, вы можете начать A / B-тестирование, чтобы повысить коэффициент конверсии и увеличить доход .Вот как.
1. Выберите, что вы хотите протестировать
Начните с одного элемента, который вы хотите протестировать. Убедитесь, что он соответствует метрике, которую вы хотите улучшить.
Например, если вы пытаетесь привлечь больше обычного трафика, сосредоточьтесь на элементе, который влияет на SEO, например длине сообщения в блоге. Для оптимизации коэффициента конверсии вы можете начать с заголовка, видео или CTA.
2. Поставить цели
Чего вы хотите достичь с помощью A / B-теста? Вы заинтересованы в том, чтобы улучшил коэффициент конверсии ? Продажи? Время на странице?
Сначала сосредоточьтесь на одной метрике.Позже вы всегда можете запустить A / B-тесты для других показателей. Если вы будете концентрироваться на чем-то одном, вы получите более точные данные.
3. Анализировать данные
Посмотрите на свои существующие данные с помощью бесплатного инструмента, такого как Google Analytics. Что он говорит вам о вашем текущем состоянии на основе метрики, которую вы хотите улучшить?
Это ваша отправная точка или базовая линия. Вы ищете изменение, которое сдвинет иглу, пусть даже с небольшим запасом.
4.Выберите страницу, которую вы хотите протестировать
Начните с самой важной страницы. Это может быть ваша домашняя страница или целевая страница с высокой посещаемостью. Как бы то ни было, это должно существенно повлиять на прибыль вашего бизнеса.
5. Настройте элементы на A / B-тест
Выберите, какие элементы вы будете тестировать A / B на своем чемпионе (помните: это существующий контент, который вы хотите немного изменить, чтобы увидеть, улучшатся ли ваши показатели) и в каком порядке. Начните с элементов, которые, по вашему мнению, с наибольшей вероятностью повлияют на целевой показатель.
6. Создайте вариант
Затем создайте вариант своего чемпиона. Измените только тот элемент, который вы выбрали на предыдущем шаге, и внесите в него только одно изменение.
Если вы тестируете CTA, измените цвет фона, цвет шрифта или размер кнопки. Все остальное оставьте идентичным чемпиону.
7. Выберите лучшие инструменты для A / B-тестирования
Выбор правильного инструмента для A / B-тестирования зависит от того, что именно вы тестируете. Если вы отправляете письма с A / B-тестированием, у большинства поставщиков услуг электронной почты есть встроенные инструменты для тестирования.
Вы также можете использовать Crazy Egg для A / B-тестирования целевых страниц и других областей вашего веб-сайта. Основное преимущество этого подхода заключается в том, что алгоритм Crazy Egg автоматически начнет направлять большую часть трафика в сторону выигрышного варианта, поэтому вам не нужно будет часто проверять тест или беспокоиться о том, что вы можете направлять людей к менее эффективному варианту. версия вашего текущего контента.
8. Разработайте свой тест
В зависимости от инструмента, который вы используете, вы можете сильно или мало повлиять на дизайн теста.Например, вам может потребоваться указать, как долго вы хотите запускать тест, с каких устройств вы хотите собирать данные и другие детали.
9. Накопить данные
Это период ожидания. С помощью программного обеспечения для A / B-тестирования, такого как Crazy Egg, данные собираются автоматически. Вы можете в любой момент просмотреть ход выполнения теста, а по его завершении вы получите данные о том, сколько людей посетили каждый вариант, какие устройства они использовали и т. Д.
10. Анализируйте статистику A / B-тестирования
Делайте выводы, исходя из того, какой вариант выиграл: чемпион или претендент.Как только вы лучше поймете, какая версия понравилась вашей аудитории больше и с какой разницей, вы можете начать этот 10-шаговый процесс заново с нового варианта.
Как долго должны длиться ваши A / B-тесты?
Для большинства A / B-тестов продолжительность имеет меньшее значение, чем статистическая значимость. Если вы запустите тест в течение шести месяцев и за это время страницу посетят только 10 человек, у вас не будет репрезентативных данных. Слишком мало итераций, на которых можно сделать вывод.
Однако вы хотите, чтобы тест длился достаточно долго, чтобы убедиться в отсутствии признаков сходимости результатов.Это происходит, когда сначала кажется, что между двумя вариантами есть значительная разница, но со временем разница уменьшается.
Если вы видите сходимость во время теста, вы можете сделать вывод, что изменение не оказало значительного влияния на отслеживаемый вами показатель.
A / B-тестирование в течение нескольких недель даст хорошие результаты, если у вас стабильный трафик.
Попробуйте взглянуть на примеры A / B-тестирования с других веб-сайтов. Многие компании публикуют свои выводы в маркетинговых блогах, подобных этому, чтобы другие могли извлечь из них пользу.
Вы не хотите точно копировать тест, но вы хорошо понимаете, чего ожидать.
Как вы анализируете свои показатели A / B-тестирования и принимаете меры?
Вы хотите собрать как можно больше данных в результате A / B-тестирования. Сколько посетителей получили каждый вариант? На какой процент победитель превзошел проигравшего?
Разница в 4 процента может означать, что ваша аудитория не отдавала предпочтение одному перед другим. Однако если один из них превосходит другой на 40 процентов, вы узнали что-то ценное о тестируемом элементе.
Заключение
A / B-тестирование — один из самых эффективных способов сбора информации о вашем копирайтинге и выборе дизайна. Я постоянно использую его на всех своих сайтах, а также на сайтах моих клиентов.
Если вы хотите получить точные результаты, очень важно следовать правильной процедуре. Не стесняйтесь распечатать это удобное пошаговое руководство, чтобы запомнить каждую часть процесса:
Выберите, что вы хотите протестировать
Ставить цели
Анализировать данные
Выберите страницу для тестирования
Установить элементы на A / B тест
Создать вариант
Выберите инструмент для A / B-тестирования
Создайте свой тест
Накопить данные
Анализировать статистику A / B-тестирования
Выполнение этих шагов по порядку откроет множество преимуществ:
Вы можете узнать больше о том, что убеждает вашу аудиторию в совершении конверсии.
No related posts.

Частотный подход	Байесовский подход
Статистика по частотам соответствует определению вероятности «Вероятность как долгосрочная частота».	Байесовская статистика использует понятия «вероятность как степень уверенности» и «логическая вероятность».
В этом подходе вы используете только данные вашего текущего эксперимента. Частотное решение — провести тесты и сделать выводы.	В этом подходе вы используете свои предыдущие знания из предыдущих экспериментов и пытаетесь включить эту информацию в свои текущие данные. Байесовское решение состоит в том, чтобы делать выводы на основе имеющихся данных.
Приведите оценочное среднее (и стандартное отклонение) образцов, в которых A превосходит B, но полностью игнорирует случаи, когда B превосходит A.	Он учитывает вероятность того, что A превосходит B, а также рассчитывает диапазон ожидаемого улучшения.
Требует, чтобы тест запускался в течение установленного периода, чтобы получить из него правильные данные, но не может определить, насколько близко или далеко на самом деле находятся A и B. Он не может сказать вам вероятность того, что A победит B.	Дает вам больше контроля над тестированием. Теперь вы можете лучше планировать, иметь более точную причину для завершения тестов и вдаваться в подробности того, насколько близко или далеко друг от друга находятся A и B.

Количественные данные	Качественные данные
Объективный подход, который предоставляет числовые данные для картирования событий, требующих принятия мер.	Субъективный подход, который предлагает подробную повествовательную информацию, такую как отзывы и т. Д.
Статистика: страницы, наиболее и наименее посещаемые посетителями. Количество времени, проведенного посетителем на определенной странице. Входной путь, по которому посетители заходят на площадку. Страницы, с которых они выходят. Количество посетителей, совершивших конверсию. Показатель отказов сайта. Ссылки и страницы меньше всего и больше всего игнорируются посетителями.	Статистика: покупательский путь клиента. Точная основная причина отказа.Мнения клиентов о ваших продуктах и / или услугах. Их страхи, сомнения или колебания до и во время покупки. Их отзывы после получения / использования продукта (ов) и / или услуги (ов)
Точная информация	Обобщения
Измеримые данные	Описательные данные
Заключительный подход	Исследовательский подход