Чтобы не оценивать результаты работы вашего сайта или приложения хаотично, важно проводить эксперименты. С помощью A/B-тестов легко управлять цифровым продуктом, а также принимать решения, какая конфигурация оптимальна для пользователей.
Что такое A/B-тест
A/B-тест — это организованный эксперимент, который помогает нам понять, был ли полученный результат случайным или он имеет статистическую значимость.
Во время проведения эксперимента аудиторию делят на две группы, которым показывают разные варианты цифрового продукта, а после оставляют тот, который показал лучшие результаты.
Что такое Вариокуб
Вариокуб — это платформа от Яндекса для проведения таких экспериментов на стороне сайта или приложения.
Инструмент позволят проводить три типа экспериментов:
-
визуальный редактор: простые элементы без привлечение разработчиков, например, УТП, заголовки, кнопки, картинки и прочие элементы сайта или приложения.
-
ссылки для редиректа: легко запускаемый эксперимент, который требует небольшую подготовку. Например, можно сверстать альтернативную версию лендинга для экспериментальной группы и протестировать, какая из версий лучше показывает себя до того, как вносить изменения в текущий лендинг.
-
флаги в коде: для таких тестов требуется помощь разработчика. Необходимо написать флаг под кодом. Флаги в коде — это контрольные отметки, которыми разработчик может управлять процессом работы программы или цифрового продукта. Таким способом обычно тестируют более сложные задачи, например, функциональность (калькуляции, проведение оплат, всплывающие элементы, процесс на стороне сайта, сложные механики бэкенда).
Вариокуб может работать на:
-
клиентской стороне, то есть в браузере пользователя;
-
серверной стороне, только при помощи флагов в коде. Для этого сценария требуется подключение Client SDK через API.
Работа с гипотезами
Какие гипотезы тестировать
В первую очередь важно придерживаться правила — одна гипотеза, одна основная цель, одна важная метрика. Без каких-то «или» и «но».
Гипотезы, связанные с основными метриками:
-
конверсия в заявку;
-
конверсия в оплату;
-
глубина просмотра;
-
время на сайте;
-
визуальные отказы.
А эти гипотезы связаны с более глубокими и синтетическими метриками:
-
доля визитов с покупкой;
-
средний GMV на визит с покупкой;
-
средний GMV на визит.
Если у вас не ecom-проект, то лучше не закапываться в самую глубокую метрику, а также тестировать гипотезы на уровне прокси, если трафика недостаточно.
Откуда брать гипотезы
Сначала гипотезы можно сгенерировать самостоятельно, основываясь на опыте работы над цифровым продуктом, а также исходя из ключевых показателей. Кроме того, идеи для гипотез можно собирать в Яндекс Метрике. Например, из многочисленных отчетов или анализа карты кликов или вебвизора.
Как установить Вариокуб
Для установки инструмента необходимо в Яндекс Метрике перейти в панели управления на вкладку «Вариокуб». В открывшемся разделе выбираем «Эксперименты» и получаем JavaScript внутри HTML-кода для сайта.
Этот код устанавливается через тег-менеджер как пользовательский HTML или в элементы <head></head> или <body></body> в коде вашего сайта:
Если работа с кодом проблематична для вас, можно воспользоваться возможностью интеграции через Google Tag Manager. Если у вас установлена Метрика, то в GTM необходимо зайти на страницу «Теги» и нажать на кнопку «Создать», а затем выбрать «Конфигурация тега». В шаблоне интеграции сообщества необходимо найти и выбрать Yandex Metrika Varioqub AB-tests. В поле «clientId из Varioqub» необходимо указать «metrika.» и дальше после точки — идентификационный номер из Яндекс Метрики.
Для более глубокого погружения в инструмент и настройки тестов на стороне сервера сайта потребуется подключение по API.
После подключения Вариокуба в Яндекс Метрике появится доступ к проведению экспериментов.
Как создавать эксперименты
Для создания эксперимента необходимо нажать на кнопку «Создать эксперимент» и указать его название и описание. Важно заполнять эти поля информативно, если вы планируете проводить большое количество экспериментов, чтобы легко ориентироваться в них.
Эксперимент
Нажимаем «Создать эксперимент».
Задаем название и описание.
После указания этой информации становится доступным блок для заведения условий. На этом этапе мы определяет то, как ограничить аудиторию и время. По умолчанию в настройках новый эксперимент применяется ко всей выбранной аудитории и может пересекаться с другими экспериментами.
Выбрать эксперимент, с которым хотите исключить пересечение можно, но эта возможность доступна только в платной версии Вариокуба. Если вы пользуетесь бесплатной версией и для корректности эксперимента вам необходимо исключить аудиторию другого A/B-теста, поэтому требуется вручную приостанавливать другой эксперимент.
Чтобы правильно рассчитать условия и то, как ограничивать аудиторию, можно воспользоваться Калькулятором выборок:
Важно понимать, что при проведении эксперимента крайне нежелательно запускать новые рекламные кампании, поскольку новые кампании — это новый трафик, а для проведения тестов требуется консистентность.
Что такое MDE и почему он важен при A/B-тестах
MDE (Minimum Detectable Effect) — это минимальный обнаружимый эффект, который вы можете установить с заданной степенью уверенности (статистическая значимость) и мощностью теста. Ключевые параметрами, влияющими на MDE являются:
-
Статистическая значимость — вероятность того, что вы примете ложную гипотезу. Она обычно устанавливается на уровне 5% (0,.05).
-
Мощность теста (1 — β) — вероятность правильно обнаружить реальный эффект. Обычно выбирается на уровне 80% или выше.
-
Размер выборки: чем больше выборка, тем меньше MDE, так как большие выборки позволяют обнаруживать более мелкие эффекты.
-
Вариативность данных: если данные имеют высокую вариативность, MDE будет больше, так как труднее обнаружить малые эффекты.
Интерпретация MDE зависит от целей вашего исследования. Вот несколько важных моментов:
-
Если MDE слишком велик, ваш тест может не обнаружить небольшие, но потенциально важные изменения. Например, если MDE = 10%, а вы ожидаете изменение конверсии всего на 2%, то ваш тест просто не сможет его обнаружить.
-
Важно учитывать, какой эффект имеет практическое значение для вашего бизнеса. Небольшой эффект (например, 1%) может быть незаметен статистически, но иметь большое значение в долгосрочной перспективе.
Предположим, вы тестируете новый цвет кнопки «Купить» на сайте. У вас есть следующие параметры:
-
Текущая конверсия: 5%
-
Размер выборки: 300 000 пользователей
-
Статистическая значимость: 95% (α = 0.,05), с ней связано понятие достоверности P-Value
-
Мощность теста: 80%
Мы рассчитывали MDE = 9,23%. Это означает, что ваш тест сможет обнаружить только те изменения конверсии, которые составляют минимум 5% (например, увеличение с 5% до 5,5% или снижение до 4,5%). То есть эффект незначителен.
Но интерпретируя данные нужно не забывать о здравом смысле и бизнес-целях. Если мы делаем эксперимент на сайте по продаже бурильного оборудования, которому мы сможем повысить конверсию на половину процента на покупку, то мы повышаем шансы бизнеса на значительный рост выручки.
Добавление страниц применения эксперимента
В поле «Страницы применения эксперимента» добавляет ссылки, но важно учитывать, что это поле не учитывает GET-параметры, поэтому ненужно добавлять ссылки с UTM- и прочими метками. Указание нескольких страниц настраивается гибко с использованием принципов «И», «ИЛИ» и «ИСКЛЮЧЕНИЯ».
Настройка GET-параметров, платформ и регионов
Если вам необходимо, чтобы эксперимент включал GET-параметры, вы хотите, чтобы учитывался только рекламный трафик в тесте, то они заводятся отдельно.
GET-параметры можно настраивать по принципу «И», «ИЛИ», «ИСКЛЮЧЕНИЯ». Неважен порядок условий, Вариокуб умеет их обрабатывать корректно.
В этом же блоке настраиваются платформы (определяются по user id) и регионы (по IP-адресу).
Выбор метрики
Необходимо выбрать одну основную метрику, то есть ту метрику, на которую мы пытаемся влиять в рамках проведения эксперимента. Кроме того, есть возможно добавить дополнительные метрики. Это может быть важно для клиентов, у которых не выходит получать необходимый объем конверсий, поэтому они могут сфокусироваться на связанных дополнительных метриках, на которые можно пытаться влиять.
Выбор типа эксперимента
Как мы уже рассмотрели в начале статьи, есть три основных типа — Визуальный редактор, Редирект и Флаги. Тип Рекламные блоки относится к сайтам, которые используют Adfox (бесплатный онлайн-сервис по управлению рекламой на сайтах и в приложениях), а Интеграции используются для показа информационных блоков с персональными предложениями и скидками, или для информирования пользователей о новых возможностях цифрового продукта.
Пример создания эксперимента Визуальный редактор
Мы сформулировали гипотезу «Если изменить кнопку на стартовой странице, то это повлияет на количество конверсий», и решили протестировать ее через ввод текста в визуальном редакторе через HTML:
Кроме HTML, доступно использование CSS или конструктора, в котором можно задать ссылка, цвет и размер шрифта, а также прочие характеристики:
После настройки эксперимента, проверить тестовый вариант можно с помощью кнопки «Вариант 1» (например, убедиться, не съехала ли верстка):
Эта возможность доступна только перед запуском, во время проведения эксперимента внести изменения не получится.
Результаты экспериментов
Вариокуб отображает результаты проведения A/B-тестов интуитивно понятно. Если статистически значимых результатов эксперимент не достиг, то показатели не прокрашиваются:
Если же тестирование гипотезы показало статистически значимые результаты, то показатели будет прокрашены. В этом примере есть положительный статистически значимый результат, показатели прокрасились зеленым (если результат будет отрицательным, то показатели прокрашиваются красным цветом):
В бесплатной версии можно фильтровать результаты для основной или дополнительных метрик, а также настраивать фильтры для исключения роботов и визитов с отказом. Остальные настройки доступны уже для пользователей платной версии Вариокуба:
Выводы и рекомендации
В первую очередь хочется отметить, что инструмент прост в использовании. От вас не требуется знаний в статистике или разработке, чтобы начать его использовать. Кроме того, функциональности, доступные в бесплатной версии, — это не урезанная версия инструмента, а база, которая позволяет проводить полноценные A/B-тесты для тестирования гипотез.
Единственное, чему стоит уделять особое внимание — корректное определение целей и метрик до проведения эксперимента. Помните о правиле, что нужно выбрать одну основную цель, одну важную метрику на одну гипотезу.
Я всем советую использовать такой простой в применении инструмент, который может помочь экономно расходовать рекламный бюджет или существенно увеличить количество целевых действий.
