Как проводить эксперименты и A/B-тесты в Яндекс.Директе и Google Ads

В курсе «Автоматизируй это немедленно» мы рассказываем, как экономить время и силы на рутинных процессах и операциях в работе с контекстной рекламой.

В заключительном уроке проекта разберемся в том, как проще и точнее проводить эксперименты и A/B-тестирования в Яндекс.Директе и Google Ads.

Содержание курса

• Обзор инструментов автоматизации
• Автоматизируем управление ставками
• Настраиваем автоправила в Google Ads
• Используем скрипты в Google Ads
• Быстро создаем кампанию для Google Ads в eLama
• Работаем с Директ Коммандером
• Работаем с Google Ads Editor
• Автоматизируем мониторинг и отчетность
• Автоматизируем проверку гипотез
• Разобрались в теме? Проверьте себя!

Сбор семантики, создание рекламных объявлений, назначение ставок и все прочие действия с рекламными кампаниями — это гипотезы, предположения, которые фактические показатели подтверждают или опровергают. Чтобы делать выводы по поводу того или иного действия в РК, гипотезу нужно протестировать, накопив достаточное количество данных. Для этого в рекламных системах есть возможность проводить запланированные эксперименты.

Сервисы рекламных систем для экспериментов и A/B-тестирований

В Директе такой сервис называется «Эксперименты» и запускается через Яндекс.Аудитории. Результат эксперимента можно проанализировать в Яндекс.Метрике. Быстро сравнить результаты тестов и принять решение о внедрении тех или иных изменений помогает калькулятор достоверности.

Эксперименты в Google Ads раньше запускались через инструменты проектов — нужно было сначала создать проектную РК, а потом внести в нее изменения. После обновления системы в январе 2022 года все стало гораздо проще: теперь создать эксперимент можно прямо в рекламном кабинете.

Как работать с экспериментами

• Тестировать по одной гипотезе за раз. Если поменять в экспериментальной РК сразу несколько параметров, они сработают вместе, и результат для каждого из изменений по отдельности будет невозможно оценить.
• Копить данные. Их должно быть много — по рекомендации Яндекса не менее 200 конверсий за месяц.
• Анализировать все результаты за один и тот же период.
• Выделять деньги на эксперимент. Можно поделить и текущий бюджет, но лучше отвести для тестов дополнительный, чтобы основная, проверенная кампания продолжала работать в обычном режиме.
• Учитывать распределение показов, трафика, конверсий. В Яндекс.Директе для успешной работы автостратегии необходимы хотя бы десять конверсий еженедельно. При создании эксперимента трафик будет разбит минимум надвое. Если количество конверсий в РК минимальное, на каждую из двух кампаний в эксперименте придется условно по пять конверсий — то есть слишком мало для работы автостратегии.
• Иметь в виду возможные риски. Гипотеза может не сработать, поэтому лучше заниматься тестированием, имея дополнительные источники конверсий. И с большой осторожностью запускать эксперимент сразу по всем РК или по единственной кампании.

Как запустить эксперимент в Яндекс.Директе

В сервисе Яндекс.Аудиторий перейдите во вкладку «Эксперименты» и нажмите на кнопку «Создать первый эксперимент».

Дайте ему максимально понятное название. Затем выберите счетчик Яндекс.Метрики, установленный на сайте, на который будет идти трафик, чтобы анализировать результаты.

Разделите доли сегментов и дайте им названия. Оптимальное соотношение для двух РК — 50/50. Можно добавить сегментов, но сравнивать работу двух кампаний удобнее.

Нажмите на кнопку «Создать эксперимент». Он сохранится в сервисе Яндекс.Аудитории.

Затем перейдите в Директ и выберите исходную РК, в которой собираетесь протестировать изменение.

Создайте две копии исходной кампании и приостановите ее. В копиях задайте изменения, которые собираетесь тестировать. В нашем примере в первой экспериментальной кампании будет включена ручная стратегия с бид-менеджером, во второй — автоматическое управление ставками и стратегия по средней цене конверсии.

Изменяйте только те параметры, которые хотите протестировать. Все остальное в этих кампаниях должно остаться по-прежнему.

Перейдите в настройки РК и в дополнительных настройках выберите вкладку «Эксперименты». В этом примере в обеих кампаниях нужно отметить «Таргетинг по сегментам». И выбрать в настройках одной сегмент «Ручная стратегия + биддер eLama», а в настройках другой — «Средняя цена конверсии».

Через пару недель, а лучше через месяц можно будет сделать выводы о том, какой вариант эффективнее. Для этого в Яндекс.Метрике зайдите в «Отчеты» —> «Стандартные отчеты» —> «Источники» —> «Директ, эксперименты».

Выберите название эксперимента (его указывали в Яндекс.Аудиториях), задайте период времени для формирования статистики и отфильтруйте с помощью сегментирования визиты из каждой экспериментальной кампании.

Чтобы включить режим сравнения с подсветкой результата, нужно выбрать, какая кампания будет исходной и какая будет с ней сравниваться.

Для вашего удобства здесь предусмотрена подсказка «Как читать ответ». Зеленая подсветка показывает положительный результат. В примере выше кампания с корректировками отработала лучше по достижению цели и целевым визитам, но хуже по отказам.

Калькулятор достоверности A/B-тестирования

В калькуляторе достоверности можно использовать настройки по умолчанию. Для оценки результат теста укажите доли сегментов, расходы за период и количество конверсий и кликов. После расчета, если данных достаточно, в столбце «Внедряем?» отобразится «Да». Если данных недостаточно, здесь высветится «Нет».

Как запустить эксперимент в Google Ads

Через меню слева в рекламном кабинете перейдите на страницу экспериментов и нажмите на кнопку «+».

Выберите тип эксперимента: оптимизация текстовых объявлений, эксперимент для видео или эксперимент по собственной гипотезе, которую вы хотите проверить. Это может быть, например, изменение стратегии.

Выберите тип рекламной кампании и нажмите на кнопку «Продолжить».

Дайте эксперименту как можно более понятное название — лучше прописать в нем, что конкретно вы тестируете. Для удобства здесь можно также добавить описание.

Следующий шаг — выбор базовой, или исходной РК. Здесь важно учесть две детали:

• Если к кампании, которую вы собираетесь выбрать в качестве исходной, прикреплен общий бюджет на несколько РК, ее нужно предварительно открепить от него, иначе корректного распределения не получится.
• При планировании эксперимента цели конверсии на уровне кампании не копируются из основной в экспериментальную — система предупредит вас об этом. Настройки экспериментальной РК нужно проверить и установить цели.

Здесь же укажите суффикс для имени ресурса, который войдет в состав названия экспериментальной рекламной кампании — присоединится в нем к заголовку базовой. В это поле автоматически копируется название эксперимента, его можно не менять.

Кампания готова, теперь нужно внести в нее изменения. Здесь рекомендация та же, что и с проверкой гипотез в Яндекс.Директе: тестируйте изменения параметров по одному, чтобы проверить, насколько каждое из них влияет на результат.

На следующем шаге вы задаете цели — те результаты РК, на которые вы хотите повлиять, и на основании которых будете принимать решение об успешности эксперимента. Целей может быть максимум две — на примере ниже это «Цена за конверсию» и «Конверсии»: цена за конверсию в ходе эксперимента должна уменьшиться, а количество конверсий — увеличиться. Вы можете выбрать другие цели — «Показы», «Клики» и так далее. Не обязательно в блоке целей предусматривать увеличение какого-то показателя, можно оставить его на том же уровне: например, пусть количество конверсий останется прежним, а цена за конверсию уменьшится.

Здесь же выделите для экспериментальной РК долю трафика и бюджета исходной кампании. Оптимальный вариант для быстрого обучения алгоритма — 50 на 50. Ниже в дополнительных настройках вы можете задать вариант распределения трафика — на основе cookies или на основе поисковых запросов — и показывать пользователям при повторном поиске объявления только из исходной кампании или только из экспериментальной, или из обеих, выбирая между ними случайным образом. По умолчанию распределение происходит по cookies — эту настройку можно не менять.

Далее определите продолжительность эксперимента: здесь можно выбрать даты его начала и окончания или указать, сколько дней он должен продлиться. Либо не задавать дату остановки эксперимента — тогда вы сами сделаете это, когда придет время.

Последний блок настроек — полезная новинка Google Ads, возможность включить синхронизацию исходной и экспериментальной кампаний. Если синхронизация работает — все изменения в исходной РК будут дублироваться в эксперимент. Почему это важно: если во время проведения эксперимента что-то изменить в основной кампании и не перенести настройки в экспериментальную, чистота эксперимента будет нарушена, потому что кампании будут различаться не только теми настройками, которые составляют суть гипотезы. Поэтому использовать синхронизацию действительно важно. Исключение — ситуации, когда вы уверены, что изменения не должны быть скопированы, и делаете это осознанно.

Вот и все. Осталось нажать на кнопку «Создать эксперимент».

Теперь, кликая на название экспериментальной кампании, вы будете попадать на страницу со сводкой. Здесь отображаются даты, цели и информация по ним, результаты исходной и экспериментальной кампаний по кликам, расходам, конверсиям, ценности показов и так далее. Таблицу можно настроить — добавить столбцы с нужными показателями. В графе ниже показывается разница между кампаниями в количественном и процентном соотношении.

А еще ниже указывается доверительный интервал, то есть значение, в пределах которого вы получите результат, применив изменения в основной кампании. Когда алгоритм наберет достаточно данных, он оповестит вас, что статистическая достоверность достигнута, и покажет доверительный интервал. Например, от 40 до 60%, что результаты в основной кампании после применения экспериментальных настроек будут такими же, как в эксперименте.

Эксперименты в Google Ads — это отличный инструментарий для проведения A/B-тестов, основной в работе с рекламными кампаниями для специалистов.

Пять причин работать с eLama

• Больше 12 систем и сервисов в одном кабинете: Яндекс Директ, Google Ads, Авито, Telegram Ads, VK Реклама и другие системы интернет-рекламы.
• Оплата с единого счета и общий комплект закрывающих документов для бухгалтерии.
• Набор полезных инструментов, которые упрощают работу с рекламой и помогают экономить время и бюджет.
• Партнерская программа для агентств и фрилансеров с ежемесячным вознаграждением.
• Служба Заботы, которая всегда приходит на помощь и остается на вашей стороне, в том числе и в вопросах модерации.

Попробовать eLama