Разберемся в том, как проще и точнее проводить эксперименты и A/B-тестирования в Яндекс Директе и Google Ads.
Сбор семантики, создание рекламных объявлений, назначение ставок и все прочие действия с рекламными кампаниями — это гипотезы, предположения, которые фактические показатели подтверждают или опровергают. Чтобы делать выводы по поводу того или иного действия в РК, гипотезу нужно протестировать, накопив достаточное количество данных. Для этого в рекламных системах есть возможность проводить запланированные эксперименты.
Сервисы рекламных систем для экспериментов и A/B-тестирований
В Директе такой сервис называется «Эксперименты» и запускается через Яндекс Аудитории. Результат эксперимента можно проанализировать в Яндекс Метрике. Быстро сравнить результаты тестов и принять решение о внедрении тех или иных изменений помогает калькулятор достоверности.
Эксперименты в Google Ads раньше запускались через инструменты проектов — нужно было сначала создать проектную РК, а потом внести в нее изменения. После обновления системы в январе 2022 года все стало гораздо проще: теперь создать эксперимент можно прямо в рекламном кабинете.
Как работать с экспериментами
- Тестировать по одной гипотезе за раз. Если поменять в экспериментальной РК сразу несколько параметров, они сработают вместе, и результат для каждого из изменений по отдельности будет невозможно оценить.
- Копить данные. Их должно быть много — по рекомендации Яндекса не менее 200 конверсий за месяц.
- Анализировать все результаты за один и тот же период.
- Выделять деньги на эксперимент. Можно поделить и текущий бюджет, но лучше отвести для тестов дополнительный, чтобы основная, проверенная кампания продолжала работать в обычном режиме.
- Учитывать распределение показов, трафика, конверсий. В Яндекс.Директе для успешной работы автостратегии необходимы хотя бы десять конверсий еженедельно. При создании эксперимента трафик будет разбит минимум надвое. Если количество конверсий в РК минимальное, на каждую из двух кампаний в эксперименте придется условно по пять конверсий — то есть слишком мало для работы автостратегии.
- Иметь в виду возможные риски. Гипотеза может не сработать, поэтому лучше заниматься тестированием, имея дополнительные источники конверсий. И с большой осторожностью запускать эксперимент сразу по всем РК или по единственной кампании.
Как запустить эксперимент в Яндекс.Директе
В сервисе Яндекс Аудиторий перейдите во вкладку «Эксперименты» и нажмите на кнопку «Создать первый эксперимент».
Дайте ему максимально понятное название. Затем выберите счетчик Яндекс.Метрики, установленный на сайте, на который будет идти трафик, чтобы анализировать результаты.
Разделите доли сегментов и дайте им названия. Оптимальное соотношение для двух РК — 50/50. Можно добавить сегментов, но сравнивать работу двух кампаний удобнее.
Нажмите на кнопку «Создать эксперимент». Он сохранится в сервисе Яндекс.Аудитории.
Затем перейдите в Директ и выберите исходную РК, в которой собираетесь протестировать изменение.
Создайте две копии исходной кампании и приостановите ее. В копиях задайте изменения, которые собираетесь тестировать. В нашем примере в первой экспериментальной кампании будет включена ручная стратегия с бид-менеджером, во второй — автоматическое управление ставками и стратегия по средней цене конверсии.
Изменяйте только те параметры, которые хотите протестировать. Все остальное в этих кампаниях должно остаться по-прежнему.
Перейдите в настройки РК и в дополнительных настройках выберите вкладку «Эксперименты». В этом примере в обеих кампаниях нужно отметить «Таргетинг по сегментам». И выбрать в настройках одной сегмент «Ручная стратегия + биддер eLama», а в настройках другой — «Средняя цена конверсии».
Через пару недель, а лучше через месяц можно будет сделать выводы о том, какой вариант эффективнее. Для этого в Яндекс.Метрике зайдите в «Отчеты» —> «Стандартные отчеты» —> «Источники» —> «Директ, эксперименты».
Выберите название эксперимента (его указывали в Яндекс Аудиториях), задайте период времени для формирования статистики и отфильтруйте с помощью сегментирования визиты из каждой экспериментальной кампании.
Чтобы включить режим сравнения с подсветкой результата, нужно выбрать, какая кампания будет исходной и какая будет с ней сравниваться.
Для вашего удобства здесь предусмотрена подсказка «Как читать ответ». Зеленая подсветка показывает положительный результат. В примере выше кампания с корректировками отработала лучше по достижению цели и целевым визитам, но хуже по отказам.
Калькулятор достоверности A/B-тестирования
В калькуляторе достоверности можно использовать настройки по умолчанию. Для оценки результат теста укажите доли сегментов, расходы за период и количество конверсий и кликов. После расчета, если данных достаточно, в столбце «Внедряем?» отобразится «Да». Если данных недостаточно, здесь высветится «Нет».
Как запустить эксперимент в Google Ads
Через меню слева в рекламном кабинете перейдите на страницу экспериментов и нажмите на кнопку «+».
Выберите тип эксперимента: оптимизация текстовых объявлений, эксперимент для видео или эксперимент по собственной гипотезе, которую вы хотите проверить. Это может быть, например, изменение стратегии.
Выберите тип рекламной кампании и нажмите на кнопку «Продолжить».
Дайте эксперименту как можно более понятное название — лучше прописать в нем, что конкретно вы тестируете. Для удобства здесь можно также добавить описание.
Следующий шаг — выбор базовой, или исходной РК. Здесь важно учесть две детали:
- Если к кампании, которую вы собираетесь выбрать в качестве исходной, прикреплен общий бюджет на несколько РК, ее нужно предварительно открепить от него, иначе корректного распределения не получится.
- При планировании эксперимента цели конверсии на уровне кампании не копируются из основной в экспериментальную — система предупредит вас об этом. Настройки экспериментальной РК нужно проверить и установить цели.
Здесь же укажите суффикс для имени ресурса, который войдет в состав названия экспериментальной рекламной кампании — присоединится в нем к заголовку базовой. В это поле автоматически копируется название эксперимента, его можно не менять.
Кампания готова, теперь нужно внести в нее изменения. Здесь рекомендация та же, что и с проверкой гипотез в Яндекс Директе: тестируйте изменения параметров по одному, чтобы проверить, насколько каждое из них влияет на результат.
На следующем шаге вы задаете цели — те результаты РК, на которые вы хотите повлиять, и на основании которых будете принимать решение об успешности эксперимента. Целей может быть максимум две — на примере ниже это «Цена за конверсию» и «Конверсии»: цена за конверсию в ходе эксперимента должна уменьшиться, а количество конверсий — увеличиться. Вы можете выбрать другие цели — «Показы», «Клики» и так далее. Не обязательно в блоке целей предусматривать увеличение какого-то показателя, можно оставить его на том же уровне: например, пусть количество конверсий останется прежним, а цена за конверсию уменьшится.
Здесь же выделите для экспериментальной РК долю трафика и бюджета исходной кампании. Оптимальный вариант для быстрого обучения алгоритма — 50 на 50. Ниже в дополнительных настройках вы можете задать вариант распределения трафика — на основе cookies или на основе поисковых запросов — и показывать пользователям при повторном поиске объявления только из исходной кампании или только из экспериментальной, или из обеих, выбирая между ними случайным образом. По умолчанию распределение происходит по cookies — эту настройку можно не менять.
Далее определите продолжительность эксперимента: здесь можно выбрать даты его начала и окончания или указать, сколько дней он должен продлиться. Либо не задавать дату остановки эксперимента — тогда вы сами сделаете это, когда придет время.
Последний блок настроек — полезная новинка Google Ads, возможность включить синхронизацию исходной и экспериментальной кампаний. Если синхронизация работает — все изменения в исходной РК будут дублироваться в эксперимент. Почему это важно: если во время проведения эксперимента что-то изменить в основной кампании и не перенести настройки в экспериментальную, чистота эксперимента будет нарушена, потому что кампании будут различаться не только теми настройками, которые составляют суть гипотезы. Поэтому использовать синхронизацию действительно важно. Исключение — ситуации, когда вы уверены, что изменения не должны быть скопированы, и делаете это осознанно.
Вот и все. Осталось нажать на кнопку «Создать эксперимент».
Теперь, кликая на название экспериментальной кампании, вы будете попадать на страницу со сводкой. Здесь отображаются даты, цели и информация по ним, результаты исходной и экспериментальной кампаний по кликам, расходам, конверсиям, ценности показов и так далее. Таблицу можно настроить — добавить столбцы с нужными показателями. В графе ниже показывается разница между кампаниями в количественном и процентном соотношении.
А еще ниже указывается доверительный интервал, то есть значение, в пределах которого вы получите результат, применив изменения в основной кампании. Когда алгоритм наберет достаточно данных, он оповестит вас, что статистическая достоверность достигнута, и покажет доверительный интервал. Например, от 40 до 60%, что результаты в основной кампании после применения экспериментальных настроек будут такими же, как в эксперименте.
Эксперименты в Google Ads — это отличный инструментарий для проведения A/B-тестов, основной в работе с рекламными кампаниями для специалистов.
5 причин работать с eLama
- 15+ систем и сервисов в одном кабинете: Яндекс Директ, Google Ads, Авито, Telegram Ads, VK Реклама и другие системы интернет-рекламы.
- Оплата с единого счета и общий комплект закрывающих документов для бухгалтерии.
- Набор полезных инструментов, которые упрощают работу с рекламой и помогают экономить время и бюджет.
- Партнерская программа для агентств и фрилансеров с ежемесячным вознаграждением.
- Служба Заботы, которая всегда приходит на помощь и остается на вашей стороне, в том числе и в вопросах модерации.