Менеджеры eLama по развитию — специалисты, в задачи которых входит помощь клиентам в решении неочевидных вопросов и поиск точек роста в их проектах — часто сталкиваются с отказом рекламодателей протестировать автостратегии в Яндекс Директе. Клиенты не понимают, что у стратегий «под капотом» и как они работают, а еще боятся потерять контроль над рекламными кампаниями.
Поэтому осенью 2021 года мы вместе с командой Яндекс Директа предложили рекламодателям помощь в проведении правильного и достоверного A/B-теста конверсионной стратегии и ручного управления ставками. А за участие в этом эксперименте Яндекс возвращал рекламодателям бонусами 50% от расхода тестовой кампании со стратегией. Рассказываем, как мы организовали эксперимент и с какими результатами он завершился.
Выбираем кампании и рекламодателей
Для эксперимента мы отбирали кампании, которые соответствовали трем главным условиям:
- В них используется ручное управление ставками и назначены ключевые цели.
- Они активны, у них есть накопленная статистика за последние 14 дней.
- За последние 7 дней в кампаниях зафиксировано не менее 20 конверсий по одной из ключевых целей.
Также нам было важно, чтобы в аккаунте работали минимум две рекламные кампании: если в ходе эксперимента что-то пойдет не так, это не затронет всю рекламу клиента. А вот тип кампании — поисковая или для сетей — был не принципиален.
В итоге мы получили выборку из 662 кампаний от 287 клиентов — самостоятельных рекламодателей, агентств и фрилансеров.
Приглашаем рекламодателей в эксперимент
В начале октября мы отправили несколько рассылок с приглашением к участию в тесте, а с рекламодателями, которые не прочитали письма, связались по телефону.
В конце месяца для потенциальных участников эксперимента мы провели вебинар. Продакт-маркетолог Яндекса Дмитрий Коновальчук и евангелист eLama Павел Баракаев рассказали об автостратегиях, особенностях их работы и условиях эксперимента.
Если клиент соглашался на тест, он заполнял форму и указывал в ней недельный бюджет, ключевые цели, стоимость их достижения, модель оплаты (за клики или конверсии) и другие параметры. Так мы получили 56 заявок — это почти 20% от всего количества потенциальных участников.
Настраиваем эксперименты
Лучший способ сравнить автостратегию и ручное управление — A/B-тест. В нем одновременно работают две кампании на равные части аудитории. В кампаниях все параметры — настройки, бюджет, аудитория, период, влияние сезонности или изменения спроса — одинаковы, что дает возможность корректно оценить работу разных подходов к управлению ставками.
Мы проводили A/B-тестирование с помощью инструмента в Яндекс Аудиториях, а настройку экспериментов взяли на себя специалисты Яндекса. Они делали две копии исходной кампании, в одной оставляли ручное управление ставками, во второй — устанавливали конверсионную стратегию по параметрам, заданным рекламодателем.
Минимальный бюджет для участия в эксперименте составлял 4200 рублей в неделю — по 2100 рублей на каждую кампанию.
В момент старта эксперимента клиент выключал исходную кампанию и запускал две тестовые. Чтобы эксперимент считался успешным, а рекламодатель получил бонус, ему нужно было:
- Обеспечить непрерывную работу двух тестовых кампаний в течение четырех недель в период с 25 октября по 19 декабря.
- Не вносить в кампании изменения, перечисленные в памятке, которую получал каждый участник эксперимента.
В кампаниях запрещалось менять бюджет, стратегию, цену конверсии, среднюю цену конверсии, модель атрибуции, а также нельзя было останавливать кампании и добавлять или удалять ключевые цели, так как эти изменения перезапускают обучение алгоритмов в автостратегии. Также рекламодателям не рекомендовали во время эксперимента добавлять большое количество ключевых слов, массово переписывать объявления, менять геотаргетинг и расписание показов.
При этом в кампании с ручным управлением можно было менять ставки, настраивать корректировки и использовать бид-менеджер eLama. Остальные изменения можно было вносить, но в обе тестовые кампании сразу.
Специалисты Яндекса настроили 32 эксперимента, и 30 из них были запущены рекламодателями.
В процессе настройки эксперимента рекламодатели получали письма со статусами и напоминаниями, а менеджеры eLama по развитию отвечали на вопросы о тесте, изменении в кампаниях и оценке промежуточных результатов.
Подводим результаты
Успешно завершились 15 экспериментов. В остальных 15-ти или нарушались условия проведения теста, или кампании прекращали работу — из-за нехватки бюджета или остановки рекламодателями.
Кампании из успешных экспериментов продвигали проекты в 10 тематиках.
Средний бюджет эксперимента составил 27 000 руб.
Чтобы получить корректные результаты эксперимента, мы оценивали эффективность кампаний по итогам вторых двух недель (в первые две недели алгоритмы стратегии обучаются, делать выводы об эффективности рано) и в разрезе трех метрик:
- Наименьшая средняя цена за конверсию (CPA).
- Наибольшее количество конверсий — достигнутых ключевых целей.
- Отношение цены к достигнутым целям. Например, если в кампании с автостратегией цена цели выше в 2,5 раза, а целей достигнуто в 2 раза больше, то считаем, что ручное управление сработало лучше.
Стратегии превзошли ручное управление ставками по всем показателям.
Лучшие результаты с точки зрения CPA оказались в тематиках «Лекарственные препараты и БАДы», «Образование» и «Уход за домом». В поисковых кампаниях с автостратегиями цена конверсии была на 37–47% ниже, чем в кампаниях с ручным управлением.
По количеству конверсий лучшие результаты у автостратегий были в тематиках «СМИ/информационные сайты», «Образование», «Уход за домом», «Юридические услуги и консалтинг», «Медицинские услуги» — разница в количестве достигнутых целей составляла от 30 до 62%.
Решение о работе стратегий после завершения эксперимента участники принимали самостоятельно. Чтобы помочь им оценить результаты, мы подготовили инструкцию, в которой объяснили, как построить отчет в Мастере кампаний и сравнить эффективность автостратегии и ручного управления ставками.
В 12 из 15 кампаний рекламодатели продолжили использовать конверсионные стратегии после завершения эксперимента. К слову, в большинстве случаев до эксперимента в аккаунте вообще не было кампаний с автостратегиями.
А если вы хотите провести аналогичный A/B-тест в своих кампаниях, следуйте нашим рекомендациям, чтобы получить достоверные результаты.
