У каждого сайта в среднем только 48,2% переходов являются результатом активности реальных пользователей, согласно исследованию Imperva Incapsula. Весь остальной трафик обеспечен визитами ботов. Их доля меняется в зависимости от посещаемости сайта.
В этом материале мы покажем, как минимизировать или даже полностью избавиться от негативного влияния фальшивого трафика на отчеты в Analytics.
Введение в тему
В Google nalytics фейковый трафик определяется как одно или более фальшивых обращений, отправленных на сайт. Они генерируются программами или ботами и не являются результатом взаимодействия реальных пользователей с сайтом. Спамер может отправить фальшивый реферальный, органический, прямой трафик, а также трафик из социальных сетей. Кроме того, он может подделать события, виртуальные просмотры страницы, имя хоста, URL, ключевые слова, транзакции и другие данные:
С хорошими знаниями протокола передачи статистических данных Google Analytics (Measurement Protocol) можно раздуть или полностью удалить все данные о продажах из любого аккаунта в Analytics. Хакеру нужен только ID ресурса, чтобы провернуть всю эту черную магию. После этого он может практически переписать данные, находясь в любой точке мира и не имея доступа к аккаунту в Analytics.
От отправки фейкового трафика выигрывает любой человек, который получает финансовую выгоду от увеличения трафика в вашем аккаунте Analytics. Это могут быть партнеры (так как они получают комиссию), SEO-специалисты (которые получают возможность похвастаться перед клиентом/начальником своими достижениями).
В последнее время фейковые обращения также используются с целью пропаганды. Например, так было со спамом в языках, где призывали голосовать за Трампа на выборах в США.
Фейковые обращения генерируют боты. Вот варианты применения их со злым умыслом:
- Скликивание (чтобы увеличить рекламный доход или слить рекламный бюджет конкурентов).
- Сбор email-адресов (для массовых рассылок).
- Создание фейковых аккаунтов.
- Спам в комментариях.
- Копирование контента сайтов (чтобы создать сайт для размещения рекламы от AdSense).
- Распространение вредоносных программ (для рекламы и получения оплаты за просмотры и клики по объявлению).
- Сбор ID пользователей Analytics для отправки фальшивого трафика.
- Отправка фейкового трафика на сайт и др.
В зависимости от способа применения, могут быть хорошие и плохие боты. Хорошие роботы подчиняются директиве robots. txt, а плохие — нет. В среднем на сайт 22,9% трафика генерируют хорошие боты и 28,9% — плохие.
Спам-боты используют разные методы для собственной маскировки, поэтому зачастую системам безопасности сложно их определить. Они могут притвориться браузером (например, Chrome или Internet Explorer) или трафиком с легального сайта.
Не все спам-боты созданы для отправки фейкового трафика в Google Analytics. Но так или иначе они искажают данные любой аналитики, могут просто «съесть» пропускную способность сайта и негативно повлиять на его производительность. При худшем сценарии они смогут взломать сайт или установить на нем вредоносные программы. К Google Analytics относятся два типа спам-ботов:
- Посещающие сайты.
- Не посещающие сайты.
Как найти фальшивый трафик
Вот инструкция для поиска спама от ботов, которые посещают ваш сайт:
Шаг 1. Настройте отчет по источникам в представлении Google Analytics.
Шаг 2. Установите диапазон дат на последние два месяца.
Шаг 3. Отсортируйте список в порядке убывания по показателю отказов или вставьте следующее выражение в поле фильтра, чтобы убрать весь спам в отчете.
semalt|button|ilovevitaly|darodar|hulfingtonpost|ranksonic|[0−9]{1,3}\.[0−9]{1,3}|website|[0−9][a-z]|free|click|blackhatworth|makemoneyonline|priceg|best-seo-offer|familyfocusblog|traffic|anal-acrobats|buy-cheap-online|deximedia|webmaster|link|event-tracking|discover-results|fwdservice|pornhub-forum
Шаг 4. Найдите источники трафика (далее — рефералы) с показателем отказа 100% или 0% и десятью или более сессиями. Они скорее всего дают реферальный спам.
Примечание. Список источников спама можно найти здесь.
Шаг 5. Если вам не удается определить подлинность подозрительно выглядящего источника, то можете рискнуть и перейти на сайт, чтобы понять, легитимен ли он и действительно ли ссылается на ваш сайт. До перехода убедитесь, что на вашем сайте установлен антивирус/программа против вредоносного ПО, так как ваш сайт могут попытаться заразить.
Шаг 6. Отметьте все источники спама, чей трафик вы хотите заблокировать в своем представлении Google Analytics:
Шаг 7. Сохраните список источников спама в виде регулярного выражения. Например, если ниже список источников спама:
- semalt.com
- semalt.semalt.com
- buttons-for-website.com
- blackhatworth.com
- 7makemoneyonline.com
тогда регулярное выражение будет таким:
semalt|buttons|blackhatworth|7makemoneyonline (\.com)+
Это выражение можно использовать для выставления фильтра в представлении Google Analytics.
Как заблокировать фейковый трафик
Есть несколько способов борьбы со спамом: блокировать источники, IP-адреса, диапазоны IP-адресов, User Agent ботов на уровне серверов или с помощью фильтров Google Analytics.
В первых четырех методах необходимо внести в файл .htaccess предварительно собранные данные о ботах. Для этого воспользуйтесь помощью своего системного администратора: он лучше всего справится с атакой ботов.
Если по какой-то причине вы не имеете доступа для редактирования файла .htaccess, то вы можете заблокировать фальшивый трафик с помощью расширенных фильтров в Analytics. Однако не используйте этот метод в том случае, если вы можете редактировать файл .htaccess. Начните борьбу с ботами на уровне сервера: в этом случае вам не придется исключать их из отчетов в Analytics.
Блокирование спам-ботов на уровне сервера всегда эффективнее, потому что так вы полностью избавляетесь от них, а не просто исключаете из отчетов в Analytics. Однако для аналитики трафика, каналов и рекламы настройки фильтров будет достаточно.
Настройка фильтров Google Analytics: инструкция
Шаг 1. Создайте копию вашего основного представления в Google Analytics. Если фильтры будут корректно работать здесь, используйте их в вашем основном представлении. Такая предосторожность необходима, потому что при настройке неправильных фильтров в основном представлении, то могут повредиться все данные.
Шаг 2. В основном представлении Analytics во вкладке Администратор нажмите на Настройки представления:
Шаг 3. Нажмите на кнопку Копировать представление:
Шаг 4. Назовите новое представление в виде Название вашего бренда + Тестовое представление, например: еЛама.ру Тестовое представление. Затем нажмите на кнопку Копировать представление:
Шаг 5. Во вкладке Администратор тестового представления перейдите по ссылке Фильтры:
Шаг 6. Нажмите на кнопку Добавить фильтр:
Шаг 7. Создайте новый пользовательский фильтр с исключениями и вставьте в поле регулярное выражение, которые вы создали ранее:
Фильтр должен заблокировать весь трафик от указанных спам-рефералов.
Шаг 8. Нажмите на ссылку Проверить этот фильтр и сохраните его:
После этого вы сможете увидеть результаты тестирования фильтра.
Примечание. Если в вашем тестовом представлении мало данных, то ссылка Проверить этот фильтр может не работать, и вы увидите следующее сообщение: Этот фильтр не изменяет данные. Конфигурация фильтра неправильная или данных недостаточно. Игнорируйте его и жмите на кнопку Сохранить, чтобы завершить создание фильтра. Он сразу появится в списке фильтров:
Шаг 9. Если фильтр работает, как ожидалось, создайте такой же в основном представлении.
Примечание. Не исключайте источники реферального спама через Список исключаемых источников перехода. Это не решит вашу проблему, а только скроет ее. В этом случае трафик от ботов появится в отчетах как прямой, и вы больше не сможете измерить их влияние на трафик сайта.
Фильтрация роботов: инструкция
Вы также можете использовать функцию фильтрации роботов от Google Analytics. Для этого следуйте инструкции ниже:
Шаг 1. Зайдите во вкладку Администратор своего представления в Analytics и нажмите на Настройки представления.
Шаг 2. Прокрутите страницу вниз и поставьте флажок у функции Исключить обращения роботов и «пауков»:
Не каждый сайт одинаково страдает от спам-ботов
Это происходит из-за того, что спам-боты предназначены, чтобы находить и использовать уязвимые места сайта. Часто они атакуют именно слабые сайты. Так что если ваш сайт размещен на одной из дешевых хостинг-платформ или использует адаптированные CMS/Shopping Cart (система для интернет-магазинов), то риск атаки повышается. Часто адаптированные CMS/Shopping Cart не тестируют настолько тщательно, чтобы найти слабые места. Поэтому лучше использовать известные хостинг-провайдеры, предлагающие решения для CMS и Shopping Cart.
Если вы в больших масштабах используете партнерский интернет-маркетинг, то ваш сайт также могут атаковать спам-боты, поэтому выбирайте партнеров с умом. Также задумайтесь об использовании межсетевого фильтра. Он действует как фильтр между вашим компьютером/сервером и интернетом, чтобы защищать сайт от спам-ботов.
Оповещения от Google Analytics, чтобы не упустить трафик от спам-ботов
Используйте специальные оповещения для отслеживания необычных скачков в ежедневном трафике, особенно в прямом и реферальном. В этом случае вы сможете быстро находить и устранять плохих ботов и тем самым минимизировать их воздействие.
По материалам Optimize Smart.
