Инструкция: как избавиться от реферального спама в отчетах Google Analytics

Реферальный спам – это когда на ваш сайт идет поддельный трафик от спам-ботов, идентифицированный Google Analytics как «живой» трафик с других сайтов.

Что такое «бот»?

Бот – это программа, с высокой скоростью и точностью посылающая на сайт повторяющиеся задачи.

Боты чаще всего используются для индексирования сайтов и обновлений контента.

Но иногда они используются и во вредоносных целях:

• совершать кликфроды;
• парсить адреса электронной почты;
• парсить контент сайта;
• распространять вредоносные программы;
• накручивать трафик на сайт.

Таким образом, можно сделать вывод, что в зависимости от цели использования боты могут быть как полезными, так и вредоносными.

Полезные и вредоносные боты

Все боты делятся на те, которые могут исполнять сценарий javascript, и те, для которых данная функция недоступна.

Боты, исполняющие сценарий javascript, отображаются в отчетах GA как хиты и искажают данные по трафику (как прямому, так и реферальному), а также данные по отказам, конверсиям и т.д.

Боты, не исполняющие сценарий javascript, не могут влиять на счетчик. Они не отображаются в отчетах как трафик и не изменяют параметров метрик.

Примером полезного бота может служить гугл-бот, используемый Google для сканирования сайта и индексации его контента.

Гугл-боты следуют правилам robots.txt, тогда как вредоносные боты им не подчиняются, вследствие чего наносят весьма существенный вред: создают поддельные аккаунты, рассылают e-mail спам, парсят e-mail адреса и обходят капчу.

Вредоносные боты используют множество способов для маскировки, из-за чего их достаточно тяжело обнаружить. Выдающий себя за трафик с реально существующего сайта, бот легко вводит в заблуждение практически любого пользователя.

Никто не может с точностью сказать, какие из вредоносных ботов могут отразиться в отчетах вашей GA, а какие – нет, поэтому, для данных вашей аналитики все вредоносные боты потенциально опасны.

Спам-боты

Когда вредоносный бот используется для спама, он так и называется – спам-бот.

Спам-боты ежедневно посещают сотни и даже тысячи сайтов, посылая им http запросы с разных доменов. Подобная тактика позволяет им выдавать себя за реальных пользователей.

Часто таким образом спамеры пытаются получить бэк-линки на свои сайты.

Когда ваш сайт получает запрос от реферального спам-бота, данные сразу же записываются вашим лог-файлом. Далее Google просматривает ваши лог-файлы, воспринимает спам-ссылку как бэклинк с вашего сайта и автоматически определяет его в качестве ссылочного донора для сайта-спамера.

Именно на такую последовательность действий и рассчитывают спамеры. На самом деле, гугл-бот в состоянии отличить лог-файл от реальной веб-страницы и не учитывать такие псевдо-ссылки. И, наконец, спам-боты умеют обходить фильтры Google Analytics: именно поэтому они попадают в отчеты по реферальному трафику.

Ботнет

Если спам-бот использует ботнет (то есть сеть зараженных компьютеров), то он посылает реферальные запросы на ваш сайт с сотен разных IP, из-за чего такой метод борьбы с ботами, как составление черного листа IP-адресов, оказывается неэффективным. И чем больше ботнет спамера, тем сильнее он будет портить статистику посещаемости вашего сайта.

Но существуют такие спам-боты, которые отправляют на сайты не реферальные, а прямые запросы, и тогда данные об их посещениях появляются в отчетах по Direct трафику.

Один спам-бот способен генерировать десятки поддельных реферальных сайтов, поэтому блокировка одного реферала не может гарантировать непосредственной изоляции всего бота. Деятельность подобных спам-ботов приносит массу неприятностей, но, по большому счету, огромной опасности из себя не представляет, а вот настоящая опасность вас подстерегает с другой стороны.

Реально опасные спам-боты

Пожалуй, самыми опасными являются спам-боты, в задачу которых входит не просто подпортить вам статистику, спарсить контент или данные пользователей, а еще и заразить ваш компьютер, чтобы сделать его частью ботнета. И самое скверное заключается в том, что вы можете даже и не подозревать, что ваш компьютер является частью ботнета.

Как правило, заражение компьютера происходит следующим образом. В вашем отчете GA по рефералам появляется некий сайт. Вы переходите по ссылке, чтобы посмотреть, что это за площадка, и в процессе перехода ваш компьютер «цепляет» вирус. Для того чтобы такого не произошло, всегда нужно помнить: не стоит переходить по незнакомым сайтам из реферального отчета без включенного антивируса. Если же переход по сомнительной ссылке по каким-то причинам необходим, лучше воспользоваться другим (не основным для вас) компьютером.

Умные спам-боты

Некоторые особо умные спам-боты могут подпортить вам отчет GA и не посещая ваш сайт. Для этого им необходим ваш GA-счетчик.

Например, они могут послать запрос с bbc.co.uk – официального сайта телеканала BBC. Увидев его в отчете по реферальному трафику, вы будете уверены, что с сайта BBC к вам приходили пользователи, но, к сожалению, реальное положение дел будет иным. Поскольку подобные боты не посещают ваш сайт, а только создают видимость его посещения, информация о них не фиксируется на вашем лог-сервере, а значит, вы не сможете их заблокировать ни по IP, ни через user agent ни по реферальной ссылке, ни каким-либо иным образом.

Не все веб-сайты подвергаются воздействию ботов одинаково

Степень воздействия на сайт прямо пропорциональна его уязвимости. Боты нападают на слабозащищенные сайты, размещенные на дешевом хостинге или использующие бесплатные CMS. Проблема бесплатных CMS и дешевых хостингов состоит в том, что их редко и слабо тестируют на уязвимость. Потому одна из рекомендаций по защите своего сайта от атак ботов заключается в том, чтобы использовать только проверенные CMS и хостинги с хорошей репутацией.

Также нередко атаке спам-ботов подвергаются сайты, участвующие в партнерских программах. Если вы платите партнеру за совершенную покупку, подтвержденную заявку на сайте или любое другое действие, которое вы можете самостоятельно проверить, то беспокоиться не о чем. Но если результатом оплаты партнеру является увеличение трафика на сайт или заполненная (но не подтвержденная) заявка, то будьте готовы к тому, что найдутся недобросовестные вебмастера, которые будут использовать ботов, чтобы накрутить посещения или регистрации и получить с этого вознаграждение.

Шаги, помогающие избавиться от реферального спама:

Шаг №1: откройте отчет по рефералам в Google Analytics и отсортируйте данные по показателю отказов в порядке убывания.

Шаг №2: выберите сайты с процентом отказов 100% и 0% и количеством визитов от 10 – велика вероятность, что это спам-боты.

Шаг №3: проверьте, присутствуют ли отобранные рефералы в этом списке – их наличие будет являться несомненным подтверждением, что перед вами спам-бот.

Шаг №4: если подозрительный сайт отсутствует в этом списке, то есть вероятность того, что он настоящий. При необходимости это можно проверить, посетив его страницу. Но идти на подобный риск стоит только в том случае, если вы уверены, что ваш сайт и ваш компьютер находятся под защитой надежного антивируса.

Шаг №5: как только вы определились со списком реферальных ботов, их следует заблокировать от посещения вашего сайта.

Обратите внимание: попытка удаления реферальных ботов из источников перехода не принесет желаемого результата. В момент изъятия данных о посещениях ботов из отчета по реферальному трафику, GA перебросит данные по посещениям в отчет по прямому трафику, и если они там отобразятся, то избавиться от этого трафика будет уже невозможно.

Так что же делать?

1. Откройте .htaccess вашего сайта и добавьте туда следующий код:

RewriteEngine On

Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*semalt\.com\ [NC,OR]

RewriteRule .* – [F]

Этот код заблокирует всех http и https рефералов. В данном примере в итоге будут заблокированы все заходы с доменов и сабдоменов “semalt.com”.

2. Заблокируйте IP-адреса спам-ботов и в .htaccess файле пропишите следующий код:

RewriteEngine On

Options +FollowSymlinks

Order Deny,Allow

Deny from 234.45.12.33

Соответственно, в поле “Deny from” впишите IP бота, предназначенного для блокировки.

Не пытайтесь заблокировать все известные вам IP ботов, так как это перегрузит ваш .htaccess файл и негативно повлияет на качество работы вашего сервера. Блокируйте только те, что атаковали ваш сайт. Если ваш лист спамных IP продолжает активно увеличиваться, то это говорит о том, что у вашего сайта большие проблемы с защитой. Обратитесь к своему хостинг-провайдеру для решения имеющейся проблемы. Если после обращения не последует ощутимого положительного результата – смените его.

И еще рекомендация: для того чтобы оперативно реагировать на поступающие угрозы, попытайтесь автоматизировать процесс передачи спамных IP в .htaccess через специальный скрипт.

3. Для блокировки целого ряда IP подходит следующий код:

RewriteEngine On

Options +FollowSymlinks

Deny from 76.149.24.0/24

Allow from all

где 76.149.24.0/24 – это CIDR (Classless Inter-Domain Routing). Подробнее с описанием этого инструмента можно ознакомиться здесь: http://www.ipaddressguide.com/cidr .

4. Заблокируйте user agent, используемые спам-ботами.

Чтобы их вовремя выявить, необходимо хотя бы раз в неделю проверять лог-файлы вашего сервера. При обнаружении подозрительных user agent блокируйте их с помощью данного кода в .htaccess:

RewriteEngine On

Options +FollowSymlinks

RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]

RewriteRule .* – [F,L]

Для более точного определения вредоносных user agent найдите их список в Google и сравните со своим. Совпавшие позиции следует заблокировать безотлагательно.

Также попробуйте автоматизировать процесс выявления вредоносных user agent с помощью специального скрипта. И не забывайте о постоянном обновлении базы вредоносных скриптов.

5. Используйте фильтр ботов в Google Analytics, чтобы исключить их из данных по реферальному трафику.

6. Проверяйте ваш лог-сервер минимум один раз в неделю.

Начните борьбу с ботами на серверном уровне. Если вы сможете выявить и исключить их на этом шаге, то потом вам не придется бороться с ними в отчетах GA.

7. Используйте firewall в качестве фильтра между вашим компьютером/веб-сервером и интернетом.

8. Чтобы дополнительно обезопасить компьютер и сайт, для выхода в интернет используйте Google Chrome: он качественно отфильтровывает вредоносные сайты, что автоматически снижает риск заражения.

9. Используйте custom alerts в GA: он с высокой степенью точности подает сигналы о подозрительных рефералах.

Удачи в борьбе со спамерами!

Источник: optimizesmart.com