PDA

Просмотр полной версии : ahrefs.com -новая пакость интернета


moymir
19.07.2013, 22:21
В среду запустил на альфа тест аналазитор статистики трафика. Сегодня просмотрел первые результаты. Какой то бот ака AhrefsBot заходит на сайт в день по несколько раз и сканирует все ресурсы.

В логах проходит как:

[HTTP_USER_AGENT] => Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)

[HTTP_X_FORWARDED_FOR] => 46.8.35.129


Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть. Если кто сталкивался с этим чудом, поделитесь инфой.

Tatyana Belyakova
19.07.2013, 22:38
ahrefs.com -новая пакость интернета
Да обычный поисковый бот. Чего вы так всполошились?

JackDaniels
19.07.2013, 22:47
AhrefsBot
Удаляет данные с сайта, сервер из датацентра и левую почку у вебмастера.

moymir
19.07.2013, 22:54
ahrefs.com -новая пакость интернета
Да обычный поисковый бот. Чего вы так всполошились?

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

JackDaniels
19.07.2013, 23:01
ahrefs.com -новая пакость интернета
Да обычный поисковый бот. Чего вы так всполошились?

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

Это SEO-инструмент.
Пусть заходит, жалко вам что ли? :)

У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.
И в секунду такой объем обрабатывается, ничего страшного. :)

moymir
19.07.2013, 23:17
Да обычный поисковый бот. Чего вы так всполошились?

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

Это SEO-инструмент.
Пусть заходит, жалко вам что ли? :)

У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.
И в секунду такой объем обрабатывается, ничего страшного. :)

Зашел к ним на сайт. Все самое сладкое у них за деньги. Выходит я еще им и деньги какие то должен платить )))

Насчет просмотров и трафика как то вопрос не стоит. Ну не у всех же трафик бесплатный. В узинфокоме к примеру есть планы по 20 сум за лишний мегабайт внешнего трафика. А эти красавцы примерно 60 метров снимают с сервера в день ))

JackDaniels
19.07.2013, 23:30
А эти красавцы
Просто никто кроме нас не в курсе, что трафик до сервера может еще чего-то стоить. :)

moymir
19.07.2013, 23:35
А эти красавцы
Просто никто кроме нас не в курсе, что трафик до сервера может еще чего-то стоить. :)

Это точно.

akai
20.07.2013, 00:04
Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть.

Откройте для себя robots.txt

How to turn it off?

The quick way to prevent AhrefsBot from visiting your site is to put these two lines into the /robots.txt file on your server:


user-agent: AhrefsBot
disallow: /

moymir
20.07.2013, 00:40
Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть.

Откройте для себя robots.txt

How to turn it off?

The quick way to prevent AhrefsBot from visiting your site is to put these two lines into the /robots.txt file on your server:


user-agent: AhrefsBot
disallow: /


В первую очередь это сделал. Не помогло. Правда просто домен они перестали индексировать. Теперь смотрят www.домен (http://www.домен)

Азизбек Кадыров
20.07.2013, 18:10
В первую очередь это сделал. Не помогло. Правда просто домен они перестали индексировать. Теперь смотрят www.домен

А если сделать переадресацию с http://www.{site}.uz на http://{site}.uz ?

Stoodent
20.07.2013, 23:09
1. В robots.txt сайта добавить:

User-agent: AhrefsBot
Disallow: /

2. В .htaccess в корне сайта добавить:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule ^.* - [F,L]

GhostJke
27.07.2013, 22:32
А мне он понравился)) , как раз нужная вещь для накрутки просмотров xD

moymir
28.07.2013, 12:54
А мне он понравился)) , как раз нужная вещь для накрутки просмотров xD

Накрутку они классную дают, это факт. Их робот и просто домен смотрит и www.домен (http://www.домен) ))) Жалко ип адреса они не меняют.

С бобном играть не стал. Просто смотрю если в строчке HTTP_USER_AGENT есть AhrefsBot то выдаю просто OK и команду на выход.