ahrefs.com -новая пакость интернета

[moymir]

В среду запустил на альфа тест аналазитор статистики трафика. Сегодня просмотрел первые результаты. Какой то бот ака AhrefsBot заходит на сайт в день по несколько раз и сканирует все ресурсы.

В логах проходит как:

[HTTP_USER_AGENT] => Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)

[HTTP_X_FORWARDED_FOR] => 46.8.35.129


Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть. Если кто сталкивался с этим чудом, поделитесь инфой.

[Tatyana Belyakova]

Сообщение от moymir

ahrefs.com -новая пакость интернета

Да обычный поисковый бот. Чего вы так всполошились?

[JackDaniels]

Сообщение от moymir

AhrefsBot

Удаляет данные с сайта, сервер из датацентра и левую почку у вебмастера.

[moymir]

Сообщение от Tatyana Belyakova

Да обычный поисковый бот. Чего вы так всполошились?

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

[JackDaniels]

Сообщение от moymir

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

Это SEO-инструмент.
Пусть заходит, жалко вам что ли?

Сообщение от moymir

У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

И в секунду такой объем обрабатывается, ничего страшного.

[moymir]

Сообщение от JackDaniels

Это SEO-инструмент.
Пусть заходит, жалко вам что ли?

И в секунду такой объем обрабатывается, ничего страшного.

Зашел к ним на сайт. Все самое сладкое у них за деньги. Выходит я еще им и деньги какие то должен платить )))

Насчет просмотров и трафика как то вопрос не стоит. Ну не у всех же трафик бесплатный. В узинфокоме к примеру есть планы по 20 сум за лишний мегабайт внешнего трафика. А эти красавцы примерно 60 метров снимают с сервера в день ))

[JackDaniels]

Сообщение от moymir

А эти красавцы

Просто никто кроме нас не в курсе, что трафик до сервера может еще чего-то стоить.

[moymir]

Сообщение от JackDaniels

Просто никто кроме нас не в курсе, что трафик до сервера может еще чего-то стоить.

Это точно.

[akai]

Сообщение от moymir

Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть.

Откройте для себя robots.txt

How to turn it off?

The quick way to prevent AhrefsBot from visiting your site is to put these two lines into the /robots.txt file on your server:

user-agent: AhrefsBot
disallow: /

[moymir]

Сообщение от akai

Откройте для себя robots.txt

В первую очередь это сделал. Не помогло. Правда просто домен они перестали индексировать. Теперь смотрят www.домен