uForum.uz

uForum.uz (https://uforum.uz/index.php)
-   Борьба со спамом (https://uforum.uz/forumdisplay.php?f=349)
-   -   ahrefs.com -новая пакость интернета (https://uforum.uz/showthread.php?t=19683)

moymir 19.07.2013 22:21

ahrefs.com -новая пакость интернета
 
В среду запустил на альфа тест аналазитор статистики трафика. Сегодня просмотрел первые результаты. Какой то бот ака AhrefsBot заходит на сайт в день по несколько раз и сканирует все ресурсы.

В логах проходит как:

[HTTP_USER_AGENT] => Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)

[HTTP_X_FORWARDED_FOR] => 46.8.35.129


Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть. Если кто сталкивался с этим чудом, поделитесь инфой.


Tatyana Belyakova 19.07.2013 22:38

Цитата:

Сообщение от moymir (Сообщение 917347)
ahrefs.com -новая пакость интернета

Да обычный поисковый бот. Чего вы так всполошились?

JackDaniels 19.07.2013 22:47

Цитата:

Сообщение от moymir (Сообщение 917347)
AhrefsBot

Удаляет данные с сайта, сервер из датацентра и левую почку у вебмастера.

moymir 19.07.2013 22:54

Цитата:

Сообщение от Tatyana Belyakova (Сообщение 917349)
Цитата:

Сообщение от moymir (Сообщение 917347)
ahrefs.com -новая пакость интернета

Да обычный поисковый бот. Чего вы так всполошились?

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

JackDaniels 19.07.2013 23:01

Цитата:

Сообщение от moymir (Сообщение 917355)
Цитата:

Сообщение от Tatyana Belyakova (Сообщение 917349)
Цитата:

Сообщение от moymir (Сообщение 917347)
ahrefs.com -новая пакость интернета

Да обычный поисковый бот. Чего вы так всполошились?

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

Это SEO-инструмент.
Пусть заходит, жалко вам что ли? :)

Цитата:

Сообщение от moymir (Сообщение 917355)
У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

И в секунду такой объем обрабатывается, ничего страшного. :)

moymir 19.07.2013 23:17

Цитата:

Сообщение от JackDaniels (Сообщение 917358)
Цитата:

Сообщение от moymir (Сообщение 917355)
Цитата:

Сообщение от Tatyana Belyakova (Сообщение 917349)
Да обычный поисковый бот. Чего вы так всполошились?

Да больно бот какой то настырный , и еще видно с памятью у него худо. По несколько раз в день заходит и все страницы прочитывает. У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

Это SEO-инструмент.
Пусть заходит, жалко вам что ли? :)

Цитата:

Сообщение от moymir (Сообщение 917355)
У меня на сайте около 400 страниц, вот и выходит 1200 левых просмотров в день.

И в секунду такой объем обрабатывается, ничего страшного. :)

Зашел к ним на сайт. Все самое сладкое у них за деньги. Выходит я еще им и деньги какие то должен платить )))

Насчет просмотров и трафика как то вопрос не стоит. Ну не у всех же трафик бесплатный. В узинфокоме к примеру есть планы по 20 сум за лишний мегабайт внешнего трафика. А эти красавцы примерно 60 метров снимают с сервера в день ))

JackDaniels 19.07.2013 23:30

Цитата:

Сообщение от moymir (Сообщение 917364)
А эти красавцы

Просто никто кроме нас не в курсе, что трафик до сервера может еще чего-то стоить. :)

moymir 19.07.2013 23:35

Цитата:

Сообщение от JackDaniels (Сообщение 917366)
Цитата:

Сообщение от moymir (Сообщение 917364)
А эти красавцы

Просто никто кроме нас не в курсе, что трафик до сервера может еще чего-то стоить. :)

Это точно.

akai 20.07.2013 00:04

Цитата:

Сообщение от moymir (Сообщение 917347)
Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть.

Откройте для себя robots.txt

Цитата:

How to turn it off?

The quick way to prevent AhrefsBot from visiting your site is to put these two lines into the /robots.txt file on your server:

Код:

user-agent: AhrefsBot
disallow: /



moymir 20.07.2013 00:40

Цитата:

Сообщение от akai (Сообщение 917368)
Цитата:

Сообщение от moymir (Сообщение 917347)
Пока закрыл на этот IP вход на сайт. Ну наверное у этих спамеров другие адреса есть.

Откройте для себя robots.txt

Цитата:

How to turn it off?

The quick way to prevent AhrefsBot from visiting your site is to put these two lines into the /robots.txt file on your server:

Код:

user-agent: AhrefsBot
disallow: /



В первую очередь это сделал. Не помогло. Правда просто домен они перестали индексировать. Теперь смотрят www.домен


Текущее время: 18:40. Часовой пояс GMT +5.

Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot
OOO «Единый интегратор UZINFOCOM»