Моё меню Общее меню Пользователи Правила форума Все прочитано
Вернуться   uForum.uz > ИКТ и телеком > Веб-ресурсы и доменные имена > Каталоги и поисковики > WWW.UZ
Знаете ли Вы, что ...
...для каждой темы существует свой раздел. Изучите структуру форума. Если соответствующего раздела нет, то всегда есть раздел "Разное" :)
<< Предыдущий совет - Случайный совет - Следующий совет >>

WWW.UZ Национальная информационно-поисковая система WWW.UZ. Раздел UZINFOCOM


Ответить

 
Опции темы Опции просмотра
Старый 24.02.2009 11:37   #1  
Known ID Group uParty Member
Аватар для Dolphin
Оффлайн
Imperium of Man
Inquisitor
Сообщений: 5,990
+ 5,680  4,442/2,033
– 128  137/102

Russian FederationОтправить сообщение для Dolphin с помощью ICQОтправить сообщение для Dolphin с помощью Skype™Facebook
UZINFOCOM dataparksearch bot - это кто и зачем?

Заметил сегодня в логах сервера такие вот запросы от www.uz. Это что-то вроде поискового бота? Если так, то почему он запрашивает такие неадекватные урлы?

Код:
195.158.5.130 - - [23/Feb/2009:22:58:14 +0500] "GET /publish/doc;<a%20href=?sort=3&page=205&limit=100 HTTP/1.0" 200 15647 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:16 +0500] "GET /publish/httppt><script%20type=?sort=5&page=135&limit=100 HTTP/1.0" 200 15646 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:16 +0500] "GET /publish/doc;<a%20href=?page=275&sort=6&limit=20 HTTP/1.0" 200 19353 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:18 +0500] "GET /publish/group293.html?sort=3&page=19&limit=10 HTTP/1.0" 200 9507 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:18 +0500] "GET /publish/group317?page=259&sort=3&limit=200 HTTP/1.0" 200 7179 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:19 +0500] "GET /publish/class=?page=24&sort=4&limit=20 HTTP/1.0" 200 19386 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:19 +0500] "GET /publish/post_thanks.php?sort=4&page=180&limit=200 HTTP/1.0" 200 15645 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:21 +0500] "GET /publish/<br?page=158&sort=0&limit=20 HTTP/1.0" 200 19294 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [23/Feb/2009:22:58:21 +0500] "GET /publish/;%c2%bb</strong></a></div></td></tr></table><table%20cellpadding=?sort=0&page=118&limit=10 HTTP/1.0" 200 17551 "-" "UZINFOCOM dataparksearch bot"
Вчера до одиннадцати поступали такие вот запросы, после - тишина до четырех утра, машины не выключались, но связь с интернетом пропала, насколько мне известно, у всей площадки Uzinfocom (на коей и наш сервер).

Код:
195.158.5.130 - - [24/Feb/2009:09:38:21 +0500] "GET /publish/images/avatars/?page=7&sort=6&limit=50 HTTP/1.0" 200 24184 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [24/Feb/2009:09:38:22 +0500] "GET /publish/post_thanks.php?sort=1&page=67&limit=20 HTTP/1.0" 200 19373 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [24/Feb/2009:09:38:23 +0500] "GET /publish/group317?page=183&sort=3&limit=10 HTTP/1.0" 200 9269 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [24/Feb/2009:09:38:24 +0500] "GET /publish/<br?page=80&sort=1&limit=20 HTTP/1.0" 200 19186 "-" "UZINFOCOM dataparksearch bot"
195.158.5.130 - - [24/Feb/2009:09:38:25 +0500] "GET /publish/href=?sort=5&page=47&limit=200 HTTP/1.0" 200 15920 "-" "UZINFOCOM dataparksearch bot"
В четыре утра появилась связь, а заодно и бот активизировался, совершенно неадекватно вел себя до 10 и пропал, а с 11 сменил тактику - запрашивает только robots.txt, но с завидной регулярностью.
По поводу кусков лога - с html-разметкой все ясно - кривой парсер, а более-менее нормальные урлы - многих из них у нас на сайтах и нет даже, например
Код:
/publish/post_thanks.php?sort=1&page=67&limit=20
напоминает урл какого-нибудь форума, а у нас форумы отключены, да и в любом случае они попадают в другой лог.

Обьясните, что это было, и надо ли это банить?
Ответить 
Старый 24.02.2009 12:10   #2  
Аватар для Ruslan Aliev
Оффлайн
AKA:Рустамыч
Сообщений: 2,598
+ 475  792/462
– 45  44/28

KazakhstanОтправить сообщение для Ruslan Aliev с помощью Skype™Мой КругАккаунт на Twitter
Тестируем различный поисковый софт.
Извиняюсь за неудобства, если они возникли.
Вообще был включен режим "уважения", при котором к одному сайту идут запросы не чаще 1 раза в секунду.
Если надо могу исключить ваш сайт из списков.
__________________
Свет рождает тени ...
Ответить 
Старый 24.02.2009 12:30   #3  
Known ID Group uParty Member
Аватар для Dolphin
Оффлайн
Imperium of Man
Inquisitor
Сообщений: 5,990
+ 5,680  4,442/2,033
– 128  137/102

Russian FederationОтправить сообщение для Dolphin с помощью ICQОтправить сообщение для Dolphin с помощью Skype™Facebook
Цитата:
Сообщение от Rustam Valiev Посмотреть сообщение
Тестируем различный поисковый софт. Извиняюсь за неудобства, если они возникли. Вообще был включен режим "уважения", при котором к одному сайту идут запросы не чаще 1 раза в секунду. Если надо могу исключить ваш сайт из списков.
Спасибо за информацию. Собственно запросы особых проблем не вызвали, а вот пропадание связи, если оно действительно было - неприятно.

По поводу частоты запросов - раз в секунду все-таки многовато у нас движок тяжеловат и страницу генерит 1-2 секунды... Если есть возможность, поставьте для нашего хоста задержку в 20-30 секунд, у нас все равно информация не очень часто обновляется.

Последний раз редактировалось Dolphin; 24.02.2009 в 12:32.
Ответить 
Старый 26.02.2009 13:42   #4  
Аватар для Maxime
Оффлайн
Сообщений: 3
+ 1  0/0
– 0  0/0

Russian Federation
Цитата:
Сообщение от Eclipse Посмотреть сообщение
По поводу кусков лога - с html-разметкой все ясно - кривой парсер, ...
А можно узнать URL сайта, посмотреть на кривизну парсера ?
Последние лет 5 никто не жаловался
Ответить 
Старый 26.02.2009 15:02   #5  
Known ID Group uParty Member
Аватар для Dolphin
Оффлайн
Imperium of Man
Inquisitor
Сообщений: 5,990
+ 5,680  4,442/2,033
– 128  137/102

Russian FederationОтправить сообщение для Dolphin с помощью ICQОтправить сообщение для Dolphin с помощью Skype™Facebook
Цитата:
Сообщение от Maxime Посмотреть сообщение
А можно узнать URL сайта, посмотреть на кривизну парсера ? Последние лет 5 никто не жаловался
Смотрите на здоровье:
http://validator.w3.org/check?uri=http%3A%2F%2Fpc.uz%2F
Ответить 
"+" от:
Старый 05.03.2009 05:41   #6  
Аватар для Maxime
Оффлайн
Сообщений: 3
+ 1  0/0
– 0  0/0

Russian Federation
Цитата:
Сообщение от Eclipse Посмотреть сообщение
Смотрите на здоровье:
http://validator.w3.org/check?uri=http%3A%2F%2Fpc.uz%2F
Проблема не в парсере была, а в спарадической ошибке, возникавшей при распаковке gzip-сжатого контента большого размера.

Но некоторые страницы у вас не валидны, например,
http://validator.w3.org/check?uri=ht...Inline&group=0
Ответить 
Старый 05.03.2009 07:21   #7  
Аватар для Ruslan Aliev
Оффлайн
AKA:Рустамыч
Сообщений: 2,598
+ 475  792/462
– 45  44/28

KazakhstanОтправить сообщение для Ruslan Aliev с помощью Skype™Мой КругАккаунт на Twitter
Максим, я извиняюсь за оффтоп.
Но вы и вот этот Максим случайно не одно и то же лицо?
__________________
Свет рождает тени ...
Ответить 
Реклама и уведомления
Старый 05.03.2009 08:18   #8  
Real ID Group uParty Member VITUS
Аватар для Vitaliy Fioktistov
Оффлайн
FOM Group
руководитель отдела разработки ПО
AKA:Vitus
Сообщений: 3,976
+ 2,659  2,138/1,101
– 123  21/18

UzbekistanОтправить сообщение для Vitaliy Fioktistov с помощью ICQОтправить сообщение для Vitaliy Fioktistov с помощью Skype™LiveJournalМой мирFacebook
Цитата:
Сообщение от Maxime Посмотреть сообщение
Цитата:
Сообщение от Eclipse Посмотреть сообщение
Смотрите на здоровье:
http://validator.w3.org/check?uri=http%3A%2F%2Fpc.uz%2F
Проблема не в парсере была, а в спарадической ошибке, возникавшей при распаковке gzip-сжатого контента большого размера.
Исправили?

Цитата:
Сообщение от Maxime Посмотреть сообщение
Но некоторые страницы у вас не валидны, например,
http://validator.w3.org/check?uri=ht...Inline&group=0
Ну там в основном на альты картинок ругань идет. Для парсеров это не особо критично. Но вообще, исправляем походу.
__________________
Почему в конце денег остается еще так много месяца?
Ответить 
Старый 05.03.2009 23:56   #9  
Аватар для Maxime
Оффлайн
Сообщений: 3
+ 1  0/0
– 0  0/0

Russian Federation
Цитата:
Сообщение от Vitaliy Fioktistov Посмотреть сообщение
Исправили?
Да, в последнем снапшоте или в svn-репозитоии на http://code.google.com/p/dataparksearch/source/checkout
Ответить 
Ответить
Опции темы
Опции просмотра




Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot
Advertisement System V2.5 By Branden
OOO «Единый интегратор UZINFOCOM»


Новые 24 часа Кто на форуме Новички Поиск Кабинет Все прочитано Вверх