Индексирование базы whois поисковиками

[Evgeniy Sklyarevskiy]

Сообщение от Rustam Tursunov

Я не знаю как поисковики проходят на не ссылающиеся ссылки, но по личному опыту могу сказать, что если не запретить в robots.txt, они откуда-то узнав переходят.
Вот к пример сайты обреченные, используя редактор InnovaStudio:
http://www.google.ru/search?q=assetm...ger.php%3Flang
Пройдя на некоторые ссылки, Вы можете удалять и загружать новые рисунки в этот сайт.
Как Вы думаете, как поисковик может пройти в административную часть сайтов?

В одном из обсуждений (ссылки нет) говорилось, что современные поисковики игнорируют robots.txt - ибо коммерция...

[Georgick]

каптчу просто ввести нужно.
и даже постом можно не отдавать, если
использовать на каждого посетителя еще и уникальный идентификатор.

По поводу robots.txt - крупнейшие поисковики все поддерживают, а вот новые и мелкие - далеко не все.

[Nodir Sharipov]

Да согласен с ТС о том что cctld прсто отлично индексируется ботами ПС. И в поиске имеет место в топе
Считаю то что оно индексируется это не плохо, так что пускай остаётся открытым для индексации.

[olegdanilov]

Крупнейшие регистраторы действительно блокируют передачу ботам данных из whois базы различными методами.

Это носит правда характер защиты от множественных запросов поисковых систем, которые создают нагрузку.

"шерстить" же базу принято стандартной linux командой
whois domain.uz

Кстати в зоне uz отдача идет левая вообще, уже года 3.

[Rustam Khamidov]

Сообщение от olegdanilov

Кстати в зоне uz отдача идет левая вообще, уже года 3.

Объясните пожалуйста о чем идет речь, если можно поподробнее.

[Anatoliy Pelepetz]

Сообщение от olegdanilov

Крупнейшие регистраторы действительно блокируют передачу ботам данных из whois базы различными методами.
Это носит правда характер защиты от множественных запросов поисковых систем, которые создают нагрузку.
"шерстить" же базу принято стандартной linux командой
whois domain.uz
Кстати в зоне uz отдача идет левая вообще, уже года 3.

сам поисковый бот на скока мне известно не умеет шерстить whois базу, а whois данные с uz домена попадают в поисковик с главной страницы сайта cctld.uz . В блоке "новые домены" есть ссылки на whois информацию.

А левая информация наверно из за того, что данные во whois базе меняются быстрее чем данные в поисковых системах, вот и получается что они там не правильные

[Evgeniy Sklyarevskiy]

Сообщение от Rustam Khamidov

Объясните пожалуйста о чем идет речь, если можно поподробнее.

Мне кажется Олег говорит о том, что стандартные хуиз-скрипты наш домен не показывают - у нас типа свой путь. Я столкнулся с этим еще в 2003 и помнится, ты сам, Рустам, мне все это объяснял?

[olegdanilov]

Сообщение от Rustam Khamidov

Объясните пожалуйста о чем идет речь, если можно поподробнее.

Отвечаю сразу по возможности всем.

Итак, речь идет о linux команде whois

смотрим на выдачу (на примере этого домена)

root@msk [~]# whois uforum.uz
[Querying http://www.noc.uz/whois.php4]

Результаты поиска
Имя: uforum.uz не найдено.

[1]
» Закрыть это окно «

[2]Home :: [3]Информация :: [4]Регистация :: [5]Контакты ::
[6]Партнеры :: [7]Links :: [8]Sitemap :: [9]FAQ
Copyright ©Tomas

References

1. javascript:window.close();
2. http://www.noc.uz/index.html
3. http://www.noc.uz/inf.html
4. http://www.noc.uz/form.html
5. http://www.noc.uz/adr.html
6. http://www.noc.uz/whois.php4
7. http://www.noc.uz/whois.php4
8. http://www.noc.uz/whois.php4
9. http://www.noc.uz/whois.php4


теперь пример для зоны ru (ru взята для примера, можете взять com или еще чего)

root@msk [~]# whois mail.ru
[Querying whois.ripn.net]
[whois.ripn.net]
% By submitting a query to RIPN's Whois Service
% you agree to abide by the following terms of use:
% http://www.ripn.net/about/servpol.html#3.2 (in Russian)
% http://www.ripn.net/about/en/servpol.html#3.2 (in English).

domain: MAIL.RU
type: CORPORATE
nserver: ns3.mail.ru. 194.67.23.17
nserver: ns5.mail.ru. 194.67.23.232
nserver: ns.mail.ru. 194.67.23.130
nserver: ns4.mail.ru. 194.67.57.4
nserver: ns1.mail.ru. 194.67.57.103
nserver: ns2.mail.ru. 194.67.57.104
state: REGISTERED, DELEGATED
org: netBridge Limited
phone: +7 495 7256357
fax-no: +7 495 7256359
e-mail: domain@corp.mail.ru
e-mail: gabrelyan@corp.mail.ru
registrar: RUCENTER-REG-RIPN
created: 1997.09.27
paid-till: 2008.10.01
source: TC-RIPN


Last updated on 2008.01.23 09:13:22 MSK/MSD


Фича реализуется оч. просто - нужен демон (коих бесплатных то полно), да и написать не очень трудно, там все просто.


Что же касается индексацией поисковиками, я говорил не про это, я там написал "шерстить" приянято, имелось ввиду шерсят не поисковики а скрипты написанные людьми которые такую инфу собирают. Зачем они это делают наверно говорить не нужно

Защищаются тоже просто ставят лимиты на кол-во обращений в час с одного IP.

[Rustam Khamidov]

Сообщение от Evgeniy Sklyarevskiy

Мне кажется Олег говорит о том, что стандартные хуиз-скрипты наш домен не показывают - у нас типа свой путь. Я столкнулся с этим еще в 2003 и помнится, ты сам, Рустам, мне все это объяснял?

С тех пор как Узинфоком запустил стандартный whois сервер (не веб интерфейс), ситуация значительно изменилась. Вы можете воспользоваться стандартной программой в линуксе
$ whois arbuz.uz -h whois.uz
или $ whois arbuz.uz -h 195.158.1.25
и получить ответ как в других зонах (нету больше "у нас типа свой путь" и достаточно давно). В винде помнится тоже был софт, но не встроенный в винду, а свободно скачиваемый, где работа идет тоже по протоколу whois (tcp unity 43).
Для зоны co.uz и com.uz после ключа -h должно быть nss.reg.uz или 87.139.46.51
Пример: $whois microsoft.com.uz -h nss.reg.uz

Другое дело, что разработчики софта клиентов whois, не для всех зон включают айпи адреса whois серверов (в линуксе смотри /etc/jwhois.conf, у себя я правил этот файл для зон .eu, .biz, .org и еще около 6 зон навскидку не припоминаю).

Поэтому еще раз, Евгений Семенович, прошу здесь уточнить о каких левых данных идет речь?

P.S. whois.uz это алиас для удобства пользователей от хоста whois.cctld.uz
А nss.reg.uz это привычное и удобное для меня название от whois.reg.uz

[Rustam Khamidov]

Сообщение от olegdanilov

Отвечаю сразу по возможности всем.

Итак, речь идет о linux команде whois

Эта команда насколько помнится из пакета jwhois (или ему подобного). Разработчики, которой не осведомлены о наших whois серверах. И наверное они настолько увлечены работой, что им недосуг прочитать http://iana.org/root-whois/uz.htm (официальный документ), а так же время от времени обновлять данные по другим зонам. *-)

P.S. неработа whois сервиса по Вашим личным данным и "в зоне uz отдача идет левая вообще, уже года 3", на мой взгляд не совсем корректно.