Индексирование базы whois поисковиками

[Alexander V. Grigoriev]

зачем ждать индексирования, и зачем так сложно все делать, через гугл?? можно просто зайти на cctld.uz и в окошке домен(с права под меню) написать название домена и все покажет сразу, есть такой домен или нет

Да, но при (не)благоприятном стечении обстоятельств информация в гугле может появиться раньше, чем домен будет зарегистрирован каким-либо нерасторопным регистратором. Хотя вероятность такого достаточно мала.

Когда я набрал этот запрос в гугле там было написано "370 результатов", но оказалось что реально результатов всего 37 (об этом я узнал уже после своего поста). Так что действительно, толку мало от этого.

Кстати то что веб whois не запрещён к индексации, позволяет тем же гуглем производит поиск по базе whois, ну скажем посмотреть все домены зарегистрированные на определённую фамилию, или произвести поиск домена по городу/стране и т.д. Наверное это всё-таки минус, потому что на других whois'ах не принято предоставлять информацию поисковым роботам (лично я не встречал не одного такого, кроме вашего). И хотя с одной стороны, это может быть иногда интересно, всё-таки наличие в поисковике личной информации пользователей (имя+телефон+адрес) без их согласия, скорее всего, не правильно. Хотя лично мне в принципе без разницы (телефон сотовый, а адрес с а/я).

[Daniyar Atadjanov]

Кстати то что веб whois не запрещён к индексации, позволяет тем же гуглем производит поиск по базе whois, ну скажем посмотреть все домены зарегистрированные на определённую фамилию, или произвести поиск домена по городу/стране и т.д.

Не преувеличивайте. В Гугл попадает то, на что ссылаются. Т. е. проиндексированы будут только те страницы с информацией о домене, на которые кто-либо где-либо ссылался. Да и кто запрещает искать по фамилии или по стране?

[Rustam Tursunov]

Не преувеличивайте. В Гугл попадает то, на что ссылаются. Т. е. проиндексированы будут только те страницы с информацией о домене, на которые кто-либо где-либо ссылался. Да и кто запрещает искать по фамилии или по стране?

Вы ошибаетесь в этом.

[Djalolatdin Rakhimov]

Вынесено в отдельную тему:

Да, но при (не)благоприятном стечении обстоятельств информация в гугле может появиться раньше, чем домен будет зарегистрирован каким-либо нерасторопным регистратором. Хотя вероятность такого достаточно мала.

Когда я набрал этот запрос в гугле там было написано "370 результатов", но оказалось что реально результатов всего 37 (об этом я узнал уже после своего поста). Так что действительно, толку мало от этого.

Кстати то что веб whois не запрещён к индексации, позволяет тем же гуглем производит поиск по базе whois, ну скажем посмотреть все домены зарегистрированные на определённую фамилию, или произвести поиск домена по городу/стране и т.д. Наверное это всё-таки минус, потому что на других whois'ах не принято предоставлять информацию поисковым роботам (лично я не встречал не одного такого, кроме вашего). И хотя с одной стороны, это может быть иногда интересно, всё-таки наличие в поисковике личной информации пользователей (имя+телефон+адрес) без их согласия, скорее всего, не правильно. Хотя лично мне в принципе без разницы (телефон сотовый, а адрес с а/я).

Что будем делать? Не пускать ботов? К чему это может привести? Стоит ли блокировать поисковики?

[Djalolatdin Rakhimov]

Вы ошибаетесь в этом.

либо аргументируйте/расшифровывайте подобные утверждения, либо они будут удаляться

[Alexander V. Grigoriev]

Не преувеличивайте. В Гугл попадает то, на что ссылаются. Т. е. проиндексированы будут только те страницы с информацией о домене, на которые кто-либо где-либо ссылался.

Не только, существуют ещё разные панельки к браузерам типа яндекс-бара или google toolbar (лично я использую page promoter), которые отображают тиц и/или pr, для чего отправляют на гугле/яндекс/.... адрес каждой страницы, посещаемой пользователем. Как вы думаете, попадают в поисковик страницы типа этих:

наберите в гугле:

Squid Analysis Report Generator Сгенерирован sarg

Ну и конечно на главной странице сайта cctld.uz каждый день есть новые ссылки на whois, поэтому гугле их и индексирует.

Да и кто запрещает искать по фамилии или по стране?

Наверное никто не запрещает, просто это дополнительная возможность найти реальные данные человека, если он имеет домен uz. Лично мне это мало интересно, просто рассказал о такой возможности для тех, кто этого не знал.

[Alexander V. Grigoriev]

К чему это может привести?

Ну в общем такой побочный эффект: кому-либо нужно узнать адрес по фамилии-имени. Он набирает ФИО в гугле, и возможно среди результатов будет и страничка с whois-а. То есть, это такой дополнительный способ "вычислить" человека, то есть собрать данные о нём, имея только скажем фамилию или емейл и город проживания. Я думаю, всё-таки в этом ничего хорошего нет. Не даром все веб-whois'ы запрещают индексацию поисковиками.

[Djalolatdin Rakhimov]

Не даром все веб-whois'ы запрещают индексацию поисковиками.

Можно ли как-то получить подтверждение данной инфо? Было бы убедительно. Спасибо.

[Alexander V. Grigoriev]

Можно ли как-то получить подтверждение данной инфо? Было бы убедительно. Спасибо.

Ну это просто мои предположения. Просто я никогда не встречал в результатах поиска в гугле какие-нибудь whois results. Конечно такого не может быть, чтобы вообще все веб сервисы запрещали бы индексацию своей выдачи.

Сейчас посмотрел специально в гугле: да, действительно, я ошибаюсь. Некоторые web whois results индексируются. Просто большинство whois при обработке веб-форм используют POST, а не GET. И видимо ещё и по-этому их нет в поисковых базах.

[Djalolatdin Rakhimov]

Ну это просто мои предположения. Просто я никогда не встречал в результатах поиска в гугле какие-нибудь whois results. Конечно такого не может быть, чтобы вообще все веб сервисы запрещали бы индексацию своей выдачи.

Сейчас посмотрел специально в гугле: да, действительно, я ошибаюсь. Некоторые web whois results индексируются. Просто большинство whois при обработке веб-форм используют POST, а не GET. И видимо ещё и по-этому их нет в поисковых базах.

почему я просил, так как недавно была новость:


PocketGames.Ru обиделся на поисковики

И запретил индексацию сайта всем поисковым системам Интернета, включая Яндекс, Google, Rambler, Yahoo!, Апорт и сотням другим.
http://www.handy.ru/a/2007/04/10/6806.html
http://news.yandex.ru/yandsearch?rpt=nnews&grhow=clutop&text=pocketgame

[Evgeniy Sklyarevskiy]

Я не знаю как поисковики проходят на не ссылающиеся ссылки, но по личному опыту могу сказать, что если не запретить в robots.txt, они откуда-то узнав переходят.
Вот к пример сайты обреченные, используя редактор InnovaStudio:
http://www.google.ru/search?q=assetmanager%2Fassetmanager.php%3Flang
Пройдя на некоторые ссылки, Вы можете удалять и загружать новые рисунки в этот сайт.
Как Вы думаете, как поисковик может пройти в административную часть сайтов?

В одном из обсуждений (ссылки нет) говорилось, что современные поисковики игнорируют robots.txt - ибо коммерция...

[Georgick]

каптчу просто ввести нужно.
и даже постом можно не отдавать, если
использовать на каждого посетителя еще и уникальный идентификатор.

По поводу robots.txt - крупнейшие поисковики все поддерживают, а вот новые и мелкие - далеко не все.

[Nodir Sharipov]

Да согласен с ТС о том что cctld прсто отлично индексируется ботами ПС. И в поиске имеет место в топе :)
Считаю то что оно индексируется это не плохо, так что пускай остаётся открытым для индексации.

[olegdanilov]

Крупнейшие регистраторы действительно блокируют передачу ботам данных из whois базы различными методами.

Это носит правда характер защиты от множественных запросов поисковых систем, которые создают нагрузку.

"шерстить" же базу принято стандартной linux командой
whois domain.uz

Кстати в зоне uz отдача идет левая вообще, уже года 3.

[Rustam Khamidov]

Кстати в зоне uz отдача идет левая вообще, уже года 3.
Объясните пожалуйста о чем идет речь, если можно поподробнее.

[Anatoliy Pelepetz]

Крупнейшие регистраторы действительно блокируют передачу ботам данных из whois базы различными методами.
Это носит правда характер защиты от множественных запросов поисковых систем, которые создают нагрузку.
"шерстить" же базу принято стандартной linux командой
whois domain.uz
Кстати в зоне uz отдача идет левая вообще, уже года 3.

сам поисковый бот на скока мне известно не умеет шерстить whois базу, а whois данные с uz домена попадают в поисковик с главной страницы сайта cctld.uz (http://cctld.uz/). В блоке "новые домены" есть ссылки на whois информацию.

А левая информация наверно из за того, что данные во whois базе меняются быстрее чем данные в поисковых системах, вот и получается что они там не правильные

[Evgeniy Sklyarevskiy]

Кстати в зоне uz отдача идет левая вообще, уже года 3.
Объясните пожалуйста о чем идет речь, если можно поподробнее.

Мне кажется Олег говорит о том, что стандартные хуиз-скрипты наш домен не показывают - у нас типа свой путь. Я столкнулся с этим еще в 2003 и помнится, ты сам, Рустам, мне все это объяснял?

[olegdanilov]

Кстати в зоне uz отдача идет левая вообще, уже года 3.
Объясните пожалуйста о чем идет речь, если можно поподробнее.

Отвечаю сразу по возможности всем.

Итак, речь идет о linux команде whois

смотрим на выдачу (на примере этого домена)

root@msk [~]# whois uforum.uz
[Querying http://www.noc.uz/whois.php4]

Результаты поиска
Имя: uforum.uz не найдено.

[1]
» Закрыть это окно «

[2]Home :: [3]Информация :: [4]Регистация :: [5]Контакты ::
[6]Партнеры :: [7]Links :: [8]Sitemap :: [9]FAQ
Copyright ©Tomas

References

1. javascript:window.close();
2. http://www.noc.uz/index.html
3. http://www.noc.uz/inf.html
4. http://www.noc.uz/form.html
5. http://www.noc.uz/adr.html
6. http://www.noc.uz/whois.php4
7. http://www.noc.uz/whois.php4
8. http://www.noc.uz/whois.php4
9. http://www.noc.uz/whois.php4


теперь пример для зоны ru (ru взята для примера, можете взять com или еще чего)

root@msk [~]# whois mail.ru
[Querying whois.ripn.net]
[whois.ripn.net]
% By submitting a query to RIPN's Whois Service
% you agree to abide by the following terms of use:
% http://www.ripn.net/about/servpol.html#3.2 (in Russian)
% http://www.ripn.net/about/en/servpol.html#3.2 (in English).

domain: MAIL.RU
type: CORPORATE
nserver: ns3.mail.ru. 194.67.23.17
nserver: ns5.mail.ru. 194.67.23.232
nserver: ns.mail.ru. 194.67.23.130
nserver: ns4.mail.ru. 194.67.57.4
nserver: ns1.mail.ru. 194.67.57.103
nserver: ns2.mail.ru. 194.67.57.104
state: REGISTERED, DELEGATED
org: netBridge Limited
phone: +7 495 7256357
fax-no: +7 495 7256359
e-mail: domain@corp.mail.ru
e-mail: gabrelyan@corp.mail.ru
registrar: RUCENTER-REG-RIPN
created: 1997.09.27
paid-till: 2008.10.01
source: TC-RIPN


Last updated on 2008.01.23 09:13:22 MSK/MSD


Фича реализуется оч. просто - нужен демон (коих бесплатных то полно), да и написать не очень трудно, там все просто.


Что же касается индексацией поисковиками, я говорил не про это, я там написал "шерстить" приянято, имелось ввиду шерсят не поисковики а скрипты написанные людьми которые такую инфу собирают. Зачем они это делают наверно говорить не нужно :)

Защищаются тоже просто ставят лимиты на кол-во обращений в час с одного IP.

[Rustam Khamidov]

Мне кажется Олег говорит о том, что стандартные хуиз-скрипты наш домен не показывают - у нас типа свой путь. Я столкнулся с этим еще в 2003 и помнится, ты сам, Рустам, мне все это объяснял?
С тех пор как Узинфоком запустил стандартный whois сервер (не веб интерфейс), ситуация значительно изменилась. Вы можете воспользоваться стандартной программой в линуксе
$ whois arbuz.uz -h whois.uz
или $ whois arbuz.uz -h 195.158.1.25
и получить ответ как в других зонах (нету больше "у нас типа свой путь" и достаточно давно). В винде помнится тоже был софт, но не встроенный в винду, а свободно скачиваемый, где работа идет тоже по протоколу whois (tcp unity 43).
Для зоны co.uz и com.uz после ключа -h должно быть nss.reg.uz или 87.139.46.51
Пример: $whois microsoft.com.uz -h nss.reg.uz

Другое дело, что разработчики софта клиентов whois, не для всех зон включают айпи адреса whois серверов (в линуксе смотри /etc/jwhois.conf, у себя я правил этот файл для зон .eu, .biz, .org и еще около 6 зон навскидку не припоминаю).

Поэтому еще раз, Евгений Семенович, прошу здесь уточнить о каких левых данных идет речь?

P.S. whois.uz это алиас для удобства пользователей от хоста whois.cctld.uz
А nss.reg.uz это привычное и удобное для меня название от whois.reg.uz

[Rustam Khamidov]

Отвечаю сразу по возможности всем.

Итак, речь идет о linux команде whois

Эта команда насколько помнится из пакета jwhois (или ему подобного). Разработчики, которой не осведомлены о наших whois серверах. И наверное они настолько увлечены работой, что им недосуг прочитать http://iana.org/root-whois/uz.htm (официальный документ), а так же время от времени обновлять данные по другим зонам. *-)

P.S. неработа whois сервиса по Вашим личным данным и "в зоне uz отдача идет левая вообще, уже года 3", на мой взгляд не совсем корректно.

[olegdanilov]

Отвечаю сразу по возможности всем.

Итак, речь идет о linux команде whois

Эта команда насколько помнится из пакета jwhois (или ему подобного). Разработчики, которой не осведомлены о наших whois серверах. И наверное они настолько увлечены работой, что им недосуг прочитать http://iana.org/root-whois/uz.htm (официальный документ), а так же время от времени обновлять данные по другим зонам. *-)

P.S. неработа whois сервиса по Вашим личным данным и "в зоне uz отдача идет левая вообще, уже года 3", на мой взгляд не совсем корректно.


Ок, я думаю можно с ними сконтактировать на прямую, ибо знать где whois сервер зоны uz... вообщем это было для меня открытием.

К томуже даже если пользоваться описанным вами методом - это ж не реально. Вы простыню которую он выдает видели? 117 строчек текста - жесть. Зачем?? Зачем текста отдаются с HTML версткой? Зачем кириллица? Да даже если и кириллица то почему не в UTF...

Вообщем даже при том что вы показали - считаю сервис не юзабельным.

[Rustam Khamidov]

Ок, я думаю можно с ними сконтактировать на прямую, ибо знать где whois сервер зоны uz... вообщем это было для меня открытием.

К томуже даже если пользоваться описанным вами методом - это ж не реально. Вы простыню которую он выдает видели? 117 строчек текста - жесть. Зачем?? Зачем текста отдаются с HTML версткой? Зачем кириллица? Да даже если и кириллица то почему не в UTF...

Вообщем даже при том что вы показали - считаю сервис не юзабельным.

*))))
откройте пожалуйста и сравните результаты работы whois серверов для зон
.de
.eu
.us
.com
.net
.org
.biz

Я думаю Вы согласитесь, что эти зоны не менее популярны чем .ru ?
1. И вы увидите "портянки" соглашений и прав пользования не меньше.
2. Вы также увидите самый разнообразный синтаксис отдачи результатов. Пока я отписывал необходимую мне прогу я видел и не такие результаты.

И связано это в первую очередь отсутствием стандарта или рекомендации RFC, для сервера whois.
Имеется только рекомендации по протоколу взаимодействия клиент - сервер.

И самое важное, Вам должно быть прекрасно известно, что для подобных систем правила и синтаксис разрабатывают те на кого возложены данные полномочия. Почитайте кто и за какие зоны ответственен. Т.е. по зоне .uz не Узинфоком (cctld.uz) должен подстраиваться под ваши нужды, а Вы под действующие правила.

[Rustam Khamidov]

Уважаемый Олег Данилов,
я не являюсь работником центра УзИнфоком, но мне не нравится некорректность и необъективность, которые порождают кривотолки.
Демон whois писан не мной, а вот к одной из частей демона whois для зон .co.uz и .com.uz я имею непосредственное отношение.

Если у Вас есть советы и рекомендации со ссылками на действующие нормативные акты как в мире так и в России это одно, но если у Вас пожелания, то несколько иное.

Насколько я понял Вас не устроил формат выводимых данных.
Сформулируйте пожалуйста, что Вам хотелось бы изменить доводствуясь не принципами у нас в стране или в ripn принято делать так. А хотя бы с точки зрения необходимости и целесообразности каких либо изменений.
Или опишите задачу, в которой у Вас возникли проблемы. Больше чем уверен, не я один, а так же админы узинфокома пойдут Вам навстречу, для решения технических или административных вопросов и задач.

[Evgeniy Sklyarevskiy]

Я не специалист... но когда хотел прикрутить хуиз на барбарис столкнулся с тем, что "нормальные" скрипты не работают с нашей базой, по моей просьбе Роксалана написала уникальную программу, которую я установил и она работает. Если все считают, что у нас все работает и все ОК как и в других зонах - то ладно, не буду спорить... хотя интересны мнения тех кто в теме с разных сторон, подозреваю, что все не так просто.

[olegdanilov]

Ок, я думаю можно с ними сконтактировать на прямую, ибо знать где whois сервер зоны uz... вообщем это было для меня открытием.

К томуже даже если пользоваться описанным вами методом - это ж не реально. Вы простыню которую он выдает видели? 117 строчек текста - жесть. Зачем?? Зачем текста отдаются с HTML версткой? Зачем кириллица? Да даже если и кириллица то почему не в UTF...

Вообщем даже при том что вы показали - считаю сервис не юзабельным.

*))))
откройте пожалуйста и сравните результаты работы whois серверов для зон
.de
.eu
.us
.com
.net
.org
.biz

Я думаю Вы согласитесь, что эти зоны не менее популярны чем .ru ?
1. И вы увидите "портянки" соглашений и прав пользования не меньше.
2. Вы также увидите самый разнообразный синтаксис отдачи результатов. Пока я отписывал необходимую мне прогу я видел и не такие результаты.

И связано это в первую очередь отсутствием стандарта или рекомендации RFC, для сервера whois.
Имеется только рекомендации по протоколу взаимодействия клиент - сервер.

И самое важное, Вам должно быть прекрасно известно, что для подобных систем правила и синтаксис разрабатывают те на кого возложены данные полномочия. Почитайте кто и за какие зоны ответственен. Т.е. по зоне .uz не Узинфоком (cctld.uz) должен подстраиваться под ваши нужды, а Вы под действующие правила.

ok. произведем простое сравнение на основе имеющихся у меня доменов

итак

root@msk [~]# whois fromuz.biz | wc
85 512 5063

85 строк текста, HTML теги отсутствуют

root@msk [~]# whois fromuz.com | wc
55 275 2081
55 строк текста, HTML теги отсутствуют

root@msk [~]# whois fromuz.us | wc
97 564 5569
97 строк текста, HTML теги отсутствуют

root@msk [~]# whois fromuz.net | wc
60 276 2188
60 строк текста, HTML теги отсутствуют

root@msk [~]# whois fromuz.uz -h whois.uz |wc
117 688 5315
117 строк текста, HTML теги есть

Надо ли говорить что все эти запросы дают одну и ту же информацию об одной и той же персоне. По количеству текста (символьно) лидирует зона us (5569) но вот по словам и строчкам зона uz (688 & 117 соотв.)

Чтож дальше у меня домены в указанных вами зонах вроде кончились будем исследовать на чужих доменах (брал все что придет в голову)

root@msk [~]# whois un.eu |wc
64 376 2352
64 строки текста, HTML теги отсутствуют

root@msk [~]# whois rus.de | wc
80 287 2258
80 строк текста, HTML теги отсутствуют

root@msk [~]# whois un.org | wc
83 343 2827
83 строк текста, HTML теги отсутствуют



А, вот вспомнил, у меня есть домен в Бельгии, смотрим что там, заодно.

whois socialnetworks.be | wc
55 359 2238
83 строк текста, HTML теги отсутствуют, но выдача довольно забавная. Сервис не юзабелен.

Ну даже если и оставить эту портянку которая из выбранных вами зон абсолютный лидер по кол-ву строк, давайте приведем хотя бы его выдачу в нормальный читабельный вид, для себя ж делаем.

По сути мои предложения сводятся
- убрать теги HTML - ну не нужны они там, согласитесь.
- передавайте все данные в UTF если вы уж решили передавать кириллицу
- договоритесь с ТОМАСом, пусть хоть со старого адреса whois сервера запросы редиректит.

[olegdanilov]

Уважаемый Олег Данилов,
я не являюсь работником центра УзИнфоком, но мне не нравится некорректность и необъективность, которые порождают кривотолки.
Демон whois писан не мной, а вот к одной из частей демона whois для зон .co.uz и .com.uz я имею непосредственное отношение.

Если у Вас есть советы и рекомендации со ссылками на действующие нормативные акты как в мире так и в России это одно, но если у Вас пожелания, то несколько иное.

Насколько я понял Вас не устроил формат выводимых данных.
Сформулируйте пожалуйста, что Вам хотелось бы изменить доводствуясь не принципами у нас в стране или в ripn принято делать так. А хотя бы с точки зрения необходимости и целесообразности каких либо изменений.
Или опишите задачу, в которой у Вас возникли проблемы. Больше чем уверен, не я один, а так же админы узинфокома пойдут Вам навстречу, для решения технических или административных вопросов и задач.

Уважаемый Рустам.
Я так же не являюсь работником центра. И я так же как и вы не имею отношения к демону whois зоны uz. Но я так же как и вы был вынужден погрузится в эту тему не так давно.

Я не могу вам дать ни ссылок ни нормативных актов, только по тому что в данном случае дело не в бумагах, как мне кажется.

Суть сводится к простому, любой сервис делается для людей, и я думаю вы с этим согласны, так и надо делать его удобным для людей же, т.е. для нас с вами.

Свои предложения я изложил постом выше.

[Rustam Khamidov]

Ну если разговор пошел о количестве срок... Тогда давайте кроме аспекта количество, рассмотрим количество смысловых строк (некомментариев) а так же соотношение по смысловой нагрузке. Потому как

$ whois un.eu -h whois.eu | grep ^$ | wc
5 0 5
пять пустых строк

$ whois un.eu -h whois.eu | grep ^% | wc
42 334 1914
сорок две строки соглашения

$ whois un.eu -h whois.eu | grep -v ^% | grep -v ^$ | wc
17 42 433
семнадцать смысловых строк

$ whois un.eu -h whois.eu | wc
64 376 2352
шестьдесят четыре строки всего

Итого 17/64 полезной информации. И я одним запросом не могу пообщаться с техническим контактом. Мне необходимо так же "Please visit www.eurid.eu for webbased whois."
5 строк пустых необходимо для читабельности из терминала.
а 42 строки нужны для чтения прав и политик из терминала.

Большинству программистов, которые парсят ответ сервера количество строк фиолетово, а вот возможность наиболее полно получить данные о домене только приветствуются.

Поэтому, встречное предложение.
В зоне .com на сервере whois.internic.net запрос выглядит так
domain fqdn\n
В зоне .de на сервере whois.denic.de запрос выглядит так
-T dn,ace -C US-ASCII fqdn\n
На остальных серверах (включая .uz) запрос выглядит проще
fqdn\n

Все реально бегающие запросы от Вас скрыты интерфейсом программы whois.
Так вот если посмотрите внимательно, то увидите что у немцев есть понятие синтаксиса, и наверняка посмотрев на опции их реального запроса Вы поймете, что у них имеется много интересных возможностей. НО интерфейс программы whois использует только в этом синтаксе. Вы уже догадались, что у немцев свой алфавит, посему и используют -C US-ASCII.
А теперь само предложение, по аналогии с eu, выдавать по Вашему запросу минимум информации, который значительно сократит портянку и с учетом служебных строк используемых в cctld.uz будет даже меньше, но необходимо просто ввести дополнительный синтаксис в запросе.
Какой результат выдавать по умолчанию и стоит ли вообще это делать решать админам узинфокома.
По-поводу использования тегов HTML вопрос открыт. (На whois.reg.uz не используется). Но это печатные символы и они все допустимы, вопрос в читаемости из терминала, или читаемости на страницах с веб-скриптами.
По-поводу win1251/cp1251 (на whois.reg.uz не используется), но в принципе с Вами согласен, можно устроить транслит, а можно в UTF. Хотя кашерность koi8/win1251/utf
не должна обсуждаться, если мы говорим о любом терминале, то вопрос в печатности символов.

[Rustam Khamidov]

Я не специалист... но когда хотел прикрутить хуиз на барбарис столкнулся с тем, что "нормальные" скрипты не работают с нашей базой, по моей просьбе Роксалана написала уникальную программу, которую я установил и она работает. Если все считают, что у нас все работает и все ОК как и в других зонах - то ладно, не буду спорить... хотя интересны мнения тех кто в теме с разных сторон, подозреваю, что все не так просто.

Понятие "нормальные" скрипты субъективно, я придерживаюсь мнения скрипты поддерживающие работу с whois серверами той или иной зоны корректно. Написать подобный скрипт сможете и Вы сами, Евгений Семенович, вам необходимо только знать как это работает.
Создаете сокет, протокол tcp, порт 43. В зависимости от зоны даете коннект на соответствующий whois сервер (соответствие смотрите на iana). Следом отправляете по созданному соединению полноедоменноеимя<LF>
Получаете ответ и соединение закрывается автоматически удаленной стороной по завершению ответа.
Исключения зоны .de и .com у них чуть видоизменен запрос.

Ответ парсите (разбираете) и выводите в любом удобном виде или можно тупо открыть тег <pre>, выложить ответ и закрыть тег <pre>.

Если не парсить ошибки коннекта, таймаутов и т.д. то в php уложится в 6-8 строк. Поэтому несколько предвзято отношусь к приведенному Вами "уникальному".
Как же вы тогда назовете (революционным) работу по протоклам smtp и pop3 без поддержки MIME. И в продолжении подобной терминологии очумительная реализация pop3/smtp с поддержкой mime. А если еще и парсить правильно mime, то с этим далеко не все веб интерфейсы к почте работают, даже коммерческие. :-)

[olegdanilov]

Ну если разговор пошел о количестве срок... Тогда давайте кроме аспекта количество, рассмотрим количество смысловых строк (некомментариев) а так же соотношение по смысловой нагрузке. Потому как

[..skip..]

Итого 17/64 полезной информации. И я одним запросом не могу пообщаться с техническим контактом. Мне необходимо так же "Please visit www.eurid.eu for webbased whois."
5 строк пустых необходимо для читабельности из терминала.
а 42 строки нужны для чтения прав и политик из терминала.

Большинству программистов, которые парсят ответ сервера количество строк фиолетово, а вот возможность наиболее полно получить данные о домене только приветствуются.

Поэтому, встречное предложение.
В зоне .com на сервере whois.internic.net запрос выглядит так
domain fqdn\n
В зоне .de на сервере whois.denic.de запрос выглядит так
-T dn,ace -C US-ASCII fqdn\n
На остальных серверах (включая .uz) запрос выглядит проще
fqdn\n

Все реально бегающие запросы от Вас скрыты интерфейсом программы whois.
Так вот если посмотрите внимательно, то увидите что у немцев есть понятие синтаксиса, и наверняка посмотрев на опции их реального запроса Вы поймете, что у них имеется много интересных возможностей. НО интерфейс программы whois использует только в этом синтаксе. Вы уже догадались, что у немцев свой алфавит, посему и используют -C US-ASCII.

Полностью согласен. Я даже хотел потом вдарится в такое исследование но не успел бы на работу :)

Вижн ситуации у нас одинаковый.


А теперь само предложение, по аналогии с eu, выдавать по Вашему запросу минимум информации, который значительно сократит портянку и с учетом служебных строк используемых в cctld.uz будет даже меньше, но необходимо просто ввести дополнительный синтаксис в запросе.
Какой результат выдавать по умолчанию и стоит ли вообще это делать решать админам узинфокома.

Да по сути я уже не сильно настаиваю на сокращении строк, но вот спец символ в начале строки указывающий что это коммент был бы удобен.


По-поводу использования тегов HTML вопрос открыт. (На whois.reg.uz не используется). Но это печатные символы и они все допустимы, вопрос в читаемости из терминала, или читаемости на страницах с веб-скриптами.

Не согласен. Зачем в терминал выводить HTML вообще? что бы потом показывать результат на вебе? А кто сказал что отдача на вебе должна совпадать 100% с отдачей в whois

Пример
сравните выдачу whois arbuz.com и скажем https://www.nic.ru/whois/?query=arbuz.com
http://www.dnsstuff.com/tools/whois.ch?ip=arbuz.com



По-поводу win1251/cp1251 (на whois.reg.uz не используется), но в принципе с Вами согласен, можно устроить транслит, а можно в UTF. Хотя кашерность koi8/win1251/utf
не должна обсуждаться, если мы говорим о любом терминале, то вопрос в печатности символов.
Да тут дело то не в кошерности, есть стандарт который может отображать любой язык - UTF, консоль отобразит вам русский и бразильский и какой угодно, вопрос в другом сможете ли вы его прочитать.

Можно устроить и транслит - будет помоему совсем хорошо, но если уж оставили кириллицу - то надо отдавать ее так что бы прочитать ее мог любой. Мне так кажется.

Впрочем мы все больше отклоняемся от первоначальной темы.

[Rustam Khamidov]

Да по сути я уже не сильно настаиваю на сокращении строк, но вот спец символ в начале строки указывающий что это коммент был бы удобен.
Согласен.

Не согласен. Зачем в терминал выводить HTML вообще? что бы потом показывать результат на вебе? А кто сказал что отдача на вебе должна совпадать 100% с отдачей в whois
Некритично. Но истина где-то рядом ,)

Да тут дело то не в кошерности, есть стандарт который может отображать любой язык - UTF, консоль отобразит вам русский и бразильский и какой угодно, вопрос в другом сможете ли вы его прочитать.
Можно устроить и транслит - будет помоему совсем хорошо, но если уж оставили кириллицу - то надо отдавать ее так что бы прочитать ее мог любой. Мне так кажется.
сидя в консоле koi8r кирилицу в UTF смотреть несколько неудобно *)
Но с учетом того, что во всех новых ms и linux платформах дефолтом UTF, вариант достаточно дееспособен. (Не забывайте, кто то сидит, как и я временами в солярке и чпуксах). Поэтому шансы UTF/Translit/win1251 считаю 80/19/1 ,)

Впрочем мы все больше отклоняемся от первоначальной темы.
Думаю реализация только вопрос решения администрации и времени на введение в эксплуатацию.
Во многом поддерживаю Ваши взгляды, но к сожалению, не увидел ни одного комментария Вашей изначальной фразы о левизне, в текущем видении ситуации, хотя бы из уважения к админам, которые создавали и поддерживают службу whois.cctld.uz.

[olegdanilov]

[quote=olegdanilov;72396]Да тут дело то не в кошерности, есть стандарт который может отображать любой язык - UTF, консоль отобразит вам русский и бразильский и какой угодно, вопрос в другом сможете ли вы его прочитать.
Можно устроить и транслит - будет помоему совсем хорошо, но если уж оставили кириллицу - то надо отдавать ее так что бы прочитать ее мог любой. Мне так кажется.
сидя в консоле koi8r кирилицу в UTF смотреть несколько неудобно *)
Но с учетом того, что во всех новых ms и linux платформах дефолтом UTF, вариант достаточно дееспособен. (Не забывайте, кто то сидит, как и я временами в солярке и чпуксах). Поэтому шансы UTF/Translit/win1251 считаю 80/19/1 ,)

из koi8r действительно неудобно, но надо идти в ногу с прогрессом :) Даешь UTF!


Впрочем мы все больше отклоняемся от первоначальной темы.
Думаю реализация только вопрос решения администрации и времени на введение в эксплуатацию.
Во многом поддерживаю Ваши взгляды, но к сожалению, не увидел ни одного комментария Вашей изначальной фразы о левизне, в текущем видении ситуации, хотя бы из уважения к админам, которые создавали и поддерживают службу whois.cctld.uz.
Реакция была тут - http://uforum.uz/showthread.php?p=72304#post72304

Если не совсем понятно то под "левым" имелась ввиду выдача типа:

root@msk [~]# whois uforum.uz
[Querying http://www.noc.uz/whois.php4]

Результаты поиска
Имя: uforum.uz не найдено.

[1]
» Закрыть это окно «

[2]Home :: [3]Информация :: [4]Регистация :: [5]Контакты ::
[6]Партнеры :: [7]Links :: [8]Sitemap :: [9]FAQ
Copyright ©Tomas

References

1. javascript:window.close();
2. http://www.noc.uz/index.html
3. http://www.noc.uz/inf.html
4. http://www.noc.uz/form.html
5. http://www.noc.uz/adr.html
6. http://www.noc.uz/whois.php4
7. http://www.noc.uz/whois.php4
8. http://www.noc.uz/whois.php4
9. http://www.noc.uz/whois.php4

Впрочем выяснилось что "настоящий" whois сервер зоны UZ находится в другом месте. Но насчет перекидки запросов я бы все же озаботился. Думаю таких как я невежд большинство.

[Rustam Khamidov]

Впрочем выяснилось что "настоящий" whois сервер зоны UZ находится в другом месте. Но насчет перекидки запросов я бы все же озаботился. Думаю таких как я невежд большинство.

Без проблем для указанной вами ссылки. Но известно ли Вам, что в разных версиях whois и ссылки разные. К примеру в RH EL AS
--------
$ whois web.uz
[Querying http://www.noc.uz/whois_result.php3]

Not Found

The requested URL /whois_result.php3 was not found on this server.
-------
Для вашей системы другой урл, и подозреваю, что их может оказаться еще несколько. Надо бы найти все варианты. И тогда будет организован проброс.
Посмотрите на других версиях программки whois и сообщите, если найдете другие результаты.

[olegdanilov]

Впрочем выяснилось что "настоящий" whois сервер зоны UZ находится в другом месте. Но насчет перекидки запросов я бы все же озаботился. Думаю таких как я невежд большинство.

Без проблем для указанной вами ссылки. Но известно ли Вам, что в разных версиях whois и ссылки разные. К примеру в RH EL AS
--------
$ whois web.uz
[Querying http://www.noc.uz/whois_result.php3]

Not Found

The requested URL /whois_result.php3 was not found on this server.
-------
Для вашей системы другой урл, и подозреваю, что их может оказаться еще несколько. Надо бы найти все варианты. И тогда будет организован проброс.
Посмотрите на других версиях программки whois и сообщите, если найдете другие результаты.

Я думаю будет проще включить логирование запросов на noc.uz:43, и из логов выковырять все урлы.

Или при запросе noc.uz:43/* редиректить на настоящий whois.

[Rustam Khamidov]

Я думаю будет проще включить логирование запросов на noc.uz:43, и из логов выковырять все урлы.

Или при запросе noc.uz:43/* редиректить на настоящий whois.
Не пойдет, к сожалению. Приведенный пример запроса порождает, обращение не к порту 43, а к нормальному http запросу на порт 80.

[olegdanilov]

Я думаю будет проще включить логирование запросов на noc.uz:43, и из логов выковырять все урлы.

Или при запросе noc.uz:43/* редиректить на настоящий whois.
Не пойдет, к сожалению. Приведенный пример запроса порождает, обращение не к порту 43, а к нормальному http запросу на порт 80.

ok. тогда узнать у томаса все урлы на которых они размещали whois

[Rustam Khamidov]

ok. тогда узнать у томаса все урлы на которых они размещали whois

Скорее всего так и будет сделано. Распознаны все урлы по которым шло обращение и отдавать по http ответы из whois.cctld.uz:43.

Но это в приципе неверно.
noc.uz количеством запросов с одного айпи - неправильно ,)
Правильнее исправить jwhois в сборке и работать по-человечески согласно ICANN/IANA/стандартам.

[olegdanilov]

ok. тогда узнать у томаса все урлы на которых они размещали whois

Скорее всего так и будет сделано. Распознаны все урлы по которым шло обращение и отдавать по http ответы из whois.cctld.uz:43.

Но это в приципе неверно.
noc.uz количеством запросов с одного айпи - неправильно ,)
Правильнее исправить jwhois в сборке и работать по-человечески согласно ICANN/IANA/стандартам.

Внимание вопрос, сколько людей пойдет и сделает это? ;)

[Rustam Khamidov]

По данным томаса на сервере noc.uz ранее было два типа запросов whois_result.php3 и whois.php4

Сейчас на оба этих ресурса поставлена заглушка веб-редирект на правильные whois сервера и возврат ответа.
Т.е. сейчас whois в том виде как хочет Олег Данилов заработал.

Вопрос к центру Узинфоком, надо ли делать этот редирект? Может на заглушке вообще не отдавать результатов, а отписывать линки и хосты для правильных запросов?

Подготовил патчи для пакета jwhois с правильным файлом конфига, письмо разработчиком буду отправлять сегодня.

[Anatoliy Pelepetz]

По данным томаса на сервере noc.uz ранее было два типа запросов whois_result.php3 и whois.php4

Сейчас на оба этих ресурса поставлена заглушка веб-редирект на правильные whois сервера и возврат ответа.
Т.е. сейчас whois в том виде как хочет Олег Данилов заработал.

Вопрос к центру Узинфоком, надо ли делать этот редирект? Может на заглушке вообще не отдавать результатов, а отписывать линки и хосты для правильных запросов?


Думаю удобнее для пользователей будет оставить редирект

[Rustam Khamidov]

Олег Данилов,
попробуйте пожалуйста задать
$whois banking.com

Вы увидите:
1. Использование html тегов
2. Не использование символов комментариев.

Что еще раз говорит об отсутствии стандарта... И все что не запрещено - РАЗРЕШЕНО

;-)

[olegdanilov]

Олег Данилов,
попробуйте пожалуйста задать
$whois banking.com

Вы увидите:
1. Использование html тегов
2. Не использование символов комментариев.

Что еще раз говорит об отсутствии стандарта... И все что не запрещено - РАЗРЕШЕНО

;-)

:)) я ж предложил логичные решения. Решать то не мне.

[olegdanilov]

кстати, а кто объяснит что это значит (при любом запросе к whois зоны uz)

>>> Last update of whois database: Sat, 03 Sep 2005 16:07:18 +0500 <<<

В догонку

Сравните выдачу по зарезервированным доменам. К примеру возьмем домен этого проекта.

http://www.cctld.uz/whois/?domain=uforum&zuz=uz - Статус: Зарезервирован

идем в консоль
$whois uforum.uz - Status: EXPIRED

[Anatoliy Pelepetz]

кстати, а кто объяснит что это значит (при любом запросе к whois зоны uz)

>>> Last update of whois database: Sat, 03 Sep 2005 16:07:18 +0500 <<<

В догонку

Сравните выдачу по зарезервированным доменам. К примеру возьмем домен этого проекта.

http://www.cctld.uz/whois/?domain=uforum&zuz=uz - Статус: Зарезервирован

идем в консоль
$whois uforum.uz - Status: EXPIRED

Дата исправлена, по статусу ведутся работы будет исправлено в ближайшее время

Спасибо за замечание

[Djalolatdin Rakhimov]

Так что делаем и чего не делаем? Есть резюме?

[Anatoliy Pelepetz]

Так что делаем и чего не делаем? Есть резюме?

1 исправляем "Status: EXPIRED" на реальный.
2 Ставим в начале каждый строки комментария знак "%", для того чтобы было удобно парсить whois ответ
3 выдаем весь whois ответ в кодировке UTF8

[olegdanilov]

Так что делаем и чего не делаем? Есть резюме?

1 исправляем "Status: EXPIRED" на реальный.
2 Ставим в начале каждый строки комментария знак "%", для того чтобы было удобно парсить whois ответ
3 выдаем весь whois ответ в кодировке UTF8

+ если не убираете html из выдачи, то хотя бы проверьте закрытость всех тегов. Там с этим есть проблемы.

http://www.dnsstuff.com/tools/whois.ch?ip=uforum.uz - демонстрация.

[Ойбек Ибрагимов]

Так и не закрыли от поисковиков??
Честно говоря, сильно напрягает. Это ненормально, когда любой желающий может вбить имя в поисковик и получить все данные вплоть до адреса. НИКОГДА не сталкивался с такой проблемой с другими базами whois у регистраторов других доменных зон. Давно хотел написать, оказывается, уже и топик есть.

[Anatoliy Pelepetz]

Так и не закрыли от поисковиков??
Честно говоря, сильно напрягает. Это ненормально, когда любой желающий может вбить имя в поисковик и получить все данные вплоть до адреса. НИКОГДА не сталкивался с такой проблемой с другими базами whois у регистраторов других доменных зон. Давно хотел написать, оказывается, уже и топик есть.

Если бы внимательно прочитали предыдущие посты, то наверняка бы увидели мой пост где написано, что индексируется не вхуиз база, а ссылки на вхуиз которые отображаются на главной странице сайта в блоке новые домены. Отключать индексирование главной странице нельзя, так как в таком случае сайт полностью вылетит из всех поисковиков. Можно еще убрать блок с новыми доменами, но это тоже не приемлемо, так как это помоему один из самых востребованных блоков на сайте.

[Ойбек Ибрагимов]

Я прочитал, все посты, очень внимательно. И считаю нынешнее положение вещей неправильным.
Если вы не можете или не хотите решать проблему техническими методами, тогда стоит дать рекомендацию регистраторам, чтобы те предупреждали всех клиентов, что их личные приватные данные, в том числе номер телефона и домашний адрес, могут оказаться в публичном доступе, и не просто в реестре cctld, знают который и пользуются которым не столь большое кол-во людей, а в известных поисковых системах.

[olegdanilov]

Так и не закрыли от поисковиков??
Честно говоря, сильно напрягает. Это ненормально, когда любой желающий может вбить имя в поисковик и получить все данные вплоть до адреса. НИКОГДА не сталкивался с такой проблемой с другими базами whois у регистраторов других доменных зон. Давно хотел написать, оказывается, уже и топик есть.

Если бы внимательно прочитали предыдущие посты, то наверняка бы увидели мой пост где написано, что индексируется не вхуиз база, а ссылки на вхуиз которые отображаются на главной странице сайта в блоке новые домены. Отключать индексирование главной странице нельзя, так как в таком случае сайт полностью вылетит из всех поисковиков. Можно еще убрать блок с новыми доменами, но это тоже не приемлемо, так как это помоему один из самых востребованных блоков на сайте.

Лечиться через robots.txt либо так:

на морде где линки на новые домены обравляем ссылки так:
<noindex><a href="тут_линка_на_хуиз_домена">http://домен.уз</a></noindex>

[Meylikulov Olim]

на морде где линки на новые домены обравляем ссылки так:
<noindex><a href="тут_линка_на_хуиз_домена">http://домен.уз</a></noindex>
гуглу пофиг на этот тег

[olegdanilov]

на морде где линки на новые домены обравляем ссылки так:
<noindex><a href="тут_линка_на_хуиз_домена">http://домен.уз</a></noindex>
гуглу пофиг на этот тег

зато ему не пофиг на первый шаг, который я указал.

Для большей уверенности, для гугла можно мета тег noindex вставить, если паранойя дюже замучила

[DatMaster]

Для большей уверенности, для гугла можно мета тег noindex вставить, если паранойя дюже замучила

Гуглик не работает из принципа с тегом noindex, запрет на индексацию в гугл- ref="nofollow"

[DatMaster]

Не могу закрыть свои данные в хуисе, как это сделать?
Я не хочу чтобы разглашались данные касательно моей личной жизни, проживания и контакты!
Кроме того, емаил нигде не светил, после регистрации начал приходить спам- ребята, спамеры шерстят Ваши базы ведь! Закрывайте whois хотя бы капчей или ограничение по кол-ву запросов с одного ip поставьте!

[Djalolatdin Rakhimov]

Не могу закрыть свои данные в хуисе, как это сделать?

Через своего регистратора.

Кроме того, емаил нигде не светил, после регистрации начал приходить спам- ребята, спамеры шерстят Ваши базы ведь! Закрывайте whois хотя бы капчей или ограничение по кол-ву запросов с одного ip поставьте!Интересное предложение.