Robots.txt

[Ruslan Aliev]

Кто из веб-мастеров УзНета использует этот файлик?
Можно узнать для каких целей используете, какие параметры?

[azim]

Я иногда использую на сайтах powered by WP, беру образец отсюда http://mywordpress.ru/faq/#anchor11

[Ruslan Aliev]

Я иногда использую на сайтах powered by WP, беру образец отсюда http://mywordpress.ru/faq/#anchor11
Спасибо за ответ.
Какой вы у себя выставили Crawl-Delay ?

[Aleksey Kim]

Какой вы у себя выставили Crawl-Delay ?


User-agent: *
Crawl-delay: 10

# Directories
Disallow: /cache/
Disallow: /include/
Disallow: /themes/
…

# Files
Disallow: /header.php
Disallow: /footer.php
…

[Ruslan Aliev]

Какой вы у себя выставили Crawl-Delay ?


User-agent: *
Crawl-delay: 10

# Directories
Disallow: /cache/
Disallow: /include/
Disallow: /themes/
…

# Files
Disallow: /header.php
Disallow: /footer.php
…


Вам я посоветовал еще упомянуть и ваш форум. В частности ссылки типа "Ответить" "Послать личное сообщение" - создают много мусора для поисковиков. Все эти ссылки для неавторизованного пользователя ведут на страницу с сообщением об ошибке. Но поисковики все равно их индексируют и тратят на это ресурсы... в том числе и ресурсы вашего сервера.

Пот пример ненужных ссылок.


http://forum.torg.uz/index.php?act=Post&CODE=02&f=32&t=12921&qpid=203319
http://forum.torg.uz/index.php?act=Post&CODE=02&f=32&t=12921&qpid=203329
http://forum.torg.uz/index.php?act=Post&CODE=02&f=32&t=12921&qpid=203342
Правда пока не могу посоветовать, что надо прописать в robots.txt чтобы исключить их из индексации.

[Nodir Sharipov]

Совет по настройке по Яндексу - http://help.yandex.ru/webmaster/?id=996567
По гуглу - http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=40360

[Ruslan Aliev]

Для примера из 96676 страниц сайта yarmarka.uz доступных для поисковиков, 67605 страниц содержат параметр action=BUY - то есть являются ссылкой на страницу заказа товара. Для поисковиков это бесполезная информация.

Из 468144 страниц сайта torg.uz 71932 содержат параметр view=findpost - фактически это ссылка на пост в топике. Содержимое страницы выдаваемое по этой ссылке такое же как при ссылке на топик, проблема в том что в этом топике еще 19 ссылок на самого себя.

http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66847 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66848 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66857 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66859 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=70186 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear

[Aleksey Kim]

Вам я посоветовал еще упомянуть и ваш форум. В частности ссылки типа "Ответить" "Послать личное сообщение" - создают много мусора для поисковиков. Все эти ссылки для неавторизованного пользователя ведут на страницу с сообщением об ошибке. Но поисковики все равно их индексируют и тратят на это ресурсы... в том числе и ресурсы вашего сервера.

Правда пока не могу посоветовать, что надо прописать в robots.txt чтобы исключить их из индексации.

Да, спасибо.
К форуму у меня вообще данного файла не оказалось, почему-то.
Сейчас добавил это
User-agent: *
Crawl-delay: 10

Disallow: /memberlist.php
Disallow: /ucp.php
Disallow: /faq.php
Disallow: /adm
Disallow: /posting.php
Disallow: /report.php
Disallow: /mcp.php
Disallow: /viewonline.php
Disallow: /search.php
Disallow: /cache