Моё меню Общее меню Пользователи Правила форума Все прочитано
Вернуться   uForum.uz > ИКТ и телеком > Веб-ресурсы и доменные имена > Каталоги и поисковики > WWW.UZ
Знаете ли Вы, что ...
...инструкция по установке аватара описана в Правилах форума.
<< Предыдущий совет - Случайный совет - Следующий совет >>

WWW.UZ Национальная информационно-поисковая система WWW.UZ. Раздел UZINFOCOM


Ответить

 
Опции темы Опции просмотра
Старый 24.06.2009 12:00   #1  
Аватар для Ruslan Aliev
Оффлайн
AKA:Рустамыч
Сообщений: 2,598
+ 475  792/462
– 45  44/28

KazakhstanОтправить сообщение для Ruslan Aliev с помощью Skype™Мой КругАккаунт на Twitter
Robots.txt

Кто из веб-мастеров УзНета использует этот файлик?
Можно узнать для каких целей используете, какие параметры?
__________________
Свет рождает тени ...
Ответить 
Старый 24.06.2009 14:36   #2  
Known ID Group
Аватар для azim
Оффлайн
Сообщений: 9,212
+ 2,913  8,527/3,734
– 627  201/161

Zimbabwe
Я иногда использую на сайтах powered by WP, беру образец отсюда http://mywordpress.ru/faq/#anchor11
__________________
маленкий прищавый очкастый парнышка озлоблиный на вес мир изза свойей внешности
Ответить 
Старый 24.06.2009 16:31   #3  
Аватар для Ruslan Aliev
Оффлайн
AKA:Рустамыч
Сообщений: 2,598
+ 475  792/462
– 45  44/28

KazakhstanОтправить сообщение для Ruslan Aliev с помощью Skype™Мой КругАккаунт на Twitter
Цитата:
Сообщение от seezer Посмотреть сообщение
Я иногда использую на сайтах powered by WP, беру образец отсюда http://mywordpress.ru/faq/#anchor11
Спасибо за ответ.
Какой вы у себя выставили Crawl-Delay ?
__________________
Свет рождает тени ...
Ответить 
Старый 24.06.2009 23:47   #4  
Known ID Group uParty Member
Аватар для Aleksey Kim
Оффлайн
AKA:BeeJay
Сообщений: 883
+ 328  292/188
– 47  9/6

South KoreaАккаунт на TwitterFacebook
Цитата:
Сообщение от Rustam Valiev Посмотреть сообщение
Какой вы у себя выставили Crawl-Delay ?
Код:
User-agent: *
Crawl-delay: 10

# Directories
Disallow: /cache/
Disallow: /include/
Disallow: /themes/
…

# Files
Disallow: /header.php
Disallow: /footer.php
…
__________________
QuickPlayer.Uz — Прослушивание MP3 онлайн | онлайн MP3-плеер
Ответить 
Старый 25.06.2009 08:58   #5  
Аватар для Ruslan Aliev
Оффлайн
AKA:Рустамыч
Сообщений: 2,598
+ 475  792/462
– 45  44/28

KazakhstanОтправить сообщение для Ruslan Aliev с помощью Skype™Мой КругАккаунт на Twitter
Цитата:
Сообщение от Aleksey Kim Посмотреть сообщение
Цитата:
Сообщение от Rustam Valiev Посмотреть сообщение
Какой вы у себя выставили Crawl-Delay ?
Код:
User-agent: *
Crawl-delay: 10

# Directories
Disallow: /cache/
Disallow: /include/
Disallow: /themes/
…

# Files
Disallow: /header.php
Disallow: /footer.php
…
Вам я посоветовал еще упомянуть и ваш форум. В частности ссылки типа "Ответить" "Послать личное сообщение" - создают много мусора для поисковиков. Все эти ссылки для неавторизованного пользователя ведут на страницу с сообщением об ошибке. Но поисковики все равно их индексируют и тратят на это ресурсы... в том числе и ресурсы вашего сервера.

Пот пример ненужных ссылок.

Код:
http://forum.torg.uz/index.php?act=Post&CODE=02&f=32&t=12921&qpid=203319
http://forum.torg.uz/index.php?act=Post&CODE=02&f=32&t=12921&qpid=203329
http://forum.torg.uz/index.php?act=Post&CODE=02&f=32&t=12921&qpid=203342
Правда пока не могу посоветовать, что надо прописать в robots.txt чтобы исключить их из индексации.
__________________
Свет рождает тени ...

Последний раз редактировалось Ruslan Aliev; 25.06.2009 в 09:08.
Ответить 
Старый 25.06.2009 10:38   #6  
Real ID Group
Аватар для Nodir Sharipov
Оффлайн
Сообщений: 841
+ 154  216/149
– 4  4/3

UzbekistanОтправить сообщение для Nodir Sharipov с помощью Skype™
Совет по настройке по Яндексу - http://help.yandex.ru/webmaster/?id=996567
По гуглу - http://www.google.com/support/webmas...u&answer=40360
Ответить 
"+" от:
Старый 25.06.2009 11:06   #7  
Аватар для Ruslan Aliev
Оффлайн
AKA:Рустамыч
Сообщений: 2,598
+ 475  792/462
– 45  44/28

KazakhstanОтправить сообщение для Ruslan Aliev с помощью Skype™Мой КругАккаунт на Twitter
Для примера из 96676 страниц сайта yarmarka.uz доступных для поисковиков, 67605 страниц содержат параметр action=BUY - то есть являются ссылкой на страницу заказа товара. Для поисковиков это бесполезная информация.

Из 468144 страниц сайта torg.uz 71932 содержат параметр view=findpost - фактически это ссылка на пост в топике. Содержимое страницы выдаваемое по этой ссылке такое же как при ссылке на топик, проблема в том что в этом топике еще 19 ссылок на самого себя.
Код:
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66847 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66848 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66857 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=66859 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
http://forum.torg.uz/index.php?showtopic=3243&view=findpost&p=70186 > http://forum.torg.uz/index.php?showtopic=3243&mode=linear
__________________
Свет рождает тени ...

Последний раз редактировалось Ruslan Aliev; 25.06.2009 в 11:12.
Ответить 
Реклама и уведомления
Старый 15.07.2009 00:39   #8  
Known ID Group uParty Member
Аватар для Aleksey Kim
Оффлайн
AKA:BeeJay
Сообщений: 883
+ 328  292/188
– 47  9/6

South KoreaАккаунт на TwitterFacebook
Цитата:
Сообщение от Rustam Valiev Посмотреть сообщение
Вам я посоветовал еще упомянуть и ваш форум. В частности ссылки типа "Ответить" "Послать личное сообщение" - создают много мусора для поисковиков. Все эти ссылки для неавторизованного пользователя ведут на страницу с сообщением об ошибке. Но поисковики все равно их индексируют и тратят на это ресурсы... в том числе и ресурсы вашего сервера.

Правда пока не могу посоветовать, что надо прописать в robots.txt чтобы исключить их из индексации.
Да, спасибо.
К форуму у меня вообще данного файла не оказалось, почему-то.
Сейчас добавил это
Код:
User-agent: *
Crawl-delay: 10

Disallow: /memberlist.php
Disallow: /ucp.php
Disallow: /faq.php
Disallow: /adm
Disallow: /posting.php
Disallow: /report.php
Disallow: /mcp.php
Disallow: /viewonline.php
Disallow: /search.php
Disallow: /cache
__________________
QuickPlayer.Uz — Прослушивание MP3 онлайн | онлайн MP3-плеер
Ответить 
"+" от:
Ответить
Опции темы
Опции просмотра




Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot
Advertisement System V2.5 By Branden
OOO «Единый интегратор UZINFOCOM»


Новые 24 часа Кто на форуме Новички Поиск Кабинет Все прочитано Вверх