Поиск по Тасиксу

[Ruslan Aliev]

http://www.3w.uz - Бета версия.

[Evgeniy Sklyarevskiy]

Поздравляю! проверил, вроде ищет хорошо.

1. А что провайдера не указываете, есть же эти данные у вас?

2. Что имеется в виду под «похожие(3)»?

3. Какой алгоритм сортировки при выдаче?

4. Мне бы код для вставки на сайте как сейчас уже есть на узнет-азия (http://uznet.asia) 3 поиска по Узнету не срочно конечно просто чтобы не забыли :-0)

5. Хорошо бы внизу ссылку на Вайдод и Гугль по тому же запросу как это делает Яндекс - уважительно выглядит?

6. Планируете ли поиск по картинкам? Нужен :-0)

7. Хорошо бы (на будущее) выбирать сортировку выдачи по дате, по рейтингу в НИПС и по релевантности.

Если не знаете что еще делать могу дать предложения и задачи :-0)

[Ruslan Aliev]

Поздравляю! проверил, вроде ищет хорошо.

Спасибо, будет еще лучше.

Если не знаете что еще делать могу дать предложения и задачи :-0)
"Говорите помедленнее пжлста, я запсваю" (с) Кавказкая пленница

[Evgeniy Sklyarevskiy]

Номера страниц глючат, проверьте плз.

Написал новость на Узнет-азия.

[Ruslan Aliev]

Номера страниц глючат, проверьте плз.

Написал новость на Узнет-азия.
Поточнее можно, что за глюк?
За новость спасибо, можно ссылочку?

[Ruslan Aliev]

Номера страниц глючат, проверьте плз.

Написал новость на Узнет-азия.
Поточнее можно, что за глюк?
За новость спасибо, можно ссылочку?
Да заметил, через час все исправится, сейчас удаляю мусор из базы.

[Игорь Бронников]

Поиск только по сайтам в TAS-IX?

[Evgeniy Sklyarevskiy]

За новость спасибо, можно ссылочку?
http://uznet.asia/

[Evgeniy Sklyarevskiy]

Рустам, а есть список местных хостеров, не входящих в ТасИКС, остались ли такие? Или это вопрос не к Вам? Может, кто-то знает?

[Ruslan Aliev]

Поиск только по сайтам в TAS-IX?
Да поиск только по сайтам в ТАСИКС... пока.
Когда будет нормальный функционал (поиск по картинкам, узбекская морфология, похожие запросы и т.п.) тогда уже можно будет думать о поиске по всем сайтам (и то думаю с ограничениями).

[Ruslan Aliev]

Рустам, а есть список местных хостеров, не входящих в ТасИКС, остались ли такие? Или это вопрос не к Вам? Может, кто-то знает?
Вопрос не ко мне.

[Djalolatdin Rakhimov]

1. А что провайдера не указываете, есть же эти данные у вас?


Принимается.

4. Мне бы код для вставки на сайте как сейчас уже есть на узнет-азия (http://uznet.asia/) 3 поиска по Узнету не срочно конечно просто чтобы не забыли :-0)


Надо сделать.

5. Хорошо бы внизу ссылку на Вайдод и Гугль по тому же запросу как это делает Яндекс - уважительно выглядит?


Логично.

7. Хорошо бы (на будущее) выбирать сортировку выдачи по дате, по рейтингу в НИПС и по релевантности.


Надо сделать.

Если не знаете что еще делать могу дать предложения и задачи :-0)

Давайте :)

[Djalolatdin Rakhimov]

http://www.3w.uz - Бета версия.

На странице не сказано, что бета.

[Djalolatdin Rakhimov]

Поиск только по сайтам в TAS-IX?
Да поиск только по сайтам в ТАСИКС... пока.
Когда будет нормальный функционал (поиск по картинкам, узбекская морфология, похожие запросы и т.п.) тогда уже можно будет думать о поиске по всем сайтам (и то думаю с ограничениями).

Думаю, правильно будет сделать ограничение: Весь Тасикс + Все сайты в основных каталогах узнета.

[Djalolatdin Rakhimov]

За новость спасибо, можно ссылочку?
http://uznet.asia/

Не очень точное название - "Заработал поиск по TasIX" - поиск уже был от войдода :).

[Djalolatdin Rakhimov]

Рустам, а есть список местных хостеров, не входящих в ТасИКС, остались ли такие? Или это вопрос не к Вам? Может, кто-то знает?

А разве такие могут быть? Если сервера внутри Узбекистана, то прямо или косвенно они подключены к Тасиксу. Есть очень редкие исключения, если есть свой международный линк без прямой маршрутизации с местными операторами. Но это мелочи.

[Vitaliy Fioktistov]

Молодцы!

А по какому принципу ранжируются результаты? К примеру, по запросу "uforum" на втором месте (после самого uforum) выдается pc.uz. Приятно, конечно, но все же, какие критерии ранжирования зашифрованы в цифрах типа 0.702%? ;)

А вот "похожие" работают, ИМХО, совсем нелогично. http://www.uz/ru/search/?cmd=search&g=ru&GroupBySite=yes&IP=217.12.85.174&m=any&np=0&ps=10&q=uforum&qi=dp&site=866642092&ul=&wf=2231&wm=wrd - ничего похожего не вижу :(

[Djalolatdin Rakhimov]

К примеру, по запросу "uforum" на втором месте (после самого uforum) выдается pc.uz.

Я уже несколько раз говорил Рустаму, что слишком уж часто pc.uz в топах :)

[Ruslan Aliev]

Молодцы!

А по какому принципу ранжируются результаты? К примеру, по запросу "uforum" на втором месте (после самого uforum) выдается pc.uz. Приятно, конечно, но все же, какие критерии ранжирования зашифрованы в цифрах типа 0.702%? ;)

А вот "похожие" работают, ИМХО, совсем нелогично. http://www.uz/ru/search/?cmd=search&g=ru&GroupBySite=yes&IP=217.12.85.174&m=any&np=0&ps=10&q=uforum&qi=dp&site=866642092&ul=&wf=2231&wm=wrd - ничего похожего не вижу :(
Результаты ранжируются по принципу релевантность*популярность страницы= по убыванию.
Есть несколько вариантов, пока выбрали этот.
Позже когда сделаем расширенный поиск, можно будет выбирать и тип поиска (все слова, любое из слов, точное совпадение,булев поиск) и сортировку и многое другое.
Сейчас сделали самое простое.

Все предложения ЕС принимаются (ну раз ДЖ сказал :)), хотя это все и так логично. Сейчас запустили то что есть, а планы развития очень большие.

Релевантность сейчас расчитывается в первую очередь по контенту (видимо слово uforum на pc.uz встречается чаще чем на самом форуме) а потом уже по URL. Поэтому не факт что по запросу будет выдаваться именно тот сайт который вы ожидали.
Но все это еще будет меняться.

Однако никто не задал главного вопроса :) интересно кто-нибудь догадается его задать?(не из своих)

[Ruslan Aliev]

К примеру, по запросу "uforum" на втором месте (после самого uforum) выдается pc.uz.

Я уже несколько раз говорил Рустаму, что слишком уж часто pc.uz в топах :)
С pc.uz большие проблемы... Очень много страниц клонов пока научился исключать клоны из поиска, набралось много одинакового контента. Все таки надо использовать rel=nofollow в ссылках на сортировку страниц...

[Evgeniy Sklyarevskiy]

За новость спасибо, можно ссылочку?
http://uznet.asia/

Не очень точное название - "Заработал поиск по TasIX" - поиск уже был от войдода :).

От Вайдода ищет по домену уз а не по ТасИксу, поэтому и отметил это.

Если сейчас практически все хостеры местные в ТасИксе, то можно не оговаривать это и назвать поиском по Узнету (тогда опять всплывет вопрос что считать Узнетом, но вроде мы это уже утрясли)

[Ruslan Aliev]

Поиск только по сайтам в TAS-IX?
Да поиск только по сайтам в ТАСИКС... пока.
Когда будет нормальный функционал (поиск по картинкам, узбекская морфология, похожие запросы и т.п.) тогда уже можно будет думать о поиске по всем сайтам (и то думаю с ограничениями).

Думаю, правильно будет сделать ограничение: Весь Тасикс + Все сайты в основных каталогах узнета.


Не вопрос, проблема только в международном траффике. А нагенерить его паук может не мало...
Думаю сначала отработаю все необходимые условия индексации. Еще много мусора набирается. На это уйдет 1-2 месяца. Потом можно будет думать и о сайтах за бугром. Сейчас это обучение дорого может обойтись.

[Evgeniy Sklyarevskiy]

Если не знаете что еще делать могу дать предложения и задачи :-0)

Давайте :)

Поиск
- по людям
- по картинкам и по видео
- по регионам Узбекистана
- по блогам, форумам и соцсетям (по отдельности)
- по СМИ и госсайтам

[Ruslan Aliev]

1. А что провайдера не указываете, есть же эти данные у вас?


Принимается.

4. Мне бы код для вставки на сайте как сейчас уже есть на узнет-азия (http://uznet.asia/) 3 поиска по Узнету не срочно конечно просто чтобы не забыли :-0)
Надо сделать.



Логично.

7. Хорошо бы (на будущее) выбирать сортировку выдачи по дате, по рейтингу в НИПС и по релевантности.
Надо сделать.

Если не знаете что еще делать могу дать предложения и задачи :-0)Давайте :)
Все занесено в план

[Ruslan Aliev]

Если не знаете что еще делать могу дать предложения и задачи :-0)Давайте :)

Поиск
- по людям
- по картинкам и по видео
- по регионам Узбекистана
- по блогам, форумам и соцсетям (по отдельности)
- по СМИ и госсайтам
- по людям - сложно организовать автоматическое тегирование страниц, где идет речь о людях
- по картинкам и по видео - можно, но поиск будет идти по описаниям картинок и видео.
- по регионам Узбекистана - сложно, интернет не разделен по регионам
- по блогам, форумам и соцсетям (по отдельности) - можно, надо будет только разработать концепцию определения направления конкретного сайта.... и вот тут выходит на новый уровень значение каталога НИПС.
- по СМИ и госсайтам - тоже самое

[Djalolatdin Rakhimov]

Да поиск только по сайтам в ТАСИКС... пока.
Когда будет нормальный функционал (поиск по картинкам, узбекская морфология, похожие запросы и т.п.) тогда уже можно будет думать о поиске по всем сайтам (и то думаю с ограничениями).

Думаю, правильно будет сделать ограничение: Весь Тасикс + Все сайты в основных каталогах узнета.


Не вопрос, проблема только в международном траффике. А нагенерить его паук может не мало...
Думаю сначала отработаю все необходимые условия индексации. Еще много мусора набирается. На это уйдет 1-2 месяца. Потом можно будет думать и о сайтах за бугром. Сейчас это обучение дорого может обойтись.

Пока забугорные не надо индексировать, либо полосу для паука там выделить меньше.

[Djalolatdin Rakhimov]

Хорошо бы в результатах поиска показывать, в тасиксе ресурс или нет.

[Djalolatdin Rakhimov]

- по людям

А что, интересно бы реализовать поиск по каталогам людей (соц. сети, id.uz, форумы и прочее). Искать именно в людях.

[Djalolatdin Rakhimov]

- по СМИ и госсайтам

Рустам, будет ли возможность искать внутри категорий или тегов НИПС? Хорошая фишка (фильтр).

[Djalolatdin Rakhimov]

- по людям - сложно организовать автоматическое тегирование страниц, где идет речь о людях

Только по предопреденному списку ресурсов, с которыми известен формат поиска людей.

[Ruslan Aliev]

Можно организовать поиск по тегам.
Это есть в планах.
Сейчас не хочу/не могу написать точно что будет реализовано в первую очередь. Так не могу сказать на сколько сложна та или иная задача.
Дополнять поисковик буду в порядке сложности реализуемой задачи.
Кроме озвученных здесь идей еще много своих, начиная от полной поддержки морфологии узбекского языка (сейчас на минимуме и только кирилица) заканчивая ВСЕМ что сейчас есть на известных поисковиках типа Гугл Яндекс и т.п.
Нужно только время и серверная мощность.

[Vitaliy Fioktistov]

Шикарно :)

https://img.uforum.uz/thumbs/6205227.jpg (https://img.uforum.uz/images/6205227.jpg)

[Azamat Shamuzafarov]

да-да сделайте поиск по тегам по всему таш-иксу. пусть реагирует на ссылки вида tags/tagname как-то так.

[Ruslan Aliev]

Шикарно :)

https://img.uforum.uz/thumbs/6205227.jpg (https://img.uforum.uz/images/6205227.jpg)
учитываются слова от 3 до 128 символов, в словах pc и uz меньше 3 символов.
попробуйте поискать вот так http://www.uz/ru/search/?q=%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B 5%D1%80%D0%BD%D1%8B%D0%B9+%D1%80%D1%8B%D0%BD%D0%BE %D0%BA+%D1%83%D0%B7%D0%B1%D0%B5%D0%BA%D0%B8%D1%81% D1%82%D0%B0%D0%BD%D0%B0&qi=dp

[Nodir Sharipov]

Отличная идея, поздравляю!
1 - Предложение переделать "Похожие" на "Ещё с сайта" и отображать страницы в индексе, так как так и получается, а похожие страницы находятся на последних страницах по этому запросу.
2 - А так называемые "Схожие" сделать как на Гугле, то есть по принципу запроса related, где не будут выдаваться страницы с искомого домена.
3 - И для первого/второго и для других если будут такие служебные запросы, лучше реализовать отображение в поле поиска запрос (так уже есть в других ПС), по принципу site:uforum.uz или related:uforum.uz
3 - Сохранённая копия не на всех сайтах корректно кэширует страничку. На некоторых только в виде кода, по причине индекса RSS канала, это лучше отключить (индексацию RSS каналов).
4 - Релевантность выдачи нужно будет подкрутить, так как при поиске по полному домену этот сайт получает не первую позицию и что не правильно не ведёт на главную страницу.
5 - Процент релевантности выдачи можно спрятать думаю от лишних глаз ;)
6 - Нужно подкорректировать описания в выдаче, так частенько много символов выдаёт, оставить самые подходящие по запросу отрывки.

И ещё и ещё долго придётся алгоритмы затягивать так как выдача пока не совсем актуальна, но это ведь только начало :)

[Evgeniy Sklyarevskiy]

Еще много мусора набирается.
И что в нем, интересно?

[Vitaliy Fioktistov]

Шикарно :)

https://img.uforum.uz/thumbs/6205227.jpg (https://img.uforum.uz/images/6205227.jpg)
учитываются слова от 3 до 128 символов, в словах pc и uz меньше 3 символов.
попробуйте поискать вот так http://www.uz/ru/search/?q=%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B 5%D1%80%D0%BD%D1%8B%D0%B9+%D1%80%D1%8B%D0%BD%D0%BE %D0%BA+%D1%83%D0%B7%D0%B1%D0%B5%D0%BA%D0%B8%D1%81% D1%82%D0%B0%D0%BD%D0%B0&qi=dp
А вот так почему то работает:
http://www.google.ru/search?hl=ru&q=pc.uz&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA+%D0%B2+Google&lr=
и вот так:
http://yandex.ru/yandsearch?text=pc.uz
и вот так тоже:
http://search.yahoo.com/search?p=pc.uz&fr=yfp-t-501&toggle=1&cop=mss&ei=UTF-8

А у вас не работает пока или вообще не будет?

Не факт ведь, что пользователь указанный вами запрос сможет сформулировать. Не факт, что он знает, что pc.uz=Компьютерный рынок Узбекистана, id.uz - единая система авторизации, а zn.uz - ZiyoNet

[Ruslan Aliev]

Еще много мусора набирается.
И что в нем, интересно?
http://forum.sarkor.com/index.php?act=Post&CODE=02&f=23&t=257&qpid=463008 - для неавторизованого пользователя (а именно таким является поисковик) ссылка ведет на страницу авторизации. Такие ссылки желательно помечать rel=nofollow. Сейчас мне приходится их вычищать из базы вручную.

http://forum.sarkor.com/index.php?showtopic=9688&pid=387067&mode=threaded&start - попробуйте открыть страничку, потом почистите куки и откройте вот эту http://forum.sarkor.com/index.php?showtopic=9688 - почувствуйте разницу.

и кажется здесь http://uforum.uz/showthread.php?p=234817#post234817 писал

[Vitaliy Fioktistov]

попробуйте поискать вот так http://www.uz/ru/search/?q=%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B 5%D1%80%D0%BD%D1%8B%D0%B9+%D1%80%D1%8B%D0%BD%D0%BE %D0%BA+%D1%83%D0%B7%D0%B1%D0%B5%D0%BA%D0%B8%D1%81% D1%82%D0%B0%D0%BD%D0%B0&qi=dp
Этот запрос, кстати, тоже не панацея. Первая ссылка в выдаче действительно посвящена сайту. А все остальные места в выдаче (>99%) забиты посторонней информацией.

[Ruslan Aliev]

Вообще наверно будет полезно для самих сайто-строителей знать какие ссылки есть на их сайтах.
В принципе эту информацию можно вытащить из логов апача, фильтрую по юзерагенту (у поисковика стоит User-Agent: UZINFOCOM searchbot http://www.3w.uz), в крайнем случае (но не часто, пока не автоматизировано) могу дать список ссылок с реферальными ссылками прямо из базы поисковика. (пишите в личку указывайте URL и email куда отсылать). Естественно буду давать только владельцам сайтов и только которых знаю. Потом может даже автоматизируем эту услугу.

[Ruslan Aliev]

Добавили расширенный поиск (http://www.uz/ru/advsearch/)

[Evgeniy Sklyarevskiy]

Добавили расширенный поиск
__________________
Спасибо, отлично, начали тестировать (в смысле не только я один).

Рустам, а можно спросить — движок поисковика готовый или самописный?

[Игорь Бронников]

Добавили расширенный поиск (http://www.uz/ru/advsearch/)
"Группировать по сайту" кажись не работает

Дал запрос "самсунг"
и первые два результата с одного сайта.

Или имеется в виду что-то другое?

[Ruslan Aliev]

Добавили расширенный поиск (http://www.uz/ru/advsearch/)
"Группировать по сайту" кажись не работает

Дал запрос "самсунг"
и первые два результата с одного сайта.

Или имеется в виду что-то другое?
Сейчас для него ввв.домен.уз и домен.уз - это разные сайты, еще не настроили.

[Ruslan Aliev]

Добавили расширенный поиск
__________________
Спасибо, отлично, начали тестировать (в смысле не только я один).

Рустам, а можно спросить — движок поисковика готовый или самописный?
Конечно можно, это же форум.
Движок готовый, кажется даже на стадии его предварительного испытания кто-то жаловался на него (кажется Норма-Хамкор).

[Evgeniy Sklyarevskiy]

Даю поиск КАУФМАНСКИЙ СБОРНИК с опцией «искать в заголовках» (потому что это сочетание повторяется в сайдбаре на всех страницах), находится неверная страница, одна, хотя пишет, что найдено 666 совпадений???

[Ruslan Aliev]

Даю поиск КАУФМАНСКИЙ СБОРНИК с опцией «искать в заголовках» (потому что это сочетание повторяется в сайдбаре на всех страницах), находится неверная страница, одна, хотя пишет, что найдено 666 совпадений???
Везучий вы...
Просто еще не проиндексированы страницы с таким заголовком, выдается что есть. (то что пишет про найденные станицы, они скачаны но не проанализированы, анализ идет раз в 4 часа... если ничего этому не мешает)

[Ruslan Aliev]

Добавили расширенный поиск (http://www.uz/ru/advsearch/)
"Группировать по сайту" кажись не работает

Дал запрос "самсунг"
и первые два результата с одного сайта.

Или имеется в виду что-то другое?
Сейчас для него ввв.домен.уз и домен.уз - это разные сайты, еще не настроили.
Оказывается была ошибка в верстке. Попробуйте.

[ArtStudio]

А поиск в тасиксе будет только по зоне УЗ?

[Ruslan Aliev]

А поиск в тасиксе будет только по зоне УЗ?
нет, по сайтам в Тасиксе.
Зона УЗ здесь не причём.