Просмотр полной версии : [Вопрос] Как можно узнать сколько весит вебсайт?
1. Есть ли программа или онлайн службы для определение объема того или иного вебсайта? Просто есть несколько вебсайтов и порталов которых я бы хотел скачать и юзать как оффлайновом режиме в локальной сети для удобство.. Но перед этим узнать заранее сколько он весит..
2. Нужна другая программа для отслежки в инте скаченного сайта на изменений и автоматически скачивал и обновлял уже скачанный сайт ?
Ping-Win
04.06.2010, 20:38
офф лайн эксплорер - как то так называется. Программа платная.
Скачивать, это не удобно, долго, невыгодно.
Проще поставить кеширующий сервер. (пень второй/третий пойдёт)
Ping-Win
04.06.2010, 20:39
В догонку, есть ещё помоему программа "телепорт".
Но кеширующий прокси всё же лучше.
офф лайн эксплорер - как то так называется. Программа платная.
Скачивать, это не удобно, долго, невыгодно.
Проще поставить кеширующий сервер. (пень второй/третий пойдёт)
Про Офлайн эксплорер и Телепорт я знаю, но мне чтоб заранее узнать сколько весит сам сайт....
Если можно про кеширующий сервер по подробнее....
Ping-Win
05.06.2010, 08:57
На вскидку:
HandyCache (HC) - это бесплатная программа, которая экономит трафик, ускоряет загрузку страниц, блокирует рекламу и позволяет в автономном режиме (без подключения к Интернет) просмотреть любые посещенные ранее сайты.
http://handycache.ru/images/stories/monitor.png HandyCache - это кэширующий прокси-сервер. Он сокращает трафик до 3-4 раз за счет кэша: однажды загруженные страницы (файлы) записываются в кэш и при следующем запросе берутся из кэша, а не из Интернет - за счет этого экономятся и трафик и время загрузки. HC может кэшировать любые файлы переданные по HTTP протоколу - даже те, которые браузеры не кэшируют.
Любой из установленных на компьютере браузеров (и другие программы) могут использовать кэш HC, а значит, нет необходимости загружать одни и те же страницы несколько раз для просмотра в разных браузерах. Более того, и без подключения к Интернет можно просматривать посещенные ранее страницы и загруженные файлы.
HandyCache гибко настраивается и в зависимости от URL (адреса) и типа файла (расширения) может или брать его из кэша, или всегда из Интернет, или руководствоваться наличием на сайте более новой версии файла, а может вообще блокировать его загрузку (рекламу и прочее нежелательное содержимое сайтов) - и это далеко не весь список возможных действий.
HC может работать через внешние прокси-серверы, причем для разных условий - через разные.
Понравилась флэшка на каком-то сайте? Она уже в кэше - под тем же именем что и на сайте в папке с именем, совпадающим с именем сайта - легко разобраться.
http://handycache.ru/
UserGate и ему подобные.
На Линуксе возможно лучше реализовывать
http://www.opennet.ru/base/net/transparent_proxy.txt.html
Вообще, в нете море инфы по этому поводу.
Ping-Win
05.06.2010, 09:00
офф лайн эксплорер - как то так называется. Программа платная.
Скачивать, это не удобно, долго, невыгодно.
Проще поставить кеширующий сервер. (пень второй/третий пойдёт)
Про Офлайн эксплорер и Телепорт я знаю, но мне чтоб заранее узнать сколько весит сам сайт....
Если можно про кеширующий сервер по подробнее....
А не проще написать админу сайта?
Мне когда lib.ru (весь) был нужен, я написал, мне дали ссылку откуда забрать, делов.
Ping-Win
05.06.2010, 09:23
Если знать ТЗ, то легче что либо советовать.
Если хранить странички нужно для одного десктопа, то прогу оффлайн эксплорер, или телепорт ставить лучший вариант.
Если группа компьютеров, выделенный комп с User Gate, или на линуксе кеширующий прозрачный прокси в роли GW c кучей прочих сервисов и служб. Как файлопомойку тоже можно использовать кстате.
Если знать ТЗ, то легче что либо советовать. Если хранить странички нужно для одного десктопа, то прогу оффлайн эксплорер, или телепорт ставить лучший вариант. Если группа компьютеров, выделенный комп с User Gate, или на линуксе кеширующий прозрачный прокси в роли GW c кучей прочих сервисов и служб. Как файлопомойку тоже можно использовать кстате.
Нет мне не для этого нужно, кароче хочу скачать все целиков создать в локалке оффлайновый сервак хостинг типа денвера или вамп, утада слить и по локалке чтоб пользователи юзали как сидя в интернете.
Неужели нет таких прог или услуг которые бы хотя бы примерно подсчитали бы объем вебпортала
Alexey Pikul
05.06.2010, 16:23
Если знать ТЗ, то легче что либо советовать. Если хранить странички нужно для одного десктопа, то прогу оффлайн эксплорер, или телепорт ставить лучший вариант. Если группа компьютеров, выделенный комп с User Gate, или на линуксе кеширующий прозрачный прокси в роли GW c кучей прочих сервисов и служб. Как файлопомойку тоже можно использовать кстате.
Нет мне не для этого нужно, кароче хочу скачать все целиков создать в локалке оффлайновый сервак хостинг типа денвера или вамп, утада слить и по локалке чтоб пользователи юзали как сидя в интернете.
Неужели нет таких прог или услуг которые бы хотя бы примерно подсчитали бы объем вебпортала
http://www.google.com/search?client=opera&rls=ru&q=%D1%81%D0%BA%D0%B0%D1%87%D0%B0%D1%82%D1%8C+%D1%8 1%D0%B0%D0%B9%D1%82&sourceid=opera&ie=utf-8&oe=utf-8 выбирайте ;)
http://www.google.com/search?client=...utf-8&oe=utf-8 выбирайте
Спасибо:), это все я знаю но дело не в этом прочитайте внимательно первый пост!
Еще раз пишу тем кто в Танке: Как заранее определить объем сайта прежде чем приступить скачать его??
Как заранее определить объем сайта прежде чем приступить скачать его??
Точно - никак. Примерно можно определить, скачать одну типовую страничку сайта, посмотреть ее размер и умножить на общее их количество
Ping-Win
07.06.2010, 10:51
Как заранее определить объем сайта прежде чем приступить скачать его??
Точно - никак. Примерно можно определить, скачать одну типовую страничку сайта, посмотреть ее размер и умножить на общее их количество
Для статики бы ещё подошло. А как быть с динамичными сайтами? (а так же, с внутренними ссылками, якорями и т.п.)
Топикстартеру посоветовал бы заказать программистам такую прогу. НУ а потом, выложить её для всеобщего пользования.
Rustam Gaptulin
07.06.2010, 11:01
Без скачивания нереально узнать сколько весит сайт. Так как например чтобы узнать адреса на остальные странички, кроме главной, придется скачать главную и т.д. всё глубже и глубже, + еще адреса на картинки, ява скрипты, файлы стилей и т.д.
Для статики бы ещё подошло. А как быть с динамичными сайтами? (а так же, с внутренними ссылками, якорями и т.п.)
Как раз наоборот, у статики страницы могут сильно отличатся друг от друга. А у динамики весь контент генерится скриптами, шаблонно.
Rustam Gaptulin
07.06.2010, 12:54
А у динамики весь контент генерится скриптами, шаблонно.
Это ни о чём не говорит. Шаблон общий, внешнее оформление общее - это может сказать только о минимальном размере, какой может занять страничка. Но контент на всех страничках разный, 2-3 строчки или 500-1000 строк, размер будет заметно отличаться. А если еще в контенте будут рисунки?
А у динамики весь контент генерится скриптами, шаблонно.
Это ни о чём не говорит. Шаблон общий, внешнее оформление общее - это может сказать только о минимальном размере, какой может занять страничка. Но контент на всех страничках разный, 2-3 строчки или 500-1000 строк, размер будет заметно отличаться. А если еще в контенте будут рисунки?
Основной вес это элементы оформления, навигации, яваскрипты.
А 500 строк это ~100 кб. Ну будет одна страница весить 200 кб а другая 300. Все равно можно прикинуть, будет весить сайт 2 Гб или 20.
Rustam Gaptulin
07.06.2010, 13:40
А 500 строк это ~100 кб. Ну будет одна страница весить 200 кб а другая 300. Все равно можно прикинуть, будет весить сайт 2 Гб или 20.
А как узнать точное количество страниц? или тоже приблизительно? А если в контенте есть ссылки на файлы, и их тоже нужно учитывать? Слишком много у нас "если" - погрешность определения сильно растёт.
Основной вес это элементы оформления, навигации, яваскрипты.
Элементы оформления, ява скрипты хранятся на сервере только в одном месте и используются во всех остальных страничках, т.е. они не увеличивают вес остальных страничек вообще.
Давайте ближе к делу, скажем вот есть сайт реальный: www.ziyonet.uz
Это просто пример, знаю что легче позвонить админам сайта чтоб узнать но вот как приблизительно оценить сколько весит, больше 4ГБ или меньше?
А как узнать точное количество страниц? или тоже приблизительно? А если в контенте есть ссылки на файлы, и их тоже нужно учитывать? Слишком много у нас "если" - погрешность определения сильно растёт.
Ну я и не утверждал что метод точный =) Просто позволяет хоть как-то прикинуть объем. Насчет количества страниц, это уже надо по движку ориентироваться. В случае с зиенетом навскидку можно сказать что в библиотеке ~20 000 работ, а в публикациях 8240 статей. Ну а если файлы, то да, ничего уже сказать нельзя)
Ping-Win
07.06.2010, 15:53
Как раз наоборот, у статики страницы могут сильно отличатся друг от друга. А у динамики весь контент генерится скриптами, шаблонно.
Умница Вы наша, попробуйте "закачать" сайт по бронированию билетов.
Хотя бы этот: http://www.bestflights.com.au/
Вы примерно можете представить сколько вариантов может там быть? :clapping:
Или Вы хотите всю базу данных (которая постоянно меняется к тому же) перевести в html при скачивании?
Да и кстати, объясните нам каков синтаксис сохранения веб страниц (и дальнейшей отдачи сохранённого) у того софта который умеет это делать? Объяснения есть?
Умница Вы наша, попробуйте "закачать" сайт по бронированию билетов.
Хотя бы этот: http://www.bestflights.com.au/
Вы примерно можете представить сколько вариантов может там быть? :clapping:
Или Вы хотите всю базу данных (которая постоянно меняется к тому же) перевести в html при скачивании?
Вы что-то путаете =) Это не я хочу, а ТС. Лично я ничего скачивать и переводить базу в html (?!) даже и не собирался =)
Да и кстати, объясните нам каков синтаксис сохранения веб страниц (и дальнейшей отдачи сохранённого) у того софта который умеет это делать? Объяснения есть?
Не совсем понял про какой синтаксис идет речь и вообще
причем это здесь.
wget -r -k http://искомый.сайт/ (http://%D0%B8%D1%81%D0%BA%D0%BE%D0%BC%D1%8B%D0%B9.%D1%81% D0%B0%D0%B9%D1%82/%D0%92%D0%BE%D1%82)
Вот и весь синтаксис =)
Ping-Win
08.06.2010, 03:33
Не совсем понял про какой синтаксис идет речь и вообще
причем это здесь.
wget -r -k http://искомый.сайт/ (http://%D0%B8%D1%81%D0%BA%D0%BE%D0%BC%D1%8B%D0%B9.%D1%81% D0%B0%D0%B9%D1%82/%D0%92%D0%BE%D1%82)
Вот и весь синтаксис =)
Попробуй, расскажешь.
Вобще то надо:
wget -r -l 0 -k http://искомый.сайт/
но и это не то что нужно, то есть wget вообще тут не подходит. Если только статичный сайт копировать.
Попробуй, расскажешь.
Попробовал, все пучком.
Вобще то надо:
wget -r -l 0 -k http://искомый.сайт/ (http://%D0%B8%D1%81%D0%BA%D0%BE%D0%BC%D1%8B%D0%B9.%D1%81% D0%B0%D0%B9%D1%82/)
-l 0 можно не указывать, это подразумевается.
wget -r -k www.mail.ru (http://www.mail.ru)
Попробуйте =)
но и это не то что нужно, то есть wget вообще тут не подходит. Если только статичный сайт копировать.
С какого это перепугу для статичных wget подходит а для динамических нет? Клиентской стороне абсолютно по барабану, каким там способом сервер контент формирует.
Ping-Win
09.06.2010, 05:17
С какого это перепугу для статичных wget подходит а для динамических нет? Клиентской стороне абсолютно по барабану, каким там способом сервер контент формирует.
Не всегда он вытащит полностью, динамический сайт.
Читай выше.
Помогите! Я не могу скачать больше 3мб! Я пробовал всех браузерах и на down them all! Когда я скачаю после примерна 2-3 минута скачивания автоматический прерывается!
Anton Boyarskih
13.04.2011, 04:23
Вот вы развели балаган, вам задали конкретный вопрос...
Нельзя узнать сколько весит сайт.
vBulletin® v3.8.5, Copyright ©2000-2024, Jelsoft Enterprises Ltd. Перевод: zCarot