Закачка сайтов целиком: Как скачать сайт целиком — обзор способов и средств

4 программы для скачивания сайтов

Эти четыре программы помогут вам загрузить практически любой сайт к себе на компьютер. Очень полезно, если вы боитесь потерять доступ к любимым статьям, книгам, инструкциям и всему остальному, что могут удалить или заблокировать.

HTTrack позволяет пользователям загружать сайт из интернета на жесткий диск. Программа работает путем копирования содержимого всего сайта, а затем загружает все каталоги, HTML, изображения и другие файлы с сервера сайта на ваш компьютер.

При просмотре скопированного сайта HTTrack поддерживает исходную структуру ссылок сайта. Это позволяет пользователям просматривать его в обычном браузере. Кроме того, пользователи могут нажимать на ссылки и просматривать сайт точно так же, как если бы они смотрели его онлайн.

HTTrack также может обновлять ранее загруженные сайты, а также возобновлять любые прерванные загрузки. Приложение доступно для Windows, Linux и даже для устройств на базе Android.

К сожалению, SiteSucker не лишен недостатков. Во-первых, SiteSucker — платное приложение. На момент написания этой статьи SiteSucker стоит $4.99 в App Store. Кроме того, SiteSucker загружает каждый файл на сайте, который может быть найден. Это означает большую загрузку с большим количеством потенциально бесполезных файлов.

Cyotek WebCopy — инструмент, позволяющий пользователям копировать полные версии сайтов или только те части, которые им нужны. К сожалению, приложение WebCopy доступно только для Windows, но зато оно является бесплатным. Использовать WebCopy достаточно просто. Откройте программу, введите целевой URL-адрес и все.

Кроме того, WebCopy имеет большое количество фильтров и опций, позволяющих пользователям скачивать только те части сайта, которые им действительно нужны. Эти фильтры могут пропускать такие вещи, как изображения, рекламу, видео и многое другое, что может существенно повлиять на общий размер загрузки.

Этот граббер с открытым исходным кодом существует уже давно, и на это есть веские причины. GetLeft — это небольшая утилита, позволяющая загружать различные компоненты сайта, включая HTML и изображения.

GetLeft очень удобен для пользователя, что и объясняет его долговечность. Для начала просто запустите программу и введите URL-адрес сайта, затем GetLeft автоматически анализирует веб-сайт и предоставит вам разбивку страниц, перечисляя подстраницы и ссылки. Затем вы можете вручную выбрать, какие части сайта вы хотите загрузить, установив соответствующий флажок.

После того, как вы продиктовали, какие части сайта вы хотите зазрузить, нажмите на кнопку. GetLeft загрузит сайт в выбранную вами папку. К сожалению, GetLeft не обновлялся какое-то время.

Спасибо, что читаете! Подписывайтесь на мой канал в Telegram и Яндекс.Дзен. Только там последние обновления блога и новости мира информационных технологий.

Также, читайте меня в социальных сетях: Facebook, Twitter, VK, OK.

Респект за пост! Спасибо за работу!

Хотите больше постов? Узнавать новости технологий? Читать обзоры на гаджеты? Для всего этого, а также для продвижения сайта, покупки нового дизайна и оплаты хостинга, мне необходима помощь от вас, преданные и благодарные читатели. Подробнее о донатах читайте на специальной странице.

Заранее спасибо! Все собранные средства будут пущены на развитие сайта. Поддержка проекта является подарком владельцу сайта.

Поделиться ссылкой:

Вам может быть полезно:

Программы для скачивания сайта целиком

В интернете хранится множество полезной информации, к которой необходим практически постоянный доступ для некоторых пользователей. Но не всегда есть возможность подключиться к сети и зайти на нужный ресурс, а копировать содержание через такую функцию в браузере или перемещать данные в текстовый редактор не всегда удобно и конструкция сайта теряется. В таком случае на помощь приходит специализированный софт, который предназначен для локального хранения копий определенных веб-страниц.

Teleport Pro

Данная программа оснащена только самым необходимым набором функций. В интерфейсе нет ничего лишнего, а само главное окно разделено на отдельные части. Создавать можно любое количество проектов, ограничиваясь только вместительностью жесткого диска. Мастер создания проектов поможет правильно настроить все параметры для скорейшего скачивания всех необходимых документов.

Teleport Pro распространяется платно и не имеет встроенного русского языка, но он может пригодится только при работе в мастере проекта, с остальным можно разобраться даже без знания английского.

Скачать Teleport Pro

Local Website Archive

У этого представителя уже имеется несколько приятных дополнений в виде встроенного браузера, который позволяет работать в двух режимах, просматривая онлайн страницы или сохраненные копии сайтов. Еще присутствует функция печати веб-страниц. Они не искажаются и практически не изменяются в размере, поэтому на выходе пользователь получает почти идентичную текстовую копию. Радует возможность помещения проекта в архив.

Остальное все очень схоже с другими подобными программами. Во время скачивания пользователь может мониторить состояние файлов, скорость загрузки и отслеживать ошибки, если они имеются.

Скачать Local Website Archive

Website Extractor отличается от других участников обзора тем, что разработчики подошли немного по-новому к составлению главного окна и распределению функций по разделам. Все необходимое находится в одном окне и отображается одновременно. Выбранный файл сразу же можно открыть в браузере в одном из предложенных режимов. Мастер создания проектов отсутствует, нужно просто вставить ссылки в выведенную строку, а при необходимости дополнительных настроек, открыть новое окно на панели инструментов.

Опытным пользователям понравится широкий набор различных настроек проекта, начиная от фильтрации файлов и лимитов уровней ссылок, и заканчивая редактированием прокси-сервера и доменов.

Скачать Website Extractor

Web Copier

Ничем не примечательная программа для сохранения копий сайтов на компьютере. В наличии стандартный функционал: встроенный браузер, мастер создания проектов и подробная настройка. Единственное, что можно отметить – поиск файлов. Пригодится для тех, кто потерял место, где была сохранена веб-страница.

Для ознакомления есть бесплатная пробная версия, которая не ограничена в функционале, лучше опробовать ее перед тем, как покупать полную версию на официальном сайте разработчиков.

Скачать Web Copier

WebTransporter

В WebTransporter хочется отметить ее абсолютно бесплатное распространение, что редкость для подобного софта. В ней присутствует встроенный браузер, поддержка скачивания нескольких проектов одновременно, настройка соединения и ограничения по объему загруженной информации или размерам файлов.

Скачивание происходит в несколько потоков, настройка которых осуществляется в специальном окне. Мониторить состояние загрузки можно на главном окне в отведенном размере, где отображается информация о каждом потоке отдельно.

Скачать WebTransporter

WebZIP

Интерфейс данного представителя выполнен довольно непродуманно, поскольку новые окна не открываются отдельно, а отображаются в главном. Единственное, что спасает – редактирование их размера под себя. Однако данное решение может понравиться некоторым пользователям. Программа отображает скачанные страницы отдельным списком, и доступен их просмотр сразу же во встроенном браузере, который ограничен автоматическим открытием только двух вкладок.

Подходит WebZIP для тех, кто собирается скачивать большие проекты и будет открывать их одним файлом, а не каждую страницу отдельно через HTML документ. Такой просмотр сайтов позволяет выполнять оффлайн браузер.

Скачать WebZIP

HTTrack Website Copier

Просто хорошая программа, в которой присутствует мастер создания проектов, фильтрация файлов и дополнительные настройки для продвинутых пользователей. Файлы не скачиваются сразу, а первоначально проводится сканирование всех типов документов, что есть на странице. Это позволяет изучить их еще даже до сохранения на компьютере.

Отслеживать подробные данные о состоянии скачивания можно в главном окне программы, где отображено количество файлов, скорость загрузки, ошибки и обновления. Доступно открытие папки сохранения сайта через специальный раздел в программе, где отображены все элементы.

Скачать HTTrack Website Copier

Список программ еще можно продолжать, но здесь приведены основные представители, которые отлично справляются со своей задачей. Почти все отличаются некоторым набором функций, но одновременно и похожи друг на друга. Если вы выбрали для себя подходящий софт, то не спешите его покупать, протестируйте сначала пробную версию, чтобы точно сформировать мнение о данной программе.

Мы рады, что смогли помочь Вам в решении проблемы.
Опишите, что у вас не получилось. Наши специалисты постараются ответить максимально быстро.

Помогла ли вам эта статья?

ДА НЕТ

ТОП лучших способов, как скопировать сайт

Сейчас очень сложно прожить без стабильного и регулярного подключения к интернету — человеку может понадобиться проверить информацию, посмотреть погоду или уточнить свое местоположение на карте. Но иногда возникает такая ситуация, когда нужен целый сайт или какая-то его страница, а доступа к интернету нет.

Часто такая проблема встает перед путешественниками, которым нужно скачать путеводитель по незнакомому городу с картами и подробным расписанием маршрута. Но если доступа к сети нет, им приходится заранее делать скриншоты или выписывать нужную информацию. Это не совсем удобно, занимает много времени и в бесконечных скриншотах путешественник легко запутается.

Кроме того, сохранение сайта может понадобиться вам во многих случаях. Например, если вы находитесь дома с регулярным подключением к сети хотите, чтобы информация сохранялась на вашем компьютере, даже если ее кто-то удалит с сайта. Причин может быть много, в конце-концов, это просто удобно.

Есть несколько простых способов того, как скачать сайт к себе на устройство для того, чтобы можно было его открыть и без доступа к сети. Мы расскажем подробнее про каждый из них и поделимся самыми простыми и верными способами сохранить веб-страницу себе.

Постраничное сохранение

Парадоксально, но этим самым простым способом сохранения сайта к себе на компьютер вы могли пользоваться даже если не знали о его существовании, когда случайно сохранял сайт с помощью комбинации клавиш. Возможность сохранить к себе сайт на компьютер с этим способом есть в любом популярном браузере. Для этого вам нужно нажать комбинацию клавиш Ctrl+S. После этого пользователю должно открыться окно, где нужно ввести название сайта, под которым он сохранится на компьютере. Также стоит выбрать папку, в которую пойдет страница сайта.

Это очень простой и удобный способ, однако в таком методе сохранения есть недостаток. Он сохраняет только одну страницу, по сути это — длинный скриншот, но в более хорошем качестве. Если вам нужно сохранить больше, чем пару страниц для своих потребностей, то вы будете долго это делать и в результате можете запутаться в бесконечных страницах.

Поэтому если вам нужно сохранить целый большой сайт с кучей страниц, на которых важная для вас информация, то нужно подключать не постраничное сохранение, а обращаться к современным способам — через онлайн-сервисы или с помощью программ.

Использование онлайн-сервисов

Онлайн-ресурсы для сохранения страниц в браузере — самый простой способ того, как скопировать сайт. Это не только быстро, не требует установки дополнительного ПО на ваш компьютер и это бесплатно. Нужно всего-лишь зайти на интересующий вас ресурс, ввести в отведенное для этого места адрес сайта, запустить скачивание и выбрать место, куда это будет скачиваться.

Есть бесплатные и платные ресурсы. Платных намного больше и они удобнее, а бесплатных не так много, иногда они работают очень медленно, но для простого пользователя будут полезными, особенно если вы не часто скачиваете сайты. Для того, чтобы вам было понятнее, предлагаем подробнее рассмотреть бесплатные онлайн-сервисы.

Webparse.ru

Этот ресурс можно только условно назвать бесплатным. Им очень удобно пользоваться и он хорошо и быстро скачивает сайт, но бесплатно это можно сделать только один раз, потом за использование ресурса придется платить. Но если ситуации, когда вам нужно скачать сайт целиком и сделать это максимально быстро и удобно, у вас случаются очень редко, советуем воспользоваться данным сайтом.

Основное его преимущество в том, что он работает практически молниеносно и если вам очень нужно скачать сайт и быстрее уходить из дома туда, где не будет доступа к интернету, такой вариант очень хорошо подойдет. После скачивания сайта у вас в загрузках будет висеть архив с этой информацией. Однако сайт может скачаться не полностью, особенно, если у него очень большая структура. Поэтому если вы подозреваете, что не все могло скачаться, то разархивируйте папку и посмотрите, есть ли там та информация, которая нужна вам. И если нет — скачайте постраничным сохранением.

Web2PDFConvert.com

Есть и другие способы сохранения сайтов на свой компьютер с помощью онлайн-ресурсов. Так, удобно пользоваться Web2PDFConvert.com. Он создаст PDF-файл, в котором будут страницы необходимого сайта. Конечно, часть функция (таких как гиперссылки, например), вы потеряете, но если сайт вам нужен только для текстовой информации, то им пользоваться удобно. Самое главное, что скачивается все быстро и бесплатно.

Специализированные программы

Самый лучший вариант того, как можно скачать сайт и не потерять большее количество информации и функционала из него — это поставить себе на компьютер специальную программу для скачивания и поставить весь сайт целиком на загрузку. Однако хотим сразу сказать про недостатки этого метода:

1. Программа требует установки, на что идет время.
2. Вы также потратите время на то, чтобы разобраться с функционалом и использованием.
3. Программа занимает место на компьютере.
4. Многие из таких программ платные, хотя и имеют бесплатные аналоги.
5. Не все программы можно найти на ваше ПО. Многие из них разработаны только для ОС Windows.

Однако программа скачивает все быстрее и качественнее и в целом в использовании любая из нижеописанных прогам удобнее в использовании, чем онлайн-сервисы, несмотря на то, что придется скачивать и устанавливать.

WinHTTrack WebSite Copier

Эта программа является одной из самых популярных утилит среди тех, что разрабатывались для сохранения копий сайтов.

Для того, чтобы приступить к работе с программой, нужно скачать ее с официального сайта (смотрите внимательно, выберите нужную версию под свою платформу). После установки стоит запустить программу и выбрать, на каком языке вам удобнее в ней работать. Есть даже русский для тех, кто не хочет работать на иностранном.

Интерфейс простой и интуитивно понятный, так что разобраться в нем не сложно. В первом их окон нужно назвать будущий файл, выбрать его категорию и указать, куда надо скачивать. После этого нужно просто ввести веб-адрес сайта, который вы хотите загрузить.

В программе есть много настроек, через которые вы можете регулировать, например, глубину просмотра сайта. Также удобно то, что можно выставить фильтры и определить, что именно скачивать, а что — не стоит. Так, вы можете не скачивать изображения, а скачать только текст.

Вообще, настроек для скачивания много и мы рекомендуем просмотреть их все перед тем, как скачивать, так весь процесс пройдет гораздо комфортнее для вас и вы сможете максимально оптимизировать все. После того, как вы поставили настройки и выбрали нужное имя и место, нажмите “Готово” и ожидайте, пока сайт скачается. Чтобы просмотреть его, нажмите на файл index.htm.

Cyotek WebCopy

Это программа на английском языке, которая обладает очень многими возможностями, вы в этой программе можете подстраивать под себя настройки скачивания и удобно загружать сайт, который вам необходим.

Чтобы скачать, нужно просто выбрать настройки для скачивания, а потом указать адрес загрузки и нажать “Copy Website”.

Когда программа все сделает, вам останется только найти файл “index.htm”. Он и будет начальной страницей сайта, который вы скачали себе для просмотра в режиме офлайн.

Однако, есть у удобной программы для скачивания и недостатки. Русский язык в интерфейсе не предусмотрен и это может стать серьезной проблемой для тех, кто не владеет иностранным языком на достаточном для работы в программе уровня. Также стоит заранее предупредить пользователей, что программа работает только на Windows, начиная с Vista. Поэтому если у вас другая операционная система, придется искать аналоги программы.

Teleport Pro

Программу можно назвать пионером среди подобных ей, однако она платная. Впрочем, для тех, кому нужно скачать всего пару сайтов и кто не планирует пользоваться программой дольше нескольких дней, есть демонстрационная версия. Этот тестовый период поможет вам бесплатно воспользоваться программой и удалить ее потом за ненадобностью.

После того, как вы установили и запустили программу, вам должно открыться главное окно для загрузки. Через него нужно выбрать, как именно вы хотите загрузить сайт на свой компьютер. Так, предусмотрены варианты сохранения определенных страниц или только некоторых типов файлов.

После того, как вы выбрали все необходимые для себя настройки, вам стоит создать в программе новый проект, который вы назовете так, как вам будет удобно и понятно. Далее нужно ввести адрес и выбрать глубину скачивания сайта, которая вам необходима. По умолчанию она стоит 3, но вы можете поставить больше или меньше при желании. Когда все выставлено, нужно нажать на “Далее”, выбрать папку для сохранения и нажать на синий треугольник с надписью “Start”.

Offline Explorer

Программа также платная, но очень удобная благодаря тому, что в ней есть возможность переключить интерфейс на русский язык. Пробная версия программы доступна для пользователя бесплатно в течение месяца, но можно скачать только до 2000 файлов в тестовый период. Если захотите купить программу для дальнейшего использования, учтите, что у нее есть три разновидности — Standard, Pro и Enterprise. Самая простая версия обойдется пользователю в 60 долларов, а самая дорогая — в 600.

Для работы нужно создать новый проект, указать адрес, отфильтровать настройки сохранения. Работа проходит примерно так же, как и во всех аналогах.

После того, как вы все выставили и подготовились к скачиванию, нажмите на пункт “Загрузить” и ждите загрузки.

Программа многофункциональна. В ней вы можете загружать сразу несколько сайтов с системой многопоточной загрузки и выбирать из огромного количества настроек. Но все это доступно в более дорогих версиях утилиты.

Webcopier

Эта программа также распространяется платно, однако удобно то, что у нее есть бесплатный период на 15-дней. Если вам не нужно качать сайты постоянно, то можете воспользоваться в пределах 15 дней, а потом удалить за ненадобностью. Удобно то, что система кроссплатформенная, она есть для Windows и Mac OS.

Работать в ней так же просто, как и во всех аналогичных, которые мы описывали выше. Вам нужно только создать новый файл-проект, после чего ввести URL сайта, который вы хотите скачать.

Программа может попросить вас ввести имя и пароль пользователя, который зарегистрирован на сайте, предназначенном для скачивания. Это нужно для того, чтобы система могла скачать сайт так, как его видит зарегистрированный пользователь со своего аккаунта. Кроме того, вы можете выставить в настройках, что скачивать, а что не стоит. После того, как вы все заполните, останется только нажать “Start download”.

Весь процесс скачивания вы сможете отслеживать с помощью графика, который в режиме реального времени будет строить программа. Там можно наблюдать скорость скачивания, а также из графика вы узнаете, как долго осталось качать.

Сохранение в Google Chrome для Android

Сохранить страницу сайта в телефоне очень просто, однако таким методом вы сохраняете только одну из страниц сайта в браузере. Если хотите сохранить больше — вам придется делать это поштучно. Такой метод подойдет, если вы надолго уходите из дома, но вам нужна справочная информация, которую вы не хотите переписывать, то это очень удобно.

Для того, чтобы скачать сайт, вам нужно зайти на него через мобильное приложение браузера Google Chrome. Если вы пользуетесь другим, вы можете скачать браузер из Google Play Store.

Откройте веб-страницу, которую вам необходимо скачать на свой телефон. После нужно нажать справа вверху возле названия сайта знак в виде трех пунктирных точек. После этого вам будет доступна кнопка “Скачать”, после того, как вы нажмете на нее, телефон автоматически сохранит страницу, на которой вы сейчас находитесь.

Опции, куда именно скачать, в телефоне нет, обычно все сохраняется в папку загрузок или в папку, которая у вас установлена для скачивания по умолчанию. Стоит отметить что для того чтобы страница скачалась, вам нужно иметь постоянное стабильное подключение все время загрузки. Скачивается она довольно быстро, но если произойдет сбой интернета, может вообще ничего не загрузиться.

Выводы

Как видите, с современными технологиями вы можете не только найти всю необходимую для себя информацию, но и иметь к ней доступ без подключения к сети, если заранее позаботитесь о том, чтобы скачать все необходимое себе на устройство.

У вас есть очень много способов сохранения сайта — от онлайн-ресурсов до специальных программ, если приходится делать это часто и в большом количестве. У онлайн0есурсов и бесплатных расширений функционал скромный, но обычному пользователю его зачастую достаточно для бытовых действий. Если вам нужен большой функционал, так как сохранение сайта необходимо для вашей работы или учебы — приобретите платные программы, с которыми это будет делать очень удобно и просто.

Но мы не советуем покупать ни одно приложение прежде, чем вы ознакомитесь с ним и поймете все плюсы и минусы. Тем более, что некоторые программы стоят слишком дорого и не имеют намного больше функционала, чем бесплатные аналоги утилит. Скачивайте и тестируйте на практике пробную версию и выбирайте для себя то, что понравилось в использовании больше всего. Ведь деньги за скачанную программу вам никто не вернет, даже если вам не понравится ее использовать.

Если у вас есть свои способы того, как скачать сайт себе на компьютер или телефон — делитесь ими в комментариях, а если есть вопросы — можете задать их там же.

программа для загрузки файлов и скачивания сайта целиком.

У Вас в браузере заблокирован JavaScript. Разрешите JavaScript для работы сайта!

Пришедшая из мира Linux, свободно распространяемая утилита Wget позволяет скачивать как отдельные файлы из интернета, так и сайты целиком, следуя по ссылкам на веб-страницах.

Чтобы получить подсказку по параметрам WGet наберите команду man wget в Linux или wget.exe —help в Windows.

Допустим, мы хотим создать полную копию сайта www.site.com на своем диске. Для этого открываем командную строку (Wget — утилита консольная) и пишем такую команду:

wget.exe -r -l10 -k -p -E -nc http://www.site.com

Если предполагается загрузка с сайта какого-либо одного каталога (со всеми вложенными в него папками), то логичнее будет включить в командную строку параметр -np. Он не позволит утилите при поиске файлов подниматься по иерархии каталогов выше указанной директории:

wget.exe -r -l10 -k http://www.site.com -np

Если загрузка данных была случайно прервана, то для возобновления закачки с места останова, необходимо в команду добавить ключ -с:

wget.exe -r -l10 -k http://www.site.com -c

По умолчанию всё скаченное сохраняется в рабочей директории утилиты. Определить другое месторасположение копируемых файлов поможет параметр -P:

wget.exe -r -l10 -k http://www.site.com -P c:\internet\files

Наконец, если сетевые настройки вашей сети предполагают использование прокси-сервера, то его настройки необходимо сообщить программе. См. Конфигурирование WGET

wget -m -k -nv -np -p --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" АДРЕС_САЙТА

Загрузка всех URL, указанных в файле FILE:

wget -i FILE

Скачивание файла в указанный каталог (-P):

wget -P /path/for/save ftp://ftp.example.org/some_file.iso

Использование имени пользователя и пароля на FTP/HTTP (вариант 1):

wget ftp://login:[email protected]/some_file.iso

Использование имени пользователя и пароля на FTP/HTTP (вариант 2):

wget --user=login --password=password ftp://ftp.example.org/some_file.iso

Скачивание в фоновом режиме (-b):

wget -b ftp://ftp.example.org/some_file.iso

Продолжить (-c continue) загрузку ранее не полностью загруженного файла:

wget -c http://example.org/file.iso

Скачать страницу с глубиной следования 10, записывая протокол в файл log:

wget -r -l 10 http://example.org/ -o log

Скачать содержимое каталога http://example.org/~luzer/my-archive/ и всех его подкаталогов, при этом не поднимаясь по иерархии каталогов выше:

wget -r --no-parent http://example.org/~luzer/my-archive/

Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра, необходимо использовать ключ -k:

wget -r -l 10 -k http://example.org/

Также поддерживается идентификация на сервере:

wget --save-cookies cookies.txt --post-data 'user=foo&password=bar' http://example.org/auth.php

Скопировать весь сайт целиком:

wget -r -l0 -k http://example.org/

Например, не загружать zip-архивы:

wget -r -R «*.zip» http://freeware.ru

Залогиниться и скачать файлик ключа

@echo off
wget --save-cookies cookies.txt --post-data "login=ТВОЙЛОГИН&password=ТВОЙПАРОЛЬ" http://beta.drweb.com/files/ -O-
wget --load-cookies cookies.txt "http://beta.drweb.com/files/?p=win%%2Fdrweb32-betatesting.key&t=f" -O drweb32-betatesting.key

Внимание! Регистр параметров WGet различен!

Базовые ключи запуска

-V
—version
Отображает версию Wget.

-h
—help
Выводит помощь с описанием всех ключей командной строки Wget.

-b
—background
Переход в фоновый режим сразу после запуска. Если выходной файл не задан -o, выход перенаправляется в wget-log.

-e command
—execute command
Выполнить command, как если бы она была частью файла .wgetrc. Команда, запущенная таким образом, будет выполнена после команд в .wgetrc, получая приоритет над ними. Для задания более чем одной команды wgetrc используйте несколько ключей -e.

Протоколирование и ключи входного файла

-o logfile
—output-file=logfile
Протоколировать все сообщения в logfile. Обычно сообщения выводятся в standard error.

-a logfile
—append-output=logfile
Дописывать в logfile. То же, что -o, только logfile не перезаписывается, а дописывается. Если logfile не существует, будет создан новый файл.

-d
—debug
Включает вывод отладочной информации, т.е. различной информации, полезной для разработчиков Wget при некорректной работе. Системный администратор мог выбрать сборку Wget без поддержки отладки, в этом случае -d работать не будет. Помните, что сборка с поддержкой отладки всегда безопасна — Wget не будет выводить отладочной информации, пока она явно не затребована через -d.

-q
—quiet
Выключает вывод Wget.

-v
—verbose
Включает подробный вывод со всей возможной информацией. Задано по умолчанию.

-nv
—non-verbose
Неподробный вывод — отключает подробности, но не замолкает совсем (используйте -q для этого), отображаются сообщения об ошибках и основная информация.

-i file
—input-file=file
Читать URL из входного файла file, в этом случае URL не обязательно указывать в командной строке. Если адреса URL указаны в командной строке и во входном файле, первыми будут запрошены адреса из командной строки. Файл не должен (но может) быть документом HTML — достаточно последовательного списка адресов URL. Однако, при указании —force-html входной файл будет считаться html. В этом случае могут возникнуть проблемы с относительными ссылками, которые можно решить указанием <base href=»url»> внутри входного файла или —base=url в командной строке.

-F
—force-html
При чтении списка адресов из файла устанавливает формат файла как HTML. Это позволяет организовать закачку по относительным ссылкам в локальном HTML-файле при указании <base href=»url»> внутри входного файла или —base=url в командной строке.

-B URL
—base=URL
Используется совместно c -F для добавления URL к началу относительных ссылок во входном файле, заданном через -i.

Ключи скачивания

—bind-address=ADDRESS
При открытии клиентских TCP/IP соединений bind() на ADDRESS локальной машины. ADDRESS может указываться в виде имени хоста или IP-адреса. Этот ключ может быть полезен, если машине выделено несколько адресов IP.

-t number
—tries=number
Устанавливает количество попыток в number. Задание 0 или inf соответствует бесконечному числу попыток. По умолчанию равно 20, за исключением критических ошибок типа «в соединении отказано» или «файл не найден» (404), при которых попытки не возобновляются.

-O file
—output-document=file
Документы сохраняются не в соответствующие файлы, а конкатенируются в файл с именем file. Если file уже существует, то он будет перезаписан. Если в качестве file задано -, документы будут выведены в стандартный вывод (отменяя -k). Помните, что комбинация с -k нормально определена только для скачивания одного документа.

-nc
—no-clobber
Если файл скачивается более одного раза в один и тот же каталог, то поведение Wget определяется несколькими ключами, включая -nc. В некоторых случаях локальный файл будет затёрт или перезаписан при повторном скачивании, в других — сохранён.
При запуске Wget без -N, -nc или -r скачивание того же файла в тот же каталог приводит к тому, что исходная копия файла сохраняется, а новая копия записывается с именем file.1. Если файл скачивается вновь, то третья копия будет названа file.2 и т.д. Если указан ключ -nc, такое поведение подавляется, Wget откажется скачивать новые копии файла. Таким образом, «no-clobber» неверное употребление термина в данном режиме — предотвращается не затирание файлов (цифровые суффиксы уже предотвращали затирание), а создание множественных копий.
При запуске Wget с ключом -r, но без -N или -nc, перезакачка файла приводит к перезаписыванию на место старого. Добавление -nc предотвращает такое поведение, сохраняя исходные версии файлов и игнорируя любые новые версии на сервере.
При запуске Wget с ключом -N, с или без -r, решение о скачивании новой версии файла зависит от локальной и удалённой временных отметок и размера файла. -nc не может быть указан вместе с -N.
При указании -nc файлы с расширениями .html и .htm будут загружаться с локального диска и обрабатываться так, как если бы они были скачаны из сети.

-c
—continue
Продолжение закачки частично скачанного файла. Это полезно при необходимости завершить закачку, начатую другим процессом Wget или другой программой. Например:

wget -c ftp://htmlweb.ru/ls-lR.Z

Если в текущем каталоге имеется файл ls-lR.Z, то Wget будет считать его первой частью удалённого файла и запросит сервер о продолжении закачки с отступом от начала, равному длине локального файла.

Нет необходимости указывать этот ключ, чтобы текущий процесс Wget продолжил закачку при пи потере связи на полпути. Это изначальное поведение. -c влияет только на закачки, начатые до текущего процесса Wget, если локальные файлы уже существуют.

Без -c предыдущий пример сохранит удалённый файл в ls-lR.Z.1, оставив ls-lR.Z без изменения.

Начиная с версии Wget 1.7, при использовании -c с непустым файлом, Wget откажется начинать закачку сначала, если сервер не поддерживает закачку, т.к. это привело бы к потере скачанных данных. Удалите файл, если вы хотите начать закачку заново.

Также начиная с версии Wget 1.7, при использовании -c для файла равной длины файлу на сервере Wget откажется скачивать и выведет поясняющее сообщение. То же происходит, если удалённый файл меньше локального (возможно, он был изменён на сервере с момента предыдущей попытки) — т.к. «продолжение» в данном случае бессмысленно, скачивание не производится.

С другой стороны, при использовании -c локальный файл будет считаться недокачанным, если длина удалённого файла больше длины локального. В этом случае (длина(удалённая) — длина(локальная)) байт будет скачано и приклеено в конец локального файла. Это ожидаемое поведение в некоторых случаях: например, можно использовать -c для скачивания новой порции собранных данных или лог-файла.

Однако, если файл на сервере был изменён, а не просто дописан, то вы получите испорченный файл. Wget не обладает механизмами проверки, является ли локальный файл начальной частью удалённого файла. Следует быть особенно внимательным при использовании -c совместно с -r, т.к. каждый файл будет считаться недокачанным.

Испорченный файл также можно получить при использовании -c с кривым HTTP прокси, который добавляет строку тима «закачка прервана». В будущих версиях возможно добавление ключа «откат» для исправления таких случаев.

Ключ -c можно использовать только с FTP и HTTP серверами, которые поддерживают заголовок Range.

—progress=type
Выбор типа индикатора хода закачки. Возможные значения: «dot» и «bar».
Индикатор типа «bar» используется по умолчанию. Он отображает ASCII полосу хода загрузки (т.н. «термометр»). Если вывод не в TTY, то по умолчанию используется индикатор типа «dot».
Для переключения в режим «dot» укажите —progress=dot. Ход закачки отслеживается и выводится на экран в виде точек, где каждая точка представляет фиксированный размер скачанных данных.
При точечной закачке можно изменить стиль вывода, указав dot:style. Различные стили определяют различное значение для одной точки. По умолчанию одна точка представляет 1K, 10 точек образуют кластер, 50 точек в строке. Стиль binary является более «компьютер»-ориентированным — 8K на точку, 16 точек на кластер и 48 точек на строку (384K в строке). Стиль mega наиболее подходит для скачивания очень больших файлов — каждой точке соответствует 64K, 8 точек на кластер и 48 точек в строке (строка соответствует 3M).
Стиль по умолчанию можно задать через .wgetrc. Эта установка может быть переопределена в командной строке. Исключением является приоритет «dot» над «bar», если вывод не в TTY. Для непременного использования bar укажите —progress=bar:force.

-N
—timestamping
Включает использование временных отметок.

-S
—server-response
Вывод заголовков HTTP серверов и ответов FTP серверов.

—spider
При запуске с этим ключом Wget ведёт себя как сетевой паук, он не скачивает страницы, а лишь проверяет их наличие. Например, с помощью Wget можно проверить закладки:

wget --spider --force-html -i bookmarks.html

Эта функция требует большой доработки, чтобы Wget достиг функциональности реальных сетевых пауков.

-T seconds
—timeout=seconds
Устанавливает сетевое время ожидания в seconds секунд. Эквивалентно одновременному указанию —dns-timeout, —connect-timeout и —read-timeout.
Когда Wget соединяется или читает с удалённого хоста, он проверяет время ожидания и прерывает операцию при его истечении. Это предотвращает возникновение аномалий, таких как повисшее чтение или бесконечные попытки соединения. Единственное время ожидания, установленное по умолчанию, — это время ожидания чтения в 900 секунд. Установка времени ожидания в 0 отменяет проверки.
Если вы не знаете точно, что вы делаете, лучше не устанавливать никаких значений для ключей времени ожидания.

—dns-timeout=seconds
Устанавливает время ожидания для запросов DNS в seconds секунд. Незавершённые в указанное время запросы DNS будут неуспешны. По умолчанию никакое время ожидания для запросов DNS не устанавливается, кроме значений, определённых системными библиотеками.

—connect-timeout=seconds
Устанавливает время ожидания соединения в seconds секунд. TCP соединения, требующие большего времени на установку, будут отменены. По умолчанию никакое время ожидания соединения не устанавливается, кроме значений, определённых системными библиотеками.

—read-timeout=seconds
Устанавливает время ожидания чтения (и записи) в seconds секунд. Чтение, требующее большего времени, будет неуспешным. Значение по умолчанию равно 900 секунд.

—limit-rate=amount
Устанавливает ограничение скорости скачивания в amount байт в секунду. Значение может быть выражено в байтах, килобайтах с суффиксом k или мегабайтах с суффиксом m. Например, —limit-rate=20k установит ограничение скорости скачивания в 20KB/s. Такое ограничение полезно, если по какой-либо причине вы не хотите, чтобы Wget не утилизировал всю доступную полосу пропускания. Wget реализует ограничение через sleep на необходимое время после сетевого чтения, которое заняло меньше времени, чем указанное в ограничении. В итоге такая стратегия приводит к замедлению скорости TCP передачи приблизительно до указанного ограничения. Однако, для установления баланса требуется определённое время, поэтому не удивляйтесь, если ограничение будет плохо работать для небольших файлов.

-w seconds
—wait=seconds
Ждать указанное количество seconds секунд между закачками. Использование этой функции рекомендуется для снижения нагрузки на сервер уменьшением частоты запросов. Вместо секунд время может быть указано в минутах с суффиксом m, в часах с суффиксом h или днях с суффиксом d.
Указание большого значения полезно, если сеть или хост назначения недоступны, так чтобы Wget ждал достаточное время для исправления неполадок сети до следующей попытки.

—waitretry=seconds
Если вы не хотите, чтобы Wget ждал между различными закачками, а только между попытками для сорванных закачек, можно использовать этот ключ. Wget будет линейно наращивать паузу, ожидая 1 секунду после первого сбоя для данного файла, 2 секунды после второго сбоя и так далее до максимального значения seconds. Таким образом, значение 10 заставит Wget ждать до (1 + 2 + … + 10) = 55 секунд на файл. Этот ключ включён по умолчанию в глобальном файле wgetrc.

—random-wait
Некоторые веб-сайты могут анализировать логи для идентификации качалок, таких как Wget, изучая статистические похожести в паузах между запросами. Данный ключ устанавливает случайные паузы в диапазоне от 0 до 2 * wait секунд, где значение wait указывается ключом —wait. Это позволяет исключить Wget из такого анализа. В недавней статье на тему разработки популярных пользовательских платформ был представлен код, позволяющий проводить такой анализ на лету. Автор предлагал блокирование подсетей класса C для блокирования программ автоматического скачивания, несмотря на возможную смену адреса, назначенного DHCP. На создание ключа —random-wait подвигла эта больная рекомендация блокировать множество невиновных пользователей по вине одного.

-Y on/off
—proxy=on/off
Включает или выключает поддержку прокси. Если соответствующая переменная окружения установлена, то поддержка прокси включена по умолчанию.

-Q quota
—quota=quota
Устанавливает квоту для автоматических скачиваний. Значение указывается в байтах (по умолчанию), килобайтах (с суффиксом k) или мегабайтах (с суффиксом m). Квота не влияет на скачивание одного файла. Так если указать wget -Q10k ftp://htmlweb.ru/ls-lR.gz, файл ls-lR.gz будет скачан целиком. То же происходит при указании нескольких URL в командной строке. Квота имеет значение при рекурсивном скачивании или при указании адресов во входном файле. Т.о. можно спокойно указать wget -Q2m -i sites — закачка будет прервана при достижении квоты. Установка значений 0 или inf отменяет ограничения.

—dns-cache=off
Отключает кеширование запросов DNS. Обычно Wget запоминает адреса, запрошенные в DNS, так что не приходится постоянно запрашивать DNS сервер об одном и том же (обычно небольшом) наборе адресов. Этот кэш существует только в памяти. Новый процесс Wget будет запрашивать DNS снова. Однако, в некоторых случаях кеширование адресов не желательно даже на короткий период запуска такого приложения как Wget. Например, секоторые серверы HTTP имеют динамически выделяемые адреса IP, которые изменяются время от времени. Их записи DNS обновляются при каждом изменении. Если закачка Wget с такого хоста прерывается из-за смены адреса IP, Wget повторяет попытку скачивания, но (из-за кеширования DNS) пытается соединиться по старому адресу. При отключенном кешировании DNS Wget будет производить DNS-запросы при каждом соединении и, таким образом, получать всякий раз правильный динамический адрес. Если вам не понятно приведённое выше описание, данный ключ вам, скорее всего, не понадобится.

—restrict-file-names=mode
Устанавливает, какие наборы символов могут использоваться при создании локального имени файла из адреса удалённого URL. Символы, запрещённые с помощью этого ключа, экранируются, т.е. заменяются на %HH, где HH — шестнадцатиричный код соответствующего символа. По умолчанию Wget экранирует символы, которые не богут быть частью имени файла в вашей операционной системе, а также управляющие символы, как правило непечатные. Этот ключ полезен для смены умолчания, если вы сохраняете файл на неродном разделе или хотите отменить экранирование управляющих символов. Когда mode установлен в «unix», Wget экранирует символ / и управляющие символы в диапазонах 0-31 и 128-159. Это умолчание для Ос типа Unix. Когда mode установлен в «windows», Wget экранирует символы \, |, /, :, ?, «, *, и управляющие символы в диапазонах 0-31 и 128-159. Дополнительно Wget в Windows режиме использует + вместо : для разделения хоста и порта в локальных именах файлов и @ вместо ? для отделения запросной части имени файла от остального. Таким образом, адрес URL, сохраняемый в Unix режиме как www.htmlweb.ru:4300/search.pl?input=blah, в режиме Windows будет сохранён как www.htmlweb.ru+4300/search.pl@input=blah. Этот режим используется по умолчанию в Windows. Если к mode добавить, nocontrol, например, unix,nocontrol, экранирование управляющих символов отключается. Можно использовать —restrict-file-names=nocontrol для отключения экранирования управляющих символов без влияния на выбор ОС-зависимого режима экранирования служебных символов.

Ключи каталогов

-nd
—no-directories
Не создавать структуру каталогов при рекурсивном скачивании. С этим ключом все файлы сохраняются в текущий каталог без затирания (если имя встречается больше одного раза, имена получат суффикс .n).

-x
—force-directories
Обратное -nd — создаёт структуру каталогов, даже если она не создавалась бы в противном случае. Например, wget -x http://htmlweb.ru/robots.txt сохранит файл в htmlweb.ru/robots.txt.

-nH
—no-host-directories
Отключает создание хост-каталога. По умолчания запуск Wget -r http://htmlweb.ru/ создаст структуру каталогов, начиная с htmlweb.ru/. Данный ключ отменяет такое поведение.

—protocol-directories
Использовать название протокола как компонент каталога для локальный файлов. Например, с этим ключом wget -r http://host сохранит в http/host/… вместо host/….

—cut-dirs=number
Игнорировать number уровней вложенности каталогов. Это полезный ключ для чёткого управления каталогом для сохранения рекурсивно скачанного содержимого. Например, требуется скачать каталог ftp://htmlweb.ru/pub/xxx/. При скачивании с -r локальная копия будет сохранена в ftp.htmlweb.ru/pub/xxx/. Если ключ -nH может убрать ftp.htmlweb.ru/ часть, остаётся ненужная pub/xemacs. Здесь на помощь приходит —cut-dirs; он заставляет Wget закрывать глаза на number удалённых подкаталогов. Ниже приведены несколько рабочих примеров —cut-dirs.

No options        -> ftp.htmlweb.ru/pub/xxx/
-nH               -> pub/xxx/
-nH --cut-dirs=1  -> xxx/
-nH --cut-dirs=2  -> .
--cut-dirs=1      -> ftp.htmlweb.ru/xxx/

Если вам нужно лишь избавиться от структуры каталогов, то этот ключ может быть заменён комбинацией -nd и -P. Однако, в отличии от -nd, —cut-dirs не теряет подкаталоги — например, с -nH —cut-dirs=1, подкаталог beta/ будет сохранён как xxx/beta, как и ожидается.

-P prefix
—directory-prefix=prefix
Устанавливает корневой каталог в prefix. Корневой каталог — это каталог, куда будут сохранены все файлы и подкаталоги, т.е. вершина скачиваемого дерева. По умолчанию . (текущий каталог).

Ключи HTTP

-E
—html-extension
Данный ключ добавляет к имени локального файла расширение .html, если скачиваемый URL имеет тип application/xhtml+xml или text/html, а его окончание не соответствует регулярному выражению \.[Hh][Tt][Mm][Ll]?. Это полезно, например, при зеркалировании сайтов, использующих .asp страницы, когда вы хотите, чтобы зеркало работало на обычном сервере Apache. Также полезно при скачивании динамически-генерируемого содержимого. URL типа http://site.com/article.cgi?25 будет сохранён как article.cgi?25.html. Сохраняемые таким образом страницы будут скачиваться и перезаписываться при каждом последующем зеркалировании, т.к. Wget не может сопоставить локальный файл X.html удалённому адресу URL X (он ещё не знает, что URL возвращает ответ типа text/html или application/xhtml+xml). Для предотвращения перезакачивания используйте ключи -k и -K, так чтобы оригинальная версия сохранялась как X.orig.

—http-user=user
—http-passwd=password
Указывает имя пользователя user и пароль password для доступа к HTTP серверу. В зависимости от типа запроса Wget закодирует их, используя обычную (незащищённую) или дайджест схему авторизации. Другой способ указания имени пользователя и пароля — в самом URL. Любой из способов раскрывает ваш пароль каждому, кто запустит ps. Во избежание раскрытия паролей, храните их в файлах .wgetrc или .netrc и убедитесь в недоступности этих файлов для чтения другими пользователями с помощью chmod. Особо важные пароли не рекомендуется хранить даже в этих файлах. Вписывайте пароли в файлы, а затем удаляйте сразу после запуска Wget.

—no-cache
Отключает кеширование на стороне сервера. В этой ситуации Wget посылает удалённому серверу соответствующую директиву (Pragma: no-cache) для получения обновлённой, а не кешированной версии файла. Это особенно полезно для стирания устаревших документов на прокси серверах. Кеширование разрешено по умолчанию.

—no-cookies
Отключает использование cookies. Cookies являются механизмом поддержки состояния сервера. Сервер посылает клиенту cookie с помощью заголовка Set-Cookie, клиент включает эту cookie во все последующие запросы. Т.к. cookies позволяют владельцам серверов отслеживать посетителей и обмениваться этой информацией между сайтами, некоторые считают их нарушением конфиденциальности. По умолчанию cookies используются; однако сохранение cookies по умолчанию не производится.

—load-cookies file
Загрузка cookies из файла file до первого запроса HTTP. file — текстовый файл в формате, изначально использовавшемся для файла cookies.txt Netscape. Обычно эта опция требуется для зеркалирования сайтов, требующих авторизации для части или всего содержания. Авторизация обычно производится с выдачей сервером HTTP cookie после получения и проверки регистрационной информации. В дальнейшем cookie посылается обозревателем при просмотре этой части сайта и обеспечивает идентификацию. Зеркалирование такого сайта требует от Wget подачи таких же cookies, что и обозреватель. Это достигается через —load-cookies — просто укажите Wget расположение вашего cookies.txt, и он отправит идентичные обозревателю cookies. Разные обозреватели хранят файлы cookie в разных местах: Netscape 4.x. ~/.netscape/cookies.txt. Mozilla and Netscape 6.x. Файл cookie в Mozilla тоже называется cookies.txt, располагается где-то внутри ~/.mozilla в директории вашего профиля. Полный путь обычно выглядит как ~/.mozilla/default/some-weird-string/cookies.txt. Internet Explorer. Файл cookie для Wget может быть получен через меню File, Import and Export, Export Cookies. Протестировано на Internet Explorer 5; работа с более ранними версиями не гарантируется. Other browsers. Если вы используете другой обозреватель, —load-cookies будет работать только в том случае, если формат файла будет соответствовать формату Netscape, т.е. то, что ожидает Wget. Если вы не можете использовать —load-cookies, может быть другая альтернатива. Если обозреватель имеет «cookie manager», то вы можете просмотреть cookies, необходимые для зеркалирования. Запишите имя и значение cookie, и вручную укажите их Wget в обход «официальной» поддержки:

wget --cookies=off --header "Cookie: name=value"

—save-cookies file
Сохранение cookies в file перед выходом. Эта опция не сохраняет истекшие cookies и cookies без определённого времени истечения (так называемые «сессионные cookies»). См. также —keep-session-cookies.

—keep-session-cookies
При указании —save-cookies сохраняет сессионные cookies. Обычно сессионные cookies не сохраняются, т.к подразумевается, что они будут забыты после закрытия обозревателя. Их сохранение полезно для сайтов, требующих авторизации для доступа к страницам. При использовании этой опции разные процессы Wget для сайта будут выглядеть как один обозреватель. Т.к. обычно формат файла cookie file не содержит сессионных cookies, Wget отмечает их временной отметкой истечения 0. —load-cookies воспринимает их как сессионные cookies, но это может вызвать проблемы у других обозревателей Загруженные таким образом cookies интерпретируются как сессионные cookies, то есть для их сохранения с —save-cookies необходимо снова указывать —keep-session-cookies.

—ignore-length
К сожалению, некоторые серверы HTTP (CGI программы, если точнее) посылают некорректный заголовок Content-Length, что сводит Wget с ума, т.к. он думает, что документ был скачан не полностью. Этот синдром можно заметить, если Wget снова и снова пытается скачать один и тот же документ, каждый раз указывая обрыв связи на том же байте. С этим ключом Wget игнорирует заголовок Content-Length, как будто его никогда не было.

—header=additional-header
Укажите дополнительный заголовок additional-header для передачи HTTP серверу. Заголовки должны содержать «:» после одного или более непустых символов и недолжны содержать перевода строки. Вы можете указать несколько дополнительных заголовков, используя ключ —header многократно.

wget --header='Accept-Charset: iso-8859-2' --header='Accept-Language: hr' http://aaa.hr/

Указание в качестве заголовка пустой строки очищает все ранее указанные пользовательские заголовки.

—proxy-user=user
—proxy-passwd=password
Указывает имя пользователя user и пароль password для авторизации на прокси сервере. Wget кодирует их, использую базовую схему авторизации. Здесь действуют те же соображения безопасности, что и для ключа —http-passwd.

—referer=url
Включает в запрос заголовок `Referer: url’. Полезен, если при выдаче документа сервер считает, что общается с интерактивным обозревателем, и проверяет, чтобы поле Referer содержало страницу, указывающую на запрашиваемый документ.

—save-headers
Сохраняет заголовки ответа HTTP в файл непосредственно перед содержанием, в качестве разделителя используется пустая строка.

-U agent-string
—user-agent=agent-string
Идентифицируется как обозреватель agent-string для сервера HTTP. HTTP протокол допускает идентификацию клиентов, используя поле заголовка User-Agent. Это позволяет различать программное обеспечение, обычно для статистики или отслеживания нарушений протокола. Wget обычно идентифицируется как Wget/version, где version — текущая версия Wget. Однако, некоторые сайты проводят политику адаптации вывода для обозревателя на основании поля User-Agent. В принципе это не плохая идея, но некоторые серверы отказывают в доступе клиентам кроме Mozilla и Microsoft Internet Explorer. Этот ключ позволяет изменить значение User-Agent, выдаваемое Wget. Использование этого ключа не рекомендуется, если вы не уверены в том, что вы делаете.

—post-data=string
—post-file=file
Использует метод POST для всех запросов HTTP и отправляет указанные данные в запросе. —post-data отправляет в качестве данных строку string, а —post-file — содержимое файла file. В остальном они работают одинаково. Пожалуйста, имейте в виду, что Wget должен изначально знать длину запроса POST. Аргументом ключа —post-file должен быть обычный файл; указание FIFO в виде /dev/stdin работать не будет. Не совсем понятно, как можно обойти это ограничение в HTTP/1.0. Хотя HTTP/1.1 вводит порционную передачу, для которой не требуется изначальное знание длины, клиент не может её использовать, если не уверен, что общается с HTTP/1.1 сервером. А он не может этого знать, пока не получит ответ, который, в свою очередь, приходит на полноценный запрос. Проблема яйца и курицы. Note: если Wget получает перенаправление в ответ на запрос POST, он не отправит данные POST на URL перенаправления. Часто URL адреса, обрабатывающие POST, выдают перенаправление на обычную страницу (хотя технически это запрещено), которая не хочет принимать POST. Пока не ясно, является ли такое поведение оптимальным; если это не будет работать, то будет изменено. Пример ниже демонстрирует, как авторизоваться на сервере, используя POST, и затем скачать желаемые страницы, доступные только для авторизованных пользователей:

wget --save-cookies cookies.txt --post-data 'user=foo&password=bar' http://htmlweb.ru/auth.php

wget --load-cookies cookies.txt -p http://server.com/interesting/article.php

Конфигурирование WGET

Основные настроки, которые необходимо писать каждый раз, можно указать в конфигурационном файле программы. Для этого зайдите в рабочую директорию Wget, найдите там файл sample.wgetrc, переименуйте его в .wgetrc и редакторе пропишите необходимые конфигурационные параметры.

user-agent = "Mozilla/5.0"
tries = 5 количество попыток скачать
wait = 0 не делать паузы
continue = on нужно докачивать
dir_prefix = ~/Downloads/ куда складывать скачаное
use_proxy=on - использовать прокси
http_proxy - характеристики вашего прокси-сервера.

Как под Windows заставить WGET читать настройки из wgetrc файла:

• Задать переменную окружения WGETRC, указав в ней полный путь к файлу.
• Задать переменную HOME, в которой указать путь к домашней папке пользователя (c:\Documents and settings\jonh). Тогда wget будет искать файл «wgetrc» в этой папке.
• Кроме этого можно создать файл wget.ini в той же папке, где находится wget.exe, и задать там дополнительные параметры командной строки wget.

Полезную информацию по WGET можно почерпнуть здесь:

Как выкачать весь сайт? — Хабр Q&A

Онлайн сервис скачивания сайтов. Перенос существующего сайта на CMS.

Восстановить с субдоменами

Оптимизировать HTML-код

Оптимизировать картинки

Сжать JS

Сжать CSS

Вычистить счетчики и аналитику

Вычистить рекламу

Удалить внешние ссылки, сохранив анкоры

Удалить внешние ссылки вместе с анкорами

Удалить кликабельные контакты

Удалить внешние iframes альфа

Сделать внутренние ссылки относительными рекомендуем

Сделать сайт без www. (обновляются все внутренние ссылки) рекомендуем

Сделать сайт с www. (обновляются все внутренние ссылки)

Сохранить перенаправления

Скопировать сайт онлайн. Бесплатно.

Жадность — это вор. А вор никогда не благодарит. ©

clonesite.ru — сервис, с помощью которого можно полностью скачать сайт на компьютер онлайн и бесплатно.

Как работает сервис

1. Вставьте
ссылку

2. Нажмите
«Cкопировать»

3. Дождитесь
начала скачивания

4. Файлы загружены
на компьютер

Если сервис не работает или результат не подходит

К сожалению, не все сайты можно сохранить вышеописанным методом. Для некоторых случаев требуется особый подход.
Напишите комментарий в форму ниже: адрес сайта который вы пытались скопировать и прочие детали. Мы постараемся, по возможности, выяснить в чем дело и напишем ответ. Вы можете воспользоваться альтернативными методами.

Что внутри

В основе сервиса лежит wget — полезная и простая программа Linux. На серверной стороне она выглядит как «wget -k -p -Q10M http://site.com»:

• Параметр -p означает, что все ресурсы, на которые есть ссылки в документе (картинки, css, js) будут будут сохранены вместе с главным документом.
• Параметр -k укажет программе преобразовать все ссылки на ресурсы, чтобы их можно было использовать на компьютере.
• Параметр -Q10M, задает ограничение в 10 мегабайт на размер всего скачиваемого сайта (это сделано в целях безопасности).

Как использовать скачанные файлы

Если ссылка введена правильно, загрузка сайта начнется автоматически, спустя некоторое время. На ваш компьютер будет сохранен архив с файлами. После распаковки найдите в папке index.html и откройте в браузере. Если загрузка прошла успешно и все файлы корректно отобразились, вы увидите сохраненную копию сайта (лендинга).

Что не будет сохранено в архиве

Серверные ресурсы, такие как скрипты php, обработчики форм, базы данных, и прочий back-end, хранящийся на серверной стороне никаким образом не может быть получен обычным пользователем. Доступ к этим файлам может получить только владелец сайта (хостинга).

Как сделать рабочими формы на сайте

В процессе заполнения

Три причины поделиться проектом

• Сервис бесплатный
• Нет необходимости делать репосты
• Нет регистрации

Сервис полностью бесплатный и позволяет получить код сайта с сохраненной структурой для экспериментов. Нникакой регистрации и спама.
Пожалуйста, поддержите проект, поделитесь с друзьями. Или оставьте комментарий в форму ниже.

90000 Getleft download | SourceForge.net 90001 90002 Full Name 90003 90002 Phone Number 90003 90002 Job Title 90003 90002 Industry 90003 90002 Company 90003 90002 Company Size Company Size: 1 — 25 26 — 99 100 — 499 500 — 999 1,000 — 4,999 5,000 — 9,999 10,000 — 19,999 20,000 or More 90003 Get notifications on updates for this project.Get the SourceForge newsletter. Get newsletters and notices that include site news, special offers and exclusive discounts about IT products & services. 90002 90015 Yes, also send me special offers about products & services regarding: 90016 Business Software Open Source Software Information Technology Programming Hardware 90003 90002 90015 You can contact me via: 90016 Email (required) Phone SMS 90003 I agree to receive these communications from SourceForge.net. I understand that I can withdraw my consent at anytime. Please refer to our Terms of Use and Privacy Policy or Contact Us for more details. I agree to receive these communications from SourceForge.net via the means indicated above. I understand that I can withdraw my consent at anytime. Please refer to our Terms of Use and Privacy Policy or Contact Us for more details. 90002 JavaScript is required for this form. 90003 Subscribe 90002 You seem to have CSS turned off.Please do not fill out this field. 90003 90002 You seem to have CSS turned off. Please do not fill out this field. 90003.90000 Download Free Games — 100% Safe and Secure Free Download Games 90001 90002 3. Free Mobile Games 90003 90004 The very best free mobile games to play on your android or iOS phone or tablet! 90005 90006 Second Galaxy 90007 90004 A new galaxy awaits in this open world MMO Sci-Fi adventure 90005 90006 Life After 90007 90004 LifeAfter is a mobile MMO about surviving a zombie apocalypse 90005 90006 Marvel Battle Lines 90007 90004 Plunge into MARVEL Battle Lines.As Super Heroes & Villains unite in this fast paced action card game 90005 90006 Cursed Words 90007 90004 Use your impressive word skills to outwit your opponent 90005 90006 Fortnite 90007 90004 Engage up to 100 other players in a battle for survival.90005 90006 Word U 90007 90004 Spell Good, Spell Hard, and Spell Fast! 90005 90006 Cubis Kingdoms 90007 90004 Match the Cubes, Gather the Elements, and Save the Kingdom! 90005 90006 Cyber ​​Hunter 90007 90004 Play Cyber ​​Hunter and enjoy the next big battle royale game on mobile 90005 90006 BirdsIsle 90007 90004 BirdsIsle for iOS is your next match-three puzzling obsession 90005 90006 Battle Boom 90007 90004 Play Battle Boom and annihilate the enemy army with superior tactics and firepower.90005 90006 Rise Up 90007 90004 Play Rise Up and see how high you can go in these dangerous and treacherous skies. 90005 90006 Helix Jump 90007 90004 Play Helix Jump and see how far you can fall down this tall and ever-changing tower labyrinth.90005 90006 Love Balls 90007 90004 Play Love Balls and use your drawing skills to unite every star-crossed lover in this challenging physics-based puzzler. 90005 90006 Kleptocats 2 90007 90004 Decorate your house with your pets and their stolen goods.90005 90006 Golf Clash 90007 90004 Go golfing with friends and strangers alike. 90005 90006 Spellspire 90007 90004 Defeat Your Enemies with the Power of Your Spells and Your Spelling! 90005 90006 Hero Hunters 90007 90004 Go to War with Your Squad of Personally-Trained Soldiers! 90005 .90000 Download Free, Full and Secure Software. 90001 Download Free, Full and Secure Software. 90002 90003 Applications, Communication & Social Networking, Finance, Games, Leisure And Useful Applications, Mapping And Gps, Music, News And Weather, Office, Personalization, Pictures and Videos, Shopping, Sports, Travel And Guides 90004 90003 Applications, Communication & Social Networking, Finance, Games, Leisure And Useful Applications, Mapping And Gps, Music, News And Weather, Office, Personalization, Pictures and Videos, Shopping, Sports, Travel And Guides 90004 90003 Browsers & Add-Ons, Chat & IRC, Download Manager, E-mails & Newsgroups, FTP, Instant Messenger, P2P Sharing, Pop-Up Blockers, Referrals, RSS, Social Networks, Tools, Voice Over IP, Webcam & Video conference 90004 90003 90004 90003 Adress Book And Directory, Calculators, Calendars and Schedules, Collection Management, Firewall, PDF, Phone and Fax, Presentations, Scanner Software, Software Suites, Spreadsheets, Templates, Text Editing 90004 90003 90004 90003 90004 90003 90004 90003 Applications, Communication & Social Networking, Finance, Gaming, Leisure And Useful Applications, Mapping And Gps, Music, News And Weather, Office, Personalization, Pictures and Videos, Sexy, Shopping, Sports, Travel And Guides 90004 90003 Automation and launching, Backup and Recovery, CD / DVD Burning, Cleaners, Compression, Files Management and Use, Hard Drives and Peripherals, Network, Network Administration, Optimization And Testing, Registry, System, Tools 90004 90003 90004 90003 90004 90003 90004 90029.90000 Download Intel® Ethernet Adapter Complete Driver Pack 90001 90002 The terms of the software license agreement included with any software you download will control your use of the software. 90003 INTEL SOFTWARE LICENSE AGREEMENT (Final, License) 90002 IMPORTANT — READ BEFORE COPYING, INSTALLING OR USING. 90003 90002 Do not copy, install, or use this software and any associated materials (collectively, the «Software») provided under this license agreement ( «Agreement») until you have carefully read the following terms and conditions.90003 90002 By copying, installing, or otherwise using the Software, you agree to be bound by the terms of this Agreement. If you do not agree to the terms of this Agreement, do not copy, install, or use the Software. 90003 90002 LICENSES: 90003 90002 Please Note: 90003 90002 • If you are a network or system administrator, the «Site License» below shall apply to you. 90003 90002 • If you are an end user, the «Single User License» shall apply to you. 90003 90002 • If you are an original equipment manufacturer (OEM), the «OEM License» shall apply to you.90003 90002 SITE LICENSE. You may copy the Software onto your organization’s computers for your organization’s use, and you may make a reasonable number of back-up copies of the Software, subject to these conditions: 90003 90002 1. This Software is licensed for use only in conjunction with ( a) physical Intel component products, and (b) virtual ( «emulated») devices designed to appear as Intel component products to a Guest operating system running within the context of a virtual machine. Any other use of the Software, including but not limited to use with non-Intel component products, is not licensed hereunder.90003 90002 2. Subject to all of the terms and conditions of this Agreement, Intel Corporation ( «Intel») grants to you a non-exclusive, non-assignable, copyright license to use the Materials. 90003 90002 3. You may not copy, modify, rent, sell, distribute, or transfer any part of the Software except as provided in this Agreement, and you agree to prevent unauthorized copying of the Software. ? 90003 90002 4. You may not reverse engineer, decompile, or disassemble the Software. ? 90003 90002 5.The Software may include portions offered on terms in addition to those set out here, as set out in a license accompanying those portions. 90003 90002 SINGLE USER LICENSE. You may copy the Software onto a single computer for your personal use, and you may make one back-up copy of the Software, subject to these conditions:? 90003 90002 1. This Software is licensed for use only in conjunction with (a) physical Intel component products, and (b) virtual ( «emulated») devices designed to appear as Intel component products to a Guest operating system running within the context of a virtual machine.Any other use of the Software, including but not limited to use with non-Intel component products, is not licensed hereunder. 90003 90002 2. Subject to all of the terms and conditions of this Agreement, Intel Corporation ( «Intel») grants to you a non-exclusive, non-assignable, copyright license to use the Materials. 90003 90002 3. You may not copy, modify, rent, sell, distribute, or transfer any part of the Software except as provided in this Agreement, and you agree to prevent unauthorized copying of the Software.90003 90002 4. You may not reverse engineer, decompile, or disassemble the Software. 90003 90002 5. The Software may include portions offered on terms in addition to those set out here, as set out in a license accompanying those portions. 90003 90002 OEM LICENSE: You may reproduce and distribute the Software only as an integral part of or incorporated in your product, as a standalone Software maintenance update for existing end users of your products, excluding any other standalone products, or as a component of a larger Software distribution, including but not limited to the distribution of an installation image or a Guest Virtual Machine image, subject to these conditions: 90003 90002 1.This Software is licensed for use only in conjunction with (a) physical Intel component products, and (b) virtual ( «emulated») devices designed to appear as Intel component products to a Guest operating system running within the context of a virtual machine. Any other use of the Software, including but not limited to use with non-Intel component products, is not licensed hereunder. 90003 90002 2. Subject to all of the terms and conditions of this Agreement, Intel Corporation ( «Intel») grants to you a non-exclusive, non-assignable, copyright license to use the Materials.90003 90002 3. You may not copy, modify, rent, sell, distribute or transfer any part of the Software except as provided in this Agreement, and you agree to prevent unauthorized copying of the Software. 90003 90002 4. You may not reverse engineer, decompile, or disassemble the Software. 90003 90002 5. You may only distribute the Software to your customers pursuant to a written license agreement. Such license agreement may be a «break-the-seal» license agreement. At a minimum such license shall safeguard Intel’s ownership rights to the Software.90003 90002 6. The Software may include portions offered on terms in addition to those set out here, as set out in a license accompanying those portions. 90003 90002 LICENSE RESTRICTIONS. You may NOT: (i) use or copy the Materials except as provided in this Agreement; (Ii) rent or lease the Materials to any third party; (Iii) assign this Agreement or transfer the Materials without the express written consent of Intel; (Iv) modify, adapt, or translate the Materials in whole or in part except as provided in this Agreement; (V) reverse engineer, decompile, or disassemble the Materials; (Vi) attempt to modify or tamper with the normal function of a license manager that regulates usage of the Materials; (Vii) distribute, sublicense or transfer the Source Code form of any components of the Materials, Redistributables and Sample Source and derivatives thereof to any third party except as provided in this Agreement.90003 90002 NO OTHER RIGHTS. No rights or licenses are granted by Intel to you, expressly or by implication, with respect to any proprietary information or patent, copyright, mask work, trademark, trade secret, or other intellectual property right owned or controlled by Intel, except as expressly provided in this Agreement. Except as expressly provided herein, no license or right is granted to you directly or by implication, inducement, estoppel, or otherwise. Specifically, Intel grants no express or implied right to you under Intel patents, copyrights, trademarks, or other intellectual property rights.90003 90002 OWNERSHIP OF SOFTWARE AND COPYRIGHTS. The Software is licensed, not sold. Title to all copies of the Software remains with Intel. The Software is copyrighted and protected by the laws of the United States and other countries and international treaty provisions. You may not remove any copyright notices from the Software. You agree to prevent any unauthorized copying of the Software. Intel may make changes to the Software, or to items referenced therein, at any time without notice, but is not obligated to support or update the Software.You may transfer the Software only if the recipient agrees to be fully bound by these terms and if you retain no copies of the Software. 90003 90002 LIMITED MEDIA WARRANTY. If the Software has been delivered by Intel on physical media, Intel warrants the media to be free from material physical defects for a period of ninety days after delivery by Intel. If such a defect is found, return the media to Intel for replacement or alternate delivery of the Software as Intel may select. 90003 90002 EXCLUSION OF OTHER WARRANTIES.EXCEPT AS PROVIDED ABOVE, THE SOFTWARE IS PROVIDED «AS IS» WITHOUT ANY EXPRESS OR IMPLIED WARRANTY OF ANY KIND INCLUDING WARRANTIES OF MERCHANTABILITY, NONINFRINGEMENT, OR FITNESS FOR A PARTICULAR PURPOSE. Intel does not warrant or assume responsibility for the accuracy or completeness of any information, text, graphics, links, or other items contained within the Software. 90003 90002 LIMITATION OF LIABILITY. IN NO EVENT SHALL INTEL OR ITS SUPPLIERS BE LIABLE FOR ANY DAMAGES WHATSOEVER (INCLUDING, WITHOUT LIMITATION, LOST PROFITS, BUSINESS INTERRUPTION, OR LOST INFORMATION) ARISING OUT OF THE USE OF OR INABILITY TO USE THE SOFTWARE, EVEN IF INTEL HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH DAMAGES.SOME JURISDICTIONS PROHIBIT EXCLUSION OR LIMITATION OF LIABILITY FOR IMPLIED WARRANTIES OR CONSEQUENTIAL OR INCIDENTAL DAMAGES, SO THE ABOVE LIMITATION MAY NOT APPLY TO YOU. YOU MAY ALSO HAVE OTHER LEGAL RIGHTS THAT VARY FROM JURISDICTION TO JURISDICTION. In the event that you use the Software in conjunction with a virtual ( «emulated») device designed to appear as an Intel component product, you acknowledge that Intel is neither the author nor the creator of the virtual ( «emulated») device. You understand and acknowledge that Intel makes no representations about the correct operation of the Software when used with a virtual ( «emulated») device, that Intel did not design the Software to operate in conjunction with the virtual ( «emulated») device, and that the Software may not be capable of correct operation in conjunction with the virtual ( «emulated») device.You agree to assume the risk that the Software may not operate properly in conjunction with the virtual ( «emulated») device. You agree to indemnify and hold Intel and its officers, subsidiaries and affiliates harmless against all claims, costs, damages, and expenses, and reasonable attorney fees arising out of, directly or indirectly, any claim of product liability, personal injury or death associated with the use of the Software in conjunction with the virtual ( «emulated») device, even if such claim alleges that Intel was negligent regarding the design or manufacture of the Software.90003 90002 UNAUTHORIZED USE. THE SOFTWARE IS NOT DESIGNED, INTENDED, OR AUTHORIZED FOR USE IN ANY TYPE OF SYSTEM OR APPLICATION IN WHICH THE FAILURE OF THE SOFTWARE COULD CREATE A SITUATION WHERE PERSONAL INJURY OR DEATH MAY OCCUR (E.G MEDICAL SYSTEMS, LIFE SUSTAINING OR LIFE SAVING SYSTEMS). If you use the Software for any such unintended or unauthorized use, you shall indemnify and hold Intel and its officers, subsidiaries and affiliates harmless against all claims, costs, damages, and expenses, and reasonable attorney fees arising out of, directly or indirectly, any claim of product liability, personal injury or death associated with such unintended or unauthorized use, even if such claim alleges that Intel was negligent regarding the design or manufacture of the part.90003 90002 TERMINATION OF THIS AGREEMENT. Intel may terminate this Agreement at any time if you violate its terms. Upon termination, you will immediately destroy the Software or return all copies of the Software to Intel. 90003 90002 APPLICABLE LAWS. Claims arising under this Agreement shall be governed by the laws of the State of California, without regard to principles of conflict of laws. You agree that the terms of the United Nations Convention on Contracts for the Sale of Goods do not apply to this Agreement.You may not export the Software in violation of applicable export laws and regulations. Intel is not obligated under any other agreements unless they are in writing and signed by an authorized representative of Intel. 90003 90002 GOVERNMENT RESTRICTED RIGHTS. The Software is provided with «RESTRICTED RIGHTS.» Use, duplication, or disclosure by the Government is subject to restrictions as set forth in FAR52.227-14 and DFAR252.227-7013 et seq. or its successor. Use of the Software by the Government constitutes acknowledgment of Intel’s proprietary rights therein.Contractor or Manufacturer is Intel. 90003.