wget — это консольная утилита, которая предназначена для загрузки файлов из интернет. Она позволяет скачивать сайты целиком для дальнейшего их просмотра на локальном компьютере в автономном режиме.
Всего лишь указав программе адрес сайта и определенные параметры, wget автоматически начнет переходить по ссылкам на сайте и скачивать страницу за страницей включая все необходимые файлы, в том числе картинки.
Для получения подсказки по параметрам wget необходимо набрать в командной строке man wget - для Linux или Mac OS, wget.exe --help - для пользователей Windows.
Пример команды для скачивания сайта целиком с помощью wget:
wget -r -k -l 7 -p -E -nc http://moy-sait.com/
После выполнения выше указаной команды в текущей директории появится папка moy-sait.com в которую будет загружена локальная копия сайта http://moy-sait.com.
Описание основных параметров (-ключей) утилиты wget:
-r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.
-k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).
-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).
-l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5, в примере мы установили 7). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать этот параметр.
-E — добавлять к загруженным файлам расширение .html.
-nc — при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.