It-e.RU
Цифровой двигатель вашего бизнеса.

Скачивание сайтов, рекурсивное копирование

Скачивание сайтов, рекурсивное копирование

Разместил сен 27, 2011 | Метки: wget, копирование, unix | Комментарии (0)

Сегодня понадобилось сохранить сайт на мой ноутбук. Сначала это превратилось в большую проблему, но в итоге очень просто решилось. Будем использовать консольную утилиту wget. Итак, рассмотрим различные варианты использования wget

Сегодня понадобилось сохранить сайт на мой ноутбук. Сначала это превратилось в большую проблему, но в итоге очень просто решилось. Будем использовать консольную утилиту wget. Итак, рассмотрим различные варианты использования wget:

Скопировать файл с удаленного сервера:

  • wget http://domain.com/file. Если добавить -P /path/path, файл будет сохранен в /path/path


    • Пакетное скачивание:
  • wget -i links_array. В файле links_array записаны ссылки, которые надо скачать.


    • Рассмотрим дополнительные ключи:
    • -b - заставляет wget работать в фоне.
    • -c - позволит докачивать данные
    • -r - рекурсивно ищет ссылки и ставит их в очередь
    • -k - при сохранении html документов внутри документа изменит ссылки
    • -lN - глубина поиска ссылок
    Таким образом, чтобы сохранить локально копию сайта в консоли пишем:
  • wget -r -l5 -k http://domain.com

    • Если место откуда вы копируете данные требует аунтификацию, то есть ключи "--user=" и "--password=".
    Метки: wget, копирование, unix
    Пожалуйста, уважайте труд автора, при копировании материалов сохраняйте ссылку на источник!

    Комментарии (0)



    Добавление комментариев закрыто.