Как скачать каталог HTTP со всеми файлами и подкаталогами, как они появляются в онлайн-списке файлов / папок?
Есть онлайн-каталог HTTP, к которому у меня есть доступ. Я попытался загрузить все подкаталоги и файлы через wget . Но проблема в том, что при wget загрузке подкаталогов он загружает index.html файл, который содержит список файлов в этом каталоге, без загрузки самих файлов.
Есть ли способ загрузить подкаталоги и файлы без ограничения глубины (как будто каталог, который я хочу скачать, является просто папкой, которую я хочу скопировать на мой компьютер).
- Он загрузит все файлы и подпапки в каталог DDD
- -r : рекурсивно
- -np : не собирается в верхние каталоги, как ccc /…
- -nH : не сохранять файлы в папку с именем хоста
- —cut-dirs=3 : но сохраняя его в ddd , пропустив первые 3 папки aaa , bbb , ccc
- -R index.html : исключая файлы index.html
Я смог заставить это работать благодаря этому посту, использующему VisualWGet . Это отлично сработало для меня. Важной частью является проверка -recursive флага (см. Изображение).
Также установлено, что -no-parent флаг важен, иначе он попытается загрузить все.
‘-r’ ‘—recursive’ Включить рекурсивное извлечение. См. Рекурсивная загрузка, для более подробной информации. Максимальная глубина по умолчанию — 5.
‘-np’ ‘—no-parent’ Никогда не подниматься в родительский каталог при рекурсивном извлечении. Это полезный параметр, поскольку он гарантирует, что будут загружены только файлы ниже определенной иерархии. См. Ограничения на основе каталога, для получения более подробной информации.
‘-nH’ ‘—no-host-directoryies’ Отключить создание каталогов с префиксом хоста. По умолчанию вызов Wget с помощью ‘-r http://fly.srk.fer.hr/ ‘ создаст структуру каталогов, начинающуюся с fly.srk.fer.hr/. Эта опция отключает такое поведение.
‘—cut-dirs = number’ Игнорировать номера компонентов каталога. Это полезно для получения детального контроля над каталогом, в котором будет сохранен рекурсивный поиск.
Взять, к примеру, каталог по адресу « ftp://ftp.xemacs.org/pub/xemacs/ ». Если вы получите его с помощью ‘-r’, он будет сохранен локально в ftp.xemacs.org/pub/xemacs/. Хотя опция ‘-nH’ может удалить часть ftp.xemacs.org/, вы все еще застряли с pub / xemacs. Вот где «—cut-dirs» пригодится; это заставляет Wget не «видеть» количество удаленных компонентов каталога. Вот несколько примеров того, как работает опция —cut-dirs.
Без параметров -> ftp.xemacs.org/pub/xemacs/ -nH -> pub / xemacs / -nH —cut-dirs = 1 -> xemacs / -nH —cut-dirs = 2 ->.
—cut-dirs = 1 -> ftp.xemacs.org/xemacs/ . Если вы просто хотите избавиться от структуры каталогов, эта опция аналогична комбинации ‘-nd’ и ‘-P’. Однако, в отличие от ‘-nd’, —cut-dirs ‘не проигрывает с подкаталогами — например, с’ -nH —cut-dirs = 1 ‘, подкаталог beta / / будет помещен в xemacs / beta, так как можно было бы ожидать.
wget это бесценный ресурс и кое-что я использую сам. Однако иногда в адресе присутствуют символы, которые wget идентифицируются как синтаксические ошибки. Я уверен, что есть решение для этого, но поскольку этот вопрос не задавал конкретно о том, что wget я думал, я бы предложил альтернативу для тех людей, которые, несомненно, наткнуться на эту страницу, ища быстрое решение без необходимости обучения.
Есть несколько расширений браузера, которые могут сделать это, но большинство требуют установки менеджеров загрузки, которые не всегда бесплатны, имеют тенденцию быть раздражением и использовать много ресурсов. Вот тот, который не имеет ни одного из этих недостатков:
«Download Master» — это расширение для Google Chrome, которое отлично подходит для загрузки из каталогов. Вы можете выбрать, какие типы файлов загружать, или загрузить весь каталог.
Чтобы получить актуальный список функций и другую информацию, посетите страницу проекта в блоге разработчика:
Как загрузить все файлы из каталога?
Есть такая страница: Index of /dist/httpd/. Как нужно скачаивать весь каталог? Составить каталог файлов и скачать их по ссылке? Есть ли другой способ?
если правильно понял вопрос..нужно скачать из директории http://site.com/dist/httpd/ все файлы..верно?
тогда нужна прога winhttrack http://www.httrack.com/ указываешь язык..русский..указываешь откуда ей начинать качать и куда.. и вуаля
Всё ещё ищете ответ? Посмотрите другие вопросы с метками apache ftp php или задайте свой вопрос.
Site design / logo © 2022 Stack Exchange Inc; user contributions licensed under cc by-sa. rev 2022.6.10.42345
Нажимая «Принять все файлы cookie», вы соглашаетесь, что Stack Exchange может хранить файлы cookie на вашем устройстве и раскрывать информацию в соответствии с нашей Политикой в отношении файлов cookie.
Копирование всех файлов из папки HTTP в локальную папку
Я студент, и мне нужно извлечь много материала с сайта моего профессора, желательно сохранив некоторую структуру папок.
Я работаю на Windows box и имею доступ к Windows XP, Windows 7 и Windows Server 2008 R2. Когда-то давно (2-3 года назад) я пробовал некоторые утилиты, которые зеркалировали веб-страницы и тому подобные вещи, и по разным причинам они никогда не работали правильно, или я никогда не мог получить от них то, что хотел.
Вот, например, эти папки:
По сути, это настоящая боль, когда пытаешься загрузить вручную для последующего использования.
Я пробовал эту утилиту, но она либо слишком сложна, либо недостаточно проста, потому что я никогда не мог заставить ее просто скачивать файлы на жесткий диск.
В идеале я хотел бы рекурсивно сканировать папку, воссоздать структуру папок в некоторой указанной папке, а затем скопировать файлы с удаленного сервера в соответствующую папку на моей локальной машине.
Простейшей утилитой для рекурсивной загрузки файлов с веб-сайта является WGET:
Посмотрите на использование HTTrack:
Он позволяет загрузить сайт Всемирной паутины из Интернета в локальный каталог, рекурсивно собирая все каталоги, получая HTML, изображения и другие файлы с сервера на ваш компьютер. HTTrack упорядочивает исходный сайт > относительной ссылочной структурой. Просто откройте страницу «зеркального» сайта в своем браузере, и вы можете просматривать сайт от ссылки к ссылке, как если бы вы просматривали его онлайн. HTTrack может также обновлять существующий зеркалированный сайт и возобновлять прерванные загрузки. HTTrack полностью настраивается и имеет интегрированную справочную > систему. система.