Firefox 용 재귀 다운로드 (`wget -r`)?


15

웹 사이트가 있는데 해당 웹 사이트 내의 모든 페이지 / 링크를 다운로드하고 싶습니다. wget -r이 URL에서 하고 싶습니다 . 이 특정 디렉토리의 "외부"링크는 없으므로 전체 인터넷을 다운로드하는 것에 대해 걱정하지 않습니다.

결과적으로 원하는 페이지는 웹 사이트의 암호로 보호 된 섹션 뒤에 있습니다. wget을 사용하여 쿠키 협상을 수동으로 수행 할 수는 있지만 브라우저에서 "로그인"하고 firefox 플러그인을 사용하여 모든 것을 재귀 적으로 다운로드하는 것이 훨씬 쉽습니다.

내가 할 수있는 확장 기능이나 무언가가 있습니까? 많은 확장 프로그램이 페이지에서 미디어 / 사진을 얻는 데 중점을 두지 만 (heh. heh.) HTML 및 모든 내용에 관심이 있습니다.

제안?

감사!

편집하다

DownThemAll은 멋진 제안처럼 보입니다. 재귀 다운로드를 할 수 있습니까 ? 에서와 같이 페이지의 모든 링크를 다운로드 한 다음 각 페이지에 포함 된 모든 링크를 다운로드합니까? 기본적으로 링크를 따라 전체 디렉토리 트리를 미러링합니까? -r옵션이 마음 에 드 wget십니까?

답변:


7

DownThemAll은 재귀 다운로드를 수행하지 않습니다. 현재 페이지의 링크 만 가져옵니다. 연결된 URL의 HTML 페이지 만 다운로드됩니다. 링크 된 페이지의 이미지와 미디어는 다운로드되지 않습니다.


6

SpiderZilla 는 그렇게하기위한 것이지만 약간 오래된 것입니다 (2006). HTTrack 웹 사이트 복사기를
기반으로 합니다. 모든 플랫폼의 버전업데이트되었습니다 .

또한이 다른 나이 부가 기능 은 플러그인 '할 수있는 wget자체'(무엇보다도)가.

그러나 나는 DownThemAll이 아마도 좋은 선택이라고 생각합니다.
미러링 할 대상을 알고 있다면 올바른 링크를 선택해도 문제가되지 않습니다.
또한 '모두'확인란을 항상 선택할 수 있습니다.

브라우저에 고정하려면 DownThemAll의 경우 +1 입니다. 독립형 도구를 원하면 HTTrack을
사용 하십시오 ( wget 은 편리하지 않습니다).

업데이트 :이 현상금 질문 인
전체 웹 사이트를 다운로드하는 방법에 대한 HTTrack의 투표를 볼 수도 있습니다 .


DTA는 재귀를 지원하지 않습니다
Hayden Thring

4

wget -r인증 후 추출한 브라우저의 쿠키와 함께 사용할 수 있습니다 .

Firefox에는 웹 개발자 도구의 네트워크 탭에있는 페이지 요청의 상황에 맞는 메뉴에 "cURL로 복사"옵션이 있습니다. 단축키 Ctrl + Shift + Q (도구를 연 후 페이지를 다시로드해야 할 수도 있음) : 스크린 샷

curl의 헤더 플래그 -H를 wget 's로 바꾸면 --header쿠키를 포함하여 wget으로 브라우저 세션을 계속하는 데 필요한 모든 헤더가 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.