Wget을 사용하여 단일 웹 페이지 (배경 이미지 포함) 저장

Wget을 사용하여 참조를 위해 단일 웹 페이지 (전체 사이트가 아닌 재귀 적으로)를 저장하고 싶습니다. Firefox의 "Web Page, complete"와 매우 유사합니다.

내 첫 번째 문제는 Wget이 CSS에 지정된 배경 이미지를 저장할 수 없다는 것입니다. 배경 이미지 파일을 저장하더라도 --convert-links는 CSS 파일의 배경 이미지 URL을 로컬로 저장된 배경 이미지를 가리 키도록 변환한다고 생각하지 않습니다. Firefox도 같은 문제가 있습니다.

내 두 번째 문제는 페이지에 저장하려는 이미지가 다른 서버 (예 : 광고)에서 호스팅되는 경우 포함되지 않습니다. --span-hosts는 아래 줄에서 그 문제를 해결하지 못하는 것 같습니다.

나는 사용하고있다 : wget --no-parent --timestamping --convert-links --page-requisites --no-directories --no-host-directories -erobots=off http://domain.tld/webpage.html

로부터 를 Wget man 페이지 :

실제로 단일 페이지와 모든 필수 구성 요소를 별도의 웹 사이트에있는 경우에도 다운로드하고 로트가 제대로 로컬로 표시되도록하려면이 저자는 '-p'외에도 몇 가지 옵션을 사용하는 것을 좋아합니다.

wget -E -H -k -K -p http://www.example.com/

또한 robots.txt당신이 추가 허용하지 않는 경우-e robots=off

이 wget명령은 옵션을 제공하며 다음 --mirror과 같은 기능을 수행합니다.

$ wget -r -N -l inf --no-remove-listing

-x호스트 이름을 포함하여 사이트에 대한 전체 디렉토리 계층 구조를 작성하기 위해 처리 할 수도 있습니다 .

wget그러나 최신 버전을 사용하지 않는 경우이 기능을 찾지 못할 수도 있습니다 .

그것은 같은 소리 wget와 파이어 폭스는 다운로드에서 해당 파일을 포함하는 링크에 대한 CSS를 구문 분석하지 않습니다. 다운로드 가능한 파일에서 CSS 또는 Javascript에서 링크 추출을 스크립팅하여 누락 된 파일 목록을 생성함으로써 이러한 제한 사항을 해결할 수 있습니다. 그런 다음 wget해당 링크 목록 에서 두 번째 실행을 수행하면 누락 된 항목을 파악할 수 있습니다 ( -i플래그를 사용하여 URL을 나열하는 파일 지정).

Perl을 좋아한다면 CPAN에 CSS :: Parser 모듈이있어 이런 방식으로 링크를 쉽게 추출 할 수 있습니다.

그 참고 wget특정 HTML 마크 업 (구문 분석 href/ src) 및 CSS URI를 ( url()얻을 어떤 페이지 요건 결정). DOM Inspector 또는 Firebug와 같은 Firefox 애드온을 사용하여 얻지 못하는 타사 이미지가 Javascript를 통해 추가되는지 알아낼 수 있습니다. 그렇다면 스크립트 또는 Firefox 플러그인을 사용하여 가져와야합니다. 너무.

비슷한 목적으로 Webtography를 만들었습니다 : https://webjay.github.io/webtography/

Wget을 사용하고 사이트를 GitHub 계정의 저장소로 푸시합니다.

나는이 주장들을 사용한다 :

--user-agent=Webtography
--no-cookies
--timestamping
--recursive
--level=1
--convert-links
--no-parent
--page-requisites
--adjust-extension
--max-redirect=0
--exclude-directories=blog

https://github.com/webjay/webtography/blob/master/lib/wget.js#L15-L26