«wget» 태그된 질문

wget을 사용하여 웹 사이트의 로컬 미러를 만들려고합니다. 그러나 모든 링크 페이지를 얻지 못하는 것으로 나타났습니다. 여기 웹 사이트가 있습니다 http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/ 로 시작하는 모든 페이지를 원하지는 않지만로 시작하는 web.archive.org모든 페이지를 원합니다 http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/. 을 사용할 때 wget -r파일 구조에서 web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/index.html, 하지만이 데이터베이스의 일부인 모든 파일이 없습니다. 예 : web.archive.org/web/20110808041151/http://cst-www.nrl.navy.mil/lattice/struk/d0c.html. 아마도 httrack이 더 …

12 linux  wget  httrack  webarchive 

를 사용하여 재귀 적으로 웹 페이지를 다운로드 할 수 wget있지만 드라이 런을 수행 할 수 있습니까? 실제로 테스트를 한 경우 다운로드가 얼마나되는지 확인하기 위해 테스트 실행을 할 수 있습니까? 이미지, 오디오 또는 영화 파일과 같은 미디어 파일에 대한 링크가 많은 페이지를 생각하십시오.

12 wget 

5 개의 다른 서버에서 호스팅되는 상당히 큰 파일이 있습니다. 원본 파일을 생성하기 위해 각 서버에서 파일의 다른 부분을 다운로드 한 다음 그 부분을 연결하고 싶습니다. curl / wget 또는 다른 OS X 명령 행 도구로이를 수행 할 수있는 방법이 있습니까?

12 macos  download  wget  curl 

내 말은 Wayback Machine에서 사용 가능한 각 페이지를 지정된 기간 및 간격 동안 다운로드하는 것입니다. 예를 들어, 2012 년 1 월부터 2012 년 12 월까지 nature.com에서 매일 사용 가능한 각 페이지를 다운로드하려고합니다 (정확히하고 싶은 것은 아니지만 충분히 가깝고 좋은 예를 제공합니다). 불행히도 Wayback 시스템 작동 방식의 고유 한 특성으로 인해 …

11 download  wget  webpage 

매개 변수없이 실행하면 내 wget인쇄 : D:\>wget SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc syswgetrc = c:/progra~1/wget/etc/wgetrc D:\Apps\Util\wget: missing URL Usage: D:\Apps\Util\wget [OPTION]... [URL]... Try `D:\Apps\Util\wget --help' for more options. 이것은 아마도 wgetrcin 파일 을 찾습니다 c:/progra~1/wget/etc/wgetrc. 불행히도이 위치는 루트가 아닌 프로그램에서는 사용할 수 없습니다. 나는 수정할 수있는 생각 SYSTEM_WGETRC이나 syswgetrc환경 변수를하지만,이 모습은 효과가없는 …

11 proxy  wget 

과 같은 URL 을 다운로드하려고합니다 http://www.somesite.com/restaurants.html#photo=22x00085. 작은 따옴표 사이에 넣었지만 올바른 페이지가 아닌 http://www.somesite.com/restaurants.html 만 다운로드 합니다. 해결책이 있습니까?

11 wget  url 

CD에 포함 할 두 개의 사이트를 다운로드하려고합니다. http://boinc.berkeley.edu/trac/wiki http://www.boinc-wiki.info 내가 겪고있는 문제는 둘 다 위키입니다. 예를 들어 다운로드 할 때 : wget -r -k -np -nv -R jpg,jpeg,gif,png,tif http://www.boinc-wiki.info/ ...? action = edit ...? action = diff & version = ... 같은 링크를 따르기 때문에 많은 파일을 얻습니다 . 누군가이 …

11 linux  unix  wget 

다음을 수행하는 bash 스크립트를 작성하는 방법 URL = "example.com/imageID=" while (1..100) wget URL + $i #it will wget example.com/imageID=1, then 2, then 3, etc done 그래서 수행 할 루프가 많으며 URL은 루프의 숫자로 끝납니다. 나는이 wget모든 것들이 필요하다 .

11 bash  shell-script  wget 

Wget 으로 파일을 다운로드하고 싶지만 일반적인 UNIX 철학에 따라 다운로드가 성공하면 아무것도 출력하지 않으려 고 합니다. 그러나 다운로드가 실패하면 오류 메시지가 표시됩니다. 이 -q옵션은 오류 메시지를 포함한 모든 출력을 억제합니다. -nv대신 옵션을 포함하면 Wget은 여전히 ​​stderr에 인쇄합니다. 2012-05-03 16:17:05 URL:http://example.net/ [2966] -> "index.html" [1] 해당 출력을 제거하지만 여전히 오류 메시지가 …

11 wget 

html 페이지 URL이 있고 grep하고 싶습니다. 어떻게하면 wget someArgs | grep keyword됩니까? 내 첫 번째 아이디어는 wget -q -O - url | grep keyword이지만 wget의 출력 바이 패스 grep이며 원래 형식으로 터미널에서 발생합니다.

11 grep  wget 

간단한 페이지 사본을 영구 보관을 위해 HD로 다운로드하고 싶었습니다. 나는 깊은 재귀를 얻지 않고 단일 페이지 만 찾고 있으며 해당 페이지에 의해로드 된 모든 리소스도 다운로드받을 수 있습니다. 예 : https://www.tumblr.com/ 배고 있다: index.html 로드 된 이미지 로드 된 JS 파일 로드 된 CSS 파일 CSS 파일에로드 된 모든 이미지 …

11 javascript  html  css  images  wget 

알았어 2MB보다 큰 파일을 원하지 않는 것처럼 다운로드 할 파일의 크기를 어떻게 제한합니까?

11 download  wget 

Aria2 는 wget멀티 스레딩, 분할 다운로드, 다운로드 이력서 등과 같은 많은 기능을 갖춘 훌륭한 대체 제품입니다. 그러나이 모든 기능과 옵션을 사용하면 특정 명령을 수행하기가 어려울 수 있습니다. 여기에서 10 개의 동시 다운로드 로이 XOWA 전체 폴더를 다운로드 하고이 디렉토리에서 파일을 4 개의 세그먼트로 나눕니다 : https://archive.org/download/Xowa_enwiki_latest 4 개의 세그먼트로 단일 …

11 linux  wget  aria2 

나는 Linux Mint (Lisa)이고 Tor Bundle 사용자가 Tor를 통해 wget을 사용하려고합니다. 여기서 찾은 지시를 따른 후 wget을 실행할 때 얻는 것은 "514 Authentication required"라는 출력 파일입니다. 내가 한 일 : Linux 용 최신 버전의 Tor Bundle (버전 2.2.35-9)을 다운로드하여 추출했습니다. ./start-tor-browser를 실행했습니다. 그런 다음 Vidalia에서 설정-> 고급으로 이동하여 "ControlPort 자동 …

10 linux  proxy  wget  linux-mint  tor 

특히 다양한 Stack Exchange 사이트의 사용자 프로필에서 특정 페이지를 다운로드하고 싶습니다. 그러나 cron명령 줄과 구문 분석 가능한 형식으로 작업을 사용하여 자동으로 수행하고 싶습니다 . 나는 이것을 위해 Linux를 사용하는 것을 선호하지만 필요한 경우 Mac 또는 Windows 컴퓨터에 액세스 할 수 있습니다. 이상적으로는 Wget 또는 cURL 과 같은 도구를 사용 하여 …

10 linux  command-line  wget  curl  openid