«wget» 태그된 질문

다음 bash 스크립트에서 컬 백그라운드 프로세스를 동시에 실행 하고 있습니다. START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done 49Gb Corei7-920 전용 서버 (가상이 아님)가 있습니다. top명령을 통해 메모리 소비와 CPU를 추적 하며 경계에서 …

14 linux  performance  bash  curl  wget 

나는 ssh내 서버에 ed와 실행 wget -r -np zzz.aaa/bbb/ccc하고 작동하기 시작했다. 그런 다음 (내 집에서) 내 인터넷 연결이 중단했고 나는이 가정 걱정있어 wget되었습니다 hup때문에 PED ssh연결이 끊어졌습니다 때문에 터미널이 사망했다. 그러나 나는 ssh서버에 여전히 실행 중이며 출력을 넣고 wget.log물건을 다운로드 하고 있음을 깨달았습니다 . 누군가 여기서 무슨 일이 있었는지 설명해 …

13 ssh  terminal  wget  signals 

www.website.com/XYZ에서 링크를 크롤링하고 www.website.com/ABC 아래에있는 링크 만 다운로드하고 싶습니다. 다음 wget 명령을 사용하여 원하는 파일을 가져옵니다. wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ wget 1.13.4를 사용할 때 완벽하게 작동합니다. 그러나 문제는 wget 1.11이있는 서버 에서이 명령을 사용해야하며 동일한 명령을 사용하면 다음과 같은 추가 도메인을 다운로드하게됩니다. www.website.de www.website.it ... …

13 command-line  wget 

내가 사용하려는 wget다운로드 이미지 파일 (PHP 스크립트에서)하지만, 특정 크기 이상 파일을 다운로드하고 싶지 않아요. 로 파일 크기를 제한 할 수 있습니까 wget? 그렇지 않은 경우 더 좋은 방법은 무엇입니까?

13 files  wget  size 

파일을 다운로드하고 조작하는 스크립트를 작성 중이며 파일을 작업하기 전에 파일이 불완전하지 않은지 확인하고 싶습니다 (예 : 연결 끊김으로 인해).

13 files  wget  curl  download  corruption 

기본적으로 HTML 페이지, 그림 및 소리가 많은 서버에 사이트가 있습니다. 해당 서버의 비밀번호를 잊어 버렸으며 거기에 저장된 모든 것을 가져와야합니다. 한 페이지 씩 이동하여 모든 것을 저장할 수 있지만 사이트에 100 페이지 이상이 있습니다. OSX를 사용하고 있습니다. 사용하려고했지만 wget서버가 차단하고 있다고 생각합니다. 해당 콘텐츠를 얻는 데 사용할 수있는 대안이 있습니까?

13 wget 

나는 이렇게 달리고 wget있다 : wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main 다음과 같은 메시지가 많이 나타납니다. Last-modified header missing -- time-stamps turned off. 로컬에 페이지가 있더라도 페이지가 계속 다시 다운로드된다는 의미입니다. 참고 : 명령 미러를 실행할 때마다 기존 파일을 다시 다운로드 할 필요가 없도록 이것을 원합니다.

13 wget  web 

정적 HTML 페이지를 다운로드하기 위해 wget을 사용하고 있습니다. W3C Validator는 페이지가 UTF-8로 인코딩되었음을 알려줍니다. 그러나 다운로드 후 파일을 고양이로 만들면 바이너리 넌센스가 많이 발생합니다. 우분투를 사용 중이며 기본 인코딩이 UTF-8이라고 생각 했습니까? 그것이 내 로케일 파일이 말하는 것입니다. 왜 이런 일이 발생하며 어떻게 해결할 수 있습니까? 또한처럼 보입니다 Content-Encoding: gzip. …

12 wget  character-encoding  gzip  http 

게시 된 후에도 변경되지 않는 여러 파일로 분산 된 데이터를 다운로드하고 있습니다. 따라서 --timestamping변경 된 리소스를 지속적으로 확인하기 때문에 충분하지 않습니다. 내 경우에는 완전히 무의미합니다. --no-clobber완벽하게 맞습니다. 불행히도 --convert-links 어떤 이유로 작동하지 않습니다 . --no-clobber 및 --convert-links가 모두 지정되었으며 --convert-links 만 사용됩니다. 나는 --backup-converted그것이 도움이 되기를 바랐 지만 아무것도 바뀌지 …

12 wget  download 

예를 들어 링크가 http://www.abc.com/123/def/ghi/jkl.mno있습니다. 나는 그것을 사용하여 다운로드 할 wget나 curl하고 출력 파일의 이름을 얻을 def_ghi_jkl.mno부분이 def_ghi링크에서 촬영됩니다. 이 wget명령을 스크립트에 넣어 여러 파일을 다운로드하여 출력 파일 이름을 명시 적으로 지정할 수 없습니다.

12 filenames  wget  curl 

CPU, 메모리, 스토리지에 많은 추가로드 (즉, 원격 파일의 사본을 로컬로 저장하지 않음)없이 드롭 박스 파일 시스템을 탐색 할 수 있기를 바랍니다. 공식 클라이언트는 많은 재순환을 소비하고 동기화와 같은 불필요한 작업을 수행하는 것으로 보입니다 ( http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux) . 하나는 단순히 그것을 (예를 들어, 퓨즈, 로컬 파일을 복사하지 않고) 마운트 일반적인 유닉스 유틸리티를 …

12 wget  fuse  dropbox  hosting-services  protocols 

로 중괄호 확장을 사용 wget하면 순차적으로 번호가 매겨진 이미지를 쉽게 가져올 수 있습니다. $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' 이 번호가 처음 10 개 파일을 가져 오는 90.jpg에 99.jpg잘,하지만 100.jpg이후에도 반환 404 : 파일을 찾을 수 없습니다 (I는 서버에 저장된 100 개 이미지가) 오류가 발생했습니다. 존재하지 않는 파일은 {00..200}100 개의 존재하지 않는 파일 …

12 bash  shell-script  wget 

wget매뉴얼 페이지에는 대한 섹션에서,이 상태 --random-wait매개 변수 : Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer platform provided code …

11 wget  man  documentation 

wget으로 URL을 호출하고 있습니다. /usr/bin/wget --read-timeout=7200 https://site_url/s 이 경우 Wget은 15 분마다 GET 요청을 수행합니다. 시간 초과가 설정되어 있는데도 왜 이런 일이 발생합니까? 한 번만 호출해야합니다. wget을 NOT retry로 설정하려면 어떻게해야합니까? 당신이 설정할 수는 t=n있지만 0은 무한하고 1은 1보다 1 더 높습니다.

11 linux  rhel  wget 

wget은 인터넷에서 물건을 빠르게 다운로드하는 데 유용한 도구이지만 FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare와 같은 호스팅 사이트에서 다운로드하는 데 사용할 수 있습니까? 그렇다면 어떻게해야합니까?

11 wget  download  hosting-services