«wget» 태그된 질문

최대한 빨리 작은 페이지를 많이 다운로드해야합니다. 한 페이지의 평균 크기는 3kb입니다. 수백만 페이지가 있습니다. 첫째, 나는 시도했다. curl 하지만 서버가 요청에 응답하기를 기다리고 있었기 때문에 아마 느려졌습니다. 그런 다음 다음 페이지에 대해 동일한 프로세스를 실행하십시오. curl -O "http://website.com/pages/[0000001-1000000].html" 편집 : 몇 가지 테스트를 한 후에, 나는이 결과를 관찰했다. 나는 항상 …

2 linux  wget  curl  aria2 

Win7에서 wget을 사용 하여이 웹 페이지를 다운로드하고 싶습니다. http://www.att.com/shop/wireless/devices/smartphones.deviceListView.xhr.flowtype-NEW.deviceGroupType-Cellphone.paymentType-postpaid.packageType-undefined.html?commitmentTerm=24&taxoStyle=SMARTPHONES&showMoreListSize=1000 이 명령을 사용 하여이 작업을 수행하고 있습니다. wget -E -H -k -K -p -e robots=off -P /Downloads/AT&T_2013-01-29/ http://www.att.com/shop/wireless/devices/smartphones.deviceListView.xhr.flowtype-NEW.deviceGroupType-Cellphone.paymentType-postpaid.packageType-undefined.html?commitmentTerm=24&taxoStyle=SMARTPHONES&showMoreListSize=1000 분류 스타일이 정의되지 않았거나 committerm이 정의되지 않았거나 인식 가능한 메소드 오류가 발생했습니다.

2 windows  command-line  wget  gnu 

문제는 이것입니다 .URL 목록이있는 파일이 있습니다 links.txt. http://www.tipsfor.us/wp-content/uploads/2009/01/vim-editor-icon.png http://wp.psyx.us/wp-content/uploads/2011/01/vi-vim-tutorial-1.gif http://proft.me/static/img/vim/vi-vim-cheat-sheet.gif 내가하려는 wget것은 내가 그렇게하고 싶지 않다는 것을 알리는 것입니다 png. $ wget -R png -i 링크 .txt 그러나 이것은 효과가 없으며 다른 사람들과 함께 파일을 wget가져 png옵니다. 파이프를 links.txt통한 grep연결은 실제 파일에서와 같이 옵션이 아니며 링크는이 형식 http://example.com/get/123987562으로되어 있으며 다음과 …

2 wget  exclude 

Chrome 또는 Firefox에서 마우스 오른쪽 버튼을 클릭하고 "다른 이름으로 저장"을 모방하려고합니다. 나는 이것을 시도 : wget -E -H -k -K -p http://gizmodo.com 그러나 이는 리소스를 호스팅하는 각 도메인에 하나씩 몇 개의 폴더를 만들었습니다. 나도 노력했다. wget -r -N -l inf --no-remove-listing -x http://gizmodo.com 둘 다에서 이리 누군가 관심이 있다면. 나도 …

1 wget  archiving 

wget을 사용하여 일부 측정 값을 다운로드하고 있습니다. http://www.somewhere.com/sub-somewhere052/image0001.jpg http://www.somewhere.com/sub-somewhere052/file0001.txt 까지 http://www.somewhere.com/sub-somewhere052/image0099.jpg http://www.somewhere.com/sub-somewhere052/file0099.txt 문제는이 두 숫자가 테스트에서 테스트로 변경된다는 것입니다 (테스트했습니다. 052 ), 각 테스트에는 알 수없는 파일이 있습니다. 그러나 그들은 모두 똑같습니다 (그들은 전화하지 않습니다. 어딘가에 , 물론) 알려져 있습니다. wget이 더 이상 존재하지 않는 하나의 파일에 도달 할 때까지 …

1 windows-xp  wget 

내가 소유 한 오래된 Reviewboard 서버를 크롤링하여 정적 복사본을 만들어 보관할 수 있으며, 서버를 크롤링하고 다운로드하는 권장 방법을 사용하여 몇 사람의 권장 사항에 따라 wget을 사용 하여이 작업을 수행하고 있습니다. : wget --recursive --no-clobber --page-requisites --html-extension --convert-links --domains $DOMAIN --http-user $USERNAME --ask-password $THE_SERVER 그러나 서버에는 LDAP 인증 로그인이 필요하므로 로그인 …

1 linux  wget  authentication  ldap 

Wget을 사용하여 포럼 개인 메시지를 보관하려고했습니다 (사용자 정의 포럼 서버이므로 phpbb에서와 같이 "모든 메시지 내보내기"를 클릭하면 안됩니다). 결과적으로 로그인 페이지 뒤에 붙어 있습니다. 이것은 내가 시도한 것입니다 (명백한 이유로 사용자 이름과 비밀번호가 제거되었습니다). wget --save-cookies cookies.txt --keep-session-cookies --post-data 'user_session_name=foo&user_session_password=bar' http://nanowrimo.org/en/sign_in wget --load-cookies cookies.txt --keep-session-cookies -k -p -m -E -np --output-file=log.txt …

1 login  wget  forum 

나는 최근에 대학 캠퍼스로 수업을 마치고 64 비트 아치 리눅스를 실행하는 데스크탑 컴퓨터를 스토리지에서 꺼내었다. 로 패키지를 업데이트 한 후 sudo pacman -Syu재부팅하여 이상한 문제가 발생하기 시작했습니다. 크롬과 uzbl을 통해 웹 페이지에 계속 액세스 할 수 있지만 pacman, wget 및 curl과 같은 일부 다른 프로그램은 작동하지 않습니다. 또한 학교의 로컬 …

1 linux  dns  wget 

wget웹 서버에서 내용과 함께 전체 디렉토리를 다운로드 하는 데 사용하려고합니다 . 파일의 길이가 0입니다. wget클라이언트에서 0 바이트 파일을 작성 하는 방법이 있습니까? 내가 지금하려고 할 때 wget은 200 OK ... Content-Length: 0서버에서 가져 와서 파일을 이미 다운로드 한 것으로 간주하고 아무것도하지 않습니다. $ wget -dS http://gateway/zero Debugging support not compiled …

1 shell-script  wget 

wgetWindows 7에서 사용하려고 하면 다음과 같은 메시지와 함께 실패합니다. > wget ftp://ftp.fu-berlin.de/tex/CTAN/systems/texlive/tlnet/tlpkg/texlive.tlpd --2017-07-10 14:37:47-- ftp://ftp.fu-berlin.de/tex/CTAN/systems/texlive/tlnet/tlpkg/texlive.tlpd => 'texlive.tlpd' Resolving ftp.fu-berlin.de... 130.133.3.130 Connecting to ftp.fu-berlin.de|130.133.3.130|:21... failed: Unknown error. Retrying. [예, TeX live를 설치하려고합니다.] 이것은 FTP 및 HTTP 연결 모두에서 발생합니다. 이 네트워크에서 프록시가 필요하다고 생각하기 때문에 프록시 문제가 의심되었습니다. 웹 브라우저에서 wget실패한 …

1 windows  proxy  wget 

WGET으로 다운로드 할 때 정보를 정확히 숨기는 방법 (예 : 다운로드 위치 또는 추가 정보를 숨기고 다운로드 진행률과 같은 중요한 정보 만 표시 할 수있는 매개 변수가 있습니까?)

1 linux  wget 

괄호 wget 및 axel이있는 다운로드 링크에서 다운로드 할 수없는 경우 예 :이 링크 : alachiq@alachiq:~$ wget http://dl2.downloadha.com/Animation/November%202011/15/Rango%20Farsi%20(www.Downloadha.com).rar bash: syntax error near unexpected token (

ubuntu  terminal  wget 

나는 wget을 다운로드하려고 시도한 스크립트를 작성했다. 블렌더 홈 페이지에서 최신 믹서기 사용 가능 최신 버전을 자동으로 다운로드하려고합니다. 그래도 wget에 문제가 생겼다. 웹 페이지에서 원하는 버전의 다운로드 페이지로 계속 진행하면 가장 적합한 다운로드 위치로 미러링하는 리디렉션 요청 (또는 이와 비슷한 것)이있는 것으로 보입니다. 나는 curl -L -O 리디렉션을 따르려고했지만, 내가 원하는 …

linux  download  wget  redirection 

문제는 다음과 같습니다. 자주 참조 할 수있는 웹 사이트가 있으며 모바일 장치에서도 작동하는 오프라인 버전을 원합니다. PDF가 떠오릅니다. wget으로 HTML 버전의 오프라인 사본을 만들 수 있습니다. 문제는 아닙니다. 제가 진정으로 원하는 것은 모든 HTML 페이지를 내부 링크가 여전히 작동하는 하나의 PDF로 변환하는 것입니다. 따라서 웹 버전에서 다른 URL을 참조한 링크는 …

pdf  html  wget 

wget을 사용하여 http://www.aph.gov.au/ 에서 특정 PDF 파일을 검색하고 있습니다 . Hansard 파일 (Chamber 진행 내용의 사본) 만 검색하려고합니다. 두 가지 시나리오 : Hansard 대화 내용이 나와있는 페이지가 있습니다 : http://www.aph.gov.au/Parliamentary_Business/Hansard/Hansreps_2011 이 페이지에서 요일 / 날짜 링크를 클릭하면 추가 파일에 대한 링크를 표시하는 데이터베이스 쿼리에 대한 응답이 검색됩니다. 나는 하루 종일 …

pdf  download  wget