wget이 X 크기보다 큰 파일을 다운로드하지 않도록 설정


11

알았어 2MB보다 큰 파일을 원하지 않는 것처럼 다운로드 할 파일의 크기를 어떻게 제한합니까?

답변:


6

내가 wget지원 하는 유일한 제한 옵션 -Q은 할당량 스위치입니다. 이것은 개별적으로가 아니라 다운로드 한 모든 파일 의 결합 된 제한 후에 중지되므로 원하는 것은 아닙니다. 매뉴얼 페이지에-Q 설명 된대로 스위치를 사용하여 각 링크를 별도로 파이프로 연결하면 작동하지 않습니다 .

사용중인 환경을 모르지만 크롤러 는 최대 길이 바이트로 파일 크기 제한을 지원하고 Java 플랫폼에서 실행됩니다.

자신의 사용 설명서 :

  • 최대 길이 바이트

문서 당 다운로드 할 최대 바이트 수입니다. 이 한계에 도달하면 파일을 자릅니다.

기본적으로이 값은 실제로는 도달 할 수없는 매우 큰 값 (exabyte 범위)으로 설정됩니다.


흠. 괜찮아. 그것은 내가 찾은 것을 많이 반복했지만 어쨌든 좋은 대답이었습니다. 그러나 Heritrix는 파일을 건너 뛰는 대신 잘랐다는 것을 몰랐습니다.
Nathaniel

3

자신에 대해 "경우 2메가바이트 최대 다운로드 "보다는 " 최대 2메가바이트와 다운로드 파일은 "당신은 디스크에 저장 출력을 제한 할 수 있습니다.

wget -O - $url |head -c 1024(선택 사항 인 > $SaveAsFile)-> 첫 번째 KB를 저장하고 나머지는 잘립니다.

( " OK : $ Message ", 원격에서 수많은 오류 메시지로 내 / tmp 를 종료 하지 않음 ;)


당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.