답변:
내가 wget
지원 하는 유일한 제한 옵션 -Q
은 할당량 스위치입니다. 이것은 개별적으로가 아니라 다운로드 한 모든 파일 의 결합 된 제한 후에 중지되므로 원하는 것은 아닙니다. 매뉴얼 페이지에-Q
설명 된대로 스위치를 사용하여 각 링크를 별도로 파이프로 연결하면 작동하지 않습니다 .
사용중인 환경을 모르지만 크롤러 는 최대 길이 바이트로 파일 크기 제한을 지원하고 Java 플랫폼에서 실행됩니다.
자신의 사용 설명서 :
- 최대 길이 바이트
문서 당 다운로드 할 최대 바이트 수입니다. 이 한계에 도달하면 파일을 자릅니다.
기본적으로이 값은 실제로는 도달 할 수없는 매우 큰 값 (exabyte 범위)으로 설정됩니다.
타사 패치의 도움으로 가능합니다 : http://yurichev.com/wget.html