Xargs 및 Wget이 한 시간 후에 작동을 멈춤

듀얼 코어 및 4GB 램이있는 Windows XP에서 Cygwin으로 스크립트 실행

cat url_list.txt | xargs -P50 wget -i

4GB 의 URL 을 통해 다운로드 하려고합니다 (약 43 백만).

약 1 시간 동안 정상적으로 작동하면 Bash 셸 및 다운로드는 URL 목록을 통해 2 %에 불과하지만 중지됩니다.

무엇이 잘못 될 수 있는지에 대한 아이디어가 있습니까?

한 시간 후에 왜 중지되는지 디버깅하는 가장 좋은 방법은 무엇입니까?

wget에서 일부 파일을 다운로드하는 데 시간이 걸릴 수 있습니다. 중단 된 것처럼 보이는 동안 메모리에 wget / xargs 프로세스가 있습니까? 그렇다면 -P50 플래그를 사용하여 xargs에 할당했을 때 전체 50 개의 프로세스입니까? 아니면 해당 수 또는 그 수보다 작거나 새 인스턴스가 올바르게 생성되지 않습니까? cygwin에서 실행되고 있지만 각 wget 다운로드가 작업 관리자에서 인스턴스를 시작해야하므로 Windows 자체의 프로세스 목록을 살펴보십시오.

URL이 다른 사이트에 있다고 가정합니다. 이 경우 응답 속도가 느리고 wget 중 하나를 중단시키는 사이트를 방문 할 수 있습니다. 달리기 횟수가 50 회이므로 아무 일도 일어나지 않기 전에 해당 사이트 중 50 개를 쳐야합니다.

이것이 사실인지 확인하려면 매달린 wgets 중 하나를 죽이고 그 중 하나가 unstuck인지 확인하십시오.

중단 된 URL을 건너 뛰려면 wget에 시간 초과를 줄 수 있습니다.

wget -T 60