우분투를 통해 대량의 파일을 다운로드하는 법


-1

FTP 백업 공간에서 약 15,000 개의 개별 사용자 파일을 다운로드하려고합니다. 파일을 다운로드 할 수 있기 때문에 일반 wget 다운로드되지 않은 특정 사용자 이름을 넣어 때문에 파일이 존재하는지.

나는 ncftp와 ftp를 시도했다.


3
이 부분을 설명해 주시겠습니까? "일반 wget과 함께 다운로드되지 않은 특정 사용자 이름을 입력하면 다운로드 할 수 있습니다." 그것은 당신에게 명확할지 모르지만 나는 당신이 그걸로 무엇을 의미하는지 전혀 모른다.
Hennes

나는 특정 파일 이름을 언급한다.
Legit

wget은 HTML 구조에서 다운로드 할 파일 이름을 얻습니다. wget에 이름을 제공 할 index.html (또는 유사한)이 없으면 텍스트 파일 및 -i 옵션과 같은 목록을 제공하거나 FTP 클라이언트를 사용하여 mget 및 프롬프트 명령을 사용해야합니다 .
Hennes

2
그 중 하나가 wget에 의해 검색되지 않는 15,000 개의 파일을 다운로드해야하는 사람들이 오늘날 무엇입니까? superuser.com/questions/578790
...

1
서버가 단일 요청으로 보낼 파일 수를 제한 할 수 있습니까?
프레드

답변:


0

요청한대로 FTP 예제 (주석에 넣고 서식을 유지할 수 없음)

user @ mycomputer : / home / somedir> ftp
ftp> storage.provider.tld 열기
127.0.0.1 시도 중 ...
localhost에 연결되었습니다.
220 storage.provider.tld FTP 서 v (v 전 6.00LS) 준비.
이름 : 귀하의 사용자 이름
331 사용자 이름에 비밀번호가 필요합니다.
암호 : TypeYourPassword
230 사용자 YourUSERNAME이 (가) 로그인했습니다.
원격 시스템 유형은 UNIX입니다.
바이너리 모드를 사용하여 파일을 전송합니다.

ftp> 프롬프트
대화 형 모드를 끕니다.

ftp> mget *
로컬 : 원격 테스트 : 테스트
229 확장 수동 모드 시작 (||| 60396 |)
150 'test'(10 바이트)에 대한 BINARY 모드 데이터 연결 열기.
100 % | ************************************* | 10 184.25 KB / s 00:00 ETA
226 전송이 완료되었습니다.
00:00 (34.75KB / s)에 수신 된 10 바이트
로컬 : test.iso remote : test.iso
229 확장 수동 모드 시작 (||| 64833 |)
150 'test.iso'(0 바이트)에 대한 BINARY 모드 데이터 연결 열기.
     0 0.00 KB / 초
226 전송이 완료되었습니다.
local : test.uue remote : test.uue
229 확장 수동 모드 시작 (||| 50714 |)
150 'test.uue'(0 바이트)에 대한 BINARY 모드 데이터 연결 열기.
     0 0.00 KB / 초
226 전송이 완료되었습니다.
(모든 파일에 대한 etc etc)

prompt명령이 없으면 모든 파일을 확인해야합니다. 15000 명이있을 때 가장 좋은 아이디어는 아닙니다.

또한 클라이언트가 바이너리 모드 ( Using binary mode to transfer files.)로 시작되었습니다 . ASCII 모드로 시작하면 다음을 입력하십시오 bin.

하위 집합을 가져올 수 있습니다. 예를 들어 a ( mget a*) 또는 cd로 시작하는 모든 파일 을 폴더 에 넣으십시오 ( cdFTP 컴퓨터에서 !cddir을 변경하고 로컬 컴퓨터에서 dir을 변경하려면 ftp를 시작하기 전에 CD로 이동하십시오).


방금 index.html이 있습니다.
Legit

그것은 또한 모든 파일을 얻지 못한다. 다시 약 5000으로 제한합니다.
Legit

어쩌면 ssh를 통해 압축 할 수있는 방법이 있다면 어쩌면?
Legit

FTP (File Based File) 기반이 아니라 웹 기반 인 것보다 단지 signel 파일 (index.html) 만 있으면됩니다. index.html에 무엇이 있습니까? 환영합니다! </ body> </ HTML> 또는 거기에 파일 이름이 있습니다. 그럴 경우 wget -r http://storage.provider.tld. 또는 파일을 생성하고 --input-file=filefrom wget을 사용하는 데 사용하십시오 .
Hennes

'SSH를 통한 압축'에 관해서. 1) ssh를 통해 로그인 할 수있는 경우 로컬로 tar하거나 ftp를 사용하거나 단일 파일을 wget tar cf my_archive.tar *하거나 netcat을 사용할 수 있습니다.
Hennes
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.