새 웹 서버에 TB 데이터를 가져 오려면 어떻게합니까?

31

나는 약간의 긴급 성을 가지고 원격 웹 서버에 도착 해야하는 TB의 압축 미디어 파일을 가지고 있습니다. (내 사무실에서)

업로드 속도는 500KB / s에 불과하므로 업로드하는 데 ~ 23 일이 소요됩니다.

새로운 호스팅 회사는 우편으로 드라이브를 허용하지 않습니다.

더 뚱뚱한 파이프를 빌리기 위해 주요 대도시 지역에 갈 좋은 곳이 있습니까?

transfer  data 
— 브라이언 웹스터
소스
10
나는 이것이 답이 아니거나 특히 도움이된다는 것을 알고 있지만, 새로운 호스팅 회사가 당신과 함께 일할 의사가 없다면 새로운 새로운 호스팅 회사 를 찾아야합니다 . 고객으로부터 드라이브를받지 않는 것은 (물론 유료) 꽤 짜증납니다.
— voretaq7
내 대답을 확인하십시오 그것은 Tulsa의 데이터 스토리지 회사입니다
— Anagio
여기에 좋은 대답이 있지만 이것이 ServerFault로 전송되어서는 안됩니까?
— Mark Hurd
1
아마도 하드웨어 및 소프트웨어 구성을 논의 할 수있는 곳으로 serverfault를보고있는 반면 웹 마스터는보다 복합적인 작업을 수행하기 위해 웹 마스터가 사용하는 모든 용도를 사용합니다.
— Brian Webster

답변:

16

로컬 데이터 센터 (랙 호스팅, 관리 서비스 제공 업체 등) 중 일부에 연락하여 하루나 이틀 동안 가상 머신 또는 가상 머신을 대여하는 방법에 대해 알아 보겠습니다. 초기 전송을 위해 디스크를 가져올 수 있고 대역폭 요구 사항을 알고 있는지 확인하십시오.

그들은 단순히 업로드에 도움을 줄 수 있는지 물어볼 수도 있습니다. 그들은 기회 주의적이며 독창적 인 경향이 있으며 일부 비즈니스 기회를 기꺼이 수용 할 수도 있습니다.

— InChargeOfIT
소스
3
원격 데이터 센터 옵션 인 Amazon AWS도 있습니다! 하드 드라이브를 배송하고 디바이스 당 $ 80, 데이터 로딩 시간당 $ 2.50, 그리고 AWS에 데이터를 전송하고 데이터를 전송하는 한 데이터를 저장하는 데 드는 비용을 청구합니다. 아마도 가장 매력적인 옵션은 아니지만 그냥 버릴 수 있습니다.
이것은 알기에 좋습니다. 우리는 AWS를 많이 사용합니다! 이 서비스에 대해 내가 읽을 수있는 곳을 알고 있습니까? 구글에서 찾기가 어렵다 (적어도 내가 사용하고있는 핵심 단어)
— Brian Webster
1
— Rich
11

친구 나 직원이 집에 연결되어 기꺼이 손을 빌려주고 큰 파일에 대한 급류를 설정하고 직원 / 친구를 씨앗으로 설정하십시오. 물론 파일을 장바구니에 넣고 모두에게 복사해야합니다. 그래도 파일을 .rar로 분할하고 "팀"이 부분을 보내도록 할 수 있습니다 (없는 파일을 다운로드하지 않도록주의하십시오). 군중 소싱 ftw!

— 루크
소스
3
대학에 친구가있는 경우 특히 효과적입니다. 그들은 빠른 고속 대학 연결을 이용할 수있을뿐만 아니라, 다른 기숙사에있는 두 명의 친구에게 업로드를 도와달라고 요청하는 것은 어렵지 않습니다.
— Lèse majesté
7

로컬 소유의 지역 ISP를 찾고이 모든 것을 수용 할 수있는 멋진 외장 드라이브를 가져 오십시오. 현금으로 $ 300, 서버의 자격 증명 및 12 팩 맥주로 사무실로 들어갑니다. 최대 100mbit가 24 시간 이상 걸리므로 기가비트 업 링크를 갖도록기도하십시오.

실패하면 로컬 인터넷 인터넷 교환 지점을 찾고 연결된 AS를 찾으십시오. NANOG의 현지인과 좋은 친구를 사니다. 확률은 창의적이어야합니다. 가까운 곳을 찾아보십시오.

— 제프 퍼 랜드
소스
2
이것이 내가 취할 길입니다. 맥주는 비즈니스 상호 작용에 활력을주는 경향이 있습니다.
— Evik James
1
나는 이것이 아마도 가장 좋은 최소 저항 경로 솔루션이라고 생각합니다.
— jeremiahd
5

파일이 텍스트 파일이거나 cmpress 인 경우 업로드하기 전에 압축하여 파일 크기를 최대 90 % 줄일 수 있습니다. 그런 다음 서버에서 압축을 풀 수 있습니다.

여러 위치간에 업로드를 분할 할 수도 있습니다. 그러면 각각 최대 속도를 줄 수 있습니다.

— 존 콘데
소스
4

드라이브를 메일로 보낼 수있는 임시 호스팅 회사를 확보 한 다음 더 빠른 속도로 임시 호스트에서 영구 호스트로 전송하십시오.

— XPDA
소스
3
또는 메일로 드라이브를 허용하는 웹 호스트로 전환하십시오. 적절한 고객 서비스를 제공하는 대부분의 웹 호스트가이를 허용합니다.
— Lèse majesté
현재 호스팅 회사가 가격이나 다른 장기적 기준으로 인해 선정되었다고 가정하고 영구적으로 변경하는 데 비용이 더 많이 듭니다.
— xpda
3

하드 드라이브를 대역폭이 좋은 서버에 연결하면 전송을 향상시킬 수있는 기존 답변에 추가하고 싶습니다.

두 웹 서버간에 많은 양의 데이터를 여러 번 전송해야했으며 일반적인 FTP 또는 WGET 명령을 사용하여 데이터를 업로드하거나 다운로드하는 대신 Linux SCP 명령을 사용하고있었습니다. 자세한 정보는 여기에서 찾을 수 있습니다 : http://www.go2linux.org/scp-linux-command-line-copy-files-over-ssh

두 서버 모두에 대한 SSH 액세스가 필요하며 하나의 파일 또는 많은 파일을 재귀 적으로 복사 할 수 있습니다.

따라서 많은 작은 파일 대신 큰 파일 만 있으면 충분히 빨리 복사 할 수 있습니다.

서버 간 11MB / 초의 전송 속도에서 전송은 약 25 시간 지속됩니다.

행운을 빕니다! ;)

— 알렉산드 루 트란 다 피르 카탈린 2
소스
1
더 좋은 방법 은 대상 호스트가 지원하는 경우 rsync를 사용 하는 것입니다. (많은 않습니다.)
— Ilmari 카로 넨
3

http://aws.amazon.com/importexport/

디바이스를 AWS로 배송하면 나머지가 처리됩니다.

— 수비
소스
"... 그리고 나머지 는 잘 처리 할 것입니다. "– 대상이 AWS가 아닌 한 그렇지 않습니다. 그렇지 않으면 데이터를 S3 버킷으로 만 전송합니다. 그리고 S3 버킷에서 스토리지 대상으로 가져와야하는 사람입니다.이 경우 xpda의 답변과 동일합니다.
— Lèse majesté
2
아 절대적으로, 나는 InChargeOfIt 답변에 Rich가 (내가 게시했을 때 거기에 없었던) 것처럼 의견을 말해야했습니다. Hamlin11은 특히 AWS 솔루션에 관심을 보였고이 서비스에 대한 링크를 찾고 있었기 때문에 게시했습니다. 저에 대한 의견은 내가 동의하는 것이 더 적절했을 것입니다.
— subiet
글쎄, 당신이 그 의견에 연결하기 위해 답변을 편집 할 수 있다고 생각하고, 비 AWS 대상의 경우 나중에 Amazon의 매우 뚱뚱한 파이프를 사용하여 서버 간 전송을 시작하면된다는 것을 참고하십시오. 좋은 대답이 되십시오.
— Lèse majesté
1

데이터가 느린 연결로 사무실에있는 경우 피클 상태입니다. 데이터가 이전 호스트에 있거나 이전 호스트에있는 경우 서버 간 전송을 시도 할 수 있습니다. 단단한 사무실 파이프 대신 ISP 파이프 사용.

ssh의 wget을 통해 청크로 처리 한 경우 설치를 위해 드라이브를 배송하는 것보다 훨씬 빠릅니다. 즉, 250GB 이상을 움직일 필요가 없었습니다.

— 브라이언
소스
문제의 긴급한 부분은 "오래된 호스트"에서 치명적인 다운 타임 이벤트에서 비롯된 것입니다. 웜 백업 호스트는 없지만 최근에 로컬로 백업했습니다.
— Brian Webster
0

다른 질문들에서 알 수 있듯이, 좋은 관계를 가진 사람을 찾기 위해 주로 비등합니다.

대화 할 수있는 한 그룹은 대학 또는 대학 관리자입니다. 통화하는 사람이 결선을 통해 일부 TB를 파이프 할 수있는 권한을 부여 받았는지 확인하고 계약을 체결 할 수 있습니다.

파티클 물리학과 같은 대학의 많은 교수진은 페타 바이트 규모의 데이터를 게시하므로 다른 가능한 옵션이 될 수 있습니다.

— 볼 데윈
소스
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.