500 개 이상의 컴퓨터로 대용량 파일 푸시


24

저는 연례 회의를 위해 500-600 대의 임대 Windows 7 컴퓨터를 관리하기 위해 팀과 협력합니다. 이 컴퓨터에 최대 1TiB까지 동기화해야하는 많은 양의 데이터가 있습니다. 컴퓨터는 방으로 나누어 져 있으며 관리되지 않는 기가비트 스위치를 통해 연결됩니다. 렌터카 회사가 복제 할 기본 이미지를 보내기 전에 사용 가능한 파일과 Windows 설치 및 구성을 사용하여 이러한 컴퓨터를 미리 준비합니다. 매년 발표자는 발표 할 회의실로 푸시해야하는 데이터를 최대 수 그램으로 발표합니다. 때로는 슬라이드 PDF와 같이 크기가 작은 파일이 몇 개 있지만 때로는 5GiB보다 훨씬 더 클 수도 있습니다.

이러한 파일을 푸시하기위한 현재 전략은 배치 스크립트와 RoboCopy를 사용하는 것입니다. 대규모 푸시의 경우 실제로 BitTorrent 클라이언트를 사용하여 토렌트 파일을 생성 한 다음 batch-RoboCopy를 사용하여 토런트를 설치된 BT 클라이언트가 모니터링하는 원격 시스템의 폴더로 푸시합니다. 종종이 데이터는 작은 시간 창으로 즉시 푸시되어야합니다. 제어실에는 이러한 푸시에 사용하는 바닥의 기계와 동일한 여러 기계가 있습니다.

원격 시스템에서 프로그램을 실행해야하는 경우가 있으며 현재이 작업을 처리하기 위해 배치 및 PSexec를 사용합니다.

우리는 "죄송합니다, 당신 자신의 잘못"으로이 마지막 순간에 대응할 수 있기를 원하지만, 그렇게되지는 않을 것입니다. BT 방법을 사용하면 응답 시간이 훨씬 빨라지지만 여러 작업이 푸시 될 때 전체 배치 프로세스가 복잡해질 수 있습니다. 우리는 다른 프로세스에 Enterprise Ghost를 사용하며이 대규모 작업에서는 제대로 작동하지 않으며 이와 같은 1 년에 한 번의 작업에는 비용이 매우 많이 듭니다.

편집 : 바닥의 원격 컴퓨터가 Windows를 실행 해야하는 어려운 요구 사항이 있습니다. 제어 시스템에는 엄격한 OS 요구 사항이 없습니다. 업스트림 라우터와의 복잡성 때문에 멀티 캐스트를 멀리하고 싶습니다. 멀티 캐스트 또는 BitTorrent가 더 좋은 방법입니까? 더 잘 작동 할 수있는 다른 프로토콜이 있습니까?


3
잘 쓰여진 질문으로, 쇼핑 질문은 스택 교환 사이트 중 어느 곳에서나 자주 사용된다고 말하는 것은 고통 스럽습니다 . 참조 Q & A가 어렵다, 쇼핑 갈 수자주 묻는 질문 자세한 내용을.
Chris S

I would really like to stay away from Multicast because of complications with upstream routers.왜 그런지 자세히 설명해 주시겠습니까?
Zoredache

2
솔직히 집에서 만든 BitTorrent 및 PSExec 프로세스가 멀티 캐스트 솔루션을 파는 것 외에는 최선을 다하는 것처럼 들립니다. 예쁘고 자동화하기 위해 PowerShell을 감싸고 싶을 수도 있지만, 이것이 제가 제안 할 수있는 가장 좋은 제안입니다.
voretaq7

@ Zoredache- 솔직히, 그것은 멀티 캐스트에 대한 충분한 경험이 없기 때문입니다. 나는 고스트와 멀티 캐스트를 다루었 고 실제로 좋은 결과를 얻지 못했습니다. 업스트림 장비는 계약 한 시설에 속하며 일부 지역에서는 어려운 IT 그룹을 처리했습니다. 멀티 캐스트가 무엇인지 아는 직원도 없을 것입니다.
WMIF

@ voretaq7- 나는 우리의 구조 위에 인터페이스를 놓는 것을 고려했지만 powershell에서 그것을하는 데 어려움을 겪을 것이다. PS를 배우는 것은 고통 스럽습니다. PS가 더 구조화 된 언어와는 매우 다른 행동이기 때문입니다. 인터페이스를 배치하면 C #에있을 가능성이 큽니다.
WMIF

답변:


12

NAT / 라우터 순회를위한 적절한 문서화와 근접 식 확장 기능을 갖춘 멀티 캐스트 파일 전송 프로그램 : UFTP가 정말로 필요 합니다.


나는 아직도 당신이 준 링크에 대한 문서를 찾고 있지만 아직 하위 수준의 멀티 캐스트 내용에 대해서는 언급하지 않았습니다. 즉, 여전히 멀티 캐스트 랑데부 지점에 의존하여 체인의 일부 라우터에 설정됩니까? 게이트웨이를 제공 할 위치에 의존하고 있으므로이 기능을 제공 할 수있는 자체 중앙 라우터가 없습니다. UFTP는 소프트웨어 내에서이를 모방 할 방법이 있습니까?
WMIF

이것이 멀티 캐스트를 다룰 때 종종 얻을 수있는 결과의 유형이며, 내가 멀리하고 싶다고 말한 이유입니다. serverfault.com/questions/56487/…
WMIF

해당 질문의 소프트웨어 나 하드웨어에 익숙하지 않지만 설정에서 이와 같은 문제가 발생하지 않았습니다. 멀티 캐스트는 가장 느린 클라이언트 속도로 실행되므로 클라이언트 속도의 "계층"이 다른 경우 각 계층에 대해 다중 멀티 캐스트 세션을 실행하려고 할 수 있습니다 (최종 완료 시간에는 영향을 미치지 않지만 더 빠른 컴퓨터 완료를 허용 함) 빨리). 중간 스위치 및 라우터는 멀티 캐스트를 지원해야하며 프록시는이를 어느 정도 완화 할 수 있지만 성능을 원할 경우 안정적이고 가능한 네트워크 인프라가 필요합니다.
Chris S

이 질문의 인프라와 관련된 스위치는 모두 관리되지 않습니다. 라우터는 위치마다 다르므로 멀티 캐스트를 지원한다고 보장 할 수 없습니다. 내 라우터를 한쪽으로 끌 수는 있지만 여전히 멀티 캐스트 부분에 관여 할 수있는 방법이 있습니까? 나는 그것이 가능하지 않다고 생각하기 때문에 묻습니다.
WMIF

관리는 멀티 캐스트에 대한 스위칭 지원에 직접적인 영향을 미치지 않습니다. 모든 1GB 이더넷 스위치는 멀티 캐스트를 지원해야합니다 (구형의 특히 저렴한 스위치는 브로드 캐스트로 구현하여 작업을 수행함). 이전 스위치는 일반적으로 이미 수행했습니다. 라우터 지원이 부족하기 때문에 프록시 설정이 필요합니다 (각 멀티 캐스트 격리 네트워크 세그먼트마다 하나씩). 멀티 캐스트를 지원하는 라우터를 사용하는 것이 가장 쉬운 방법이지만 프록시가 많지 않은 한 프록시를 구성하는 것은 끔찍한 일이 아닙니다.
Chris S

5

살인 을 조사하고 싶을 수도 있습니다

Murder는 Bittorrent를 사용하여 프로덕션 환경 내에서 대량의 서버로 파일을 배포하는 방법입니다. 이를 통해 중앙 집중식 배포 시스템이 작동하지 않는 수십에서 수만 대의 서버 환경에 확장 가능하고 빠른 배포가 가능합니다.

.

살인은 트위터 에서 사람들에 의해 개발되었으며, 매일 파일을 배포하는 데 사용하고 있습니다.


4

새로운 솔루션이 나타날 수 있습니다 : BitTorrent Sync

나중에 편집 : 실제로 요즘에는 아마도 git-annex assistant 또는 syncthing을 권장 하지만 많은 대안이 있습니다.


이 유스 케이스에서 또 다른 것이 아니라 아주 좋은 것 같아요!
Argeman

동의한다. 나는 이것을 /에서 발견했다. 현재 테스트 사운드가 제대로 작동하는지 테스트 시나리오를 설정하고 있습니다.
WMIF

방금 BT Sync로 대규모 테스트를 수행 한 결과 멀티 캐스트 브로드 캐스트 트래픽에 239.192.0.0을 사용한다는 것을 알았습니다. 네트워크 인프라를 제어 할 수 없었기 때문에 완전히 분석 할 수 없었지만 이로 인해 아웃 바운드 인터넷 트래픽이 눈에 띄게 급증했습니다. 일반적인 파일 동기화 불일치 문제와 결합하여 문제를 일으켜 종료해야했습니다. 컴퓨터가 50 대 미만인 소규모에서 아름답게 작동했기 때문에 불행합니다.
WMIF

1

도움이 될만한 아이디어가 있습니다. 이것이 왜 그렇게 복잡해야 하는지를 완전히 이해하지 못하더라도 용서하십시오. 그러나 최종 사용자가 간단하게 데이터를 유지하면서 LAN 내부에서 데이터를 빠르고 쉽게 도달 할 수 있도록해야하는 경우에는 NAS 장치. Synology DS1812 +가 있는데 다른 Synology 드라이브 또는 다양한 RSYNC 가능 장치와 RSYNC 할 수 있으며 "Download Station"이라는 비트 토렌트 가능 응용 프로그램이 있습니다. 드라이브 베이에서 토렌트 파일을 다운로드 할 수 있으며 다른 사람이 필요한 파일을 다운로드 할 수 있도록 해당 응용 프로그램에 토렌트 파일을 게시하십시오. 그것은 애플과 안드로이드 모두 모바일 장치를위한 응용 프로그램이 있습니다. 또한 FTP 전송을 수행 할 수 있습니다. 이 드라이브 베이를 사용하면 파일을 신속하게 전송 한 다음 LAN간에 빠르고 쉽게 분산시킬 수 있습니다. LAN 사용자가 더 빠르게 액세스 할 수 있도록 LAN 내부에 데이터를 배치하는 것이 좋습니다. 그러나이 NAS 장치의 장점은 빠른 인터넷 연결이있는 한 어디서나 온라인으로 데이터를 배치 할 수 있다는 것입니다. 아마도 고급 Synology NAS 장치 중 하나가 귀하의 요구에 적합 할 것입니다.

Synology에는 가상 인터페이스가있어 유용 할 경우 더 나은 아이디어를 제공 할 수 있습니다. 아래 링크를 가상 인터페이스에 붙여 넣습니다.

http://www.synology.com/products/dsm_livedemo.php?lang=us

이 장치는 또한 사람들에게 웹 인터페이스 또는 모바일 장치 응용 프로그램을 통해 데이터에 액세스 할 수있는 기능을 제공합니다.

나는 이것이 도움이되기를 바랍니다. 말한 것처럼 질문을 올바르게 이해하지 못하면 저를 용서하십시오.


1
나는 그가 지금하고있는 것보다 그것이 얼마나 좋은지 잘 모르겠습니다. WMIF는 사용자가 데이터를 가져 오기 시작할 때까지 기다릴 필요가 없습니다. 그 / 그녀의 팀은 데이터 파일을 사용할 수있게되면 머신에 데이터 파일을 사전 준비해야합니다.
mfinni

@mfinni가 맞습니다. 임무는 참석자가 회의실에 들어가기 전에 제공된 파일이 모두 회의실 컴퓨터에로드되도록하는 것입니다.
WMIF
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.