자동 피어 검색을 통한 디렉토리 동기화

Amazon 클라우드 자동 확장 기능 ( documentation ) 뒤에 앉아있는 Linux 서버 클러스터로 작업하고 있습니다. 각 서버에 누적되는 파일이 있으며 응용 프로그램의 캐시 파일입니다. 서버가 자신의 폴더를 동기화하도록 자동화 된 방법을 찾고 있습니다.

• Rsync 누군가가 동료 탐지를 할 수있는 영리한 방법이 있다면 효과가 있습니다.
• 동일합니다 Unison.
• Dropbox와 같은 SaaS 사용도 고려했습니다.
• Gluster는 과도한 것으로 보이며 새 컴퓨터가 클러스터에 자동 가입하는 것이 얼마나 쉬운 지 잘 모르겠습니다.

이상적으로는 새 서버가 시작될 때 피어가 발견되고 폴더 동기화가 시작됩니다. 그 시점부터 P2P 동기화에서 승리 한 최신 파일 스탬프입니다.

이 일을하는 것이 있습니까?

이상하게 들릴지 모르지만 개인 EC2 범위에서 DHT를 활성화 한 상태에서 rtorrent를 사용하면 효과가 있습니다.

이것은 당신에게 줄 것입니다

• 자동 피어 검색
• 확인 된 파일 상태 (해시의 경우 예)
• 최소 구성 요구 사항 (시작 스크립트에서 토렌트에 대한 자석 (또는 최신 토렌트의 경우 가상 IP 추가))
• 확장 성

Rsync 업스트림은 SLP (Service Location Protocol)를 지원합니다. vanilla rsync 소스에서는 활성화되어 있지 않지만 rsync 홈페이지 (slp.diff)의 rsync-patches tarball에서 SLP 지원을 찾을 수 있습니다. 예를 들어 SUSE rsync 패키지는이 패치로 빌드됩니다. 나는 다른 배포판에 대해 모른다.

나는 이것이 당신이 찾고있는 것인지 확실하지 않으며 SLP에 대한 경험이 없습니다.

어쩌면 여기에 뭔가 빠졌지 만 간단한 NFS 디렉토리를 설정하지 않고 모든 머신에 마운트 해야하는 이유가 있습니까? 앱이 새 캐시 파일을 작성할 때마다 이전 캐시 파일을 덮어 써야합니다.

프라이빗 또는 퍼블릭 IP 주소를 통해 노드가 서로를 발견 할 수 있도록 부트 스크립트를 작성할 수있는 Command Line Tools 같은 Amazon 관리 도구가 있다고 확신 합니다.

그런데 rsync와 Unison은 변경 사항을 캐시에 매우 자주 배포해야하는 경우 올바른 도구가 아닙니다. 이 경우 실제로 분산 된 파일 시스템을 고려해야합니다.

어쩌면 DRBD (분산 블록 장치)?