데이터 센터 간 / home 공유


15

네덜란드와 프랑스의 데이터 센터에 두 대의 서버가 있습니다. 둘 다 Debian Wheezy를 실행 중입니다. 좋은 성능으로 그들 사이에 / home을 공유해야합니다. 서버에는 300 명의 사용자가 있으며, 그 중 30 명은 주어진 시간에 지정된 서버에서 활성 프로세스를 가질 수 있어야합니다. 각각 50kbit 읽기 및 20kbit 쓰기 / 초, 짧은 피크는 약 2000kbit /입니다. 독서. 로컬 스토리지에서 iotop으로 측정합니다. 총 500000 개 정도의 작은 파일이 많으며 가능한 한 짧은 대기 시간이 필요합니다. 서버 간 핑은 17ms이며 scp 및 wget을 사용할 때 연결은 약 20-30MB / s에 도달 할 수 있습니다. 너무 많은 대역폭이 있어야 작동하지만 ...

내가 지금까지 사실 : sshfs : nfs보다 성능이 더 좋은 것처럼 보였지만 파일 권한을 루트로 변경하여 응용 프로그램 충돌을 일으켰습니다.

nfs : 속도를 늦추고, noatime에 여러 가지 다른 옵션을 시도했지만 몇 개의 프로세스 만 활성화 된 경우에도 느리게 작동합니다.

drbd : 5 시간의 막 다른 작업, 실제로 두 시스템 모두에서 파일 시스템을 마운트 할 수 없다는 것을 깨달았습니다.

glusterfs : 모든 데이터의 로컬 복사본이 유망한 것처럼 들리지만 임의의 파일 액세스는 실제로 느리고 잠시 실행 된 후에는 믿을 수 없을 정도로 느리고 거의 정지합니다. noatime은 도움이되지 않습니다.

nfs 다시 : 여전히 부진합니다.

키보드로 울음 : 전혀 개선되지 않았습니다.

다음에 무엇을 시도해야합니까? 지난 주 동안 각 실패한 시험은 저녁 또는 그 이상을 보냈으며, 다음 방법으로 작업하고 싶습니다. 예, 파일 시스템이 두 서버간에 공유되어야합니다.

이 문제에 대한 새로운 아이디어를 주셔서 감사합니다.


6
"키보드에 울림 : 전혀 개선되지 않았습니다." 좋아, 그것은 나에게서 +1을 얻는다.
ceejayoz

아마도 glusterfs 또는 ceph를 원할 것입니다. 분산 파일 시스템. 또한 drbd를 여러 번 마운트 할 수 있지만 읽기 / 쓰기는 하나만 가능하며 어쨌든 무서운 나쁜 생각입니다.
Sirex

나는 glusterfs를 시도했지만 큰 파일에서 잘 작동하지만 작은 파일을 읽거나 쓸 때 실제로 느려집니다. glusterfs의 일반적인 문제인 것 같으며이 문제에 대한 해결책을 찾지 못했습니다. Ceph를 살펴 보겠습니다. 직접 해보셨습니까?
user3850506

3
파일 시스템 드라이버가 백업 블록 장치가 언제든지 임의로 변경 될 수 있다는 것을 이해하지 않으면 다른 시스템에 동일한 블록 장치 및 파일 시스템을 마운트하는 경우에도 다른 시스템의 RO조차 좋지 않습니다. 블록 장치는 inode 캐시를 변경하고 완전히 무효화 할 수 있으며 VFS는 더 이상 생각하지 않은 데이터를 행복하게 읽을 수 있습니다. GFS2 및 베리타스와 같은 공유 디스크 인식 파일 시스템은 DRBD 또는 모든 SAN 유사 디스크에서이를 수행 할 수 있습니다. 그래도 작은 파일 성능이 수용 가능할 것이라고 말할 수는 없습니다.
Andrew Domaszek 2014

답변:


2

이에 대한 몇 가지 가능한 해결책이 있습니다.

  1. DRBD (또는 위에서 언급 한 MARS)와 같은 복제 된 블록 스토리지를 사용할 수 있지만 블록 스토리지 위에 클러스터 파일 시스템을 설정해야합니다. 이러한 파일 시스템은 GFS2 또는 OCFS2 일 수 있으며 데비안 커널 afaik에서 모두 사용할 수 있습니다. DRBD는 기본 / 기본을 처리 할 수 ​​있으며 동시에 두 서버 모두에 마운트 할 수 있습니다. 그러나 표준 파일 시스템으로이 작업을 수행하면 한 서버가 다른 서버에 대해 알지 못하고 몇 초 안에 파일 시스템을 파괴하게됩니다. 상단의 클러스터 파일 시스템은 두 노드가 동일한 블록에 쓸 수 있도록 통신 및 잠금을 처리합니다.

  2. / home에 분산 파일 시스템을 사용하십시오. 이러한 파일 시스템 목록은 http://en.wikipedia.org/wiki/Comparison_of_distributed_file_systems 에서 찾을 수 있습니다. 그러나 조심하고 현명하게 선택하십시오. 그들은 모두 마술을 할 수 없으며 단점이 있습니다. Gluster는 그러한 파일 시스템입니다. 일부 시스템의 경우 두 개 이상의 노드가 필요할 수 있습니다.

  3. 실시간으로 복제 할 필요가없고 거의 실시간 파일 동기화로 충분하면 BitTorrent Sync ( http://www.getsync.com/ ), Dropbox 또는 대안을 살펴보십시오 . 각 서버에는 자체 / home이 있지만 변경 사항은 파일을 기준으로 다른 서버에 복제됩니다.


1
rsync ftw 123456
dmourati
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.