Linux를 사용한자가 양조 자동 계층 스토리지 솔루션? (메모리-> SSD-> HDD-> 원격 저장소)


13

시스템에 SSD를 사용하고 데이터에 HDD를 사용하는 방법에 대한이 질문과 관련 이 있습니다. 제 시스템에서 자동으로 수행하고 싶습니다 ...

가급적 무료 오픈 소스 소프트웨어를 사용하여 여러 계층의 스토리지를 보유하고 이들 사이에 자동으로 항목을 푸시 할 수 있습니까?

EMC SAN-> EMC Centera 자동 아카이빙 과 같은 매우 비싼 엔터프라이즈 급 솔루션을 알고 있지만 이러한 종류의 단계적 스토리지가 자동으로 수행 될 수 있는지 궁금합니다.

메모리-> SSD-> HDD-> 느린 HDD 또는 테이프 또는 다른 아카이브 솔루션에 여러 계층을 가질 수 있다면 좋을 것입니다.

이 작업을 자동으로 수행 할 수있는 파일 시스템이 있습니까? (ZFS, Btrfs, HAMMER?)

모든 유닉스 내가 어떻게이 작품과 리눅스 또는 다른 풍미 (BSD 등)에 이식 될 가능성이 있는지 여부 관심으로 -variants은 정상입니다.

답변:


14

ZFS는 하이브리드 스토리지 풀 (HSP) 이라는 스토리지 계층을 사용합니다 .

  1. 층 : 메모리
  2. 계층 : SSD 기반 읽기 캐시 (L2ARC) 및 쓰기 캐시 (별도의 의도 로그, 일명 slog).
  3. 레이어 : (저렴한) 하드 디스크

HSP를 사용하면 하드 디스크 전용 솔루션에 비해 SSD의 장점을 자동으로 쉽게 활용할 수 있습니다. HSP를 사용하는 시스템은 후자보다 빠르고 저렴할 수 있습니다. 좋은 예와 자세한 내용 은 이 링크 를 참조하십시오.

ZFS의 계층 적 스토리지 관리 (HSM)에 대한 계획이 있다고 생각하지만 (예 : ADM (Automatic Data Migration) OpenSolaris 프로젝트 참조) 현재 상태를 알 수 없습니다.


이것이 바로 제가 생각했던 것입니다. 감사합니다! (이제 리눅스 포트를 돕기 위해 ...;)
David Gardner

이 계층을 호출하지 않고 캐싱이라고합니다. 캐싱이란 자주 사용하는 블록의 사본을 유지하면서 데이터를 더 느리거나 빠른 스토리지로 계층화 하는 것을 의미합니다 . 올바르게 이해하면 ZFS의 의도 로그를 실제 쓰기 캐시라고 부르지 않습니다.
mrossi


5

TIER 요구 사항에 응답하는 것 계층 형 스토리지를 생성 할 수있는 Linux 커널 모듈입니다. 패턴 자체를 배우고 스토리지에 배치를 최적화하는 것 같습니다

http://www.lessfs.com/wordpress/?p=776


방금 질문이 오래된 것을 보았습니다 ... 죄송합니다 ^^ '
Dolanor

2
오래된 질문에 활력을주는 것이 이전의 오래된 정보로 썩어가는 것보다 낫습니다!
David Gardner

이 사람은 여분의 용량을 위해 (특히 SSD가 비교적 작고 신뢰할 수없는 경우) 중복성을 줄이고 싶을까 걱정하고 있습니다.
Tobu

또한 실험용 소프트웨어가 가장 백업이 필요할 때 솔루션으로 습격을 제안 할까 걱정했다.
Tobu

다음은 좀 더 긍정적 인 피드백입니다. permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu

1

방금 찾은 것으로 내 자신의 질문에 대답하기 :

방금 커널을 업데이트하고 추가 된 새로운 기능을 살펴 보았습니다. 이제 ' 일반적으로 원격'파일 시스템을 로컬 파일 시스템에 캐싱 할 수 있는 'CACHEFILES'옵션 이 있습니다. 적어도 하나의 계층 구조에 대해 느린 스토리지 메커니즘 (HDD)을 더 빠른 스토리지 메커니즘 (SSD)으로 캐시하는 데 이것을 사용할 수 있다고 생각합니다.


이 솔루션을 사용해 보셨습니까? 어떻게 수행합니까?
skolima

1
신경 쓰지 마라-나는 지금 CacheFS가 NFS와 AFS 만 지원한다는 것을 알았다.
skolima 2016

네트워크 파일 시스템을 사용하는 것은 나쁜 생각이 아니며 커널 패치 세트보다 훨씬 빠르게 성숙되는 경향이 있습니다. Ceph 또는 DRBD에 계층 형 스토리지에 유용한 모드가 있는지 궁금합니다.
Tobu

1

관련 링크 YMMV.

http://code.google.com/p/fscops/- "OHSM (Online Hierarchical Storage Manager)은 고비용 스토리지와 저비용 스토리지간에 데이터를 자동으로 이동시키는 엔터프라이즈 급 오픈 소스 데이터 스토리지 관리자를 향한 첫 번째 시도입니다 미디어.".

http://www.tack.ch/unix/dmapi/-Linux의 XFS + DMAPI

http://jfs.sourceforge.net/-Linux의 JFS + DMAPI


OHSM 프로젝트는 다음과 같이 흥미로운 것으로 보입니다. 현재는 ext2와 2.6.30 커널 만 지원되지만 제대로 작동하면 더 많은 파일 시스템을 얻게 될 것으로 기대합니다.
David Gardner

이 프로젝트는 포기한 것으로 보이며, 가장 최근 활동은 2009
있었습니다


0

LVM2 스냅 샷은 생각 나지만 실제로는 단일 스냅 샷 이상을 수행 할 수 없습니다.


0

SAM-QFS 는 Sun의 기존 제품이며 작년에 오픈 소스였습니다. CDDL이므로 * BSD로 직접 이식 할 수 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.