대량의 소규모 데이터에 어떤 파일 시스템을 사용할 수 있습니까?


2

HFS + 파일 시스템이있는 하나의 4TB 외장 드라이브에서 exFAT 파일 시스템이있는 다른 4TB 외장 드라이브로 ~ 3.7TB의 데이터를 복사하고있었습니다. 새로운 HDD는 데이터의 ~ 75 % 만 전송 된 후에 채워 졌는데, 작은 파일 크기를 위해 파일 당 더 많은 공간을 사용하는 exFAT의 할당 단위 크기로 추측됩니다.

작은 파일을 많이 (~ 수백만 개) 복사하고 있습니다 (각 1.5kB). 그래서 나는 이것을하는 방법을 알아 내려고 노력하고 있습니다.

따라서 다음 요구 사항을 충족시키는 파일 시스템이 필요합니다.

  • 최소 크기의 공간을 낭비하는 1.5kB 크기의 수백만 파일을 수용 할 수있을 정도로 작은 블록 크기 (여기서 exFAT에 문제가 있음)

  • Linux와 읽기 / 쓰기 호환 (여기서 HFS +에 문제가 있음)

  • Linux에서 4T 파티션을 만들 수 있습니다. (여기서 ext4에 문제가 있음)

다른 파일 시스템?

업데이트 :이 질문은 다른 게시물에서 이미 답변 된 것으로 표시되었습니다 ( 많은 작은 파일에 대한 파일 시스템 최적화? ). 그러나 받아 들여진 대답은 나를 위해 작동하지 않습니다 :

mkfs.ext4 -b 1024 /dev/your_partition

Warning: specified blocksize 1024 is less than device physical sectorsize 4096
/dev/sdc: Cannot create filesystem with requested number of inodes while setting up superblock

1
EXT4는 4TB 파티션 생성에 문제가 없습니다.
GabrielaGarcia

2
최고의 파일 시스템 IMHO는 다른 파일 시스템 보다 많은 장점을 가진 ZFS 이며 모든 BSD 및 Linux 및 Windows (초기 베타)에서도 잘 지원됩니다. 보다 호환성을 유지하려면 Microsoft의 NTFS가 작업을 수행하므로 ntfs-3g모든 플랫폼에서 실제로 액세스 할 수 있습니다. exFAT를 사용하지 마십시오. 기본적으로 오래된 FAT32 시스템이지만 최대 한계가 제거되어 무결성 검사를 지원하지 않으며 거대한 클러스터 크기를 사용하여 공간을 낭비하지 않습니다.
Alex

zfs를위한 또 하나
ivanivan

1
@GabrielaGarcia 문제는 볼륨 크기가 아닌 작은 파일입니다. \ @hirschme ex4의 최대 볼륨 크기는 1EiB입니다. 참조 작은 파일의 수백만 파일 시스템을 , 작은 파일 (HDD가 아닌 SSD)를 많이 저장하기위한 가장 고성능 리눅스 파일 시스템은 무엇입니까? , 많은 작은 파일을위한 파일 시스템 최적화? , 단일 디렉토리에있는 파일 시스템 많은 수의 파일 . 그러나 파일이 150 또는 1.5kB인지 확인해야합니다.
phuclv

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.