파일이 디스크에 순차적으로 저장됩니까?

내가 이해했듯이 "스파 스 파일"은 파일에 '갭'이있을 수 있으므로 실제 사용 된 데이터가 논리 파일 크기보다 작을 수 있음을 의미합니다.

Linux 파일 시스템은 디스크에 파일을 어떻게 저장합니까? 나는 주로 ext4에 관심이 있습니다. 그러나:

1. 파일이 저장 될 수 없습니다 디스크에 순차적으로? 즉, 파일의 일부는 물리적 주소 X에 있고 다음 부분은 물리적 주소 Y에 있으며 X + 오프셋에 가깝지 않습니다.
2. 어떻게 든 파일 순차를 제어 할 수 있습니까?
   10GB의 파일을 할당하고 싶습니다. 디스크에서 순차적이며 다른 오프셋으로 나누지 않기를 원합니다.
3. 다른 유형간에 다르게 작동합니까?

파일이 저장 될 수 없습니다 디스크에 순차적으로? 파일의 일부는 물리적 주소 X 아래에 있고 다른 부분은 물리적 주소 Y 아래에 있으며 X + 오프셋에 가깝지 않습니다.

예; 이것은 파일 조각화로 알려져 있으며 특히 큰 파일에서는 드문 일이 아닙니다. 대부분의 파일 시스템은 필요에 따라 공간을 필요에 따라 순차적으로 할당하지만 향후 동작을 추측 할 수는 없습니다. 따라서 파일에 200MiB를 쓴 다음 100MiB를 더 추가하면 두 데이터 세트가 모두 0이 될 가능성은 없습니다 디스크의 다른 영역에 저장해야합니다 (기본적으로 디스크에 더 많은 공간이 필요한 다른 쓰기는 첫 번째 쓰기 이후와 두 번째 쓰기 이전에 발생 함). 파일 시스템이 거의 가득 찬 경우 상황은 일반적으로 더 나빠질 수 있습니다. 새 파일을 보유 할만큼 충분한 여유 공간 영역이 없을 수 있으므로 조각화해야합니다.

어떻게 든 파일 순차를 제어 할 수 있습니까? 10GB의 큰 파일을 할당하고 싶습니다. 디스크에서 순차적이며 다른 오프셋으로 나누지 않기를 원합니다.

파일 시스템을 만들 때 파일의 대상 크기를 파일 시스템에 알려줄 수 있습니다. 이렇게하면 파일 시스템이 파일을 최적으로 저장하는 데 도움이됩니다. 많은 최신 파일 시스템은 지연 할당이라는 기술을 사용합니다. 지연 할당은 새 파일의 디스크 레이아웃이 가능한 한 늦게 계산되어 계산시 사용 가능한 정보를 최대화합니다. 이 posix_fallocate(3)기능을 사용 하면 파일 시스템에 총 디스크 공간을 얼마나 할당해야하는지 알 수 있습니다. 최신 파일 시스템은이 할당을 순차적으로 수행하려고합니다.

다른 유형간에 다르게 작동합니까?

다른 파일 시스템은 다르게 동작합니다. NILFS2와 같은 로그 기반 파일 시스템은 Ext4와 같은 익스텐트 기반 파일 시스템과 같은 방식으로 스토리지를 할당하지 않으며 이는 변형의 한 예일뿐입니다.

이 명령 filefrag은 파일이 장치에 실제로 저장되는 방법을 알려줍니다.

# filefrag -v /var/log/messages.1 
Filesystem type is: ef53
File size of /var/log/messages.1 is 41733 (11 blocks, blocksize 4096)
 ext logical physical expected length flags
   0       0  2130567               1 
   1       1 15907576  2130568      1 
   2       2 15910400 15907577      1 
   3       3 15902720 15910401      7 
   4      10  2838546 15902727      1 eof
/var/log/messages.1: 5 extents found

한 번에 파일을 작성하면 파일이 조각화되지 않을 것입니다.

fallocate(1) 의 맨 페이지 는 매우 분명합니다.

fallocate 블록을 파일에 미리 할당하는 데 사용됩니다. fallocate시스템 호출 을 지원하는 파일 시스템의 경우 블록을 할당하고 초기화되지 않은 것으로 표시하여 데이터 블록에 대한 IO가 필요하지 않으므로 신속하게 수행됩니다. 파일을 0으로 채워 파일을 만드는 것보다 훨씬 빠릅니다.

Linux Kernel v2.6.31부터 fallocatebtrfs, ext4, ocfs2 및 xfs 파일 시스템 에서 시스템 호출을 지원합니다.

순차적입니까? 시스템은 먼저 블록을 순차적으로 할당하려고 시도합니다. 그것이 가능하지 않으면 경고하지 않습니다.

스파 스 파일에 대해 언급했지만 다른 답변은 언급하지 않았습니다.

대부분의 파일은 드물지 않습니다. 파일을 작성하는 가장 일반적인 방법은 파일을 처음부터 끝까지 한 번에 작성하는 것입니다. 구멍이 없습니다.

그러나 "100,000,000,000 위치로 이동하여 바이트를 쓰십시오"라고 말할 수 있습니다. 이렇게하면 파일 크기가 etabyte 인 것처럼 보이지만 실제로는 디스크에서 4k 만 사용합니다. 이것은 드문 파일입니다.

동일한 파일에 대해이 작업을 여러 번 수행 할 수 있으므로 엄청난 양의 빈 공간에 적은 양의 데이터가 분산됩니다.

이것이 유용 할 수 있지만 두 가지 단점이 있습니다.

첫 번째는 파일이 조각화되어 걱정되는 것입니다.

두 번째는 모든 프로그램이 이러한 파일을 제대로 처리하지는 않는다는 것입니다. 예를 들어 일부 백업 소프트웨어는 공허함을 백업하려고 시도 하므로 백업 미디어에 비해 너무 큰 백업을 생성 할 수 있습니다 .

어떻게 든 파일 순차를 제어 할 수 있습니까? 10GB의 파일을 할당하고 싶습니다. 디스크에서 순차적이며 다른 오프셋으로 나누지 않기를 원합니다.

이를 달성하기위한 최소한 몇 가지 방법이 있습니다.

1. 여유 공간이 많은 파일 시스템을 사용하고 공간을 미리 할당하십시오 (예 : 응용 프로그램 별 데이터 끝 마커를 사용하고 파일 크기가 10GB에 도달 할 때까지 임의의 데이터를 추가하십시오). 조각화되지 않은 데이터가 생성되는 것은 아닙니다.

2. ext4 등 대신 원시 (요리되지 않은) 파일 시스템을 사용하십시오 . DBMS는 때때로 성능상의 이유로이를 수행합니다. 필요한 경우 자체 캐싱 / 저널링 / 복구 등을 수행해야합니다.

이 작업을 통해 많은 이점을 얻는 인스턴스는 상대적으로 드물기 때문에 성능을 최적화 할 수있는 다른 곳을 먼저 살펴 보겠습니다.

참조

데이터베이스 관리 시스템이 일반적으로 파일 시스템을 우회하는 것이 사실입니까?

이것이 한 번만 발생하고 파일이 원래 저장되는 방식이 중요하지 않은 경우 결과 만 중요하면 파일을 정상적으로 저장 한 다음 운영 체제의 조각 모음을 실행할 수 있습니다. 그런 다음 파일이 한 조각이면 이 대답을 확인하고 그렇지 않은 경우 반복하십시오. 이것은 명령이나 외부 프로그램을 사용하지 않고 가장 쉬운 방법이지만 전체 디스크를 조각 모음하기 때문에 가장 빠른 방법은 아닙니다.