Mac OS X의 디렉토리에 많은 파일이 있다는 제한이 있습니까?

MacOS X의 디렉토리에 100,000 개 이상의 파일이 있으며 스크립트에서 파일을 읽는 속도가 느립니다.

많은 파일을 갖는 데 제한이나 권장 사항이 있습니까? 일부 디렉토리로 분할해야합니까?

내가 찾은 한계는 mv * foo10 만 개의 파일을 모두 처리 할 수 없다는 것 입니다. "너무 긴 인수"라는 오류가 표시됩니다. 약 20,000 개 미만의 파일에서 작동합니다.

이 스택 오버플로 답변 과 Apple 사이트의 특정 세부 정보에 따르면 개별 폴더에는 최대 21 억 개의 항목이 포함될 수 있습니다.

즉, 최대 21 억 개의 항목을 보유 할 수 있다고해서 해당 수준에서 성능을 유지할 수있는 것은 아닙니다. Wikipedia에 따르면 ; 강조는 내 것입니다 :

모든 파일 및 디렉토리 레코드를 단일 데이터 구조로 저장하는 카탈로그 파일은 시스템이 멀티 태스킹을 허용 할 때 한 번에 하나의 프로그램 만이 구조에 쓸 수 있으므로 성능 문제가 발생합니다. 이는 많은 프로그램이 대기열에서 대기 중일 수 있음을 의미합니다 하나의 프로그램이 시스템을 "호깅"하기 때문입니다. 이 파일이 손상되면 전체 파일 시스템이 손상 될 수 있으므로 심각한 안정성 문제이기도합니다.

따라서 카탈로그 파일은 한 번에 하나의 프로그램에서만 사용할 수 있기 때문에 성능이 자연스럽게 저하됩니다. 디렉토리의 크기가 커지면 해당 문제로 인한 위험 / 성능 저하 만 확대됩니다. 파일이 많을수록 프로그램이 해당 디렉토리의 파일에 액세스 할 가능성이 높아집니다. 여기서 그 아이디어에 대한 추가 확인 ; 다시 강조는 내 것입니다 :

카탈로그 파일은 복잡한 구조입니다. 모든 파일 및 디렉토리 정보를 유지하므로 파일 I / O를 수행하려는 스레드가 많은 경우 이상적인 상황이 아닌 파일 시스템의 직렬화를 강제 실행합니다. HFS에서 파일을 작성하거나 파일을 수정하는 조작은 카탈로그 파일을 잠 가야하므로 다른 스레드가 카탈로그 파일에 대한 읽기 전용 액세스조차하지 못합니다. 카탈로그 파일에 대한 액세스는 단일 작성기 / 다중 리더 여야합니다.

짧은 대답 : 글쎄, 당신이 10 만 개의 파일을 읽는다면, 스크립트 속도가 느려질 것입니다.

긴 대답 : 이 질문에보다 철저하게 대답하려면 Mac에서 파일 시스템을 살펴 봐야합니다. Mac은 HFS + ( Hierarchical File System Plus )를 사용합니다.이 파일 시스템은 제한이 있지만 극한 상황에서만 사용되는 최신 파일 시스템입니다.

내 경험으로는 Linux EXT 저널링 파일 시스템과 매우 흡사합니다. 이 디렉토리는 마운트 디렉토리, UNIX 유사 권한 등을 지원합니다. 파일을 32 비트 형식으로 지정 하여이 소스 에 따라 볼륨 4,294,967,295에 저장할 수있는 최대 파일 수를 만듭니다.

파일 시스템은 현대 시스템에서 8EB보다 큰 파일과 여기에 설명 된대로 한 위치에서 최대 21 억 개의 파일 및 폴더로 중단 됩니다 .

HFS + 또는 실제로 모든 파일 시스템이 해당 문제에 맞게 설정되는 방식을 고려할 때 폴더에 많은 파일이 있으면 '이상한'작업을 수행해서는 안됩니다.

솔직히 더 복잡한 폴더 계층에 파일을 배포하는 성능 향상이 없을 것이라고 생각합니다. 실제로이 기법은 스크립트가 프로세스 도중 디렉토리를 변경하기 위해 호출해야하기 때문에 효율성이 떨어질 수 있습니다.