하나의 폴더에 많은 (1 천만) 파일 배치

우분투 서버에서 실행되는 사이트에 예측 검색 (아래 예 참조) 기능을 추가했습니다. 이것은 데이터베이스에서 직접 실행됩니다. 각 검색에 대한 결과를 캐시하고 존재하는 경우 사용하고 그렇지 않으면 작성하십시오.

cira 천만 개의 결과를 하나의 디렉토리에 별도의 파일로 저장하는 데 문제가 있습니까? 아니면 폴더로 나누는 것이 좋습니다?

예:

하나의 디렉토리에 별도의 파일로 1 천만 개의 결과를 저장하는 데 문제가 있습니까?

예. 아마도 더 많은 이유가 있지만 이것들은 내 머리 꼭대기에 게시 할 수 있습니다.

• tune2fs는 dir_index성능 저하를보기 전에 대략 100k 개의 파일을 디렉토리에 저장할 수 있는 옵션 (기본 설정) (Ubuntu에서는 켜져 있음)이 있습니다. 그것은 당신이 생각하고있는 10m 파일에 가깝지 않습니다.

• ext파일 시스템에는 고정 된 최대 수의 inode가 있습니다. 모든 파일과 디렉토리는 1 개의 inode를 사용합니다. 사용하다df -i 파티션과 아이 노드 자유의 뷰. inode가 부족하면 새 파일이나 폴더를 만들 수 없습니다.

• 같은 명령 rm및 ls와일드 카드를 사용하여 명령을 확장하여 "너무 긴 인수 목록의"로 끝날 때. find파일을 삭제하거나 나열하는 데 사용해야 합니다. 그리고 find느린 경향이 있습니다.

아니면 폴더로 나누는 것이 좋습니다?

예. 가장 확실합니다. 기본적으로 1 디렉토리에 10m 파일을 저장할 수도 없습니다.

데이터베이스를 사용합니다. 웹 사이트 용으로 캐시하려면 " solr "( "분산 인덱싱, 복제 및로드 밸런스 쿼리 제공")을 살펴보십시오 .

같은 문제로 끝났습니다. 내 자신의 벤치 마크를 실행하여 모든 폴더를 여러 폴더가있는 것과 동일한 폴더에 배치 할 수 있는지 확인하십시오. 당신이 할 수 있고 더 빠릅니다!

참조 : https://medium.com/@hartator/benchmark-deep-directory-structure-vs-flat-directory-structure-to-store-millions-of-files-on-ext4-cac1000ca28

이진 검색은 수백만 개의 레코드를 쉽게 처리 할 수 ​​있으므로 단일 디렉토리 검색은 문제가되지 않습니다. 아주 빨리 할 것입니다.

기본적으로 32 비트 시스템을 사용하는 경우 2Gb 레코드까지의 이진 검색이 쉽고 좋습니다.

오픈 소스 소프트웨어 인 Berekely DB를 사용하면 전체 결과를 한 항목 아래에 쉽게 저장할 수 있으며 검색 기능이 내장되어 있습니다.