데이터베이스에 큰 파일 (10MB)을 저장하는 것은 나쁜 습관입니까?

현재 사용자가 1MB-10MB 크기의 파일을 저장하고 공유 할 수있는 웹 응용 프로그램을 만들고 있습니다.

데이터베이스에 파일을 저장하면 데이터베이스 액세스가 상당히 느려질 것 같습니다.

이것이 유효한 관심사입니까? 파일을 파일 시스템에 저장하고 파일 이름과 경로를 데이터베이스에 저장하는 것이 더 낫습니까? 데이터베이스 작업시 파일 저장과 관련된 모범 사례가 있습니까?

이 프로젝트를 위해 PHP와 MySQL에서 일하고 있지만 대부분의 환경 ( Ruby on Rails , PHP , .NET )과 데이터베이스 (MySQL, PostgreSQL ) 에서 동일한 문제 입니다.

데이터베이스에 파일을 저장하는 데 유리한 이유 :

1. 파일이 데이터베이스 외부에 저장 될 때 복잡한 업데이트 롤백을 포함한 ACID 일관성. 이것은 가볍게 광택이 나지 않습니다. 파일과 데이터베이스를 동기화하고 트랜잭션에 참여할 수 있으면 매우 유용 할 수 있습니다.
2. 파일은 데이터베이스와 함께 제공되며 데이터베이스에서 분리 할 수 ​​없습니다.
3. 백업에는 파일 바이너리가 자동으로 포함됩니다.

데이터베이스에 파일을 저장하지 않은 이유 :

1. 이진 파일의 크기는 데이터베이스마다 다릅니다. 예를 들어 SQL Server에서 FILESTREAM 개체를 사용하지 않는 경우 2GB입니다. 사용자가 파일과 같이 파일을 더 많이 저장해야하는 경우 (예 : 영화), 마법을 일으키기 위해 농구대를 뛰어 넘어야합니다.
2. 데이터베이스의 크기를 증가시킵니다. 기억해야 할 한 가지 일반적인 개념 : 데이터베이스를 유지 관리하는 데 필요한 지식 수준은 데이터베이스 크기에 비례하여 증가합니다.즉, 큰 데이터베이스는 작은 데이터베이스보다 유지 관리가 더 복잡합니다. 데이터베이스에 파일을 저장하면 데이터베이스가 훨씬 커질 수 있습니다. 더 큰 데이터베이스 크기로 매일 전체 백업이 완료되었다고하더라도 더 이상이를 수행하지 못할 수 있습니다. 파일을 다른 파일 그룹에 배치하는 것을 고려해야 할 수도 있습니다 (데이터베이스에서 지원하는 경우). 백업을 조정하여 데이터 백업과 파일 백업 등을 분리하십시오. 유지 관리에 복잡성을 추가하여 비즈니스 비용을 의미합니다. 큰 데이터베이스는 가능한 한 많은 양의 데이터를 메모리에 저장하려고 할 때 더 많은 메모리를 소비합니다.
3. SQL Server의 FILESTREAM개체와 같은 시스템 특정 기능을 사용 하고 다른 데이터베이스 시스템으로 마이그레이션해야하는 경우 이식성이 문제가 될 수 있습니다 .
4. 파일을 데이터베이스에 쓰는 코드가 문제가 될 수 있습니다. 얼마 전 문을 참고하지 않은 한 회사는 어느 시점에 Microsoft Access 프론트 엔드를 데이터베이스 서버에 연결하고 Ole Object 컨트롤을 사용하여 "무엇이든"을 업로드하는 Access 기능을 사용했습니다. 나중에 그들은 여전히 ​​Ole에 의존하는 다른 컨트롤을 사용하도록 변경했습니다. 훨씬 나중에 누군가가 원시 바이너리를 저장하기 위해 인터페이스를 변경했습니다. 그 Ole Object를 추출하는 것은 새로운 수준의 지옥이었습니다. 파일 시스템에 파일을 저장할 때 소스 파일을 랩 / 비틀기 / 변경하는 데 필요한 추가 계층이 없습니다.
5. 파일을 웹 사이트에 제공하는 것이 더 복잡합니다. 이진 열을 사용하려면 데이터베이스에서 파일 이진을 스트리밍하는 처리기를 작성해야합니다. 당신은 파일 경로를 저장하지만하지 않으면 당신은 또한도이 작업을 수행 할 수 있는 이 작업을 수행 할 수 있습니다. 다시 한 번 핸들러를 추가하는 것은 불가능하지 않지만 복잡성을 추가하며 또 다른 실패 지점입니다.
6. 클라우드 스토리지를 활용할 수 없습니다. 언젠가 파일을 Amazon S3 버킷에 저장하려고한다고 가정합니다. 데이터베이스에 저장 한 파일이 파일 경로 인 경우 S3에서 해당 경로를 경로로 변경할 수 있습니다. 내가 아는 한 DBMS가있는 시나리오에서는 불가능합니다.

데이터베이스에 파일을 저장하거나 "나쁜"것으로 간주하지 않는 IMO는 상황 및 요구 사항에 대한 자세한 정보가 필요합니다. 파일의 크기 및 / 또는 수는 항상 작습니까? 클라우드 스토리지를 사용할 계획이 없습니까? 파일이 웹 사이트 또는 Windows 응용 프로그램과 같은 이진 실행 파일에서 제공됩니까?

일반적으로 필자의 경험에 따르면 경로 저장은 ACID 부족과 고아 가능성을 고려하더라도 비즈니스 비용이 저렴합니다. 그러나 이것이 인터넷이 파일 저장 장치에 잘못된 ACID 제어 기능이 부족하다는 이야기가 아니라는 것을 의미하는 것은 아니지만 일반적으로 솔루션을보다 쉽게 ​​구축, 이해 및 유지 관리 할 수 ​​있음을 의미합니다.

많은 경우에, 이것은 나쁜 생각입니다. 데이터베이스 파일이 부풀려져 여러 가지 성능 문제가 발생합니다. 많은 수의 열이있는 테이블에 얼룩 을 붙이면 더 나쁩니다.

하나! SQL Server 와 같은 일부 데이터베이스 에는 FILESTREAM 열 유형이 있습니다. 이 경우 데이터는 실제로 데이터베이스 서버의 별도 파일에 저장되며 파일의 ID 만 테이블에 저장됩니다. 이 경우 SQL 서버에 데이터를 보관하지 않는 이유는별로 없습니다. 파일은 서버 백업의 일부로 자동으로 포함되며 데이터베이스와 파일이 동기화되지 않습니다. 파일 이름 저장에 대한 Tony의 제안에서 문제는 데이터베이스와 파일 시스템이 동기화되지 않을 수 있다는 것입니다. 데이터베이스는 파일이 디스크에서 삭제 될 때 파일이 존재한다고 주장합니다. 프로세스가 데이터베이스를 수정하고 충돌 한 경우 파일과 데이터베이스가 일치하지 않습니다 (즉 , 데이터베이스 외부의 파일과 ACID 가 없음 ).

예, 나쁜 습관입니다.

DB에 대한 성능 영향 :

• 당신이 할 경우 SELECT어떤 BLOB 열, 당신은 것입니다 항상 BLOB를하지 않고 당신이 (높은 처리량 DB는 RAM에서 테이블에 맞게 최적화됩니다) 직선 RAM에서 데이터를 얻을 수있는 기회가있는 동안, 디스크 액세스를 할;
• BLOB를 슬레이브로 푸시해야하기 때문에 복제 속도가 느리고 복제 지연 시간이 길어집니다. 복제 지연 시간이 길면 명시 적으로 고려하지 않는 한 모든 종류의 경쟁 조건 및 기타 동기화 문제가 발생합니다.
• DB 백업 / 복원은 훨씬 오래 걸립니다.

속도 이점 — 없음 ! 일부 오래된 파일 시스템은 수백만 개의 파일이있는 디렉토리를 제대로 처리하지 못하지만 가장 현대적인 파일은 전혀 문제가되지 않으며 실제로 BD (일반적으로 B- 트리)와 같은 종류의 데이터 구조를 사용합니다. 예를 들어 ext4 (기본 Linux 파일 시스템)는 Htree를 사용 합니다 .

결론 : DB 성능을 방해하고 파일 검색 성능을 향상시키지 않습니다.

또한 웹 응용 프로그램에 대해 이야기하고 있기 때문에 최신 웹 서버를 사용하여 파일 시스템에서 직접 정적 파일을 제공하므로 sendfile()syscall 을 수행하면 성능 이 크게 향상됩니다. 물론 DB에서 파일을 가져 오는 경우에는 불가능합니다. Ngnix 가 로우 엔드 랩톱에서 1000 개의 동시 연결로 25K req / s를 수행하고 있음을 보여주는 이 벤치 마크를 고려해보십시오 . 이런 종류의로드는 모든 종류의 DB를 볶습니다.

나는 그것에 대해 실용적이며 "아직 최적화하지 마십시오"원칙을 따릅니다. 현재 적합한 솔루션과 제대로 구현할 개발 리소스가있는 솔루션을 만드십시오. 잠재적 인 문제 가 많이 있습니다 . 그러나 반드시 실제 문제가되는 것은 아닙니다. 예를 들어 100 명의 사용자가 있다면 문제가되지 않을 것입니다. 이 수 는 100,000 10,000,000 사용자가있는 경우 문제가 될 수. 그러나 후자의 경우 더 많은 개발 리소스가 모든 문제를 처리 할 수있는 기반이 있어야합니다.

그러나 데이터베이스에 데이터를 저장하면 파일 저장 위치, 백업 방법 등의 다른 문제를 해결하지 않아도됩니다. 웹 응용 프로그램을 작성하기 때문에 보안상의 이유로 매우 좋습니다. 응용 프로그램을 호스팅하는 프로세스에 파일 시스템에 대한 쓰기 권한이 없는지 확인하려면 프로세스가 데이터가 저장된 폴더에 대한 읽기 / 쓰기 액세스 권한을 갖도록 서버를 구성해야합니다.

개인적으로 데이터베이스에 데이터를 저장하기로 선택했지만 실제로 필요할 때까지 블로그를 읽지 않아야합니다. 즉 블로그가 포함 된 테이블에서 "SELECT * FROM ..."이 실행되지 않습니다. 성능 문제가 발생하면 디자인을 통해 데이터베이스에서 파일 시스템으로 데이터를 쉽게 옮길 수 있습니다. 예를 들어, 파일 정보를 별도의 파일 테이블 에 저장하여 파일 정보 를 다른 비즈니스 엔티티로부터 멀리하십시오.

데이터베이스에서 읽은 파일을 나타내는 File 클래스 가 있다고 가정하면 나중에 해당 파일을 옮길 때의 코딩 영향은 최소화됩니다.

Microsoft는 몇 년 전에이 백서를 발표했습니다. SqlServer에 중점을두고 있지만 흥미로운 정보가 있습니다.

BLOB 또는 BLOB? 데이터베이스 또는 파일 시스템의 대용량 객체 스토리지?

그들의 결론에 대한 간결한 버전은 다음과 같습니다.

NTFS 파일 시스템과 SQL Server 2005를 비교할 때 256KB보다 작은 BLOBS는 SQL Server에서보다 효율적으로 처리되는 반면 NTFS는 1MB보다 큰 BLOBS에서 더 효율적입니다.

특정 사용 사례에 대한 작은 테스트를 작성하는 것이 좋습니다. 캐싱 효과에주의해야합니다. (물리적으로 가능한 것보다 더 높은 처리량을 가진 것으로 보이는 디스크 저장 속도를 처음으로봤을 때 놀랐습니다!)

데이터베이스 외부에 파일을 저장한다는 기존의 통념은 더 이상 유지되지 않을 수 있습니다. 원칙적으로 속도보다 무결성을 선호하며 최신 DBMS를 사용하면 둘 다 가질 수 있습니다.

Tom Kyte는 동의하는 것 같습니다 .

데이터베이스 외부에서 오랫동안 유지하려는 데이터 저장의 이점이 없다는 것을 알고 있습니다.

그것이 데이터베이스에 있다면

전문적으로 관리해야합니다

백업

복구 가능 (나머지 데이터 포함)

확보

확장 성

쉽게 삭제 취소 (플래시백) 할 수 있습니다

나는 잠그고있다

일관성을 읽었습니다 ...

예.

파일 시스템에서 파일을 제공하는 경우 웹 서버는 BSD 또는 Linux에서 sendfile ()과 같은 커널 코드를 사용하여 파일을 소켓에 직접 복사 할 수 있습니다. 매우 빠르고 효율적입니다.

데이터베이스에서 파일을 제공한다는 것은 데이터베이스 서버의 디스크에서 데이터베이스 서버 메모리로 데이터를 복사 한 다음 db 서버의 메모리에서 db 서버의 네트워크 포트로, 네트워크에서 웹 서버 프로세스로 데이터를 복사 한 다음 다시 발신 네트워크 연결.

그렇지 않은 이유가 없다면 파일 시스템에서 정적 파일을 제공하는 것이 좋습니다.

유명한 Tom Kyte는 자신들 (Oracle)이 Oracle 데이터베이스를 파일 서버로 사용하고 있으며, 완전한 트랜잭션 성, 성능 손실 및 단일 백업으로 일반 파일 시스템보다 훨씬 빠르게 완벽하게 작동한다고 말합니다.

예. 그러나 이들은 Oracle DB의 생산자이며 다른 사용자에게는 비용 문제가 있습니다. 파일 저장을 위해 Oracle과 같은 상용 DB를 사용하는 것은 비용 효율적이지 않습니다.

그러나 예를 들어 PostgreSQL을 사용하면 Blob 스토리지에 대해서만 다른 DB 인스턴스를 실행할 수 있습니다. 그런 다음 완전한 거래 지원을받습니다. 그러나 트랜잭션 성 비용은 DB 공간입니다. 여러 개의 동시 트랜잭션을 위해 여러 개의 Blob 인스턴스를 데이터베이스에 저장해야합니다. PostgreSQL에서는이 데이터베이스 저장소가 VACUUM 프로세스가 완료 될 때까지 더 이상 필요하지 않더라도 트랜잭션을 위해 작성된 BLOB의 복제본이 저장되기 때문에 가장 고통 스럽습니다.

반면 파일 시스템 저장소를 사용하면 트랜잭션을 롤백 할 수 있고 이전 버전이 더 이상 표시되지 않을 때까지 파일 사본을 보관해야하므로 누군가 파일을 수정할 때 매우주의해야합니다.

파일이 추가 및 삭제 만되고 파일에 대한 트랜잭션 액세스가 문제가되지 않는 시스템에서 파일 시스템 저장소는 IMHO가 최선의 선택입니다.

일반적으로 큰 BLOB를 별도의 테이블에 저장하고 기본 테이블의 BLOB에 대한 외래 키 참조를 유지하는 것이 가장 좋습니다. 이렇게하면 데이터베이스에서 파일을 계속 검색 할 수 있으므로 (특수 코드가 필요하지 않음) 외부 DB 종속성과 관련된 문제를 피하십시오 (DB와 파일 시스템을 동기화 상태로 유지하는 등).하지만 그 오버 헤드 만 발생합니다 해당 테이블에 명시 적으로 조인하거나 별도의 호출을하는 경우 10MB는별로 크지 않으며 대부분의 최신 상용 데이터베이스에는 문제가 없습니다. 파일 시스템에 파일을 저장하는 유일한 이유는 데이터베이스 대역폭을 줄이는 것입니다. 데이터베이스가 이러한 파일을 많이 섞을 경우 워크로드를 분할하고 일종의 파일 디스크립터 만 저장해야합니다. 그런 다음 다른 서버에서 파일을로드하기 위해 별도의 호출을 할 수 있습니다.

이 문제 중 일부가 발생할 수 있습니다.

• 얼룩이 SELECT *필요하지 않더라도 큰 얼룩이있는 행과 관련된 행을 수행하는 데는 시간이 오래 걸립니다 (물론 특정 선택을 수행해야하지만 때로는 응용 프로그램이 이와 같이 작성 됨)
• 백업을 수행하는 데 훨씬 오래 걸릴 수 있습니다. 필요에 따라 백업 시간 동안 테이블을 잠 가야 할 수도 있으므로 백업 시간을 줄이십시오
• 복원에도 시간이 더 걸립니다.
• 공간이 부족한 경우이 문제를 해결하려면 어떤 방법 (전체 데이터베이스를 새 서버로 옮길 수도 있음)을 고려해야합니다. 파일 시스템에 파일을 저장하면 언제든지 다른 하드 드라이브를 마운트하고 소프트 링크를 설정할 수 있습니다.
• 단순히 디버깅이나 다른 정보를 얻기 위해 파일을 조사하는 것은 쉽지 않습니다. 여기에는 데이터베이스에 액세스 할 수 없지만 다양한 파일의 정보가 필요한 스크립트도 포함됩니다.

물론 다음과 같은 이점도 있습니다.

• 동기화 된 데이터 및 파일 멘토 백업
• 데이터베이스를 모르고 파일을 제거 할 수 없습니다
• 디스크에서 파일을 읽을 필요는 없지만 하나의 SQL 문에서 파일을 읽을 수 있습니다
• 데이터베이스를 다운로드하고 개발 환경에 덤프를 포함시키고 모든 종속성을 바로 가질 수 있습니다.

개인적으로 나는 전문가보다 단점이 훨씬 크므로 그렇게하지 않습니다. 그러나 위에서 언급했듯이 그것은 당신의 유스 케이스 등에 전적으로 달려 있습니다.

SiteCore와 같은 일부 Enterpirse Content Management Systems는 하나의 데이터베이스를 사용하여 페이지 데이터를 저장하고 다른 데이터베이스를 사용하여 파일을 저장합니다. 그들은 MS SQL Server를 사용하고 있습니다.

실제 구현을 위해 다음과 같은 사항을 고려해야합니다.

혜택 :

1. 모든 파일 내용이 테이블과 확실히 동기화됩니다. 위에서 언급했듯이 데이터 백업은 파일 시스템과 데이터를 동기화하지 않아도되므로 매우 편리합니다.
2. 코딩을 통해 SQL 선택에서 직접 파일 컨텐츠를 얻을 수 있습니다.
3. 쿼리를 통해 SQL 문에서 파일 내용 또는 크기를 명시 적으로 필터링 할 수도 있습니다.

단점 :

1. 구조적으로 의미는 동일하지만 파일 내용을 저장하지 않는 데이터베이스와 비교할 때 데이터베이스는 쿼리를 수행 할 때 더 많은 메모리를 소비하는 경향이 있습니다.
2. 자동 백업은 성능 문제를 일으킬 수 있지만 그리 많지는 않습니다. 데이터베이스 서버가 6 시간마다 사물을 백업하고 있고 보유한 데이터베이스가 레코드 당 10MB 파일을 저장한다고 가정 해 봅시다. 그 시나리오는 당신이 원하는 것이 아닙니다.