개발 스냅 샷에 대한 테이블의 일부만 Postgres 덤프

프로덕션 환경에서 데이터베이스의 크기는 수백 기가 바이트입니다. 개발 및 테스트를 위해 기능적으로는 동일하지만 크기가 10GB 또는 20GB에 불과한이 데이터베이스의 스냅 샷을 생성해야합니다.

문제는 비즈니스 엔터티의 데이터가 여러 테이블에 분산되어 있다는 것입니다. 일부 엔티티 만 덤프에 포함 되도록 일종의 필터링 된 스냅 샷을 생성하려고합니다 . 이렇게하면 개발 및 테스트를 위해 매월 새로운 스냅 샷을 얻을 수 있습니다.

예를 들어 다음과 같은 다 대다 관계를 가진 항목이 있다고 가정 해 보겠습니다.

• 회사에는 N 개의 부서가 있습니다.
• 부서에는 N 명의 직원이 있습니다.
• 직원이 N 개의 출석 기록을 가지고 있습니다.

1000 개의 회사, 2500 개의 부서, 175000 명의 직원, 수천만 개의 출석 기록이있을 수 있습니다. 우리는 예를 들어 처음 100 개 회사 와 모든 구성 부서, 직원 및 출석 기록 을 가져 오는 복제 가능한 방법을 원합니다 .

현재 스키마에 pg_dump를 사용하고 --disable-triggers 및 --data-only와 함께 pg_dump를 실행하여 더 작은 테이블에서 모든 데이터를 가져옵니다. 우리는 빠른 개발주기를 가지고 있고 사용자 지정 스크립트가 깨지기 쉽고 오래 될 가능성이 있기 때문에 데이터의 일부를 추출하기 위해 사용자 지정 스크립트를 작성하고 싶지 않습니다.

어떻게 할 수 있습니까? 데이터베이스에서 논리 파티션을 가져 오는 데 도움이되는 타사 도구가 있습니까? 이러한 도구를 무엇이라고합니까?

일반적인 조언도 감사합니다!

더 큰 테이블에서 COPY 명령을 사용하여 하위 집합을 가져올 수 있습니다.

COPY (SELECT * FROM mytable WHERE ...) TO '/tmp/myfile.tsv'

COPY mytable FROM 'myfile.tsv'

https://www.postgresql.org/docs/current/static/sql-copy.html

프로덕션의 하위 집합을 가져 오는 것보다 개발 데이터 집합을 유지하는 것을 고려해야합니다. 단위 테스트를 작성하는 경우 테스트에 필요한 것과 동일한 데이터를 사용하여 가능한 모든 사용 사례에 도달하려고 할 수 있습니다.

이미이 작업을 수행하는 소프트웨어에 대해서는 잘 모르지만 3 가지 대안 솔루션을 생각할 수 있습니다. 안타깝게도 모두 사용자 지정 코딩이 필요합니다.

1. 별도의 스키마에서 모든 테이블을 다시 만든 다음 덤프 할 데이터의 하위 집합 만 해당 테이블에 복사하여 사용 INSERT INTO copy.tablename SELECT * FROM tablename WHERE ...하고 덤프합니다.

2. 데이터를 SQL 문으로 덤프하기위한 스크립트를 작성하십시오. 나는 과거에이 접근 방식을 사용해 왔으며 20-30 줄의 PHP 만 사용했습니다.

3. 단일 테이블을 덤프 할 때 -t 스위치와 함께 조건을 허용하도록 pg_dump를 수정하십시오.

http://jailer.sourceforge.net/ 이 수행합니다.