두 개의 데이터베이스 테이블이 있습니다. 하나는 수억 개의 레코드를 포함합니다. 그 하나를 부를 수 history있습니다. 다른 하나는 매일 계산되며 모든 레코드를 history하나 에 복사하고 싶습니다 .
내가 한 일은 달렸다.
INSERT INTO history SELECT * FROM daily
그리고 한동안 트릭을 수행했지만 레코드 수가 계속 증가함에 따라 점점 느려졌습니다. 지금은 복사 할 필요가 약 200 만 기록을 가지고 daily에 history단일 작업을하고 그것을 완료하는 데 시간이 오래 걸립니다.
한 테이블에서 다른 테이블로 데이터를 복사하는 또 다른보다 효율적인 방법이 있습니까?
답변:
오랜 기간 (수개월) 동안 기록을 유지하려는 경우 분할 옵션을 살펴 보는 것이 좋습니다. 매일 또는 매주 한 파티션이 될 수 있습니다. 그것은 당신의 기록 테이블의 액세스 패턴에 달려 있습니다 (날짜에 걸쳐 데이터에 액세스하는 쿼리를 실행합니까? 많은 집계를 수행합니까). 집계 / 요약을 저장하기위한 구체화 된보기를 살펴보십시오. http://www.postgresql.org/docs/9.3/static/ddl-partitioning.html http://www.postgresql.org/docs/9.3/static/sql-creatematerializedview.html
CSV 형식으로 테이블 덤프
COPY table TO '/tmp/table.csv' DELIMITER ',';대량의 데이터에 훨씬 효율적인 COPY 명령을 사용하십시오.
COPY table FROM '/tmp/table.csv' DELIMITER ',';자세한 내용 은 http://www.postgresql.org/docs/current/static/sql-copy.html 에서 postgres 문서를 확인하십시오.
history테이블 에는 1 억 6 천만 행이 있으며 3 백만 행이 추가됩니다.
psql 도구 를 사용할 수 있습니다 . 다음과 같이 효율적일 수 있습니다.
psql -h ${DAILY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME} -c "copy daily to stdout " | psql -h ${HISTORY_HOST_IP} -p ${PG_PORT} ${DB_NAME} ${USER_NAME} -c "copy history from stdin"또한 쉘 스크립트를 작성할 수 있습니다.
이것은 물론 질문에 대한 정확한 대답은 아니지만 history테이블 에 액세스 할 필요가 없으면 SQL 덤프를 생성 할 수도 있습니다.
pg_dump -h host -p port -w -U user db > dump.sql그런 다음 git차이를 계산하고이를 효율적으로 저장하는 것과 같은 도구를 사용할 수 있습니다 .
git add dump.sql
git commit -m "temp dump"
git gc --aggressive데이터베이스의 대부분의 부분이 매일 변경되지 않으므로 유용합니다. 매일 전체 사본을 저장하는 대신 이틀 간의 차이를 저장할 수 있습니다.
crontab덤프가 매일 처리되도록 작업을 사용할 수 있습니다 .