PostgreSQL에서 대량 업데이트 성능 최적화

Ubuntu 12.04에서 PG 9.1 사용

현재 데이터베이스에서 대량의 UPDATE 문 집합을 실행하는 데 최대 24 시간이 걸립니다.

UPDATE table
SET field1 = constant1, field2 = constant2, ...
WHERE id = constid

(우리는 ID로 식별 된 객체의 필드를 덮어 쓰고 있습니다.) 값은 외부 데이터 소스 (테이블의 DB에 아직없는)에서 가져옵니다.

테이블에는 각각 소수의 인덱스가 있으며 외래 키 제약 조건이 없습니다. 끝날 때까지 COMMIT이 수행되지 않습니다.

pg_dump전체 DB 를 가져 오는 데 2 ​​시간이 걸립니다 . 이것은 우리가 합리적으로 목표로 삼아야 할 기준선처럼 보입니다.

PostgreSQL의 데이터 세트를 다시 가져 오기 위해 재구성하는 사용자 정의 프로그램을 생성하는 데 부족한 경우, 대량의 UPDATE 성능을 가져 오기 성능에 더 가깝게 만들 수있는 방법이 있습니까? (이것은 로그 구조의 병합 트리가 잘 처리한다고 생각되는 영역이지만 PostgreSQL 내에서 할 수있는 일이 있는지 궁금합니다.)

몇 가지 아이디어 :

• 모든 비 ID 지수를 버리고 나중에 재건하고 있습니까?
• checkpoint_segments를 늘리지 만 실제로 장기적인 처리량을 유지하는 데 도움이됩니까?
• 여기에 언급 된 기술을 사용 합니까? (새 데이터를 테이블로로드 한 다음 새 데이터에서 ID를 찾을 수없는 이전 데이터를 "병합")

기본적으로 시도해야 할 것이 많으며 가장 효과적인 것이 무엇인지 또는 다른 것을 간과하는지 확실하지 않습니다. 우리는 다음 며칠 동안 실험을 할 것이지만 여기서도 물을 것이라고 생각했습니다.

테이블에 동시로드가 있지만 읽기 전용입니다.

가정

Q에 정보가 없기 때문에 다음과 같이 가정합니다.

• 데이터는 데이터베이스 서버의 파일에서 가져옵니다.
• 데이터는 목표 테이블과 일치하도록 행당 고유 한COPY 출력 과 같이 형식이 지정 됩니다. 그렇지 않은 경우 먼저 형식을 올바르게 지정하거나 옵션을 사용 하여 형식을 처리하십시오. id
COPY
• 목표 테이블 또는 대부분의 행에서 모든 단일 행을 갱신하고 있습니다.
• 대상 테이블을 삭제하고 다시 만들 수 있습니다.
  이는 동시 액세스가 없음을 의미 합니다. 그렇지 않으면이 관련 답변을 고려하십시오.
  • 큰 테이블에 새 열을 채우는 가장 좋은 방법은 무엇입니까?
• 인덱스를 제외하고는 종속 개체가 전혀 없습니다.

해결책

세 번째 글 머리 기호 의 링크에 설명 된 것과 비슷한 방법으로 접근하는 것이 좋습니다 . 주요 최적화

임시 테이블을 만들려면 더 간단하고 빠른 방법이 있습니다.

CREATE TEMP TABLE tmp_tbl AS SELECT * FROM tbl LIMIT 0;

데이터베이스 내부 의 UPDATE임시 테이블에서 하나의 빅 데이터가 데이터베이스 외부에서 개별 업데이트보다 몇 배 빠릅니다.

에서 의 PostgreSQL의 MVCC 모델 , UPDATE수단은 새 행 버전을 생성하고 삭제 된 것으로 이전을 표시합니다. 그 비용 INSERT은 DELETE합산 된 것만큼이나 비쌉니다 . 또한 죽은 튜플이 많이 남습니다. 어쨌든 전체 테이블을 업데이트하기 때문에 새 테이블을 만들고 이전 테이블을 삭제하는 것이 전체적으로 더 빠릅니다.

경우 당신이 충분한 RAM, 세트가 temp_buffersRAM에 임시 테이블을 보유 할만큼 충분히 높은 (전용이 세션에!) - 다른 작업을 수행하기 전에.

필요한 RAM의 양을 추정하려면 작은 샘플로 테스트를 실행하고 db object size 함수를 사용 하십시오 .

SELECT pg_size_pretty(pg_relation_size('tmp_tbl'));  -- complete size of table
SELECT pg_column_size(t) FROM tmp_tbl t LIMIT 10;  -- size of sample rows

완전한 스크립트

SET temp_buffers = '1GB';        -- example value

CREATE TEMP TABLE tmp_tbl AS SELECT * FROM tbl LIMIT 0;

COPY tmp_tbl FROM '/absolute/path/to/file';

CREATE TABLE tbl_new AS
SELECT t.col1, t.col2, u.field1, u.field2
FROM   tbl     t
JOIN   tmp_tbl u USING (id);

-- Create indexes like in original table
ALTER TABLE tbl_new ADD PRIMARY KEY ...;
CREATE INDEX ... ON tbl_new (...);
CREATE INDEX ... ON tbl_new (...);

-- exclusive lock on tbl for a very brief time window!
DROP TABLE tbl;
ALTER TABLE tbl_new RENAME TO tbl;

DROP TABLE tmp_tbl; -- will also be dropped at end of session automatically

동시 부하

테이블의 동시 작업 (시작시 가정에서 배제한)은 테이블이 끝 근처에서 잠기고 트랜잭션이 커밋 되 자마자 실패하면 테이블 이름이 즉시 OID로 확인되기 때문에 대기하지만 새 테이블의 OID가 다릅니다. 테이블은 일관성을 유지하지만 동시 작업에는 예외가 발생하여 반복해야합니다. 이 관련 답변의 세부 사항 :

• 큰 테이블에 새 열을 채우는 가장 좋은 방법은 무엇입니까?

업데이트 경로

UPDATE경로를 이동 해야하는 경우 업데이트 중에 필요하지 않은 인덱스를 삭제하고 나중에 다시 만드십시오. 모든 개별 행에 대해 인덱스를 업데이트하는 것보다 한 조각으로 인덱스를 만드는 것이 훨씬 저렴합니다. 이것은 또한 HOT 업데이 트를 허용 할 수 있습니다 .

내가 사용하여 유사한 절차를 설명 UPDATE에 SO에이 밀접하게 관련 대답 .

구조화 된 파일에서 데이터를 사용할 수있는 경우 외부 데이터 랩퍼로 데이터를 읽고 대상 테이블에서 병합을 수행 할 수 있습니다.