PostgreSQL의 중복 업데이트에 삽입 하시겠습니까?

몇 달 전에 나는 다음 구문을 사용하여 MySQL에서 한 번에 여러 업데이트를 수행하는 방법에 대해 스택 오버플로에 대한 답변을 배웠습니다.

INSERT INTO table (id, field, field2) VALUES (1, A, X), (2, B, Y), (3, C, Z)
ON DUPLICATE KEY UPDATE field=VALUES(Col1), field2=VALUES(Col2);

나는 이제 PostgreSQL로 전환했으며 분명히 이것이 맞지 않습니다. 올바른 모든 테이블을 참조하므로 다른 키워드가 사용된다고 가정하지만 PostgreSQL 설명서에서 이것이 어디에 있는지 잘 모르겠습니다.

명확히하기 위해 여러 항목을 삽입하고 이미 존재하는 경우 업데이트하고 싶습니다.

버전 9.5 이후의 PostgreSQL 에는 ON CONFLICT 절 과 함께 UPSERT 구문이 있습니다. 다음 구문으로 (MySQL과 유사)

INSERT INTO the_table (id, column_1, column_2) 
VALUES (1, 'A', 'X'), (2, 'B', 'Y'), (3, 'C', 'Z')
ON CONFLICT (id) DO UPDATE 
  SET column_1 = excluded.column_1, 
      column_2 = excluded.column_2;

"upsert"에 대한 postgresql의 이메일 그룹 아카이브를 검색 하면 매뉴얼에서 원하는 작업을 수행하는 예 를 찾을 수 있습니다 .

예 38-2. UPDATE / INSERT 예외

이 예제는 예외 처리를 사용하여 UPDATE 또는 INSERT를 적절하게 수행합니다.

CREATE TABLE db (a INT PRIMARY KEY, b TEXT);

CREATE FUNCTION merge_db(key INT, data TEXT) RETURNS VOID AS
$$
BEGIN
    LOOP
        -- first try to update the key
        -- note that "a" must be unique
        UPDATE db SET b = data WHERE a = key;
        IF found THEN
            RETURN;
        END IF;
        -- not there, so try to insert the key
        -- if someone else inserts the same key concurrently,
        -- we could get a unique-key failure
        BEGIN
            INSERT INTO db(a,b) VALUES (key, data);
            RETURN;
        EXCEPTION WHEN unique_violation THEN
            -- do nothing, and loop to try the UPDATE again
        END;
    END LOOP;
END;
$$
LANGUAGE plpgsql;

SELECT merge_db(1, 'david');
SELECT merge_db(1, 'dennis');

9.1 이상의 CTE를 사용하여 해커 메일 링리스트 에이를 대량으로 수행하는 방법에 대한 예가있을 수 있습니다 .

WITH foos AS (SELECT (UNNEST(%foo[])).*)
updated as (UPDATE foo SET foo.a = foos.a ... RETURNING foo.id)
INSERT INTO foo SELECT foos.* FROM foos LEFT JOIN updated USING(id)
WHERE updated.id IS NULL;

보다 명확한 예는 a_horse_with_no_name의 답변 을 참조하십시오 .

경고 : 여러 세션에서 동시에 실행하는 경우 안전하지 않습니다 (아래주의 사항 참조).

postgresql에서 "UPSERT"를 수행하는 또 다른 영리한 방법은 각각 성공하거나 효과가 없도록 설계된 두 개의 순차적 UPDATE / INSERT 문을 수행하는 것입니다.

UPDATE table SET field='C', field2='Z' WHERE id=3;
INSERT INTO table (id, field, field2)
       SELECT 3, 'C', 'Z'
       WHERE NOT EXISTS (SELECT 1 FROM table WHERE id=3);

"id = 3"인 행이 이미 존재하면 UPDATE가 성공합니다. 그렇지 않으면 효과가 없습니다.

INSERT는 "id = 3"인 행이 아직없는 경우에만 성공합니다.

이 두 가지를 단일 문자열로 결합하고 응용 프로그램에서 실행되는 단일 SQL 문으로 둘 다 실행할 수 있습니다. 단일 트랜잭션에서 함께 실행하는 것이 좋습니다.

이것은 단독으로 또는 잠긴 테이블에서 실행될 때 매우 잘 작동하지만 행이 동시에 삽입되면 여전히 중복 키 오류로 실패하거나 행이 동시에 삭제 될 때 행이 삽입되지 않고 종료 될 수 있음을 의미하는 경쟁 조건이 적용됩니다 . SERIALIZABLE의 PostgreSQL 9.1 이상에 거래는 많이 시도해야 의미 매우 높은 직렬화 실패율의 비용으로 안정적으로 처리합니다. 참조 upsert 너무 복잡 이유를 자세히이 경우에 대해 설명한다.

이 방법은 또한 에 손실 업데이트에 따라 read committed응용 프로그램을 확인하지 않는 한 영향을받는 행 수와를 검증 중 하나를 분리 insert또는 update영향을받는 행 .

PostgreSQL 9.1에서는 쓰기 가능한 CTE ( 공통 테이블 표현식 )를 사용하여이를 달성 할 수 있습니다 .

WITH new_values (id, field1, field2) as (
  values 
     (1, 'A', 'X'),
     (2, 'B', 'Y'),
     (3, 'C', 'Z')

),
upsert as
( 
    update mytable m 
        set field1 = nv.field1,
            field2 = nv.field2
    FROM new_values nv
    WHERE m.id = nv.id
    RETURNING m.*
)
INSERT INTO mytable (id, field1, field2)
SELECT id, field1, field2
FROM new_values
WHERE NOT EXISTS (SELECT 1 
                  FROM upsert up 
                  WHERE up.id = new_values.id)

다음 블로그 항목을 참조하십시오.

• 쓰기 가능한 CTE를 통한 업 세팅
• 9.1 대기 – 쓰기 가능한 CTE
• 왜 UPSERT가 그렇게 복잡합니까?

이 솔루션은 고유 키 위반을 방지 하지는 않지만 업데이트 손실에 취약하지 않습니다. dba.stackexchange.com에서 Craig Ringer
의 후속 조치를 참조하십시오.

PostgreSQL 9.5 이상에서는을 사용할 수 있습니다 INSERT ... ON CONFLICT UPDATE.

설명서를 참조하십시오 .

MySQL INSERT ... ON DUPLICATE KEY UPDATE은로 직접 표현할 수 있습니다 ON CONFLICT UPDATE. SQL 표준 구문도 아니며 데이터베이스 별 확장입니다. 이것을 위해 사용되지 않은 좋은 이유 MERGE가 있습니다 . 새로운 구문은 재미를 위해 만들어지지 않았습니다. (MySQL의 구문에는 직접 채택되지 않은 문제도 있습니다).

예 : 주어진 설정 :

CREATE TABLE tablename (a integer primary key, b integer, c integer);
INSERT INTO tablename (a, b, c) values (1, 2, 3);

MySQL 쿼리 :

INSERT INTO tablename (a,b,c) VALUES (1,2,3)
  ON DUPLICATE KEY UPDATE c=c+1;

된다 :

INSERT INTO tablename (a, b, c) values (1, 2, 10)
ON CONFLICT (a) DO UPDATE SET c = tablename.c + 1;

차이점 :

• 당신은 해야한다 고유성 검사에 사용하는 열 이름 (또는 고유 제한 조건 이름)을 지정합니다. 그게ON CONFLICT (columnname) DO

• SET이것이 일반적인 UPDATE설명 인 것처럼 키워드를 사용해야합니다 .

멋진 기능도 있습니다.

• 당신은 당신이 WHERE절을 가질 수 있습니다 UPDATE( 특정 가치 ON CONFLICT UPDATE를 ON CONFLICT IGNORE위해 효과적으로 전환하도록 함 )

• 삽입 제안 된 값은 EXCLUDED대상 변수 테이블과 동일한 구조를 갖는 row-variable로 사용 가능 합니다. 테이블 이름을 사용하여 테이블의 원래 값을 얻을 수 있습니다. 그래서이 경우에 EXCLUDED.c있을 것입니다 10및 (즉, 우리가 삽입하려고 무엇 때문에) "table".c될 것입니다 3그 테이블의 현재 값이 때문입니다. SET표현식과 WHERE절에 둘 중 하나 또는 둘 다를 사용할 수 있습니다 .

upsert에 대한 배경은 PostgreSQL 에서 UPSERT (MERGE, INSERT ... ON DUPLICATE UPDATE) 방법을 참조하십시오 .

나는 여기에 왔을 때 똑같은 것을 찾고 있었지만 일반적인 "upsert"함수가 부족하여 조금 신경 쓰지 않았기 때문에 업데이트를 전달하고 sql을 수동으로 해당 함수의 인수로 삽입 할 수 있다고 생각했습니다.

그것은 다음과 같이 보일 것입니다 :

CREATE FUNCTION upsert (sql_update TEXT, sql_insert TEXT)
    RETURNS VOID
    LANGUAGE plpgsql
AS $$
BEGIN
    LOOP
        -- first try to update
        EXECUTE sql_update;
        -- check if the row is found
        IF FOUND THEN
            RETURN;
        END IF;
        -- not found so insert the row
        BEGIN
            EXECUTE sql_insert;
            RETURN;
            EXCEPTION WHEN unique_violation THEN
                -- do nothing and loop
        END;
    END LOOP;
END;
$$;

그리고 아마도 "upsert"를 배치하기 위해 처음에하고 싶었던 일을하기 위해 Tcl을 사용하여 sql_update를 분할하고 개별 업데이트를 반복 할 수 있습니다. http://archives.postgresql.org/pgsql- performance / 2006-04 / msg00557.php

가장 높은 비용은 코드에서 쿼리를 실행하는 것이며, 데이터베이스 측면에서는 실행 비용이 훨씬 적습니다.

간단한 명령은 없습니다.

가장 올바른 방법은 docs 와 같은 기능을 사용하는 것입니다 .

또 다른 해결책은 (안전하지는 않지만) 리턴으로 업데이트하고 업데이트 된 행을 확인하고 나머지 행을 삽입하는 것입니다

다음과 같은 내용이 있습니다.

update table
set column = x.column
from (values (1,'aa'),(2,'bb'),(3,'cc')) as x (id, column)
where table.id = x.id
returning id;

id : 2가 리턴되었다고 가정하십시오.

insert into table (id, column) values (1, 'aa'), (3, 'cc');

물론 여기에 명확한 경쟁 조건이 있기 때문에 조만간 (동시 환경에서) 구제되지만 일반적으로 작동합니다.

여기의 주제에 더 길고 더 포괄적 인 문서 .

개인적으로 insert 문에 첨부 된 "rule"을 설정했습니다. 시간당 고객 당 dns 적중을 기록한 "dns"테이블이 있다고 가정하십시오.

CREATE TABLE dns (
    "time" timestamp without time zone NOT NULL,
    customer_id integer NOT NULL,
    hits integer
);

업데이트 된 값으로 행을 다시 삽입하거나 존재하지 않는 경우 작성하려고했습니다. customer_id와 시간을 입력했습니다. 이 같은:

CREATE RULE replace_dns AS 
    ON INSERT TO dns 
    WHERE (EXISTS (SELECT 1 FROM dns WHERE ((dns."time" = new."time") 
            AND (dns.customer_id = new.customer_id)))) 
    DO INSTEAD UPDATE dns 
        SET hits = new.hits 
        WHERE ((dns."time" = new."time") AND (dns.customer_id = new.customer_id));

업데이트 : unique_violation 예외가 발생하므로 동시 삽입이 발생하면 실패 할 수 있습니다. 그러나 종료되지 않은 트랜잭션은 계속되고 성공하므로 종료 된 트랜잭션을 반복하면됩니다.

그러나 항상 많은 수의 삽입이 발생하는 경우 삽입 명령문 주위에 테이블 잠금을 설정하려고합니다. SHARE ROW EXCLUSIVE 잠금은 대상 테이블에서 행을 삽입, 삭제 또는 업데이트 할 수있는 조작을 방지합니다. 그러나 고유 키를 업데이트하지 않는 업데이트는 안전하므로 아무 조작도하지 않으면 권고 잠금을 대신 사용하십시오.

또한 COPY 명령은 RULES를 사용하지 않으므로 COPY를 사용하여 삽입하는 경우 대신 트리거를 사용해야합니다.

이 함수 병합을 사용합니다

CREATE OR REPLACE FUNCTION merge_tabla(key INT, data TEXT)
  RETURNS void AS
$BODY$
BEGIN
    IF EXISTS(SELECT a FROM tabla WHERE a = key)
        THEN
            UPDATE tabla SET b = data WHERE a = key;
        RETURN;
    ELSE
        INSERT INTO tabla(a,b) VALUES (key, data);
        RETURN;
    END IF;
END;
$BODY$
LANGUAGE plpgsql

INSERT AND REPLACE하려는 경우 위의 사용자 정의 "upsert"기능을 사용하십시오.

`

 CREATE OR REPLACE FUNCTION upsert(sql_insert text, sql_update text)

 RETURNS void AS
 $BODY$
 BEGIN
    -- first try to insert and after to update. Note : insert has pk and update not...

    EXECUTE sql_insert;
    RETURN;
    EXCEPTION WHEN unique_violation THEN
    EXECUTE sql_update; 
    IF FOUND THEN 
        RETURN; 
    END IF;
 END;
 $BODY$
 LANGUAGE plpgsql VOLATILE
 COST 100;
 ALTER FUNCTION upsert(text, text)
 OWNER TO postgres;`

실행 후 다음과 같이하십시오.

SELECT upsert($$INSERT INTO ...$$,$$UPDATE... $$)

컴파일러 오류를 피하려면 이중 달러 쉼표를 사용해야합니다

• 속도를 확인하십시오 ...

가장 좋아하는 답변과 비슷하지만 약간 더 빠르게 작동합니다.

WITH upsert AS (UPDATE spider_count SET tally=1 WHERE date='today' RETURNING *)
INSERT INTO spider_count (spider, tally) SELECT 'Googlebot', 1 WHERE NOT EXISTS (SELECT * FROM upsert)

(출처 : http://www.the-art-of-web.com/sql/upsert/ )

계정 설정을 관리 할 때 이름 값 쌍과 동일한 문제가 있습니다. 디자인 기준은 클라이언트마다 설정이 다를 수 있다는 것입니다.

JWP와 비슷한 내 솔루션은 대량 지우기 및 교체하여 응용 프로그램 내에서 병합 레코드를 생성하는 것입니다.

이것은 방탄, 플랫폼 독립적이며 클라이언트 당 약 20 개 이상의 설정이 없기 때문에 3 개의 상당히 낮은로드 db 호출입니다. 아마도 가장 빠른 방법입니다.

개별 행을 업데이트 (예외를 확인한 후 삽입)하거나 일부 조합을 업데이트하는 대안은 끔찍한 코드이며 느리고 종종 위에서 언급 한 것처럼 비표준 SQL 예외 처리가 db에서 db로 또는 심지어 릴리스마다 변경되기 때문에 중단됩니다.

 #This is pseudo-code - within the application:
 BEGIN TRANSACTION - get transaction lock
 SELECT all current name value pairs where id = $id into a hash record
 create a merge record from the current and update record
  (set intersection where shared keys in new win, and empty values in new are deleted).
 DELETE all name value pairs where id = $id
 COPY/INSERT merged records 
 END TRANSACTION

명령문 의 PostgreSQL 문서에INSERT 따르면 ON DUPLICATE KEY케이스 처리는 지원되지 않습니다. 구문의 해당 부분은 독점적 인 MySQL 확장입니다.

CREATE OR REPLACE FUNCTION save_user(_id integer, _name character varying)
  RETURNS boolean AS
$BODY$
BEGIN
    UPDATE users SET name = _name WHERE id = _id;
    IF FOUND THEN
        RETURN true;
    END IF;
    BEGIN
        INSERT INTO users (id, name) VALUES (_id, _name);
    EXCEPTION WHEN OTHERS THEN
            UPDATE users SET name = _name WHERE id = _id;
        END;
    RETURN TRUE;
END;

$BODY$
  LANGUAGE plpgsql VOLATILE STRICT

작은 세트를 병합 할 때는 위 기능을 사용하는 것이 좋습니다. 그러나 많은 양의 데이터를 병합하는 경우 http://mbk.projects.postgresql.org 를 참조 하십시오.

내가 아는 현재 모범 사례는 다음과 같습니다.

1. 새로운 / 업데이트 된 데이터를 임시 테이블로 복사합니다 (비용이 괜찮다면 삽입하거나 삽입 할 수 있습니다).
2. 잠금 획득 [선택 사항] (테이블 잠금, IMO보다 권장)
3. 병합 (재미있는 부분)

UPDATE는 수정 된 행 수를 반환합니다. JDBC (Java)를 사용하는 경우이 값을 0에 대해 검사하고 영향을받은 행이 없으면 대신 INSERT를 실행하십시오. 다른 프로그래밍 언어를 사용하는 경우 수정 된 행 수를 여전히 얻을 수있는 경우 설명서를 확인하십시오.

이것은 우아하지는 않지만 호출 코드에서 사용하기가 훨씬 간단한 SQL이 훨씬 간단합니다. 이와 달리 PL / PSQL로 10 줄 스크립트를 작성하는 경우에는 단독으로 하나 또는 다른 종류의 단위 테스트를 수행해야합니다.

편집 : 예상대로 작동하지 않습니다. 허용되는 답변과 달리 두 프로세스가 upsert_foo동시에 호출 할 때 고유 키 위반이 발생 합니다.

유레카! 하나의 쿼리에서 수행하는 방법을 찾았습니다. UPDATE ... RETURNING행이 영향을 받았는지 테스트 하는 데 사용하십시오 .

CREATE TABLE foo (k INT PRIMARY KEY, v TEXT);

CREATE FUNCTION update_foo(k INT, v TEXT)
RETURNS SETOF INT AS $$
    UPDATE foo SET v = $2 WHERE k = $1 RETURNING $1
$$ LANGUAGE sql;

CREATE FUNCTION upsert_foo(k INT, v TEXT)
RETURNS VOID AS $$
    INSERT INTO foo
        SELECT $1, $2
        WHERE NOT EXISTS (SELECT update_foo($1, $2))
$$ LANGUAGE sql;

은 UPDATE, 불행하게도,이 구문 오류 때문에 별도의 절차에서 수행해야합니다 :

... WHERE NOT EXISTS (UPDATE ...)

이제 원하는대로 작동합니다.

SELECT upsert_foo(1, 'hi');
SELECT upsert_foo(1, 'bye');
SELECT upsert_foo(3, 'hi');
SELECT upsert_foo(3, 'bye');