자바 : PreparedStatement를 사용하여 MySQL에 여러 행 삽입


88

Java를 사용하여 한 번에 여러 행을 MySQL 테이블에 삽입하고 싶습니다. 행 수는 동적입니다. 과거에는 ...

for (String element : array) {
    myStatement.setString(1, element[0]);
    myStatement.setString(2, element[1]);

    myStatement.executeUpdate();
}

MySQL 지원 구문을 사용하도록 최적화하고 싶습니다.

INSERT INTO table (col1, col2) VALUES ('val1', 'val2'), ('val1', 'val2')[, ...]

그러나를 사용하면 PreparedStatement얼마나 많은 요소 array가 포함 될지 미리 알지 못하기 때문에 이것을 수행하는 방법을 모릅니다 . 으로 가능하지 않은 경우 PreparedStatement어떻게 할 수 있습니까 (그리고 여전히 배열의 값을 이스케이프 처리)?

답변:


177

를 사용하여 배치를 PreparedStatement#addBatch()만들고 실행할 수 있습니다 PreparedStatement#executeBatch().

다음은 킥오프 예입니다.

public void save(List<Entity> entities) throws SQLException {
    try (
        Connection connection = database.getConnection();
        PreparedStatement statement = connection.prepareStatement(SQL_INSERT);
    ) {
        int i = 0;

        for (Entity entity : entities) {
            statement.setString(1, entity.getSomeProperty());
            // ...

            statement.addBatch();
            i++;

            if (i % 1000 == 0 || i == entities.size()) {
                statement.executeBatch(); // Execute every 1000 items.
            }
        }
    }
}

일부 JDBC 드라이버 및 / 또는 DB에는 배치 길이에 제한이있을 수 있으므로 1000 개 항목마다 실행됩니다.

참조 :


26
당신이 거래 ... 예와 포장에 넣어 경우 인서트는 빨리 갈 것입니다 connection.setAutoCommit(false);connection.commit(); download.oracle.com/javase/tutorial/jdbc/basics/...
여호수아 마텔

1
999 개의 항목이있는 경우 빈 배치를 실행할 수있는 것 같습니다.
djechlin 2011 년

2
때문에 @electricalbah 정상적으로 실행됩니다i == entities.size()
Yohanes AI

다음은 준비된 문을 사용하여 일괄 작업을 구성하는 또 다른 좋은 리소스입니다. viralpatel.net/blogs/batch-insert-in-java-jdbc
대니 Bullis

1
@ AndréPaulo : 준비된 명령문에 적합한 모든 SQL INSERT. 기본 예제는 JDBC 튜토리얼 링크를 참조하십시오. 이것은 구체적인 질문과 관련이 없습니다.
BalusC

30

MySQL 드라이버를 사용하는 경우 연결 매개 변수 rewriteBatchedStatements를 true 로 설정 해야합니다 ( jdbc:mysql://localhost:3306/TestDB?**rewriteBatchedStatements=true**).

이 매개 변수를 사용하면 테이블이 한 번만 잠기고 인덱스가 한 번만 업데이트 될 때 명령문이 대량 삽입으로 다시 작성됩니다. 그래서 훨씬 빠릅니다.

이 매개 변수가 없으면 소스 코드가 더 깔끔해집니다.


이것은 건설 수행에 대한 주석입니다 : statement.addBatch (); if ((i + 1) % 1000 == 0) {statement.executeBatch (); // 1000 개 항목마다 실행합니다. }
MichalSv 2014 년

분명히 MySQL의 드라이버는 버그가 bugs.mysql.com/bug.php?id=71528 이것은 또한 최대 절전 모드와 같은 ORM 프레임 워크에 대한 문제가 발생 hibernate.atlassian.net/browse/HHH-9134
쉐일 렌드 라

예. 이것은 지금도 맞습니다. 최소한 5.1.45mysql 커넥터 버전의 경우.
v.ladynev

<artifactId> mysql-connector-java </ artifactId> <version> 8.0.14 </ version> 방금 8.0.14가 올바른지 확인했습니다. 추가 rewriteBatchedStatements=true하지 않으면 성능 향상이 없습니다.
vincent mathew

7

SQL 문을 동적으로 만들 수있는 경우 다음 해결 방법을 수행 할 수 있습니다.

String myArray[][] = { { "1-1", "1-2" }, { "2-1", "2-2" }, { "3-1", "3-2" } };

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString(i, myArray[i][1]);
    myStatement.setString(i, myArray[i][2]);
}
myStatement.executeUpdate();

나는 받아 들여진 대답이 훨씬 낫다고 믿는다 !! 나는 배치 업데이트에 대해 몰랐고이 답변을 쓰기 시작했을 때 아직 답변이 제출되지 않았습니다 !!! :)
Ali Shakiba 2010

이 접근 방식은 허용되는 접근 방식보다 훨씬 빠릅니다. 나는 그것을 테스트하지만 이유를 찾지 못했습니다. @JohnS 왜 그런지 알아?
julian0zzx

@ julian0zzx 아니요,하지만 다중 대신 단일 SQL로 실행되기 때문일 수 있습니다. 하지만 잘 모르겠습니다.
Ali Shakiba 2012

3

테이블에 자동 증분이 있고 액세스해야하는 경우 다음 방법을 사용할 수 있습니다. 사용 된 드라이버에 따라 다르므로 Statement에서 getGeneratedKeys ()를 사용하기 전에 테스트를 수행하십시오. 아래 코드는 Maria DB 10.0.12 및 Maria JDBC 드라이버 1.2에서 테스트되었습니다.

배치 크기를 늘리면 성능이 어느 정도만 향상된다는 점을 기억하십시오. 설정에서 배치 크기를 500 이상으로 늘리면 실제로 성능이 저하되었습니다.

public Connection getConnection(boolean autoCommit) throws SQLException {
    Connection conn = dataSource.getConnection();
    conn.setAutoCommit(autoCommit);
    return conn;
}

private void testBatchInsert(int count, int maxBatchSize) {
    String querySql = "insert into batch_test(keyword) values(?)";
    try {
        Connection connection = getConnection(false);
        PreparedStatement pstmt = null;
        ResultSet rs = null;
        boolean success = true;
        int[] executeResult = null;
        try {
            pstmt = connection.prepareStatement(querySql, Statement.RETURN_GENERATED_KEYS);
            for (int i = 0; i < count; i++) {
                pstmt.setString(1, UUID.randomUUID().toString());
                pstmt.addBatch();
                if ((i + 1) % maxBatchSize == 0 || (i + 1) == count) {
                    executeResult = pstmt.executeBatch();
                }
            }
            ResultSet ids = pstmt.getGeneratedKeys();
            for (int i = 0; i < executeResult.length; i++) {
                ids.next();
                if (executeResult[i] == 1) {
                    System.out.println("Execute Result: " + i + ", Update Count: " + executeResult[i] + ", id: "
                            + ids.getLong(1));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
            success = false;
        } finally {
            if (rs != null) {
                rs.close();
            }
            if (pstmt != null) {
                pstmt.close();
            }
            if (connection != null) {
                if (success) {
                    connection.commit();
                } else {
                    connection.rollback();
                }
                connection.close();
            }
        }
    } catch (SQLException e) {
        e.printStackTrace();
    }
}

3

@Ali Shakiba 코드를 수정해야합니다. 오류 부분 :

for (int i = 0; i < myArray.length; i++) {
     myStatement.setString(i, myArray[i][1]);
     myStatement.setString(i, myArray[i][2]);
}

업데이트 된 코드 :

String myArray[][] = {
    {"1-1", "1-2"},
    {"2-1", "2-2"},
    {"3-1", "3-2"}
};

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

mysql.append(";"); //also add the terminator at the end of sql statement
myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString((2 * i) + 1, myArray[i][1]);
    myStatement.setString((2 * i) + 2, myArray[i][2]);
}

myStatement.executeUpdate();

이것은 전체 답변에서 훨씬 빠르고 더 나은 접근 방식입니다. 이것은 허용 대답해야한다
아룬 샨

1
수락 된 답변에서 언급했듯이 일부 JDBC 드라이버 / 데이터베이스에는 INSERT 문에 포함 할 수있는 행 수에 제한이 있습니다. 위 예의 경우 myArray길이가 제한보다 길면 예외가 발생합니다. 필자의 경우 1,000 개 행 제한이있어 일괄 실행이 필요합니다. 왜냐하면 주어진 실행에서 1,000 개 이상의 행을 잠재적으로 업데이트 할 수 있기 때문입니다. 이 유형의 문은 허용되는 최대 값보다 적게 삽입한다는 것을 알고 있다면 이론적으로 잘 작동합니다. 명심해야 할 것.
Danny Bullis

명확히하기 위해 위의 답변은 배치 길이에 대한 JDBC 드라이버 / 데이터베이스 제한을 언급하지만 필자의 경우에서 보았 듯이 삽입 문에 포함되는 행 수에 제한이있을 수도 있습니다.
Danny Bullis

0

일괄 업데이트를 제출하기 위해 JDBC에서 여러 업데이트를 함께 제출할 수 있습니다.

자동 커밋을 비활성화하여 bacth 업데이트를 위해 Statement, PreparedStatement 및 CallableStatement 객체를 사용할 수 있습니다.

addBatch ()executeBatch () 함수는 모든 명령문 객체에서 BatchUpdate를 사용할 수 있습니다.

여기서 addBatch () 메서드는 현재 일괄 처리에 문 또는 매개 변수 집합을 추가합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.