«bulk» 태그된 질문

Ubuntu 12.04에서 PG 9.1 사용 현재 데이터베이스에서 대량의 UPDATE 문 집합을 실행하는 데 최대 24 시간이 걸립니다. UPDATE table SET field1 = constant1, field2 = constant2, ... WHERE id = constid (우리는 ID로 식별 된 객체의 필드를 덮어 쓰고 있습니다.) 값은 외부 데이터 소스 (테이블의 DB에 아직없는)에서 가져옵니다. 테이블에는 각각 …

37 postgresql  performance  update  bulk 

PostgreSQL에서 많은 수의 행을 삭제하는 가장 효율적인 방법이 궁금합니다.이 프로세스는 매일 대량의 데이터 (삽입 + 삭제 델타)를 테이블로 가져 오는 반복 작업의 일부입니다. 삭제할 수천 개, 잠재적으로 수백만 개의 행이있을 수 있습니다. 기본 키 파일이 한 줄에 하나씩 있습니다. 내가 생각한 두 가지 옵션은 아래의 내용을 따르지만 PostgreSQL의 내부를 충분히 …

23 postgresql  delete  bulk 

csv 파일에서 읽고 데이터베이스에 데이터를 삽입하는 문 을 사용하여 초당 60,000 개의 삽입을 달성 할 수 있다고 언급 한 기사를 읽었 LOAD DATA IN FILE습니다. 일반 인서트와 다른 이유는 무엇입니까? 편집 : 나는 하나의 INSERT진술 만 호출하여 왕복을 줄였습니다 . INSERT INTO tblname VALUES (NULL,2,'some text here0'),(NULL,2,'some text here1') ,(NULL,2,'some …

22 mysql  import  bulk 

세부 사항을 요약하려면 : 공급 업체 (Oracle) 데이터베이스에 약 5 백만 개의 행을 스테이징해야합니다. OracleBulkCopy(ODP.NET)을 사용하여 500k 행의 배치에는 모든 것이 잘 되지만 최대 5M까지 확장하려고하면 1M 마크에 도달하면 크롤링 속도가 느려지고 더 많은 행이로드되면 점차적으로 느려집니다. 3 시간 정도 지나면 시간이 초과됩니다. 나는 (또한, 게시물의 많은 모순되는 것이이 테이블에 …

14 oracle  bulk 

지정된 CSV의 내용만을 기반으로 새 MySQL 테이블을 생성하는 방법을 찾고 있습니다. 사용할 CSV 파일에는 다음과 같은 속성이 있습니다. "|" 구분. 첫 번째 행은 열 이름 (헤더)을 지정하고 "|" 구분. 열 이름 및 순서는 고정되어 있지 않습니다. 열 수는 고정되어 있지 않습니다. 파일 크기가 큽니다 (1 백만 행 / 50 열). …

12 mysql  csv  import  bulk 

일주일에 한 번 (3 개의 int / bigint cols) IP 조회 (읽기 전용 참조) 데이터가 포함 된 약 500,000 개의 레코드를 가져와야합니다. 기존 테이블과 데이터를 병합하는 것에 대해 걱정하고 싶지 않습니다. 이전 데이터를 지우고 다시 가져 오기를 선호합니다. 이상적으로 데이터를 통해 실행되는 쿼리는 계속 실행됩니다 (많은 것을 얻지 못하고 가져 …

11 sql-server  import  bulk