«etl» 태그된 질문

우분투에서 PostgreSQL 9.1을 사용하고 있습니다. 예정 VACUUM ANALYZE여전히 권장, 또는 모든 필요 돌봐 자동 진공 정도입니까? 대답이 "의존"이라면, 지연 데이터베이스 (30 GiB 압축 덤프 크기, 200 GiB 데이터 디렉토리)가 있습니다 데이터베이스에 ETL을 사용하여 주당 약 3 백만 행을 가져옵니다. 가장 자주 변경되는 테이블은 모두 마스터 테이블에 데이터가없는 마스터 테이블에서 상속됩니다 …

38 postgresql  etl  vacuum 

ETL 프로세스의 일부로, 스테이징의 행과보고 데이터베이스를 비교하여 데이터가 마지막으로로드 된 이후 실제로 변경된 열이 있는지 확인합니다. 비교는 테이블의 고유 키와 다른 모든 열의 해시에 기반합니다. 우리는 현재 사용 HASHBYTES와 SHA2_256알고리즘과 동시 작업자 스레드가 모두 호출하는 경우는 대형 서버에서 확장되지 않는 것으로 나타났습니다 HASHBYTES. 초당 해시로 측정 된 처리량은 96 코어 …

29 sql-server  sql-server-2016  etl  sql-clr  hashing 

의문: select 문에서 약 45,000 개의 삽입물이있는 스크립트가 있습니다. 시도하고 실행할 때 메모리가 부족하다는 오류 메시지가 표시됩니다. 이 스크립트를 실행하려면 어떻게해야합니까? 문맥: 클라이언트가 사용하는 다른 앱에서 앱을 멋지게 재생하기 위해 몇 가지 새로운 데이터 필드를 추가했습니다. 현재 데이터 항목을 이러한 새 필드의 값에 매핑 한 데이터로 가득 찬 클라이언트의 데이터 …

28 sql-server  sql-server-2005  etl 

펜타 호가 그것을 구입하기 전에 펜타 호 데이터 통합을 사용하고있었습니다. 마지막 무료 버전이 있습니다. 나는 최근에 그들의 웹 사이트를 방문하여 그들이 가장 좋아하는 오픈 소스 etl이 더 이상 개방적이지 않고 무료가 아니라는 것을 알기 위해 다른 버전을 출시했는지 확인했습니다. 저렴하고 사용하기 쉬운 ETL 도구의 대안을 알고 있습니까?

26 etl 

회사에서 ETL (추출 변형로드) 프로세스를 사용하는 대신 ELT (추출로드 변환) 프로세스를 사용한다는 것을 깨달았습니다. 두 접근 방식의 차이점은 무엇이며 어떤 상황에서 다른 것보다 "더 나은"상황이 발생합니까? 몇 가지 예를 제공 할 수 있다면 좋을 것입니다.

19 data-warehouse  etl  business-intelligence 

우리는 ETL 프로세스를하고 있습니다. 모든 것이 말되고 완료되면 동일한 테이블이 많이 있습니다. 두 개의 다른 서버에있는 해당 테이블이 실제로 동일한 지 확인하는 가장 빠른 방법은 무엇입니까? 스키마와 데이터를 모두 이야기하고 있습니다. 개별 파일이나 파일 그룹에서 할 수있는 것처럼 자체적으로 테이블에서 해시를 수행 할 수 있습니까? 우리는 Red-Gate 데이터를 비교하지만 문제의 …

13 sql-server  sql-server-2008-r2  etl  except 

필자의 분석에 따르면 데이터웨어 하우스의 전체 차원 모델은 200 개가 넘는 소스 테이블에서 추출해야합니다. 이러한 테이블 중 일부는 증분로드의 일부로 추출되고 다른 테이블은 전체로드입니다. 참고로, 동일한 스키마를 가진 약 225 개의 소스 데이터베이스가 있습니다. 내가 본 것에서 OLE DB 소스 및 OLE DB 대상을 사용하여 SSIS에서 간단한 데이터 흐름을 구축하려면 …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

PostgreSQL에 익숙하지 않기 때문에 이전에는 대규모 배포를 한 적이 없습니다. 그러나 엔터프라이즈 솔루션에 대한 경험이 풍부하며 PostgreSQL을 사용하여 배운 내용 중 일부를 적용하고 싶습니다. 많은 수의 데이터와 트래픽을 처리 할 수있는 크기의 사이트가 있습니다. 인프라는 EC2 인스턴스 및 EBS 볼륨을 사용하여 AWS (Amazon)를 사용하여 구축됩니다. 설계에는 분석 및보고를 처리하기위한 주 …

11 postgresql  data-warehouse  etl 

현재 데이터웨어 하우스를위한 ETL을 작성하는 중입니다. 우리는 SSIS 2008을 사용하고 있지만 가장 큰 문제는 구성 요소 재사용의 어려움입니다. 각 테이블마다 별도의 패키지가 있으며 각 패키지는 상위 패키지에서 여러 변수를 입력으로 사용합니다. 이러한 입력 변수를 변경함에 따라 각 패키지로 이동해야하고 (현재 15 개 정도이지만이 숫자가 크게 증가 할 것임) 해당 변경을 …

10 sql-server  etl