프로그래머는 SSIS를 사용해야하며, 그렇다면 그 이유는 무엇입니까? [닫은]


94

.NET 개발자로서 코드 작성보다 SSIS 패키지를 선호해야하는 이유는 무엇입니까? 우리는이 곳은 내가 현재 작업 생산에 패키지를, 그들은 모두 "쓰기"(아마도? 그릴) 및 유지 보수에 대한 악몽입니다. 각 패키지는 추상화가 중단되는 지점에서 C # 및 VB.NET 스크립트가 혼합 된 여러 가지 색상의 스파게티 그릇처럼 보입니다. 각 "SQL 실행 태스크"또는 "Foreach 루프"가 수행하는 작업을 파악하려면 저주받은 일을 두 번 클릭하고 여러 탭에 흩어져있는 리터럴 값 및 표현식 트리를 탐색해야합니다.

저는 개방적이므로 다른 훌륭한 개발자 가 단순히 코드를 작성하는 것보다 SSIS가 더 생산적 이라고 생각하는지 알고 싶습니다 . SSIS의 생산성이 더 높다면 이유를 알려주세요.


4
어떻게 작동하는지 모르지만 SSIS는 데이터웨어 하우스를 만들기 위해 작성한 수동 코드보다 훨씬 빠릅니다. 작업을 위해 설계된 도구입니다. 작업을 마스터 패키지에서 실행되는 하위 패키지로 분해 해보십시오.
Mr Shoubs

1
유사한 질문에 대한 링크 : stackoverflow.com/q/690123/327165
Ilya Berdichevsky 2011 년

5
방금 이것을 발견했습니다. 문제가있는 SSIS 패키지를 유지하기 위해 노력하고 있으며, 유용한 작업을 C # 프로그램으로 추출하는 디 컴파일러를 작성했습니다. code.google.com/p/csharp-dessist
Ted Spence

5
내 경험상 "긴"및 / 또는 "복잡한"sript 또는 많은 스크립트가있는 경우 SSIS가 고통 스러울 수 있습니다. 콘솔 앱 디버깅이 훨씬 쉽습니다. SSIS에서는 자체적으로 스크립트를 디버깅 할 수 없습니다. 스크립트로 인해 생성 된 오류 메시지는 알 수 없으며 오류를 일으킨 정확한 줄을 볼 수 없습니다. IMO, 프로젝트 요구 사항이 표준 SSIS 구성 요소로 충족 될 수 있다면 SSIS가 갈 길일 수 있습니다. 그러나이를 위해서는 SSIS 구성 요소의 제한 사항을 알아야합니다. 예 :이 비디오는 "메일 보내기 작업"이 거의 쓸모가없는 이유를 보여줍니다.- youtube.com
Steam

3
이 질문에는 7 개의 답변이 있으므로 토론, 논쟁, 여론 조사 또는 확장 된 토론을 요청하지 않았습니다. 왜 열어 두지 않습니까?
Michael Freidgeim

답변:


94

저는 매일 SSIS를 사용하여 대규모 데이터웨어 하우스와 큐브를 유지 관리합니다. 저는 2 년 동안 100 % 비즈니스 인텔리전스 및 데이터웨어 하우징이었습니다. 그 전에는 10의 .NET 애플리케이션 개발자였습니다.

SSIS의 가치는 일부 제한된 변환 및 조건부 분기를 통해 데이터를 한 지점에서 다른 지점으로 이동하는 워크 플로 엔진으로서의 것입니다. 패키지에 스크립트가 많이 포함되어있는 경우 팀은 잘못된 작업에 SSIS를 사용하고 있거나 SQL에 익숙하지 않거나 과대 광고를 한 것입니다. SSIS 패키지는 디버그하기가 매우 어렵습니다. 스크립트 구성 요소는 절대적으로 악몽이며 서식 지정, 반복 또는 최후의 수단으로 만 사용해야합니다.

  1. 패키지를 단순하고 SQL 작업 및 데이터 흐름 작업으로 유지합니다.
  2. SSIS 외부, 가급적이면 SQL에서 최대한 많은 작업 수행
  3. 단일 전역 범위에 변수 유지
  4. SQL을 변수 또는 저장 프로 시저에 보관하고 인라인이 아님
  5. 구성 저장소 (가급적이면 SQL 데이터베이스)에 변수 값 유지

1
SSIS에서 겪었던 문제로 인해 더 편향된 답변을 제공했을 것입니다 (마치 내 질문의 색조에서 말할 수없는 것처럼 :)). 좋은 대답이에요, 케빈.
Charles

6
.NET이 2002 년에 출시 되었다면 10 년 동안 어떻게 작업 했습니까?
Brady Holt 2012

7
마이크로 소프트는 1990 년대 후반에 NGWS (Next Generation Windows Services)라는 이름으로 .NET Framework 개발을 시작했습니다. 2000 년 말에 .NET 1.0의 첫 번째 베타 버전이 출시되었습니다 [/ 인용]. 그래서 그는 아마도 베타 작업을하고 있었을 것입니다.
nitefrog

질문에 대한 답변은 2010 년에 이루어 졌으므로 2 년 BI를 제외하고 10 년이 더 소요되면 1998 년 베타 출시 2 년 전입니다. 그렇지 않으면 좋은 대답입니다! :)
finoutlook

예, 글로벌 범위가 의미가 있습니다. 로컬로 만들고 다른 곳에서 액세스하려는 경우 문제가 있습니다. 단순히 로컬 범위를 글로벌로 변경할 수는 없습니다. 대신 많은 클릭과 삭제가 필요합니다. 현지인이 10 ~ 15 명이라도 있으면 고통 스럽습니다.
Steam

52

나는 SSIS를 여러 번 사용해 보았지만 포기했습니다. IMO는 C #에서 필요한 모든 작업을 수행하는 것이 훨씬 쉽습니다. SSIS는 너무 복잡하고 문제가 너무 많으며 그만한 가치가 없습니다. SSIS를 배우는 데 같은 시간을 보내는 것보다 C # 기술 향상에 더 많은 시간을 보내는 것이 훨씬 낫습니다. 교육에 대해 훨씬 더 많은 수익을 얻을 수 있습니다.

또한 VS 솔루션에서 기능을 찾고 유지하는 것이 훨씬 쉽습니다. VS를 사용한 단위 테스트는 쉽습니다. 내가해야 할 일은 Subversion에서 소스를 확인하고 어떻게로드되었는지 확인하는 것입니다. 단위 테스트 SSIS 패키지는 가볍게두기 위해 매우 복잡합니다.

게다가 SSIS가 일부 행의 일부 열을 자동으로 채우지 못하고 예외를 발생시키지 않고 건너 뛰는 상황이있었습니다. 우리는 문제를 해결하고 무슨 일이 일어나고 있는지 파악하는 데 많은 시간을 보냈습니다. C #으로 대체 솔루션을 개발하는 데 1 시간도 걸리지 않았으며 2 년 동안 문제없이 작동합니다.


포인트 알렉스에 감사드립니다. - 여기가 잡았다있을 생각의 예입니다 stackoverflow.com/questions/21616435/... .
Steam

2
ETL 개발자가 알아야 할 모든 C # / 프로그래밍 주제 목록이 있습니까? 예 : LINQ, SqlDataReader, DataTable 등. SSIS가 복잡한 작업에 적합하지 않다고 생각합니다. 쉬운 "복사-붙여 넣기"프로젝트 / 작업이 있다면 SSIS가 최고의 도구 일 수 있습니다.
Steam

@blasto Rhino ETL을 사용해 보셨나요
AK

Alex, Jerome의 대답도 Rhino ETL을 제안했습니다. 나는 모호한 것 같습니다. 따라서 문서, 지원 및 자습서가 부족하여 사용하는 것을 주저합니다. 게다가 한 명의 개발자 만 작업중인 것 같습니다. 도구에 대한 자신감이 떨어집니다. 재미 나 호기심으로 시도 해보 겠지만 실제 프로젝트에는 사용할 수 없습니다. 감사.
Steam

누군가 Rhino ETL (순수 C # 포함)에 대한 튜토리얼을 원한다면 여기에 하나가 있습니다.- codeproject.com
Steam

14

제 생각에는 SSIS는 ETL 작업 전용이며 해당 범위 밖의 논리를 포함해서는 안됩니다.


8
ETL = 변환 부하 추출
Christoph

3
그게 제가 느끼는 느낌입니다. 우리의 경우 SSIS를 사용하여 가격 정보가 포함 된 이메일 (또는 SFTP) CSV와 같은 작업을 수행합니다. 분기, 임베디드 스크립트 등은 매우 끔찍합니다. SSIS로 일부 데이터를 이동했다면 그렇게 나쁘지 않을 것입니다.
Charles

1
나는 당신의 대답이 좀 더 깊이 있다고 생각합니다.
Steam

3
ETL의 T가 일부 논리를 포함하지 않을 수 있습니까? 그냥 생각 ...
cs0815

데이터 형성 / 라우팅에만 관련이 있다면 확실합니다. 그러나 나는 어떤 비즈니스 로직도 피할 것입니다.
Christoph

11

저는 SSIS가 여러 소스의 데이터를 집계하고 결합하기에 충분한 솔루션이 될 것이라고 생각한 프로젝트에서 작업 한 불행한 경험을했습니다. 안타깝게도 처음에는 잘 작동했지만 요구 사항이 변경되어 결국 잘못된 도구라는 것을 깨달았습니다.

아마도 우리는 그것을 잘못 사용하고 있었지만 우리가 스키마를 변경 한 적이 있다면 많은 어려움을 겪었고 결국에는이를 위해 C #에서 사용자 지정 도구를 작성하기 위해 프런트 엔드에서 ORM 정의를 재사용했습니다. 우리는 이미 데이터 모델을 가지고 있었기 때문에 이것은 놀랍도록 쉬웠습니다. 분명히 YMMV이고 나는 결코 SSIS 전문가는 아니지만,이 경우 SSIS는 소매를 감고 '핸드 코딩'할 때 많은 중복 작업과 두통을 일으켰습니다. 예상보다 쉬웠습니다.

그래서 SSIS를 고려할 때 유연성에 대해 많이 생각합니다.


7
저도 같은 감정을 공유합니다. 코드를 리팩토링하는 것은 쉽습니다. 시각적 DSL을 사용하는 것은 그리 많지 않습니다.
Charles

Luke, 프로젝트 요구 사항에 대한 개요를 알려주시겠습니까? 감사.
Steam

@blasto 우리는 여러 데이터베이스의 데이터를 통합하고 내장 된 확률 적 문자열 일치 유틸리티를 사용하여 다른 시스템 (기본적으로 CRM 데이터베이스)의 데이터를 병합하려고했습니다. 5 년 이상 전이어서 모든 세부 사항을 기억하지 못합니다.
luke

.net 상점이고 데이터웨어 하우징 목적으로 데이터 이동에 관여하는 경우 SSIS는 충분히 잘 알고있는 경우에만 도움이됩니다. 나는 .net 전문가이지만 SSIS를 완전히 이해하지 못하는 많은 사람들을 보았습니다 (나는 그들을 비난하지 않습니다). SSIS는 확실히 그것을 잘 아는 사람이 필요합니다. 그렇지 않으면 비효율적이고 옳은 일을 할 수없는 패키지를 작성하게됩니다.
rvphx

6

SSIS가 그 자리를 차지하고 있으며 그 자리는 일반 프로그래밍이나 저장 프로 시저의 대체물이 아닙니다. ETL 학교 (추출, 변환 및로드)에서 제공되며 이것이 바로 강도입니다.

이전 이름 ​​(DTS, Data Transformation Services)과 새 이름 (SSIS, Sql Server Integration Services)은 모두 SQL Server 데이터베이스를 더 큰 프로세스에 통합하기 위해 데이터를 조작하도록 설계된 서비스 (또는 서비스 집합)임을 분명히합니다.


이 답변이 어떻게 그렇게 많은 찬성 투표를 받아야하는지 모르겠습니다. SSIS가 프로그래밍 언어의 힘을 제공 할 수없는 이유는 언급하지 않습니다. 나에게는 말이되지 않습니다. SSIS가 프로그래밍 언어와 일치하지 않는 한 가지 예는 디버깅입니다. 분명히 SSIS 2012는 그것을 변경합니다. 따라서 도구가 프로그래머에게 더 친숙해질 수 있습니다.
Steam

>> SSIS가 프로그래밍 언어와 일치하지 않는 한 가지 예 ... 동의합니다. 프로그래밍 언어가 아닙니다. 괜찮은 ETL 도구입니다.
DaveE 2014

4

프로그래밍 방식으로 데이터를 이동하려는 경우 Rhino ETL을 살펴볼 수 있습니다.

또한 CSV 파일에서 단위 테스트 데이터를로드하는 것과 같은 개발과 관련된 간단한 데이터 작업에는 SSIS가 너무 관련되어 있다는 것을 알게 되었기 때문에 자체 프레임 워크 인 Fluent ETL 에서도 작업하고 있습니다.


Rhino ETL은 모호하며 현재까지 24 개의 질문 만 있습니다 -stackoverflow.com/questions/tagged/rhino-etl . 지식과 경험이 있다면 C #이 ETL에 충분할 것이라고 생각합니다.
Steam

1
Rhino ETL의 인기있는 대안이 있습니까?
Steam

3

SSIS는 프로그램이 아닙니다. SSIS에서 많은 작업을 수행하는 것이 더 빠르며 관리자로서 매우 훌륭한 세부 진행 상황 및 오류 정보를 얻을 수 있습니다. SSIS가 해결하려는 시나리오에서 매우 유용 할 수 있습니다. 때로 문제가 발생하고 관리자가 많은 작업을 필요로하기 때문입니다. 정보.

즉, SSIS는 자체적으로 edxplanatory를 가지고 있지 않은 경우 실제로 유용하지 않습니다.


2
SSIS가 한 시나리오에서는 개발 속도를 높이고 다른 시나리오에서는 속도를 늦출 수있는 방법에 대한 예를 들어 주시겠습니까?
Steam
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.