테이블을 텍스트 파일로 내보내는 가장 빠른 방법은 무엇입니까

SQL Server 2012 데이터베이스와 3 백만 개의 행과 50 개의 열이있는 테이블이 있습니다. 무인 백그라운드 .net 프로세스 (일부 SQL 또는 Powershell 명령을 발행 할 수 있음)를 사용하여 각 데이터 행마다 한 줄씩 텍스트 파일로 내보내는 가장 빠른 방법은 무엇입니까? .net 프로세스는 내보내기가 완료된시기 또는 오류가 있는지 알아야합니다. 데이터 유형은 모두 int또는 nvarchar입니다.

ado.net을 사용하여 select *명령 을 실행하고 데이터 리더를 반복하고 각 레코드의 파일에 쓰는 순수한 C # 코드 가 느리고 가정 할 수 없다고 가정합니다.

SQL Server 컴퓨터의 로컬 폴더가 아닌 원격 공유 네트워크 폴더로 내보내는 것이 이상적입니다. SQL Server는 HA 클러스터입니다. SSIS가 이에 더 적합합니까? 데이터 변환이 필요하지 않습니까?

.Net 프로세스는 시스템 A에서 실행되고 시스템 B의 SQL Server에서 실행되며 최종 파일 대상은 네트워크 공유입니다. 한 가지 옵션은 SQL Server가 파일을 네트워크 공유에 직접 작성하는 것입니다. 다른 옵션은 SQL Server가 시스템 A에 쓴 다음 파일이 기록 될 때 .net 프로세스가 파일을 네트워크 공유에 복사하는 것입니다. 공식적인 SLA는 없지만 파일 쓰기에 30 분-1 시간이 걸립니다.

오래된 기사를보고 싶다면 모든 기사를 반복하는 것이 옵션입니다.

시도해야 할 몇 가지 다른 옵션은 다음과 같습니다.

• bcp 유틸리티 (위에서 언급 역시, 그것은 SQL Server에서 /로 가져 오기 및 내보내기 데이터에 대한 명령 행 도구입니다);
• BULK INSERT 문-스크립트에서 데이터 가져 오기 작업을하는 T-SQL 언어 설탕.
• .NET의 SqlBulkCopy 클래스 -앱 내부에서 작업하려는 경우. 좋은 예제는 여기에서 볼 수있다 : Linchi 시어의 성능 영향 : 최적의 삽입 스크립트가 대량 복사를 이길 수 없습니다 .

그리고 재미를 위해 다른 세션에서 반복하면서 이러한 모든 옵션을 시도 할 수 있습니다. :-).

가져 오기 내보내기 마법사를 사용하면됩니다. 마지막에는 작업을 저장하는 옵션이 제공되며, 그런 다음 SQL Server 에이전트로 예약 할 수 있습니다. 운영자로 자신을 추가하고 서버에서 DB Mail을 구성하면 작업이 완료되거나 실패 할 때 이메일을 보낼 수 있습니다.

진지하게, 왜 바퀴를 재발 명합니까?

http://msdn.microsoft.com/en-us/library/ms140052.aspx

다른 사람들은 bcp가 가장 빠른 방법이어야한다고 말했지만 CLR 솔루션에 비해 이점이 없습니다. 데이터베이스 테이블에 대한 삽입시 다양한 대량 복사 구현이 항상 이깁니다. 이는 주로 로깅을 최소화하고 다중 스레드 쓰기를 가능하게하는 방식 때문입니다. 플랫 파일에 쓸 때 이러한 제약 조건이 없습니다.

우리는 CLR을 사용하여 쿼리 출력을 파일로 덤프합니다. 또한 파일을 만든 후 자동으로 압축 할 수 있도록 Ionic.Zip.dll 을 통합합니다 .

다음은 op가 blob보다 bcp보다 두 배 빠르다고 주장하는 예입니다. /programming/10325338/fastest-way-to-export-blobs-from-table-into-individual-files

간단한 SSIS 패키지를 만들 수 있습니다.

고급 방법은 다음과 같습니다.

1. 연결 관리자에서 데이터베이스에 대한 OLEDB 연결 만들기
2. 데이터 흐름 변환을 컨트롤 흐름으로 끈 다음 클릭하여 데이터 흐름을 가져옵니다.
3. 도구 상자에서 OLEDB 소스를 데이터 흐름으로 끌어서 1 단계에서 만든 연결을 사용하여 원하는 테이블에 연결되도록 편집합니다.
4. 플랫 파일 대상을 도구 상자에서 데이터 흐름으로 끌어서 OLEDB 소스를 연결하십시오.
5. 플랫 파일 대상에서 "새로 만들기"를 선택하면 열 구조가 동일한 새 플랫 파일이 만들어지며 원하는 구분 기호를 사용하거나 원하는 경우 파일로 고정 할 수 있습니다.
6. 그것을 실행하십시오.

멍청한 놈은 이것을 알아낼 수 있어야합니다. Anti-GUI 사용자는이 솔루션을 좋아하지 않으므로 BCP 사용에 어려움을 겪는 기술력이 부족한 개인을위한 대안 일뿐입니다.

데이터 파일의 형식을보다 유연하게 지정할 수 있습니다. BCP와 그 모든 것에서이 작업을 수행 할 수 있지만 복잡성을 제거합니다. 그러나 사용자 정의 파일 헤더를 넣고 첫 번째 행으로 "열 이름"을 작성하면 플랫 파일을보다 사람이 사용할 수있게되므로 작은 이점이 있습니다.

저장 한 것을 잊지 마십시오. 한 번 만든 경우 다시 요청 될 것입니다! 도움이 되었기를 바랍니다..

커맨드 라인의 bcp.exe가 가장 빠른 방법이어야한다고 생각합니다.

http://msdn.microsoft.com/en-us/library/ms162802.aspx