ArcGIS가 FGDB 테이블 크기 제한 내에 있음에도 불구하고 거대한 CSV 파일에서 파일 지오 데이터베이스 테이블로 모든 레코드를 가져 오지 못함

4GB RAM이있는 Windows 7 64 비트에서 ArcGIS 10.0을 사용하고 있습니다.

ArcGIS로 가져 오기 위해 CSV 형식의 매우 큰 테이블이 있으며, 모두 약 30 개의 필드, 테이블 당 5 백만 개 이상의 레코드 (몇 개는 두 배 이상) 및 파일 크기는 최대 약 5GB입니다. 각 파일을 별도의 테이블로 파일 지오 데이터베이스로 가져 오기 위해 궁극적으로 피쳐 클래스에 링크하고 위치에 따라 테이블의 결과를 분석 할 수 있습니다.

문제는 ArcGIS가 특정 시점에서 레코드 가져 오기를 종료 한 것 같습니다. 변환> 지오 데이터베이스로 "테이블에서 테이블로"도구를 사용하고 있지만 "행 복사"도구에 동일한 문제가 있습니다. CSV 파일을 FGDB 테이블로 먼저 변환하지 않고 ArcGIS에 직접 추가하더라도 문제는 동일합니다. 내 테이블 중 하나에 약 1,100 만 개의 레코드가 있으며 ArcGIS는 약 1 천만 개의 레코드 만 가져옵니다. ArcGIS는 오류가 발생했음을 알려주지 않으며 아무 문제가없는 것처럼 도구가 종료됩니다.

나는 지금 몇 번 시도했지만 FGDB 테이블에 기록하는 레코드 수는 항상 동일하며 내가 들어 본 파일 크기 제한으로 보이지 않습니다 (2의 제곱이 아님). 16). ArcGIS는 약 6 백만 개의 레코드가있는 다른 CSV를 가져올 수 있었고 모든 레코드가 통과되었습니다 (큰 테이블에서 발생하는 문제로 인해 더 작은 테이블도 이제는 의심의 여지가 있습니다). ESRI의 웹 사이트는 파일 geodatabase에 다음과 같은 크기 제한을 나열하며 그중 어느 것도 맞지 않습니다.

• 파일 지오 데이터베이스 크기 : 제한 없음
• 테이블 또는 기능 클래스 크기 : 1TB (기본값), 4GB 또는 256TB (키워드 포함)
• 피처 클래스 및 테이블 수 : 2,147,483,647
• 피쳐 클래스 또는 테이블의 필드 수 : 65,534
• 피쳐 클래스 또는 테이블의 행 수 : 2,147,483,647
• 지오 데이터베이스 이름 길이 : 운영 체제가 폴더에서 허용하는 문자 수
• 피처 클래스 또는 테이블 이름 길이 : 160 자
• 필드 이름 길이 : 64 자
• 텍스트 필드 너비 : 2,147,483,647

이 테이블에 실제로해야 할 일은 몇 가지 필드를 추가하고 다른 몇 가지를 삭제하고 새 필드의 값을 생성하는 것입니다 (기존 필드 중 일부의 합계). 필드 계산기에 익숙하고 수백만 개의 레코드로 구성된 테이블을 처리 할 수 있다는 것을 알고 현재까지 알고 있기 때문에 ArcGIS를 사용하고 있습니다. 반면에 대부분의 다른 데스크톱 소프트웨어는 편리합니다 (MS Access / Excel ) 많은 레코드를 질식시킵니다. 따라서 다른 테이블을 사용하여 원본 테이블을 조작 한 다음 결과 테이블을 훨씬 더 작은 ArcGIS로 내보낼 수 있습니다. 실제로, 내가이 문제를 겪고 있고 ArcGIS가 문제가 발생하고 있다는 오류나 경고를주지 않는다는 사실은 ArcGIS 외부에서이 데이터를 가능한 한 많이 처리하려고합니다.

나는 이것에 대해 ESRI 지원에 전화를 걸었고 그들의 대답은 고무적이지 않았지만 문제를 설명했습니다. ESRI의 역설 : 32 비트 소프트웨어 인 ArcGIS Desktop은 최대 4GB의 RAM을 사용하는 것으로 제한됩니다. 텍스트 파일은 테이블로 저장되기 전에 RAM에서 처리되어야하므로 ArcGIS가 처리하는 동안 일부 위치에서 RAM 제한에 도달하여 중지했습니다. 가져 오는 파일의 크기는 약 6GB였습니다. 분명히 오류 메시지를주지 않고 실패했다는 사실은 저의 고유 한 사실입니다. 사무실의 다른 사람들이 시도했지만 가져 오기가 여전히 실패했지만 오류 메시지 (유용하지 않은 메시지이지만 적어도 ESRI 담당자는 오류가 발생해야한다고 말했습니다.

내 솔루션은 텍스트 편집기 (EditPad Pro 사용)를 사용하여 파일을 두 개의 작은 CSV로 분할하고 각 파일을 별도의 테이블로 FGDB로 가져온 다음 두 개의 FGDB 테이블을 병합하는 것이 었습니다. 어떤 이유로 든 처음 시도했지만 실패했지만 나중에 작업했습니다. 좀 더 완벽하게 테스트 할 수 있습니다.이 크기의 파일을 지속적으로 처리 할 것입니다.

ArcGIS 10.0을 사용하고 있지만 ArcGIS 10.1 서비스 팩 1이 방금 릴리스되었으며 64 비트 백그라운드 지오 프로세서를 사용할 수있는 기능을 추가하여 지오 프로세서가 4GB 이상의 RAM을 사용할 수있게하므로이 문제를 해결할 수는 없습니다. 그것을 테스트하십시오.

업데이트 : 이제 ArcGIS 10.1 SP1 (64 비트 백그라운드 지오 프로세싱 애드온 포함)을 사용하고 있으며 지금까지 처리 한 거대한 .CSV를 성공적으로 가져옵니다. 14GB의 RAM (예, 14)이있는 머신에서 약 1 천 5 백만 행의 6GB .CSV가 FGDB 테이블로 성공적으로 가져옵니다.

데이터로드를 위해 대용량 CSV 파일을 메모리로 읽는 것은 다소 어리 석습니다. 실제로 한 번에 한 줄만 읽으면됩니다.

파이썬 스크립트를 작성하고 csv모듈을 사용하여 줄 단위로 읽고 행을 테이블에 삽입하는 InsertCursor것이 좋습니다 (또는 바람직하게 arcpy.da.InsertCursor는 빠르지 만 10.1에서만 사용 가능합니다).

편집 : 마지막 단락을 읽으십시오. 실제로 파이썬 에서이 작업을 매우 쉽게 수행 할 수 있으며 결과를 CSV 또는 다른 형식으로 다시 내보낼 수도 있습니다.

각 행과 열로해야 할 일을 정확하게 설명 할 수 있다면 도움이 될 것입니다.

5GB CSV 파일을 작은 크기로 분할하려고 했습니까?

행 또는 파일 수를 기준으로 CSV를 분할하는 도구가 있습니다.

파일을 분할 한 다음 가져 오십시오 .. 그러나이 도구에는 제한이 있습니다. 파일의 테이블에서만 작동한다고 생각합니다 (그렇다고 생각합니다). pls. 한 번 해봐.

http://www.shivaranjan.com/2008/11/06/how-to-split-csv-file-into-multiple-parts-easily-and-quickly/

큰 파이프 구분 텍스트 파일 (2,712,391) 행의 같은 줄 에서이 오류 (001156)가 발생했습니다.
그래서 그 줄에 문제가 있다고 생각했지만 나머지 행과 동일했습니다.
부분 가져 오기에서 행을 삭제 한 다음 데이터를로드 (로드>로드 데이터 ...)하고 모든 2M + 라인을 얻을 수있었습니다.

나도 16GB의 RAM에서 64 비트 백그라운드 지오 프로세싱을 갖춘 10.1 SP1을 사용하고 있으며 RAM을 활용하는 프로세스입니다 (모든 프로세스가 64 비트로 아직 활성화되어 있지는 않습니다).
느리고 klunky 해결 방법이지만 일관되게 작동합니다.
가져 오기에 성공하지 못하면 빈 테이블을 먼저 설정해야 할 수도 있습니다.