ArcGIS 도구로 실행되는 Python 스크립트 속도를 높이는 방법 [닫기]

이것은 일반적인 질문입니다. GIS 프로그래머가 툴박스로 가져 와서 실행하는 이상한 스크립트의 속도를 높이기 위해 사용한 팁과 요령이 궁금합니다.

나는 사무실에서 GIS 이외의 사용자가 GIS 데이터를 처리하도록 돕기 위해 거의 매일 스크립트를 작성합니다. 나는 일반적으로 ArcGIS 10.0 처리가 9.3.1보다 느리고 때로는 파이썬 스크립트를 실행할 때 더 느리다는 것을 알았습니다.

실행하는 데 24 시간 이상 걸리는 스크립트의 특정 예를 나열하겠습니다. 버퍼의 각 모양에 대해 버퍼의 래스터 영역을 나타내는 루프입니다. 버퍼의 모양은 약 7000입니다. 나는 이것이 오랫동안 실행될 것이라고 믿지 않는다. 에이

while x <= layerRecords:

    arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
    arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
    TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

    arcpy.AddMessage ("          - Row: " + str(x) + " completed")
    x = x + 1
    z = z + 1

누구든지 말하기 전에 전체 버퍼에서 영역을 표로 만들었지 만 1 개 이상의 레코드에서 실행하면 오류가 발생합니다. 결함이있는 도구이지만 사용해야합니다.

어쨌든 누구나이 스크립트를 최적화하거나 속도를 높이는 방법에 대한 아이디어가 있다면 가장 높이 평가 될 것입니다. 그렇지 않으면 ArcGIS에서 사용될 때 파이썬에 대한 속임수가 있습니까?

프로세스 속도를 높이는 데 도움이되는 몇 가지 제안은 다음과 같습니다.

1. 속성 별 레이어 선택은 ArcGIS Desktop을 시작하지 않고도 Python 전용 스크립트에있을 수 있습니다. "버퍼"참조를 파일 기반 참조에서 "ArcGIS 레이어"참조로 변환해야합니다.이 참조는 ArcGIS가 선택 쿼리를 처리 할 수 ​​있습니다. 사용 arcpy.MakeFeatureLayer_management 당신의 "하면서"루프 위 ( "광", "buff_lyr"), 다음은 "buff_lyr"를 사용하는 동안 루프 아래 참조를 변경합니다.

2. 가능한 in_memory 작업 공간 을 사용하여 많은 GP 작업을 처리 하십시오. arcpy.CopyFeatures_management (shapefile, "in_memory \ memFeatureClass")를 사용하여 소스를 메모리로 이동하십시오. 메모리에 필요한 모든 기능 클래스를 읽을 수있는 충분한 RAM이있는 경우에만 잘 작동합니다. 그러나 in_memory 작업 공간 (예 : 프로젝트 도구)을 사용하여 실행할 수없는 GP 작업이 있다는 점에 유의하십시오.

ArcGIS 9.3 온라인 도움말 기사 " 중간 데이터 및 스크래치 작업 공간 "에서 (이 언어는 10.0 및 10.1 도움말에서 제거되었습니다.)

참고 : 테이블 및 피처 클래스 (점, 선, 다각형) 만 in_memory 작업 공간에 쓸 수 있습니다. in_memory 작업 공간은 하위 유형, 도메인, 표현, 토폴로지, 기하학적 네트워크 및 네트워크 데이터 세트와 같은 확장 지오 데이터베이스 요소를 지원하지 않습니다. 간단한 기능과 테이블 만 쓸 수 있습니다.

ArcGIS 10.1 온라인 도움말 기사 " 메모리 내 작업 공간 사용 "에서 :

인 메모리 작업 공간에 출력을 기록 할 때 다음 사항을 고려해야합니다.

• 메모리 내 작업 공간에 기록 된 데이터는 일시적이며 응용 프로그램을 닫으면 삭제됩니다.
• 테이블, 피처 클래스 및 래스터는 메모리 내 작업 공간에 쓸 수 있습니다.
• 메모리 내 작업 공간은 하위 유형, 도메인, 표현, 토폴로지, 기하학적 네트워크 및 네트워크 데이터 세트와 같은 확장 지오 데이터베이스 요소를 지원하지 않습니다.
• 메모리 내 작업 공간에서 기능 데이터 세트 또는 폴더를 작성할 수 없습니다.

일반적인 파이썬 최적화 기술로 상당한 시간을 절약 할 수 있습니다.

스크립트에서 홀드 업 위치를 낮추는 가장 좋은 방법은 내장 cProfile 모듈을 사용하는 것입니다.

from cProfile import run
run("code") # replace code with your code or function

작은 데이터 샘플을 사용하여 테스트하면 시간이 가장 많이 걸리는 함수 호출을 정확하게 찾을 수 있습니다.

더 빠른 파이썬 코드를위한 일반적인 포인터 :

• 리스트 이해는 일반적으로 루핑보다 빠릅니다.
• 생성기는 한 번에 전체 목록을 생성하는 대신 한 번에 하나의 항목을 생성합니다
• 파이썬 2에서 범위 대신 xrange를 사용하십시오 (3에서는 필요하지 않음)
• 이 항목이 세트에있는 경우 결정에 관해서 만은 그 내용을 반복 처리에 있어서는 일반적으로 느린 목록보다 때 세트 예비 목록을 할 수있는 소스
• 함수 호출을 할 수 있습니다 성능에 비용이 많이 드는 소스
• 더 많은 팁과 세부 사항은 여기를 확인하십시오 .Python Perfomance Tips and here 10 Python Optimization Tips and Issues

스크립트와 관련 하여이 컴퓨터에 Arc가 설치되어 있지 않기 때문에 ArcPy 측면에 대해서는 언급 할 수 없지만 while 루프 대신 for 루프를 사용해보십시오. 또한 x = x + 1은 x + = 1로 쓸 수 있습니다 :

for record in layerRecords:
arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords))
arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x))                                  # Selecting the record
TabulateArea(Buff, "Recno", MatGRID, "VALUE", ScratchWS + "/tab" + str(z) +".dbf", nMatGRIDc)                          # Tabulate the area of the single row

arcpy.AddMessage ("          - Row: " + str(x) + " completed")
x+=1
y+=1

컴퓨터의 내장 드라이브에 기록하고 있는지 확인하십시오. 필요하지 않은 네트워크를 통해 도달하면 처리 속도가 느려질 수 있습니다. 후속 읽기-쓰기를 가능한 한 빨리 유지하기 위해 프로세스의 첫 번째 단계로 데이터를 복사하는 것이 더 빠를 수도 있습니다.

ArcMap 외부에서 스크립트를 완전히 실행하면 훨씬 빠릅니다. 처리 중에 맵이 필요하지 않으면 ArcMap을 사용하지 마십시오.

이것은 ArcMap 내에서 ArcPy 도구를 실행하는 것에 대한 귀하의 질문에 대답하지 않을 수도 있지만 지리 처리 도구 및 Python으로 고기 처리를해야 할 때 IDE PyScripter를 사용하여 GIS 시스템 외부에서 실행하는 경향이 있습니다 . 나는 그것이 더 빨리 달린다는 것을 알았다. 또한 작은 임시 출력 데이터 세트 ( in_memory 작업 공간 과 비슷한 비트)에 RAMDISK를 사용했습니다.

글쎄, 그들은 내 최고의 팁입니다! :)

arcpy.SetProgressorLabel을 주석 처리하고 속도를 높이십시오. DOS daze로 돌아가는 모든 화면 출력이 처리 시간을 크게 느리게한다는 것을 알았습니다. 실제로 해당 출력을 볼 필요가 있으면 N 번째 루프마다 출력을 시도하십시오.

import xxxx사용하지 않는 라인을 제거하십시오 .

(즉 import Math, 아직 수학적 함수를 사용하지 않는 경우 스크립트로드에서 시간이 걸립니다)

이 스크립트는 사용자와 같은 단일 스크립트에 큰 영향을 미치지 않지만 자주 반복적으로 실행되는 모든 스크립트에 영향을 미칩니다.