파이썬 생성기를 사용하기에 좋은시기가 아닐까요?

이것은 Python 생성기 함수를 무엇에 사용할 수 있습니까? 의 역입니다 . : 파이썬 제너레이터, 제너레이터 표현식, itertools모듈은 요즘 제가 가장 좋아하는 파이썬 기능 중 일부입니다. 대용량 데이터에 대해 수행 할 작업 체인을 설정할 때 특히 유용합니다. DSV 파일을 처리 할 때 자주 사용합니다.

그래서 때입니다 하지 발전기 또는 발전기의 표현, 또는 사용할 수있는 좋은 시간 itertools기능은?

• 언제 선호한다 zip()이상 itertools.izip(), 또는
• range()이상 xrange()또는
• [x for x in foo]이상 (x for x in foo)?

분명히, 우리는 결국 생성자를 실제 데이터로 "해결"해야합니다. 일반적으로 목록을 만들거나 생성자가 아닌 루프를 반복하여 생성합니다. 때로는 길이 만 알면됩니다. 이것은 내가 요구하는 것이 아닙니다.

중간 데이터를 위해 새 목록을 메모리에 할당하지 않도록 생성기를 사용합니다. 이것은 특히 대규모 데이터 세트에 적합합니다. 작은 데이터 세트에도 이치에 맞습니까? 눈에 띄는 메모리 / CPU 트레이드 오프가 있습니까?

특히 list comprehension 성능 대 map () 및 filter () 에 대한 눈에 띄는 토론에 비추어 누군가가 이것에 대해 프로파일 링을 해본 적이 있다면 특히 관심이 있습니다. ( 대체 링크 )

다음과 같은 경우 생성기 대신 목록을 사용하십시오.

1) 데이터에 여러 번 액세스해야합니다 (즉, 결과를 다시 계산하는 대신 캐시) :

for i in outer:           # used once, okay to be a generator or return a list
    for j in inner:       # used multiple times, reusing a list is better
         ...

2) 임의 액세스 (또는 순차 순차 이외의 액세스 )가 필요합니다 .

for i in reversed(data): ...     # generators aren't reversible

s[i], s[j] = s[j], s[i]          # generators aren't indexable

3) 문자열 을 조인 해야합니다 (데이터를 두 번 통과해야 함).

s = ''.join(data)                # lists are faster than generators in this use case

4) PyPy 를 사용 하고 있습니다. 때때로 일반적인 함수 호출 및 목록 조작으로 생성기 코드를 최적화 할 수 없습니다.

일반적으로 len (), reversed () 등과 같은 목록 작업이 필요한 경우 생성기를 사용하지 마십시오.

지연 평가를 원하지 않는 경우도 있습니다 (예 : 리소스를 해제 할 수 있도록 모든 계산을 미리 수행). 이 경우 목록식이 더 좋을 수 있습니다.

프로필, 프로필, 프로필.

코드를 프로파일 링하는 것은 현재 수행중인 작업이 효과가 있는지 알 수있는 유일한 방법입니다.

xrange, 생성기 등의 대부분의 사용은 정적 크기, 작은 데이터 세트 이상입니다. 큰 데이터 세트에 도달 할 때만 실제로 차이를 만듭니다. range () 대 xrange ()는 대부분 코드를 조금 더보기 흉하게 만들고 아무것도 잃지 않고 무언가를 얻는 문제 일뿐입니다.

프로필, 프로필, 프로필.

당신은 선호해서는 안 zip이상 izip, range이상 xrange, 또는 발전기 함축을 통해 지능형리스트. 파이썬 3.0에서는 range이 xrange-like 의미를하고 zip있다 izip-like 의미를.

목록 이해력은 list(frob(x) for x in foo)실제 목록이 필요한 때 처럼 실제로 더 명확 합니다.

"이것은 특히 대규모 데이터 세트에 적합합니다"라고 언급했듯이 이것이 귀하의 질문에 대한 답이라고 생각합니다.

성능 측면에서 벽에 부딪히지 않는 경우에도 목록과 표준 기능을 고수 할 수 있습니다. 그런 다음 성능 문제가 발생하면 전환하십시오.

그러나 주석에서 @ u0b34a0f6ae가 언급했듯이 처음에 생성기를 사용하면 더 큰 데이터 세트로 쉽게 확장 할 수 있습니다.

성능과 관련하여 : psyco를 사용하면 목록이 생성기보다 훨씬 빠를 수 있습니다. 아래 예에서 목록은 psyco.full ()을 사용할 때 거의 50 % 더 빠릅니다.

import psyco
import time
import cStringIO

def time_func(func):
    """The amount of time it requires func to run"""
    start = time.clock()
    func()
    return time.clock() - start

def fizzbuzz(num):
    """That algorithm we all know and love"""
    if not num % 3 and not num % 5:
        return "%d fizz buzz" % num
    elif not num % 3:
        return "%d fizz" % num
    elif not num % 5:
        return "%d buzz" % num
    return None

def with_list(num):
    """Try getting fizzbuzz with a list comprehension and range"""
    out = cStringIO.StringIO()
    for fibby in [fizzbuzz(x) for x in range(1, num) if fizzbuzz(x)]:
        print >> out, fibby
    return out.getvalue()

def with_genx(num):
    """Try getting fizzbuzz with generator expression and xrange"""
    out = cStringIO.StringIO()
    for fibby in (fizzbuzz(x) for x in xrange(1, num) if fizzbuzz(x)):
        print >> out, fibby
    return out.getvalue()

def main():
    """
    Test speed of generator expressions versus list comprehensions,
    with and without psyco.
    """

    #our variables
    nums = [10000, 100000]
    funcs = [with_list, with_genx]

    #  try without psyco 1st
    print "without psyco"
    for num in nums:
        print "  number:", num
        for func in funcs:
            print func.__name__, time_func(lambda : func(num)), "seconds"
        print

    #  now with psyco
    print "with psyco"
    psyco.full()
    for num in nums:
        print "  number:", num
        for func in funcs:
            print func.__name__, time_func(lambda : func(num)), "seconds"
        print

if __name__ == "__main__":
    main()

결과 :

without psyco
  number: 10000
with_list 0.0519102208309 seconds
with_genx 0.0535933367509 seconds

  number: 100000
with_list 0.542204280744 seconds
with_genx 0.557837353115 seconds

with psyco
  number: 10000
with_list 0.0286369007033 seconds
with_genx 0.0513424889137 seconds

  number: 100000
with_list 0.335414877839 seconds
with_genx 0.580363490491 seconds

성능에 관한 한 생성자보다 목록을 사용하고 싶을 때를 생각할 수 없습니다.

발전기가 당신이하려는 일을 방해하는 상황을 본 적이 없습니다. 그러나 생성기를 사용하지 않는 것보다 더 도움이되지 않는 경우가 많이 있습니다.

예를 들면 :

sorted(xrange(5))

다음에 대해 개선 사항을 제공하지 않습니다.

sorted(range(5))

나중에 다른 값을 유지해야하고 세트의 크기가 너무 크지 않은 경우 목록 이해를 선호해야합니다.

예를 들어, 나중에 프로그램에서 여러 번 반복 할 목록을 만들고 있습니다.

어느 정도까지는 제너레이터를 반복 (루프)의 대체물로 생각할 수 있고, 목록 내포물은 데이터 구조 초기화의 한 유형으로 생각할 수 있습니다. 데이터 구조를 유지하려면 목록 이해를 사용하십시오.