"실행 후 잊어 버리기"python async / await


115

때때로 발생해야하는 중요하지 않은 비동기 작업이 있지만 완료 될 때까지 기다리고 싶지 않습니다. Tornado의 코 루틴 구현에서는 단순히 yield키워드 를 생략하여 비동기 함수를 "실행하고 잊을"수 있습니다 .

나는 파이썬 3.5에서 발표 된 새로운 async/ await구문으로 "실행하고 잊어 버리는"방법을 알아 내려고 노력해 왔습니다 . 예 : 단순화 된 코드 스 니펫 :

async def async_foo():
    print("Do some stuff asynchronously here...")

def bar():
    async_foo()  # fire and forget "async_foo()"

bar()

하지만 bar()실행되지 않고 대신 런타임 경고가 표시됩니다.

RuntimeWarning: coroutine 'async_foo' was never awaited
  async_foo()  # fire and forget "async_foo()"

관련이 있습니까? stackoverflow.com/q/32808893/1639625 사실 중복이라고 생각하지만 즉시 중복 망치질하고 싶지 않습니다. 누군가 확인할 수 있습니까?
tobias_k

3
@tobias_k, 중복이라고 생각하지 않습니다. 링크의 답변이 너무 광범위하여이 질문에 대한 답변이 아닙니다.
Mikhail Gerasimov

2
(1) "주"프로세스가 영원히 계속 실행됩니까? 또는 (2) 프로세스가 죽도록 허용하지만 잊혀진 작업이 계속 작업을 계속하도록 허용 하시겠습니까? 또는 (3) 종료 직전에 잊혀진 작업을 기다리는 메인 프로세스를 선호합니까?
Julien Palard

답변:


170

업데이트 :

교체 asyncio.ensure_futureasyncio.create_task파이썬> = 3.7 그것은 최신의, 더 좋은 방법을 사용하고있는 모든 곳에서 경우 산란 작업에 .


asyncio.Task를 "실행하고 잊어 버리기"

파이썬 문서에 따르면 "백그라운드에서"실행asyncio.Task 하기 위해 코 루틴을 시작할 수 있습니다 . asyncio.ensure_future 함수에 의해 생성 된 작업 은 실행을 차단하지 않습니다 (따라서 함수가 즉시 반환됩니다!). 이것은 귀하가 요청한대로 "실행하고 잊어 버리는"방법처럼 보입니다.

import asyncio


async def async_foo():
    print("async_foo started")
    await asyncio.sleep(1)
    print("async_foo done")


async def main():
    asyncio.ensure_future(async_foo())  # fire and forget async_foo()

    # btw, you can also create tasks inside non-async funcs

    print('Do some actions 1')
    await asyncio.sleep(1)
    print('Do some actions 2')
    await asyncio.sleep(1)
    print('Do some actions 3')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

산출:

Do some actions 1
async_foo started
Do some actions 2
async_foo done
Do some actions 3

이벤트 루프가 완료된 후 작업이 실행되면 어떻게됩니까?

asyncio는 이벤트 루프가 완료되는 순간 작업이 완료 될 것으로 예상합니다. 따라서 다음으로 변경할 경우 main():

async def main():
    asyncio.ensure_future(async_foo())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(0.1)
    print('Do some actions 2')

프로그램이 완료된 후 다음 경고가 표시됩니다.

Task was destroyed but it is pending!
task: <Task pending coro=<async_foo() running at [...]

이벤트 루프가 완료된 후 모든 보류중인 작업기다릴 수있는 것을 방지하려면 :

async def main():
    asyncio.ensure_future(async_foo())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(0.1)
    print('Do some actions 2')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

    # Let's also finish all running tasks:
    pending = asyncio.Task.all_tasks()
    loop.run_until_complete(asyncio.gather(*pending))

작업을 기다리는 대신 종료

작업이 완료되기를 기다리지 않는 경우가 있습니다 (예 : 일부 작업은 영원히 실행되도록 생성 될 수 있음). 이 경우 기다리는 대신 cancel () 만하면됩니다.

import asyncio
from contextlib import suppress


async def echo_forever():
    while True:
        print("echo")
        await asyncio.sleep(1)


async def main():
    asyncio.ensure_future(echo_forever())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(1)
    print('Do some actions 2')
    await asyncio.sleep(1)
    print('Do some actions 3')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

    # Let's also cancel all running tasks:
    pending = asyncio.Task.all_tasks()
    for task in pending:
        task.cancel()
        # Now we should await task to execute it's cancellation.
        # Cancelled task raises asyncio.CancelledError that we can suppress:
        with suppress(asyncio.CancelledError):
            loop.run_until_complete(task)

산출:

Do some actions 1
echo
Do some actions 2
echo
Do some actions 3
echo

첫 번째 블록을 복사하고 지나서 그냥 내 끝에서 실행했고 어떤 이유로 든 다음과 같은 결과를 얻었습니다. 4 행 async def async_foo () : ^ 4 행의 함수 정의에 구문 오류가있는 것처럼 "async def async_foo ( ) : "뭔가 빠졌나요?
Gil Allen

3
@GilAllen이 구문은 Python 3.5 이상에서만 작동합니다. Python 3.4에는 이전 구문이 필요합니다 ( docs.python.org/3.4/library/asyncio-task.html 참조 ). Python 3.3 이하는 asyncio를 전혀 지원하지 않습니다.
Mikhail Gerasimov

스레드에서 작업을 어떻게 죽이겠습니까?… ̣ 일부 작업을 생성하는 스레드가 있는데 스레드가 해당 stop()메서드 에서 죽을 때 보류중인 모든 작업을 죽이고 싶습니다 .
Sardathrion-SE 남용에 대하여

@Sardathrion 작업이 생성 된 스레드의 어딘가에 있는지 확실하지 않지만 수동으로 추적하는 것을 막을 수있는 것은 없습니다. 위.
Mikhail Gerasimov

2
"Task.all_tasks ()는 Python 3.7부터 더 이상 사용되지 않습니다. 대신 asyncio.all_tasks ()를 사용하십시오."
Alexis

12

간결한 답변에 대해 Sergey에게 감사드립니다. 여기에 같은 장식 버전이 있습니다.

import asyncio
import time

def fire_and_forget(f):
    def wrapped(*args, **kwargs):
        return asyncio.get_event_loop().run_in_executor(None, f, *args, *kwargs)

    return wrapped

@fire_and_forget
def foo():
    time.sleep(1)
    print("foo() completed")

print("Hello")
foo()
print("I didn't wait for foo()")

생산

>>> Hello
>>> foo() started
>>> I didn't wait for foo()
>>> foo() completed

참고 : 일반 스레드를 사용하여 동일한 작업을 수행하는 다른 답변을 확인하십시오.


이 접근 방식을 사용한 후 초당 ~ 5 개의 작은 화재 및 잊어 버리기 작업을 생성 한 후 상당한 속도 저하를 경험했습니다. 장기간 실행되는 작업을 위해 프로덕션에서 이것을 사용하지 마십시오. 그것은 당신의 CPU와 메모리를 먹을 것입니다!
pir

10

이것은 완전히 비동기식 실행은 아니지만 run_in_executor () 가 적합 할 수 있습니다.

def fire_and_forget(task, *args, **kwargs):
    loop = asyncio.get_event_loop()
    if callable(task):
        return loop.run_in_executor(None, task, *args, **kwargs)
    else:    
        raise TypeError('Task must be a callable')

def foo():
    #asynchronous stuff here


fire_and_forget(foo)

3
간결한 답변입니다. 그것은이 있음을 주목할 필요가있다 executor호출로 설정됩니다 concurrent.futures.ThreadPoolExecutor.submit(). 스레드를 만드는 것은 무료가 아니기 때문에 언급합니다. 화재 - 및 - 잊어 1,000 회 두 번째는 아마 스레드 관리에 큰 부담 넣어 것
브래드 솔로몬

네. 나는 당신의 경고에주의를 기울이지 않았고이 접근 방식을 사용한 후 초당 ~ 5 개의 작은 화재 및 잊어 버림 작업을 생성 한 후 상당한 속도 저하를 경험했습니다. 장기간 실행되는 작업을 위해 프로덕션에서 이것을 사용하지 마십시오. 그것은 당신의 CPU와 메모리를 먹을 것입니다!
pir

3

어떤 이유로 사용할 수 asyncio없다면 여기에 일반 스레드를 사용하는 구현이 있습니다. 내 다른 답변과 Sergey의 답변도 확인하십시오.

import threading

def fire_and_forget(f):
    def wrapped():
        threading.Thread(target=f).start()

    return wrapped

@fire_and_forget
def foo():
    time.sleep(1)
    print("foo() completed")

print("Hello")
foo()
print("I didn't wait for foo()")

이 fire_and_forget 기능 만 필요하고 asyncio의 다른 기능은 필요하지 않은 경우 asyncio를 사용하는 것이 더 낫습니까? 이점은 무엇입니까?
pir
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.