다중 처리로 인해 Python이 충돌하고 fork ()가 호출 될 때 다른 스레드에서 진행 중일 수있는 오류가 발생합니다.

Question 1

저는 비교적 Python에 익숙하지 않고 for 루프에 대해 다중 처리 모듈을 구현하려고합니다.

일부 Google 비전을 다운로드하고 적용하는 데 필요한 img_urls에 저장된 이미지 URL 배열이 있습니다.

if __name__ == '__main__':

    img_urls = [ALL_MY_Image_URLS]
    runAll(img_urls)
    print("--- %s seconds ---" % (time.time() - start_time))

이것은 내 runAll () 메서드입니다.

def runAll(img_urls):
    num_cores = multiprocessing.cpu_count()

    print("Image URLS  {}",len(img_urls))
    if len(img_urls) > 2:
        numberOfImages = 0
    else:
        numberOfImages = 1

    start_timeProcess = time.time()

    pool = multiprocessing.Pool()
    pool.map(annotate,img_urls)
    end_timeProcess = time.time()
    print('\n Time to complete ', end_timeProcess-start_timeProcess)

    print(full_matching_pages)


def annotate(img_path):
    file =  requests.get(img_path).content
    print("file is",file)
    """Returns web annotations given the path to an image."""
    print('Process Working under ',os.getpid())
    image = types.Image(content=file)
    web_detection = vision_client.web_detection(image=image).web_detection
    report(web_detection)

실행할 때 경고로 표시되고 파이썬이 충돌합니다.

objc[67570]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called.
objc[67570]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called. We cannot safely call it or ignore it in the fork() child process. Crashing instead. Set a breakpoint on objc_initializeAfterForkError to debug.
objc[67567]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called.
objc[67567]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called. We cannot safely call it or ignore it in the fork() child process. Crashing instead. Set a breakpoint on objc_initializeAfterForkError to debug.
objc[67568]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called.
objc[67568]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called. We cannot safely call it or ignore it in the fork() child process. Crashing instead. Set a breakpoint on objc_initializeAfterForkError to debug.
objc[67569]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called.
objc[67569]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called. We cannot safely call it or ignore it in the fork() child process. Crashing instead. Set a breakpoint on objc_initializeAfterForkError to debug.
objc[67571]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called.
objc[67571]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called. We cannot safely call it or ignore it in the fork() child process. Crashing instead. Set a breakpoint on objc_initializeAfterForkError to debug.
objc[67572]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called.
objc[67572]: +[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called. We cannot safely call it or ignore it in the fork() child process. Crashing instead. Set a breakpoint on objc_initializeAfterForkError to debug.

Question 2

이 오류는 Mac OS High Sierra에서 다중 스레딩을 제한하기 위해 추가 된 보안 때문에 발생합니다. 이 답변이 조금 늦었지만 다음 방법을 사용하여 문제를 해결했습니다.

새로운 Mac OS High Sierra 보안 규칙에 따라 멀티 스레딩 애플리케이션 또는 스크립트를 허용하도록 환경 변수 .bash_profile을 설정합니다.

터미널 열기 :

$ nano .bash_profile

파일 끝에 다음 행을 추가하십시오.

export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

터미널을 저장, 종료, 닫은 후 다시 엽니 다. 환경 변수가 이제 설정되었는지 확인하십시오.

$ env

다음과 유사한 출력이 표시됩니다.

TERM_PROGRAM=Apple_Terminal
SHELL=/bin/bash
TERM=xterm-256color
TMPDIR=/var/folders/pn/vasdlj3ojO#OOas4dasdffJq/T/
Apple_PubSub_Socket_Render=/private/tmp/com.apple.launchd.E7qLFJDSo/Render
TERM_PROGRAM_VERSION=404
TERM_SESSION_ID=NONE
OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

이제 멀티 스레딩으로 파이썬 스크립트를 실행할 수 있습니다.

Question 3

OBJC_DISABLE_INITIALIZE_FORK_SAFETY환경에서 플래그 없이 나를 위해 작동하는 솔루션 multiprocessing.Pool은 main()프로그램이 시작된 직후에 클래스 를 초기화하는 것 입니다.

이것은 가능한 가장 빠른 솔루션이 아닐 가능성이 높으며 모든 상황에서 작동하는지 확실하지 않지만 프로그램이 시작되기 전에 작업자 프로세스를 미리 가열해도 ... may have been in progress in another thread when fork() was called오류가 발생 하지 않으며 성능이 크게 향상됩니다. 병렬화되지 않은 코드로 얻는 것.

나는 Parallelizer아주 일찍 시작한 다음 프로그램의 수명주기 동안 사용 하는 편의 수업 을 만들었습니다 .

# entry point to my program
def main():
    parallelizer = Parallelizer()
    ...

그런 다음 병렬화를 원할 때마다 :

# this function is parallelized. it is run by each child process.
def processing_function(input):
    ...
    return output

...
inputs = [...]
results = parallelizer.map(
    inputs,
    processing_function
)

그리고 병렬화 클래스 :

class Parallelizer:
    def __init__(self):
        self.input_queue = multiprocessing.Queue()
        self.output_queue = multiprocessing.Queue()
        self.pool = multiprocessing.Pool(multiprocessing.cpu_count(),
                                         Parallelizer._run,
                                         (self.input_queue, self.output_queue,))

    def map(self, contents, processing_func):
        size = 0
        for content in contents:
            self.input_queue.put((content, processing_func))
            size += 1
        results = []
        while size > 0:
            result = self.output_queue.get(block=True)
            results.append(result)
            size -= 1
        return results

    @staticmethod
    def _run(input_queue, output_queue):
        while True:
            content, processing_func = input_queue.get(block=True)
            result = processing_func(content)
            output_queue.put(result)

한 가지주의 사항 : 병렬화 된 코드는 디버그하기 어려울 수 있으므로 하위 프로세스에서 문제가 발생할 때 활성화 할 수있는 비 병렬화 버전의 클래스도 준비했습니다.

class NullParallelizer:
    @staticmethod
    def map(contents, processing_func):
        results = []
        for content in contents:
            results.append(processing_func(content))
        return results