MapReduce 프레임 워크는 BSP 유형입니까?

11

동기화 간에 프로세서 내에 로컬 메모리 보유가없는 mapReduce 프레임 워크를 벌크 동기식 병렬 프로그래밍 프레임 워크 라고 부르는 것이 정확 합니까? 그렇지 않다면 어떤 병렬 프로그래밍 모델이 mapReduce 프레임 워크를 가장 정확하게 캡슐화합니까?

dc.parallel-comp machine-models

— 제프 쿠비 나
소스

1

좋은 질문입니다!

— Suresh Venkat

감사합니다 Suresh, 어떻게 생각하십니까?

— Jeff Kubina

최고의 답변을 선택하는 데있어 어려운 선택은 모두 mapreduce와 다른 사람들이 그것을 보는 방법에 대해 더 많은 지식을 얻는 데 도움이되었다고 생각하기 때문입니다. 나는 Sasho의 대답을 선택했다. 그것이 나의 질문을 가장 잘 다루는 논문으로 이끌었 기 때문이다. 모두 감사합니다.

— Jeff Kubina

11

http://arxiv.org/abs/1101.1902의 섹션 2 에서 저자는 의도적으로 BSP와 같이 구성된 MapReduce 모델을 정의합니다. 그들은 시뮬레이션 이론도 증명합니다. 시작하기에 좋은 장소 일 수 있습니다.

— 사쇼 니콜 로프
소스

5

예, 제 생각에는 클래식 MapReduce는 BSP 모델이므로 달성 할 수있는 최대 병렬 성능에 고유 한 제한이 있습니다. 그러나 MapReduce에 대한 최신 작업은 느슨한 동기화 개념에 중점을 둔 것으로 보이며 이로 인해이 "일반화 된 MapReduce"가 엄격한 BSP 프레임 워크에서 제거됩니다. 특히, 일부 데이터를 복제하면 동기화 구조가 완화되어 성능이 향상 될 수 있습니다.

예를 들어 Foto Afrati와 Jeff Ullman의 작업 : 맵 감소 환경에서 조인 최적화 EDBT 2010을 참조하십시오. ( preprint )

— 안드라 살 라몬
소스

2

MapReduce에는 계산의 기본이되는 단순하고 구조화 된 그래프가 있기 때문에 데이터 흐름 모델로 IMHO 분류 할 수 있습니다.

— 마시모 카파로
소스

MapReduce에는 태그가 지정된 데이터 흐름 시스템과 동일한 계산 전략이 있습니다. Yahoo의 Pig 언어는 MapReduce 위에 데이터 흐름 언어를 구축하기까지합니다.

— 쇠고기