«distributed-computing» 태그된 질문

ZooKeeper, 작동 방식 및 작동 방식을 이해하려고합니다. ZooKeeper와 비슷한 응용 프로그램이 있습니까? 아는 경우 ZooKeeper를 평신도에게 어떻게 설명 하시겠습니까? 나는 아파치 위키, 동물원 사육사 sourceforge를 시도했지만 여전히 관련이 없다. http://zookeeper.sourceforge.net/index.sf.shtml 통해 읽었 으므로 이와 같은 서비스가 더 없습니까? 서버 서비스를 복제하는 것만 큼 간단합니까?

376 apache-zookeeper  distributed-computing 

Learning Spark에 따르면 데이터를 다시 파티션하는 것은 비용이 많이 드는 작업입니다. 또한 Spark에는 최적화 된 버전의 repartition()호출 coalesce()이있어 데이터 이동을 피할 수 있지만 RDD 파티션 수를 줄이는 경우에만 가능합니다. 내가 얻는 한 가지 차이점 repartition()은 파티션 수를 늘리거나 줄일 coalesce()수 있지만 파티션 수를 줄이면 줄일 수 있다는 것입니다. 파티션이 여러 …

254 apache-spark  distributed-computing  rdd 

클러스터 모드 개요를 읽었 지만 Spark Standalone 클러스터 의 여러 프로세스 와 병렬 처리를 여전히 이해할 수 없습니다 . 작업자가 JVM 프로세스입니까? 나는을 실행하고 bin\start-slave.sh실제로 JVM 인 작업자를 생성했다는 것을 알았습니다. 위 링크에 따라 실행 프로그램은 작업을 실행하는 작업자 노드의 응용 프로그램에 대해 시작된 프로세스입니다. 집행자는 또한 JVM입니다. 이것들은 나의 …

219 apache-spark  distributed-computing 

의 관점에서 RDD지속성 에서 스파크 cache()와 차이점은 무엇 persist()입니까?

202 apache-spark  distributed-computing  rdd 

저는 Kafka를 처음 접합니다. 나는 그것에 대해 약간의 실험을했지만 소비자 오프셋과 관련하여 몇 가지 분명하지 않습니다. 지금까지 내가 이해 한 바에 따르면, 소비자가 시작할 때, 소비자가 읽을 시작 오프셋은 구성 설정에 따라 결정됩니다 auto.offset.reset(잘못된 경우 수정). 예를 들어 주제에 10 개의 메시지 (오프셋 0 ~ 9)가 있고 소비자가 다운되기 전 …

169 java  distributed-computing  apache-kafka 

10 억 개의 컴퓨터와 100 대의 컴퓨터가 있다면이 숫자의 중앙값을 찾는 가장 좋은 방법은 무엇입니까? 내가 가진 한 가지 해결책은 다음과 같습니다. 컴퓨터간에 세트를 동일하게 분할하십시오. 그것들을 정렬하십시오. 각 세트의 중앙값을 찾으십시오. 중앙값 세트를 정렬하십시오. 가장 낮은 중앙값에서 가장 높은 중앙값까지 한 번에 두 세트를 병합하십시오. 우리가있는 경우 m1 < …

127 algorithm  distributed-computing