Kafka에서는 단일 브로커, 단일 주제 및 하나의 생산자 및 여러 소비자 (각 소비자가 브로커에서 자체 데이터 사본을 가져옴)가있는 단일 파티션 만 사용하고 싶습니다. 이를 감안할 때 Zookeeper를 사용하는 오버 헤드를 원하지 않습니다. 브로커 만 사용할 수 있습니까? 동물원 사육사는 왜해야합니까?
Spark 1.4.0에서 Spark SQL 및 DataFrames를 사용하기 시작했습니다. Scala의 DataFrames에서 사용자 지정 파티 셔 너를 정의하고 싶지만이 작업을 수행하는 방법을 보지 못했습니다. 작업중인 데이터 테이블 중 하나에는 다음 예제에 대한 silimar 계정 별 트랜잭션 목록이 포함되어 있습니다. Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase 50.00 1001 …
의 문서를 읽었습니다 HashPartitioner. 불행히도 API 호출을 제외하고는 많은 설명이 없습니다. 나는 HashPartitioner키의 해시를 기반으로 분산 세트 를 분할 한다는 가정하에 있습니다. 예를 들어 내 데이터가 (1,1), (1,2), (1,3), (2,1), (2,2), (2,3) 따라서 파티 셔 너는 동일한 키가 동일한 파티션에있는 다른 파티션에 이것을 넣습니다. 그러나 생성자 인수의 중요성을 이해하지 못합니다. …