«mapreduce» 태그된 질문

-> List에서 간단한 Java를 "변환"하는 방법을 알고 있습니다 .YZ List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); 이제 기본적으로 Map과 동일하게 수행하고 싶습니다. INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } OUTPUT: { "key1" -> 41, // 41 and 42 …

209 java  mapreduce  java-8  java-stream  collectors 

현재로서는이 질문이 Q & A 형식에 적합하지 않습니다. 답변, 사실, 참고 자료 또는 전문 지식을 통해 답변이 뒷받침 될 것으로 예상되지만이 질문은 토론, 논쟁, 여론 조사 또는 광범위한 토론을 요구할 것입니다. 이 질문을 개선하고 다시 열 수 있다고 생각 되면 도움말 센터 를 방문하여 안내를 받으십시오 . 휴일 칠년 전에 …

202 mapreduce 

내 CouchDB 질문과 관련이 있습니다. 누구나 Numbnuts가 이해할 수있는 용어로 MapReduce를 설명 할 수 있습니까?

166 frameworks  mapreduce  glossary 

" Map and Reduce "알고리즘 의 사용을 보증하는 시나리오는 무엇입니까 ? 이 알고리즘의 .NET 구현이 있습니까?

152 c#  mapreduce 

MapReduce를 적용하는 많은 실제 상황에서 최종 알고리즘은 여러 MapReduce 단계가됩니다. 즉, Map1, Reduce1, Map2, Reduce2 등. 따라서 다음 맵에 대한 입력으로 필요한 마지막 감소의 출력이 있습니다. 중간 데이터는 파이프 라인이 성공적으로 완료되면 (일반적으로) 유지하고 싶지 않은 것입니다. 또한이 중간 데이터는 일반적으로 일부 데이터 구조 (예 : '맵'또는 '세트')이기 때문에 이러한 …

124 hadoop  mapreduce 

에 따르면 Hadoop - The Definitive Guide FileInputFormats가 정의하는 논리적 레코드는 일반적으로 HDFS 블록에 깔끔하게 맞지 않습니다. 예를 들어, TextInputFormat의 논리 레코드는 HDFS 경계를 더 자주 교차하는 라인입니다. 이것은 프로그램의 기능에 아무런 영향을 미치지 않습니다. 예를 들어 선이 누락되거나 끊어지지는 않습니다. 그러나 데이터 로컬 맵 (즉, 동일한 호스트에서 실행되는 맵 …

119 hadoop  split  mapreduce  block  hdfs 

Map Reduce 프로그래밍에서 감소 단계에는 하위 부분으로 셔플 링, 정렬 및 감소가 있습니다. 정렬은 비용이 많이 드는 일입니다. Map Reduce Programming의 감속기에서 셔플 링 및 정렬 단계의 목적은 무엇입니까?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

MapReduce의 성능을 입증하는 데 사용되는 주요 예 중 하나는 Terasort 벤치 마크 입니다. MapReduce 환경에서 사용되는 정렬 알고리즘의 기본 사항을 이해하는 데 어려움이 있습니다. 나에게 정렬은 단순히 다른 모든 요소와의 관계에서 요소의 상대적 위치를 결정하는 것을 포함합니다. 따라서 정렬에는 "모든 것"과 "모든 것"을 비교하는 것이 포함됩니다. 평균 정렬 알고리즘 (빠른, …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

닫은. 이 질문은 Stack Overflow 지침을 충족하지 않습니다 . 현재 답변을 받고 있지 않습니다. 이 질문을 개선하고 싶으십니까? Stack Overflow의 주제에 맞게 질문을 업데이트하세요 . 휴일 3 년 전 . 이 질문 개선 그래서 저는 예리한 관심을 가지고 Hadoop 을 살펴 보았습니다. 솔직히 말해서 매료되었습니다. 내 유일한 사소한 문제는 C …

98 c#  .net  hadoop  mapreduce 

Spark 와 Hadoop 간에 종속성이 있습니까? 그렇지 않다면 Hadoop 없이 Spark 를 실행할 때 놓칠 기능이 있습니까?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

MongoDB의 $in절을 사용할 때 반환 된 문서의 순서가 항상 배열 인수의 순서와 일치합니까?

87 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

Hadoop v1에서는 크기가 1GB 인 7 개의 매퍼와 감속기 슬롯을 각각 할당했으며 매퍼 및 감속기가 정상적으로 실행됩니다. 내 컴퓨터에는 8G 메모리, 8 프로세서가 있습니다. 이제 YARN을 사용하여 동일한 시스템에서 동일한 응용 프로그램을 실행할 때 컨테이너 오류가 발생했습니다. 기본적으로 다음 설정이 있습니다. <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> …

85 hadoop  mapreduce  yarn  mrv2 

특히 Google의 대규모 병렬 컴퓨팅 시스템과 관련하여 map / reduce에 대해 많이 듣습니다. 정확히 무엇입니까?

84 language-agnostic  mapreduce 

Hadoop에서 작업 감소는 언제 시작됩니까? 매퍼의 특정 비율 (임계 값)이 완료된 후에 시작됩니까? 그렇다면이 임계 값이 고정되어 있습니까? 일반적으로 어떤 종류의 임계 값이 사용됩니까?

81 hadoop  mapreduce  reduce 

지금은 꽤 큰 이름의 카운터를 만드는 Hadoop 작업이 있습니다. 예를 들면 다음과 같습니다 stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits.. 이 카운터는 웹 인터페이스 및 getName()메서드 호출 에서 잘립니다 . Hadoop에는 카운터 최대 이름에 제한이 있으며이 설정 ID mapreduce.job.counters.counter.name.max는이 제한을 구성하기위한 것임을 알았습니다 . 그래서 나는 이것을 증가 시켰고 500웹 인터페이스는 이제 전체 카운터 이름을 보여줍니다. …

79 java  hadoop  mapreduce  yarn