«yarn» 태그된 질문

YARN에서 Spark 작업을 실행할 때 코어 수와 실행기 수의 관계를 이해하려고합니다. 테스트 환경은 다음과 같습니다. 데이터 노드 수 : 3 데이터 노드 머신 사양 : CPU : 코어 i7-4790 (코어 수 : 4, 스레드 수 : 8) RAM : 32GB (8GB x 4) HDD : 8TB (2TB x 4) 네트워크 …

194 hadoop  apache-spark  yarn 

다른 애플리케이션에 리소스가 할당되지 않는 모든 코어를 차지하는 Spark 애플리케이션이 실행 중입니다. 나는 몇 가지 빠른 조사를 수행했으며 사람들은 YARN kill 또는 / bin / spark-class를 사용하여 명령을 죽일 것을 제안했습니다. 그러나 CDH 버전을 사용하고 있으며 / bin / spark-class는 전혀 존재하지 않으며 YARN kill 응용 프로그램도 작동하지 않습니다. 나와 …

101 apache-spark  yarn  pyspark 

Hadoop v1에서는 크기가 1GB 인 7 개의 매퍼와 감속기 슬롯을 각각 할당했으며 매퍼 및 감속기가 정상적으로 실행됩니다. 내 컴퓨터에는 8G 메모리, 8 프로세서가 있습니다. 이제 YARN을 사용하여 동일한 시스템에서 동일한 응용 프로그램을 실행할 때 컨테이너 오류가 발생했습니다. 기본적으로 다음 설정이 있습니다. <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> …

85 hadoop  mapreduce  yarn  mrv2 

지금은 꽤 큰 이름의 카운터를 만드는 Hadoop 작업이 있습니다. 예를 들면 다음과 같습니다 stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits.. 이 카운터는 웹 인터페이스 및 getName()메서드 호출 에서 잘립니다 . Hadoop에는 카운터 최대 이름에 제한이 있으며이 설정 ID mapreduce.job.counters.counter.name.max는이 제한을 구성하기위한 것임을 알았습니다 . 그래서 나는 이것을 증가 시켰고 500웹 인터페이스는 이제 전체 카운터 이름을 보여줍니다. …

79 java  hadoop  mapreduce  yarn