«hadoop» 태그된 질문

Hadoop은 안정적이고 확장 가능한 분산 컴퓨팅을위한 소프트웨어를 제공하는 Apache 오픈 소스 프로젝트입니다. 코어는 분산 파일 시스템 (HDFS)과 리소스 관리자 (YARN)로 구성됩니다. Apache Hive와 같은 다양한 기타 오픈 소스 프로젝트는 Apache Hadoop을 지속성 계층으로 사용합니다.

2
Hadoop 잘림 / 일관되지 않은 카운터 이름
지금은 꽤 큰 이름의 카운터를 만드는 Hadoop 작업이 있습니다. 예를 들면 다음과 같습니다 stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits.. 이 카운터는 웹 인터페이스 및 getName()메서드 호출 에서 잘립니다 . Hadoop에는 카운터 최대 이름에 제한이 있으며이 설정 ID mapreduce.job.counters.counter.name.max는이 제한을 구성하기위한 것임을 알았습니다 . 그래서 나는 이것을 증가 시켰고 500웹 인터페이스는 이제 전체 카운터 이름을 보여줍니다. …
79 java  hadoop  mapreduce  yarn 
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.