«spark-submit» 태그된 질문

스파크 셸에서 오는 다양한 메시지를 중지하고 싶습니다. log4j.properties이 메시지를 멈추기 위해 파일 을 편집하려고했습니다 . 내용은 다음과 같습니다 log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose log4j.logger.org.eclipse.jetty=WARN log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR …

181 apache-spark  log4j  spark-submit 

사실 ... 그것은 꽤 많이 논의되었습니다. 그러나 jar / executor / driver 구성 또는 옵션에서 jar 참조 복제를 포함하여 많은 모호성과 일부 답변이 제공됩니다. 모호하거나 생략 된 세부 사항 다음의 모호성, 불분명하거나 생략 된 세부 사항은 각 옵션에 대해 명확해야합니다. ClassPath가 영향을받는 방법 운전사 집행자 (작업 실행) 양자 모두 전혀 …

158 java  scala  apache-spark  jar  spark-submit