文档开发者中心
我的

log4j配置-spark on yarn client mode


spark streaming的程序如果运行方式是yarn client mode,那么如何指定driver和executor的log4j配置文件?

Driver

添加参数--driver-java-options


 spark-submit --driver-java-options "-Dlog4j.configuration=file:/data1/conf/log4j-driver.properties"


Executor


由于executor是运行在yarn的集群中的,所以先要将配置文件通过--files上传


spark-submit --files /data1/conf/log4j.properties --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j.properties"


在log4j.properties中要注意配置spark.yarn.app.container.log.dir例如


log4j.rootLogger=INFO, filelog4j.appender.file=org.apache.log4j.RollingFileAppenderlog4j.appender.file.append=truelog4j.appender.file.file=${spark.yarn.app.container.log.dir}/stdoutlog4j.appender.file.MaxFileSize=256MBlog4j.appender.file.MaxBackupIndex=20 log4j.appender.file.layout=org.apache.log4j.PatternLayoutlog4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %p [%t] %c{1}:%L - %m%n # Settings to quiet third party logs that are too verboselog4j.logger.org.spark-project.jetty=WARNlog4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERRORlog4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFOlog4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO


这样就可以在spark的Web UI中直接查看日志


其他

如果是通过java -cp命令运行自己的jar包,可以通过下面的方式添加log4j的配置


java -cp -Dlog4j.configuration=file:${APP_HOME}/conf/log4j.properties


BY:HW-XTF


点赞
收藏
回复
46
分享
举报
浏览783 发布于2020-02-04 07:35未知归属地
全部评论
最多点赞
最新发布
最早发布
40楼回复于2020-02-04 07:49 未知归属地

辛苦啦,多谢分享啊。


46楼回复于2020-02-06 12:35 未知归属地

这篇可以,干货挺多啊


45楼回复于2020-02-04 17:12 未知归属地

更多文章:跟我一起复习Java系列

44楼回复于2020-02-04 07:49 未知归属地
43楼回复于2020-02-04 07:49 未知归属地
42楼回复于2020-02-04 07:49 未知归属地
41楼回复于2020-02-04 07:49 未知归属地
39楼回复于2020-02-04 07:49 未知归属地
38楼回复于2020-02-04 07:49 未知归属地
37楼回复于2020-02-04 07:48 未知归属地
共5页
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要发帖子

目录 收起
Driver
Executor
其他
了解社区公约,与您携手共创和谐专业的开发者社区。