如何在同一个项目中为多个火花应用指定不同的log4j.properties文件?

我的项目有多个spark应用(每个应用都有自己的spark会话),所有这些应用都指向同一个log4j.properties文件,我想为一些作业指定不同的log4j.properties文件(log4j_1.properties)。我想指定不同的log4j.properties文件(log4j_1.properties)的一些工作。我尝试了下面的方法,但它仍然只从原始文件(log4j.properties)中获取配置。

不知道我错过了什么?

conf.set("spark.driver.extraJavaOptions", "-Dlog4j.configuration=file:log4j_1.properties")

注意:我可以在Spark上看到上面的选项设置。

  1. 我可以在SparkUI环境选项卡上看到上面的选项设置。
  2. log4j_1.properties和log4j.properties都在classpath中。

解决方案:

试试

-Dlog4j.configuration=log4j_1.properties

给TA打赏
共{{data.count}}人
人已打赏
未分类

使用Google Cloud Datastore Python库时,应该如何调查内存泄漏?

2022-9-9 5:30:18

未分类

通用号码添加功能

2022-9-9 5:30:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索