欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

idea写spark程序时过滤掉INFO信息

程序员文章站 2022-05-12 22:37:41
...

编写spark程序时,INFO信息导致过多 导致输出非常不好找,因此给他过滤掉

方法一:

在代码中加入

val spark = SparkSession.builder().appName("xx").master("local").getOrCreate()
val sc = spark.sparkContext
sc.setLogLevel("ERROR")//log中只会出现error级别的信息
//sc.setLogLevel("WARN") //log中会出现warn和error级别的信息

方法二:

此方法需要把resources加入source Folder,如果没有在src/main/下新建folder:resources然后:
idea写spark程序时过滤掉INFO信息
在spark安装目录下的conf文件夹下找到log4j.properties.template复制到项目目录下的src/main/resources下并改名为log4j.properties,并修改将

log4j.rootCategory=INFO, console

改成(改成WARN则log中会出现warn和error级别的信息)

log4j.rootCategory=ERROR, console

idea写spark程序时过滤掉INFO信息

相关标签: idea spark log4j