idea写spark程序时过滤掉INFO信息
程序员文章站
2022-05-12 22:37:41
...
编写spark程序时,INFO信息导致过多 导致输出非常不好找,因此给他过滤掉
方法一:
在代码中加入
val spark = SparkSession.builder().appName("xx").master("local").getOrCreate()
val sc = spark.sparkContext
sc.setLogLevel("ERROR")//log中只会出现error级别的信息
//sc.setLogLevel("WARN") //log中会出现warn和error级别的信息
方法二:
此方法需要把resources加入source Folder,如果没有在src/main/下新建folder:resources然后:
在spark安装目录下的conf文件夹下找到log4j.properties.template复制到项目目录下的src/main/resources下并改名为log4j.properties,并修改将
log4j.rootCategory=INFO, console
改成(改成WARN则log中会出现warn和error级别的信息)
log4j.rootCategory=ERROR, console
上一篇: 网站策划是网站运营的最尴尬职位
下一篇: 强烈推荐的几个国内旅游好去处