[Spark]如何设置使得spark程序不输出 INFO级别的内容-低调大师

[Spark]如何设置使得spark程序不输出 INFO级别的内容

2017-12-11 738

Spark程序在运行的时候，总是输出很多INFO级别内容

查看了网上的一些文章，进行了试验。

发现在 /etc/spark/conf 目录下，有一个 log4j.properties.template

$cp log4j.properties.template log4j.properties

然后，修改下面的这一个行：
log4j.rootCategory=INFO, console

改成：
log4j.rootCategory=ERROR, console

再次运行时，不再出现大量的INFO 信息了。

本文转自健哥的数据花园博客园博客，原文链接：http://www.cnblogs.com/gaojian/p/7749467.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/354900

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute Studio 2.8.2 新版本发布啦！

新特性概览新功能可视化建表；历史job日志保存，查看本地job日志文件。查看历史通过studio提交运行的sql。重点优化项优化Editor性能，解决大脚本文件实时编译卡顿问题。可编辑代码模板。 Builtln Functions更新2.0扩展的函数。新功能介绍可视化建表提供可视化建表，更全面的对MaxCompute数据表进行管理。在project explorer右击项目，选择“Create a new table”，在弹框里填写好tablename、comment、column，点击“Generate CreateTable Statement”生成建表语句后，点击“Excute”执行建表语句。历史job日志保存、查看 MaxCompute的日志logview默认保留7天，若需要查看7天前的job日志，目前只能查看job基本信息，

2017-12-12

662

[Spark][Python]DataFrame中取出有限个记录的例子： sqlContext = HiveContext(sc) peopleDF = sqlContext.read.json("people.json") peopleDF.limit(3).show() === [training@localhost ~]$ hdfs dfs -cat people.json {"name":"Alice","pcode":"94304"} {"name":"Brayden","age":30,"pcode":"94304"} {"name":"Carla","age":19,"pcoe":"10036"} {"name":"Diana","age":46} {"name":"Etienne","pcode":"94104"} [training@localhost ~]$ In [1]: sqlContext = HiveContext(sc) In [2]: peopleDF = sqlContext.read.json("people.json") 17/10/05 05:0...

2017-12-12

544

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。