Spark 3.0 终于支持 event logs 滚动了-低调大师

Spark 3.0 终于支持 event logs 滚动了

2020-03-15 768

背景

相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.enabled 参数来启用这个功能，并且通过 spark.eventLog.dir 参数来指定 event log 保存的地方，可以是本地目录或者 HDFS 上的目录，不过一般我们都会将它设置成 HDFS 上的一个目录。

但是这个功能有个问题，就是这个 Spark Job 运行的过程中产生的所有 event log 都是写到单个文件中，这就导致了 event log 文件的大小和这个 Spark Job 的并行度、复杂度以及运行的时间有很大关系。如果我们是运行 Spark Streaming 作业，这个问题特别明显，我们经常看到某个 Spark Strea

微信关注我们

原文链接：https://yq.aliyun.com/articles/749878

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【云栖号案例 | 互联网】墨迹天气：分析日志大数据，洞察用户需求

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司简介我们是北京墨迹风云科技股份有限公司，于2010年成立，是一家以“做卓越的天气服务公司”为目标的新兴移动互联网公司，主要开发和运营的“墨迹天气”是一款免费的天气信息查询软件。我们公司的“墨迹天气”APP目前在全球约有超过5亿人在使用，支持196个国家70多万个城市及地区的天气查询，分钟级、公里级天气预报，实时预报雨雪。提供15天天气预报，5天空气质量预报，实时空气质量及空气质量等级预报，其短时预报功能，可实现未来2小时内，每10分钟一次，预测逐分钟逐公里的天气情况。特殊天气提前发送预警信息，帮助用户更好做出生活决策。在我们的墨迹天气APP上，每天有超过 5 亿次的天气查询需求和将近20亿次的广告请求，这个数字甚至要大于 Twitter 每天发帖量。我们的墨迹天气APP已经集成了多语言版本，可根据手机系统语言自动适配，用户覆盖包括中国大陆、港澳台，日韩及东南亚、欧美等全球各地用户。业务痛点我们的运营团队每天最关心的是用户正在如何使用墨迹，在用户操作中透...

2020-03-16

685

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司简介高德地图旗下的高德开放平台是国内技术领先的LBS服务提供商，拥有先进的数据融合技术和海量的数据处理能力。服务超过三十万款移动应用，日均处理定位请求及路径规划数百亿次。高德开放平台向广大开发者提供覆盖移动端和Web端的开发工具，开发者通过调用开发包或接口即可在应用或网页中实现地图显示、标注、位置检索等功能。使得LBS应用的开发过程更加容易。高德正在进行的位置大数据探索与实践，高德地图开放平台通过其服务的三十万款应用，每日百亿级的位置请求和相关行为，对现实世界做了人群走向、区域热度、行为偏好等分析和洞察，试图通过数据画像还原一个在我们身边熟悉却又陌生的世界。 2014年高德的数据架构依赖Flume进行数据采集，依赖一个仅含几百台机器的hadoop集群和Hive等软件实现数据处理。2014年，高德的数据架构依赖Flume进行数据采集，依赖一个仅含几百台机器的hadoop集群和Hive等软件实现数据处理。2014年9月份高德内部提出“上云”，即将数据迁移到阿里...

2020-03-16

572

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。