Apache Spark 3.1 发布

2021-03-04 704

Apache Spark 3.1 作为 Databricks Runtime 8.0 的一部分已正式发布，这也是 Apache Spark 3.x 系列的第二个 release。开发团队表示，为了让 Spark 更快、更方便使用以及更智能，Spark 3.1 对以下特性进行了扩展：

Python 可用性
ANSI SQL 合规性
查询优化增强
改进 Shuffle hash join
History Server 对结构化流数据的支持

下面简单介绍部分高级的新功能和改进。

Project Zen

Project Zen 启动于此版本，主要从以下三个方面改进了 PySpark 的可用性。

更加 Python 化
在 PySpark 中提供更好和更易用的可用性
提供与其他 Python 库更好的互操作性

ANSI SQL 合规性

该版本增加了针对 ANSI SQL 合规性的额外改进，有助于简化从传统数据仓库系统到 Spark 的工作负载迁移。

性能

Catalyst 是用于优化大多数 Spark 应用的查询编译器。在 Databricks 中，每天有数十亿次查询被优化和执行。此版本增强了查询优化 (query optimization)，以及提升查询处理 (query processing) 的速度。

流处理

Spark 是构建分布式流处理应用程序的最佳平台。每天有超过 10 万亿条记录在 Databricks 上使用 structured streaming 进行处理。此版本增强了 structured streaming 的监控能力、可用性和功能。

Spark 3.1 其他更新

除了上述这些新功能，此版本还关注可用性、稳定性和完善性，处理了约 1500 个工单。

更多内容查看 release 公告。

下载地址：https://spark.apache.org/downloads.html

微信关注我们

原文链接：https://www.oschina.net/news/131929/apache-spark-3-1-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OpenSSH 8.5 发布

OpenSSH 8.5 已经发布， OpenSSH 是 100％完整的 SSH 协议 2.0 版本的实现，并且包括 sftp 客户端和服务器支持，它用于远程登录的主要连接工具。OpenSSH 对所有流量进行加密，避免窃听、连接劫持等攻击。此外，OpenSSH 还提供了一整套安全隧道功能、多种身份验证方法和复杂的配置选项。主要更新内容安全性 ssh-agent(1): 修正了一个重复释放内存的问题，该问题在 OpenSSH 8.2 中引入可移植的 sshd(8)：防止过长的用户名进入 PAM。这是为了缓解 Solaris 的 PAM 用户名处理中的缓冲区溢出问题 (CVE-2020-14871)，并且只对 Sun 派生的 PAM 实现启用。这不是 sshd 本身的问题，它只是防止 sshd 被用作攻击 Solaris 的 PAM 的载体。它并不能阻止 PAM 中的错误被其他 PAM 应用程序所利用兼容性相关 ssh(1)、sshd(8)：这个版本将第一优先签名算法从 ECDSA 改为 ED25519 ssh(1)、sshd(8)：在 TCP 连接之前，设置配置中指定的 TOS...

2021-03-04

881

Dart 2.12 已于昨日发布，此版本带来了稳定的空类型安全声明 (sound null safety) 和 Dart FFI。空类型安全声明可帮助开发者避免 null 错误——这类错误往往很难被发现。FFI (Foreign Function Interface) 是一种互操作性机制，开发者可通过它调用使用 C 语言编写的现成代码，例如调用 Windows Win32 API。空类型安全声明 (sound null safety) 空类型安全声明 (sound null safety) 是自 Dart 2.0 引入声明类型系统 (sound type system) 以来，对 Dart 语言最大的补充。空类型安全 (null safety) 进一步增强了类型系统，让开发者在开发阶段即可捕获 null 错误，从而防止在生产环境出现崩溃，毕竟 null 错误是导致应用崩溃的常见原因。 Dart 的空类型安全支持基于三条核心原则：默认情况下不可为空逐步采用空类型安全声明完全空类型安全声明 Dart FFI，用于将 C 类库与 Dart 集成 Dart FFI 让开发者能够利用 C...

2021-03-04

794

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。