Apache Spark 3.1 发布

2021-03-04 547

Apache Spark 3.1 作为 Databricks Runtime 8.0 的一部分已正式发布，这也是 Apache Spark 3.x 系列的第二个 release。开发团队表示，为了让 Spark 更快、更方便使用以及更智能，Spark 3.1 对以下特性进行了扩展：

Python 可用性
ANSI SQL 合规性
查询优化增强
改进 Shuffle hash join
History Server 对结构化流数据的支持

下面简单介绍部分高级的新功能和改进。

Project Zen

Project Zen 启动于此版本，主要从以下三个方面改进了 PySpark 的可用性。

更加 Python 化
在 PySpark 中提供更好和更易用的可用性
提供与其他 Python 库更好的互操作性

ANSI SQL 合规性

该版本增加了针对 ANSI SQL 合规性的额外改进，有助于简化从传统数据仓库系统到 Spark 的工作负载迁移。

性能

Catalyst 是用于优化大多数 Spark 应用的查询编译器。在 Databricks 中，每天有数十亿次查询被优化和执行。此版本增强了查询优化 (query optimization)，以及提升查询处理 (query processing) 的速度。

流处理

Spark 是构建分布式流处理应用程序的最佳平台。每天有超过 10 万亿条记录在 Databricks 上使用 structured streaming 进行处理。此版本增强了 structured streaming 的监控能力、可用性和功能。

Spark 3.1 其他更新

除了上述这些新功能，此版本还关注可用性、稳定性和完善性，处理了约 1500 个工单。

更多内容查看 release 公告。

下载地址：https://spark.apache.org/downloads.html

微信关注我们

原文链接：https://www.oschina.net/news/131929/apache-spark-3-1-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OpenSSH 8.5 发布

OpenSSH 8.5 已经发布， OpenSSH 是 100％完整的 SSH 协议 2.0 版本的实现，并且包括 sftp 客户端和服务器支持，它用于远程登录的主要连接工具。OpenSSH 对所有流量进行加密，避免窃听、连接劫持等攻击。此外，OpenSSH 还提供了一整套安全隧道功能、多种身份验证方法和复杂的配置选项。主要更新内容安全性 ssh-agent(1): 修正了一个重复释放内存的问题，该问题在 OpenSSH 8.2 中引入可移植的 sshd(8)：防止过长的用户名进入 PAM。这是为了缓解 Solaris 的 PAM 用户名处理中的缓冲区溢出问题 (CVE-2020-14871)，并且只对 Sun 派生的 PAM 实现启用。这不是 sshd 本身的问题，它只是防止 sshd 被用作攻击 Solaris 的 PAM 的载体。它并不能阻止 PAM 中的错误被其他 PAM 应用程序所利用兼容性相关 ssh(1)、sshd(8)：这个版本将第一优先签名算法从 ECDSA 改为 ED25519 ssh(1)、sshd(8)：在 TCP 连接之前，设置配置中指定的 TOS...

2021-03-05

710

Dart 2.12 已于昨日发布，此版本带来了稳定的空类型安全声明 (sound null safety) 和 Dart FFI。空类型安全声明可帮助开发者避免 null 错误——这类错误往往很难被发现。FFI (Foreign Function Interface) 是一种互操作性机制，开发者可通过它调用使用 C 语言编写的现成代码，例如调用 Windows Win32 API。空类型安全声明 (sound null safety) 空类型安全声明 (sound null safety) 是自 Dart 2.0 引入声明类型系统 (sound type system) 以来，对 Dart 语言最大的补充。空类型安全 (null safety) 进一步增强了类型系统，让开发者在开发阶段即可捕获 null 错误，从而防止在生产环境出现崩溃，毕竟 null 错误是导致应用崩溃的常见原因。 Dart 的空类型安全支持基于三条核心原则：默认情况下不可为空逐步采用空类型安全声明完全空类型安全声明 Dart FFI，用于将 C 类库与 Dart 集成 Dart FFI 让开发者能够利用 C...

2021-03-05

609

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。