NVIDIA 合作开源社区，将 GPU 加速带入 Spark 3.0-低调大师

NVIDIA 合作开源社区，将 GPU 加速带入 Spark 3.0

2020-05-17 744

NVIDIA 方面宣布与开源社区达成合作，为 Apache Spark 3.0 带来端到端的 GPU 加速。 Apache Spark 3.0 是一种用于大数据处理的分析引擎，目前已被全球超过 500,000 名数据科学家所使用。

按照计划，随着 Spark 3.0 于春季晚些时候发布，数据科学家和机器学习工程师将首次能够把革命性的 GPU 加速应用于普遍使用 SQL 数据库操作进行的 ETL（提取、转换和加载）数据处理工作负载中。

此外，AI 模型训练将能够在相同的 Spark 集群上进行处理，而不是将工作负载作为单独的流程在单独的基础架构上运行。这样就可以对整个数据科学的处理流程进行高性能数据分析，对从数据湖到模型训练所涉及的数十、乃至数千 TB 的数据进行加速，而且无需对已被应用于本地和云端 Spark 应用程序的现有代码进行修改。

NVIDIA 企业计算部门负责人 Manuvir Das 表示：“数据分析是当今企业和研究人员面临的最大的高性能计算挑战。” “从 ETL 到培训再到推理，整个 Spark 3.0 方案的原生 GPU 加速为用户提供了最终将大数据潜力与 AI 性能相连所需的性能和规模。 ”

基于与 NVIDI A的战略 AI 合作关系，Adobe 是最早在 Databricks 上运行 Spark 3.0 预览版的公司之一。Adobe 已在 Adobe Experience Cloud 中使用 GPU 加速数据分析技术进行产品开发，并为各项推进数字化业务进程的功能提供支持。并且在初步测试中，其已将性能提高了 7 倍，以及节省了 90％的成本。

性能提升后的 Spark 3.0 让科学家能够训练包含有更大数据集的模型，并增加反复训练模型的频率，从而提高模型的精度。现在，数据科学家每天可以处理数TB的新数据，这对于需要为在线推荐系统提供支持或分析新研究数据的数据科学家们而言至关重要。此外，处理速度的加快，减少了交付结果所需的硬件资源，从而节省了大量成本。

Adobe 机器学习高级总监 William Yan 表示：“相比于在 CPU 上运行 Spark，NVIDIA 加速的 Spark 3.0 性能速度得到了大幅提高。伴随着 GPU 性能的飞跃性提升，也将为我们全套 Adobe Experience Cloud 应用中 AI 功能的提升带来新的可能性。”

NVIDIA正在为 Apache Spark 贡献一种新的开源 RAPIDS 加速器，以帮助数据科学家提高其数据流程的端到端性能。该加速器能够将之前需要在 CPU 上运行的功能转到 GPU 上运行，以发挥 GPU 的性能：

在无需更改任何代码的情况下显着提高 Spark SQL 和 DataFrame 的运行性能，从而加速 Spark 中的 ETL 数据流程。
无需独立的机器学习和深度学习集群，即可在相同的基础架构上加速数据准备和模型训练。
加速 Spark 分布式集群中各节点之间的数据传输性能。这些资源库使用 UCF Consortium 的开源 UCX（Unified Communication X）框架，并通过使数据直接在 GPU 内存之间移动来最大程度地减少延迟。

Spark 3.0 预览版下载地址：https://spark.apache.org/downloads.html

微信关注我们

原文链接：https://www.oschina.net/news/115712/nvidia-accelerates-apache-spark

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | 大规格文件的上传优化

作者：凹凸曼 - TJ 在开发过程中，收到这样一个问题反馈，在网站上传 100 MB 以上的文件经常失败，重试也要等老半天，这就难为需要上传大规格文件的用户了。那么应该怎么做才能快速上传，就算失败了再次发送也能从上次中断的地方继续上传呢？下文为你揭晓答案~ 温馨提示：配合 Demo 源码一起阅读效果更佳整体思路第一步是结合项目背景，调研比较优化的解决方案。文件上传失败是老生常谈的问题，常用方案是将一个大文件切片成多个小文件，并行请求接口进行上传，所有请求得到响应后，在服务器端合并所有的分片文件。当分片上传失败，可以在重新上传时进行判断，只上传上次失败的部分，减少用户的等待时间，缓解服务器压力。这就是分片上传文件。大文件上传那么如何实现大文件分片上传呢？流程图如下：分为以下步骤实现： 1. 文件 MD5 加密 MD5 是文件的唯一标识，可以利用文件的 MD5 查询文件的上传状态。根据文件的修改时间、文件名称、最后修改时间等信息，通过 spark-md5 生成文件的 MD5。需要注意的是，大规格文件需要分片读取文件，将读取的文件内容添加到 spark-md5 的 hash ...

2020-05-17

561

时隔多年，德国慕尼黑市再次拥抱开源。最近当选的慕尼黑执政联盟在一项联合协议中表示，在技术和经济可行的情况下，该市将重点放在开放标准和自由开源软件上。联盟将执政到 2026 年，原则是“public money, public code”，意味着只要不涉及任何机密或个人数据，市政府相关软件都将开源，微软 Windows 与 Office 等软件再次被抛弃。这一决定受到不少批评，毕竟此前慕尼黑已经尝试过从微软系软件切换到 Linux，再从 Linux 切换到 Win 10。过程中的经济成本巨大，花费时间也比较长。 2003 年，慕尼黑市议会投票通过启动 LiMux 项目（基于 Ubuntu 的“慕尼黑发行版”），将所有的政府软件系统和公务员的个人电脑从 Windows 迁移到开源软件平台。到 2013 年，该市政府中 80％的台式机都运行 LiMux 软件。 2017 年，在尝试了 15 年的 Linux 和开源软件后，最终还是撑不下去了，慕尼黑正式决定重返Windows。有人认为慕尼黑市政府正试图从微软获得更多的好处，言下之意是为了与微软有更多谈判筹码，也有人觉得这是政治决定。

2020-05-17

652

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。