Spark Summit EU重头戏：TensorFlow、结构化的流和GPU硬件加速-低调大师

Spark Summit EU重头戏：TensorFlow、结构化的流和GPU硬件加速

2017-07-02 509

Spark Summit EU 2016 上星期在布鲁塞尔召开，其中大会中的重头戏是Apache Spark 集成深度学习库 TensorFlow、使用结构化的流进行在线学习和GPU硬件加速。

大会第一日最具特色的是预览了由Spark 2.0引入的一个创新。该API是针对DataFrames和Datasets简化了的接口，使其更容易去开发大数据应用。这个第二代的 Tungsten 引擎通过把MPP数据库的理念应用到数据处理查询使处理更接近于硬件了：针对中间数据和以节省空间的面向列方式保存在内存中的数据，生成的字节码充分利用CPU寄存器的能力。

不管API是否使用过，数据操作图都是通过Catalyst Optimizer优化过的，它针对所有集群上的计算指令生成执行计划，并针对每个操作进行优化。

结构化的流，这是作为阿尔法版针对流发布的一个新的高层API，在本次大会中也做了推介。该API集成了Spark的Dataset和DataFrame，使开发人员可以以类似于Spark批量API的方式描述从（到）外部系统的数据读写。它通过以批处理指令的方式编译流处理指令提供了很强的一致性，并使事务型系统可以与存储系统集成在一起（比如HDFS和AWS S3）。

在大会第二天，Databricks的CEO Ali Ghodsi将Spark描绘成了将AI大众化的一款工具，它简化了机器语言算法的数据准备和计算指令的管理。今年早些时候，深度学习类库TensorFlow通过一个称为 TensorFrames的类库集成运行于Spark之上。这个类库允许在DataFrames和TensorFlow之间在运行期传递数据。

数据科学专题召开了一个会议，主要围绕的主题是如何结构化流使机器学习具有弹性，并使其可以做到在线学习，这就有可能做到根据到达的数据去更新一些机器学习模型了，而不是采用一批离线任务去执行模型训练。

最后一个重头戏是在Databricks平台支持GPU和更多深度学习类库集成的公告。GPU的支持是通过像CUDA这样的硬件类库完成的，并可以在Databricks中预先构建它，据说这样集群设置成本就会有更低了。

查看英文原文：Spark Summit EU Highlights: TensorFlow, Structured Streaming and GPU Hardware Acceleration

本文转自d1net（转载）

微信关注我们

原文链接：https://yq.aliyun.com/articles/154158

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

你们是不是真的很缺大数据工程师？

其实个人在大数据在大数据这个坑中，细细算来，时间也有3+年了，从一开始做大数据中心平台开发构建，到现在关注的数据上层应用挖掘。所以，基本上从数据收集->数据处理(离线实时，并且还勉强算是国内实时处理早期的实践者)->数据上层应用挖掘，这个链路都走了一遍。所以，有些东西、有些想法我还是愿意分享出来的，畅所欲言吧~~ 00 缘起之所以有这个话题，是因为周末加班中午吃饭与一个同行朋友聊起了这个话题，之后再细细地结合一些其他接触的东西，确实是有些感触的。并且对于行业的一些现状，也的确有些自己的看法，对不对先不论，这玩意儿也没有对错之分，每个人都有自己想法，当然也包括我博客虫了。所以，有些东西、有些想法我还是愿意分享出来的，畅所欲言吧~~ 01 我眼中的大数据现状! 其实个人在大数据在大数据这个坑中，细细算来，时间也有3+年了，从一开始做大数据中心平台开发构建，到现在关注的数据上层应用挖掘。所以，基本上从数据收集->数据处理(离线实时，并且还勉强算是国内实时处理早期的实践者)->数据上层应用挖掘，这个链路都走了一遍。并且，加上手里一千多人的大数据圈子，以及有过发起...

2017-07-03

448

众所周知，大数据正在以惊人的速度增长，几乎触及各行各业，许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据，当然这么做的目的不只是管理和控制数据，而是要分析和挖掘其中的价值，来促进业务的发展。想要深入发展大数据，闭门造车是不可能的，共通共融是现在趋势，因此，开源让越来越多的项目可以直接采用大数据技术。如今，从小型初创企业到行业巨头，各种规模的供应商都在使用开源来处理大数据和运行预测分析。借助开源与云计算技术，新兴公司甚至在很多方面都可以与大厂商抗衡。开源大数据的优势不言而喻，但在众多的开源工具中该如何抉择？本文中大数据领域的十个巨头，将有助于你更深入掌握大数据这个行业的发展形势。 Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 Spark——使用简单、支持所有重要的大数据语言(Scala、Python、Java、R)。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法...

2017-07-03

477

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。