雅虎开源了TensorFlowOnSpark-低调大师

雅虎开源了TensorFlowOnSpark

2017-07-04 566

雅虎开源了TensorFlowOnSpark，数据科学家和工程师们可以直接利用运行于CPU/GPU架构上的Spark或者Hadoop做分布式模型训练。据报道，这个库支持把现有的TensorFlow程序切换到新的API，同时实现了模型训练的性能提升。

在开源公告里，雅虎说明了TensorFlowOnSpark想解决的问题，比如在深度神经网络训练中管理Spark数据管线之外的其他集群带来的运维负载，以网络I/O为瓶颈的数据集在训练集群的传入和传出，令人讨厌的系统复杂性，以及端到端的整体学习时延。TensorFlowOnSpark的工作和雅虎之前开源的CaffeOnSpark相似。现有的对TensorFlow和Spark的集成所做的努力，有DataBricks的TensorFrame，以及Amp Lab 的SparkNet，这些对于雅虎来说都是在正确方向上的迈进，但是在允许TensorFlow进程之间直接通信方面还是有所欠缺。雅虎的目标之一，是让TensorFlowOnSpark成为一个完全对Spark兼容的API，在一个Spark处理工作流里，其集成能力能跟SparkSQL、MLib以及其他Spark核心库一样好。

在架构上，它把给定TensorFlow算法和TensorFlow core放在一个Spark Executor中，并让TensorFlow任务能够通过TensorFlow的文件阅读器和QueueRunners直接获取HDFS数据，这是一种有着更少网络I/O以及“把计算带给数据”的方案。TensorFlowOnSpark在语义上就支持对执行器的端口预留和监听，对数据和控制函数的消息轮询，TensorFlow主函数的启动，数据注入，直接从HDFS读取数据的阅读器和queue-runner机制，通过feed_dict向TensorFlow注入Spark RDD，以及关机。

除了TensorFlowOnSpark，雅虎还在他们自己的分支上扩展了TensorFlow核心C++引擎以在Infiniband里使用RDMA，这个需求在TensorFlow主项目里被提出过还产生了相关讨论。雅虎的Andy Feng注意到，使用RDMA而不是gRPC来做进程间通信，在不同的网络里会带来百分之十到百分之两百不等的训练速度的提升。

本文转自d1net（转载）

微信关注我们

原文链接：https://yq.aliyun.com/articles/163760

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute( 原ODPS）下的表分区解释

大数据计算服务（MaxCompute，原名 ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。 ODPS分区字段一般来说都是重复性非常强的字段，比如说时间，某一天可能会产生几万条数据，把这一天产生的数据就存入到一个分区中，而时间（某天）就是分区字段，时间（某天）所在的列就是分区列。也就是说，基于分区列的数据作为一个纬度，进行了数据块的划分存储，加快查询速度。每一个分区块里面的数据是完整性的，而不是分区列里的一列或者几列数据。在ODPS中最多支持六级分区。也就是说partition by里面

2017-07-05

651

首先hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streamingaccess)文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。一句话来讲Hadoop就是存储加计算。 Hadoop这个名字不是一个缩写，而是一个虚构的名字。该项目的创建者，DougCutting解释Hadoop的得名：“这个名字是我孩子给一个棕黄色的大象玩具命名的。 Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点： 1、高可靠性Hadoop按位存储和处理数据的能力值得人们信赖...

2017-07-05

363

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。