Spark-TFRecord: Spark将全面支持TFRecord-低调大师

Spark-TFRecord: Spark将全面支持TFRecord

2020-06-08 772

编译：江宇，阿里云EMR技术专家。从事Hadoop内核开发,目前专注于机器学习、深度学习大数据平台的建设。

简介：

在机器学习领域，Apache Spark 由于其支持 SQL 类型的操作以及高效的数据处理，被广泛的用于数据预处理流程，同时 TensorFlow 作为广受欢迎的深度学习框架被广泛的用于模型训练。尽管两个框架有一些共同支持的数据格式，但是，作为 TFRecord—TensorFlow 的原生格式，并没有被 Spark 完全支持。尽管之前有过一些尝试，试图解决两个系统之间的差异(比如 Spark-TensorFlow-Connector),但是现有的实现都缺少很多 Spark 支持的重要特性。

本文中，我们将介绍 Spark 的一个新的数据源，Spark-TFRecord。Spark-TFRecord 的目的是提供在Spar

微信关注我们

原文链接：https://yq.aliyun.com/articles/764420

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数仓系列 | Flink 窗口的应用与实现

作者 | 张俊（OPPO大数据平台研发负责人）整理 | 祝尚（Flink 社区志愿者）校对 | 邹志业（Flink 社区志愿者）摘要：本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下：整体思路与学习路径应用场景与编程模型工作流程与实现机制 Tips：点击「下方链接」可查看更多数仓系列直播视频～数仓系列直播： https://ververica.cn/developers/flink-training-course-data-warehouse/ 整体思路与学习路径当我们碰到一项新的技术时，我们应该怎样去学习并应用它呢？在我个人看来，有这样一个学习的路径，应该把它拆成应用和实现两块。首先应该从它的应用入手，然后再深入它的实现。应用主要分为三个部分，首先应该了解它的应用场景，比如窗口的一些使用场景。然后，进一步地我们去了解它的编程接口，最后再深入了解它的一些抽象概念。因为一个框架或一项技术，肯定有它的编程接口和抽象概念来组成它的编程模型。我们可以通过查看文档的方...

2020-06-09

514

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！机器人技术在零售业的应用使企业能够改造和增强整个零售价值链。根据一项研究，有80％的企业计划在2020年部署聊天机器人。企业正在部署不同类型的聊天机器人，以作为在线交流的第一个交互点。但现在，机器人技术不仅仅用于在线交流，它也正在慢慢成为离线交流的第一个交互点。如今，人们经常看到机器人在酒店、诊所和零售店扮演接待员的角色。不仅仅是作为接待员，零售店现在几乎在零售链的每个环节都部署了机器人。零售业中的机器人技术可以增强各种操作和服务，以促进可持续增长。在零售业中利用机器人技术全球多家零售店已经实施了机器人技术，以通过增强……来获得好处。 ▲店内顾客服务对于购物者来说，在店内找不到他们想要的商品很郁闷。但现在好了，因为机器人可以帮助购物者了解在哪里可以找到他们想要的东西。机器人在自然语言处理的帮助下，可以理解购物者并帮助他们找到所需的商品。LoweBot是机器人如何增强店内客户体验的一个示例。LoweBot由Lowe创新实验室开发，能够理解多种语言并帮助购物者有效地浏览商店。另一个...

2020-06-09

640

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。