Spark-TFRecord: Spark将全面支持TFRecord-低调大师

Spark-TFRecord: Spark将全面支持TFRecord

2020-06-08 759 89

编译：江宇，阿里云EMR技术专家。从事Hadoop内核开发,目前专注于机器学习、深度学习大数据平台的建设。

简介：

在机器学习领域，Apache Spark 由于其支持 SQL 类型的操作以及高效的数据处理，被广泛的用于数据预处理流程，同时 TensorFlow 作为广受欢迎的深度学习框架被广泛的用于模型训练。尽管两个框架有一些共同支持的数据格式，但是，作为 TFRecord—TensorFlow 的原生格式，并没有被 Spark 完全支持。尽管之前有过一些尝试，试图解决两个系统之间的差异(比如 Spark-TensorFlow-Connector),但是现有的实现都缺少很多 Spark 支持的重要特性。

本文中，我们将介绍 Spark 的一个新的数据源，Spark-TFRecord。Spark-TFRecord 的目的是提供在Spar

微信关注我们

原文链接：https://yq.aliyun.com/articles/764420

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2020-06-09 00:00:00

数仓系列 | Flink 窗口的应用与实现

作者 | 张俊（OPPO大数据平台研发负责人）整理 | 祝尚（Flink 社区志愿者）校对 | 邹志业（Flink 社区志愿者）摘要：本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下：整体思路与学习路径应用场景与编程模型工作流程与实现机制 Tips：点击「下方链接」可查看更多数仓系列直播视频～数仓系列直播： https://ververica.cn/developers/flink-training-course-data-warehouse/ 整体思路与学习路径当我们碰到一项新的技术时，我们应该怎样去学习并应用它呢？在我个人看来，有这样一个学习的路径，应该把它拆成应用和实现两块。首先应该从它的应用入手，然后再深入它的实现。应用主要分为三个部分，首先应该了解它的应用场景，比如窗口的一些使用场景。然后，进一步地我们去了解它的编程接口，最后再深入了解它的一些抽象概念。因为一个框架或一项技术，肯定有它的编程接口和抽象概念来组成它的编程模型。我们可以通过查看文档的方...

503

2020-06-09 00:00:00

机器人在零售业中的应用

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！机器人技术在零售业的应用使企业能够改造和增强整个零售价值链。根据一项研究，有80％的企业计划在2020年部署聊天机器人。企业正在部署不同类型的聊天机器人，以作为在线交流的第一个交互点。但现在，机器人技术不仅仅用于在线交流，它也正在慢慢成为离线交流的第一个交互点。如今，人们经常看到机器人在酒店、诊所和零售店扮演接待员的角色。不仅仅是作为接待员，零售店现在几乎在零售链的每个环节都部署了机器人。零售业中的机器人技术可以增强各种操作和服务，以促进可持续增长。在零售业中利用机器人技术全球多家零售店已经实施了机器人技术，以通过增强……来获得好处。 ▲店内顾客服务对于购物者来说，在店内找不到他们想要的商品很郁闷。但现在好了，因为机器人可以帮助购物者了解在哪里可以找到他们想要的东西。机器人在自然语言处理的帮助下，可以理解购物者并帮助他们找到所需的商品。LoweBot是机器人如何增强店内客户体验的一个示例。LoweBot由Lowe创新实验室开发，能够理解多种语言并帮助购物者有效地浏览商店。另一个...

630

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。