利用TFRecord和HDFS准备TensorFlow训练数据-低调大师

利用TFRecord和HDFS准备TensorFlow训练数据

2017-05-23 717

本系列将利用阿里云容器服务的机器学习解决方案，帮助您了解和掌握TensorFlow，MXNet等深度学习库，开启您的深度学习之旅。

第一篇：打造深度学习的云端实验室
第二篇： GPU资源的监控和报警，支撑高效深度学习的利器
第三篇：利用TFRecord和HDFS准备TensorFlow训练数据

数据准备和预处理是一个深度学习训练过程中扮演着非常重要的角色，它影响着模型训练的速度和质量。

而TensorFlow对于HDFS的支持，将大数据与深度学习相集成，完善了从数据准备到模型训练的完整链条。在阿里云容器服务深度学习解决方案中，为TensoFlow提供了OSS，NAS和HDFS三种分布式存储后端的支持。

本文将介绍如何将数据转化为TFRecord格式，并且将生成TFRecord文件保存到HDFS中, 这里我们直接使用的是阿里云EMR（E-

微信关注我们

原文链接：https://yq.aliyun.com/articles/89315

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Introduction | Elasticsearch权威指南(中文版)

https://es.xiaoleilu.com/170_Relevance/10_Scoring_theory.html

2017-05-24

606

背景最近，经常有客户咨询如何低成本搭建高性能的海量数据搜索引擎，比如实现公众号检索、影讯检索等等。由于客户的数据在阿里云上，所以希望找到云上解决方案。笔者开始调研一些云上产品，很多人向我推荐了OpenSearch，所以花了点时间好好研究了下，用过之后发现效果不错，自带分词、云数据库同步功能，在研究过程中也发现了一些问题，分享给大家。接下来，我们开始用阿里云MaxCompute（原名ODPS）和OpenSearch来搭建一个影讯检索的搜索引擎Demo，我有大约10GB数据，服务搭建只用了15分钟，数据同步建索引大概用1个小时。因为选择弹性计费，实验费用大概花了几十元。先晒一下搜索效果，支持一些常用分词语法，而且OpenSearch自带了丰富的SDK和API，可以很方便的集成到线上业务。实验架构图搜索引擎架构在OpenSearch之上

2017-05-24

733

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。