利用TFRecord和HDFS准备TensorFlow训练数据-低调大师

利用TFRecord和HDFS准备TensorFlow训练数据

2017-05-23 696

本系列将利用阿里云容器服务的机器学习解决方案，帮助您了解和掌握TensorFlow，MXNet等深度学习库，开启您的深度学习之旅。

第一篇：打造深度学习的云端实验室
第二篇： GPU资源的监控和报警，支撑高效深度学习的利器
第三篇：利用TFRecord和HDFS准备TensorFlow训练数据

数据准备和预处理是一个深度学习训练过程中扮演着非常重要的角色，它影响着模型训练的速度和质量。

而TensorFlow对于HDFS的支持，将大数据与深度学习相集成，完善了从数据准备到模型训练的完整链条。在阿里云容器服务深度学习解决方案中，为TensoFlow提供了OSS，NAS和HDFS三种分布式存储后端的支持。

本文将介绍如何将数据转化为TFRecord格式，并且将生成TFRecord文件保存到HDFS中, 这里我们直接使用的是阿里云EMR（E-

微信关注我们

原文链接：https://yq.aliyun.com/articles/89315

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Introduction | Elasticsearch权威指南(中文版)

https://es.xiaoleilu.com/170_Relevance/10_Scoring_theory.html

2017-05-24

590

背景最近，经常有客户咨询如何低成本搭建高性能的海量数据搜索引擎，比如实现公众号检索、影讯检索等等。由于客户的数据在阿里云上，所以希望找到云上解决方案。笔者开始调研一些云上产品，很多人向我推荐了OpenSearch，所以花了点时间好好研究了下，用过之后发现效果不错，自带分词、云数据库同步功能，在研究过程中也发现了一些问题，分享给大家。接下来，我们开始用阿里云MaxCompute（原名ODPS）和OpenSearch来搭建一个影讯检索的搜索引擎Demo，我有大约10GB数据，服务搭建只用了15分钟，数据同步建索引大概用1个小时。因为选择弹性计费，实验费用大概花了几十元。先晒一下搜索效果，支持一些常用分词语法，而且OpenSearch自带了丰富的SDK和API，可以很方便的集成到线上业务。实验架构图搜索引擎架构在OpenSearch之上

2017-05-24

716

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。