OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能

2020-05-25 740

通过使用cache缓存机制，减少数据分析处理过程中直读OSS的次数，不仅能够提高性能，更能减少与OSS的交互流量，减少数据分析成本与时间开销。

前提条件

已注册阿里云账号，详情请参见注册云账号。
已开通E-MapReduce服务和OSS服务。
已完成云账号的授权，详情请参见角色授权。
已创建Haoop集群，且带有Hive组件，且配置OSS数据源。

步骤一：设置JindoFs Cache

打开smartdata服务中client配置，
把jfs.cache.data-cache.enable为1，表示打开JindoFs的cache功能打开

步骤二：进行作业测试

数据分析作业具体可看其他OSS数据湖实践文档功能
OSS Spark 实践文档
 OSS Flink 实践文档
 OSS Hive 实践文档

微信关注我们

原文链接：https://yq.aliyun.com/articles/762491

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OSS数据湖实践——EMR + Hive + OSS案例

Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；本文通过一个简单的示例来展现如何结合OSS+EMR+Hive来分析OSS上的数据。前提条件 • 已注册阿里云账号，详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权，详情请参见角色授权。• 已创建Haoop集群，且带有Hive组件, 且配置好OSS数据源。步骤一：上传数据至OSS hadoop fs -put course.csv oss://your-bucket-name/ 步骤二：创建Hive作业开发页面步骤三：SQL 实现创建数据表 CREATE TABLE course (num INT, subject string, level string) row format delimited fields terminated by "," location "/"; 导入数据 LOAD DATA INPATH 'oss：//your-bucket-name/course.csv' INTO TABLE course; 查询语句...

2020-05-26

990

Flink 1.10 与 1.9 相比又是个创新版本，在我们感兴趣的很多方面都有改进，特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性：一是 SQL DDL 对事件时间的支持；二是 Hive Metastore 作为 Flink 的元数据存储（即 HiveCatalog）。这两点将会为我们构建实时数仓提供很大的便利。添加依赖项示例采用 Hive 版本为 1.1.0，Kafka 版本为 0.11.0.2。要使 Flink 与 Hive 集成以使用 HiveCatalog，需要先将以下 JAR 包放在 ${FLINK_HOME}/lib 目录下。 flink-connector-hive_2.11-1.10.0.jar flink-shaded-hadoop-2-uber-2.6.5-8.0.jar hive-metastore-1.1.0.jar hive-exec-1.1.0.jar libfb303-0.9.2.jar 后三个 JAR 包都是 Hive 自带的，可以在 ${HIVE_HOME}/lib ...

2020-05-26

622

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。