搜索[emr]结果-低调大师优秀个人博客

精选列表

搜索[emr]，共478篇文章

EMR 最新版 EMR-3.22.0 发布

信息摘要： EMR 升级到 EMR-3.22.0，包含多项重大更新及新增组件。

2019-09-01

使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS

1.前言 E-MapReduce从3.20.0版本开始对EMR-Flume新增了Log Service Source。

2019-04-29

EMR 升级Hadoop 2.8.5

信息摘要： EMR 提供Hadoop 2.8.5，方便开发者使用新版Hadoop功能。

2019-09-01

EMR Druid 探索（一）

EMR Druid 探索（一）什么是 Druid、Druid 使用场景 Druid 是 Metamarkets 公司（一家为在线媒体或广告公司提供数据分析服务的公司）推出的一个分布式内存实时分析系统，

2018-05-31

EMR Druid 探索（二）

EMR Druid 探索（二） EMR Druid 上文介绍了 Druid 的特点、使用场景以及性能。EMR 在 3.11.0 引入了 Druid，并专门推出了一种新的集群类型：Druid 集群。

2018-05-31

EMR学习笔记（1）HDFS

EMR HDFS Architecture 本文以非HA集群，2个worker的集群为例。非HA集群，仅有一个Namenode实例，部署在Master节点。

2019-06-07

背景 Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。目前在SparkSQL中有Filter下推优化，包括两个维度: 生成Filter SparkSQL会从用户的SQL语句中获取到Filter 直接显示获取select * from A where a=1生成Filter(a=1) on A 隐式推断select * from A, B where A.a = B.b and A.a=1推断出Filter(b=1) on B Filter优化利用生成的Filter算子可以优化，比如: 将Filt

2019-07-03

利用EMR Hive关联云HBase

本文简单介绍下如何利用EMR的Hive关联云HBase的表。 1. 环境准备购买按量计费的EMR集群，配置依据实际场景确定，注意要和EMR处在同一VPC下，建议不需开启高可用。

2018-10-13

在 EMR 中使用 ES-Hadoop

在 EMR 中使用 ES-Hadoop ES-Hadoop 是 Elasticsearch(ES) 推出的专门用于对接 Hadoop 生态的工具，使得用户可以使用 Mapreduce(MR)、Spark

2018-06-21

在 EMR 中使用 Mongo-Hadoop

在 EMR 中使用 Mongo-Hadoop Mongo-Hadoop 是 MongoDB 推出的用于 Hadoop 系列组件连接 MongoDB 的组件。

2018-06-21

阿里云MongoDB与EMR的HelloWorld

阿里云云数据库已经推出了MongoDB云服务，EMR（E-MapReduce）也是公测期，EMR提供了便捷的Spark服务，本篇文章将给大家介绍下如何使用使用阿里云服务，构建基于MongoDB的大数据计算平台

2016-05-08

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

面对运维挑战，EMR重磅推出：智能运维诊断系统(EMR Doctor) 为了提升大数据集群运维效率，辅助 EMR 用户完善集群监控体系。

2022-09-15

Serverless Spark的弹性利器 - EMR Shuffle Service

EMR Shuffle Service设计基于以上的动机，阿里云EMR团队设计开发了EMR Shuffle Service服务(以下称ESS)，同时解决了计算存储分离和混合架构下的shuffle稳定性和性能问题

2020-09-27

OSS 数据湖实践 —— EMR+OSS入门

对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件；E-MapReduce(EMR)构建于云服务器ECS上，基于开源的

2020-05-25

OSS数据湖实践——EMR + Spark + OSS案例

本文介绍大数据分析引擎spark 基于EMR集群，利用OSS云存储数据，实现一个简单的分析案例。前提条件 • 已注册阿里云账号，详情请参见注册云账号。

2020-05-25

OSS数据湖实践——EMR + Flink + OSS案例

本文介绍使用Flink大数据分析引擎，基于EMR，利用OSS云存储数据，实现一个分析案例。前提条件• 已注册阿里云账号，详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。

2020-05-25

OSS数据湖实践——EMR + Hive + OSS案例

Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；本文通过一个简单的示例来展现如何结合OSS+EMR+Hive来分析OSS上的数据。

2020-05-25

自建Hadoop数据迁移到阿里云EMR

本实践方案提供如下场景的最佳实践：基于IPSec VPN隧道 + DistCp（Hadoop原生工具），将数据迁移到阿里云EMR集群，目标存储包括HDFS，阿里云OSS和阿里云EMR的Jindo 技术架构

2020-01-08

EMR上如何进行流式SQL调试

1.前言从EMR-3.21.0版本开始，EMR正式发布了Spark Streaming SQL功能，支持使用Spark SQL进行流式数据处理。

2019-09-28

通过EMR Spark Streaming实时读取Tablestore数据

本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。场景设计随着互联网的发展，企业中积累的数据越来越多，数据的背后隐藏着巨大的价值，在双十一这样的节日中，电子商务企业都会在大屏幕上实时显示订单总量，由于订单总量巨大，不可能每隔一秒就到数据库中进行一次SQL统计，此时就需要用到流计算，而传统的方法都是需要借助Kafka消息队列来做流式计算，数据订单需要写入数据库与Kafka中，Spark Streaming 消费来自Kafka中的订单信息。而本文使用的Tablestore数据库可以直接利用它的通道服务功能，供Spark Streaming流式消费，进而计算订单的数量及金额，简化了整个流程，具体如下图所示本文将介绍一个简单的demo，流式统计Tablestore数据表中字段出现的个数。前提条件确保将Ta

2019-09-25

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

EMR 最新版 EMR-3.22.0 发布

使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS

EMR 升级Hadoop 2.8.5

EMR Druid 探索（一）

EMR Druid 探索（二）

EMR学习笔记（1）HDFS

EMR Spark Runtime Filter性能优化

利用EMR Hive关联云HBase

在 EMR 中使用 ES-Hadoop

在 EMR 中使用 Mongo-Hadoop

阿里云MongoDB与EMR的HelloWorld

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

Serverless Spark的弹性利器 - EMR Shuffle Service

OSS 数据湖实践 —— EMR+OSS入门

OSS数据湖实践——EMR + Spark + OSS案例

OSS数据湖实践——EMR + Flink + OSS案例

OSS数据湖实践——EMR + Hive + OSS案例

自建Hadoop数据迁移到阿里云EMR

EMR上如何进行流式SQL调试

通过EMR Spark Streaming实时读取Tablestore数据

资源下载

Mario

Spring

Rocky Linux

Sublime Text

欢迎您来访！