搜索[emr]结果-低调大师优秀个人博客

精选列表

搜索[emr]，共478篇文章

阿里云 EMR最佳实践和容灾

阿里云EMR（Elastic MapReduce）是一项Web服务，简化了大数据处理，提供的大数据框架可以让您轻松、高速、经济、安全、稳定地处理大数据，满足如日志分析、数据仓库、商业智能、机器学习、科学模拟等业务需求

2018-05-14

EMR集群上capacity scheduler的ACL实现

背景前面一篇介绍了yarn的capacity scheduler原理，实验了在EMR集群上使用capacity scheduler对集群资源的隔离和quota的限制。

2017-05-11

自建 Hadoop 数据迁移到阿里云EMR集群

客户在决定上云之后，会将自建 Hadoop 集群的数据迁移到阿里云自建 Hadoop 集群或者 EMR 集群。本实践方案提供安全和低成本的 HDFS 数据迁移方案。

2020-02-06

EMR弹性低成本离线大数据分析

方案优势高性能、低成本快速部署高弹性多种计算模式无缝对接开源生态一站式管理平台产品列表 E-MapReduce EMR 日志服务 SLS 对象存储 OSS 弹性伸缩服务 ESS 抢占式 ECS

2020-01-12

使用EMR-Kafka Connect进行数据迁移

使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。 Kafka Connect是一种可扩展的、可靠的，用于在Kafka和其他系统之间快速地进行流式数据传输的工具。

2019-07-21

EMR Spark Relational Cache的执行计划重写

背景 EMR Spark提供的Relational Cache功能，可以通过对数据模型进行预计算和高效地存储，加速Spark SQL，为客户实现利用Spark SQL对海量数据进行即时查询的目的。

2019-06-14

使用EMR Spark Relational Cache跨集群同步数据

Relational Cache相关文章链接：使用Relational Cache加速EMR Spark数据分析背景 Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析

2019-06-04

使用Relational Cache加速EMR Spark数据分析

使用Relational Cache加速Spark数据分析背景 Cache被广泛应用于数据处理的各个领域和方向上，在目前，计算速度远远大于IO访问速度依然是计算设备上最突出的矛盾，计算设备上的存储从HDD -> SSD -> NVMe -> Mem -> L3-L2-L1 Cache -> 寄存器 -> CPU，存储设备距离CPU越近，计算和IO访问速度的差距越小，数据处理的速度越快，但同时存储从下到上，价格越来越贵，容量越来越小。Cache以更多的资源消耗为代价，将待处理数据预先推到离计算更近的位置，从而加速数据处理的速度，填补计算和IO访问速度的差距。对于Spark来说，HDFS cache，Alluxio等文件系统都提供了文件级别的Cache服务，通过将文件cache到内存中，加速数据处理的

2019-05-19

使用EMR来进行mysqlbinlog日志准实时传输

里运行时，就会把spark streaming中流出来的数据，保存到emr的hdfs中。

2018-01-03

E-MapReduce上如何升级EMR-Core

本文档将介绍如何将老集群的EMR-Core升级到最新版本什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。

2017-11-15

技术内幕 | 阿里云EMR StarRocks 极速数据湖分析

本文将主要阐释阿里云EMR StarRocks 在数据湖方向已经做过的工作、实际的效果体现，以及 StarRocks 在数据湖分析方向的规划。

2022-12-02

基于StarRocks和腾讯云EMR构建云上Lakehouse

作者：腾讯云EMR业务负责人陈龙（本文为作者在 StarRocks Summit Asia 2022 上的分享）我目前负责腾讯云EMR 的研发工作，此前先后在百度、支付宝做后端研发。

2022-11-05

EMR本地盘实例大规模数据集测试

阿里云EMR产品针对本地盘机型，推出了一整套的自动化运维方案，帮助用户方便可靠地使用本地盘机型，不需要关注整个运维过程同时数据的高可靠和服务的高可用。

2020-09-17

OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能

通过使用cache缓存机制，减少数据分析处理过程中直读OSS的次数，不仅能够提高性能，更能减少与OSS的交互流量，减少数据分析成本与时间开销。前提条件已注册阿里云账号，详情请参见注册云账号。已开通E-MapReduce服务和OSS服务。已完成云账号的授权，详情请参见角色授权。已创建Haoop集群，且带有Hive组件，且配置OSS数据源。步骤一：设置JindoFs Cache 打开smartdata服务中client配置，把jfs.cache.data-cache.enable为1，表示打开JindoFs的cache功能打开步骤二：进行作业测试数据分析作业具体可看其他OSS数据湖实践文档功能OSS Spark 实践文档OSS Flink 实践文档OSS Hive 实践文档

2020-05-25

EMR Spark-SQL性能极致优化揭秘 RuntimeFilter Plus

作者：陆路，花名世仪，阿里巴巴计算平台事业部EMR团队高级开发工程师，大数据领域技术爱好者，对Spark、Hive等有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。

2020-05-10

EMR Spark-SQL性能极致优化揭秘概览篇

引子最近阿里云 E-MapReduce 团队在 TPCDS-Perf 榜单中提交了最新成绩，相比第二名(其实也是 EMR 团队于 2019 年提交的记录)，无论从性能还有性价比都取得了 2 倍+的优秀成绩

2020-04-29

阿里云智能事业群 EMR团队招人啦！

团队介绍阿里云智能事业群 EMR 是阿里巴巴计算平台事业部的开源大数据生态体系核心技术团队。

2020-03-29

自建Hive数据仓库迁移到阿里云EMR

场景描述客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云EMR集群之后，涉及到将数据仓库和Hive元数据的数据库迁移上云。

2020-02-12

Step by step，学习EMR集群的fair类型资源池

EMR现在支持在业务视角操作yarn资源池了，资源池文档介绍了如何使用。企业用户往往会选择使用fair调度类型的资源池。本文以一家大数据分析公司业务发展为故事背景，一步步的介绍如何使用fair调度。

2018-03-12

自建hadoop集群迁移到EMR之数据迁移篇

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。前置已按需求创建好EMR集群。

2018-01-17

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。